0

0

Golang如何实现并发任务优先级调度

P粉602998670

P粉602998670

发布时间:2025-10-23 21:40:02

|

690人浏览过

|

来源于php中文网

原创

使用优先队列结合worker池可实现Go中任务优先级调度,核心为通过heap.Interface定义优先队列,按任务优先级排序,多个worker从队列中取出高优先级任务执行,适用于消息队列、爬虫等场景。

golang如何实现并发任务优先级调度

Go语言本身没有内置的优先级调度机制,goroutine的调度由运行时系统自动管理,开发者无法直接控制其执行顺序。但可以通过一些设计模式和数据结构来实现任务优先级调度,尤其是在需要对并发任务进行优先级控制的场景下,比如后台任务处理、消息队列、爬虫系统等。

使用带优先级的优先队列 + worker池

核心思路是:将任务按优先级存入一个优先队列(通常用最小堆或最大堆实现),由一组worker从队列中取出高优先级任务执行。

关键组件:
  • PriorityQueue:基于heap.Interface实现,按优先级排序
  • Task:包含任务逻辑和优先级字段
  • Worker Pool:多个goroutine从队列消费任务

示例代码结构:


type Task struct {
    Priority int
    Job      func()
}

// 实现 heap.Interface 的 PriorityQueue
type PriorityQueue []*Task

func (pq PriorityQueue) Len() int            { return len(pq) }
func (pq PriorityQueue) Less(i, j int) bool  { return pq[i].Priority > pq[j].Priority } // 最大堆
func (pq PriorityQueue) Swap(i, j int)       { pq[i], pq[j] = pq[j], pq[i] }

func (pq *PriorityQueue) Push(x interface{}) {
    *pq = append(*pq, x.(*Task))
}

func (pq *PriorityQueue) Pop() interface{} {
    old := *pq
    n := len(old)
    item := old[n-1]
    *pq = old[0 : n-1]
    return item
}

var taskQueue = make(chan *Task, 100)

// Worker 函数
func worker(wg *sync.WaitGroup) {
    defer wg.Done()
    for task := range taskQueue {
        task.Job()
    }
}

// 启动 worker 池
func StartWorkerPool(n int) {
    var wg sync.WaitGroup
    for i := 0; i < n; i++ {
        wg.Add(1)
        go worker(&wg)
    }
    wg.Wait()
}

注意:上面只是基础框架。实际中可将taskQueue替换为优先队列+互斥锁封装的调度器,确保每次取的是最高优先级任务。

立即学习go语言免费学习笔记(深入)”;

封装调度器控制出队顺序

直接使用channel无法保证优先级,因此需封装一个安全的优先调度器:

云模块网站管理系统3.1.03
云模块网站管理系统3.1.03

云模块_YunMOK网站管理系统采用PHP+MYSQL为编程语言,搭载自主研发的模块化引擎驱动技术,实现可视化拖拽无技术创建并管理网站!如你所想,无限可能,支持创建任何网站:企业、商城、O2O、门户、论坛、人才等一块儿搞定!永久免费授权,包括商业用途; 默认内置三套免费模板。PC网站+手机网站+适配微信+文章管理+产品管理+SEO优化+组件扩展+NEW Login界面.....目测已经遥遥领先..

下载

type Scheduler struct {
    mu   sync.Mutex
    heap PriorityQueue
    cond *sync.Cond
}

func NewScheduler() *Scheduler {
    s := &Scheduler{}
    s.cond = sync.NewCond(&s.mu)
    return s
}

func (s *Scheduler) Push(task *Task) {
    s.mu.Lock()
    defer s.mu.Unlock()
    heap.Push(&s.heap, task)
    s.cond.Signal() // 唤醒等待的worker
}

func (s *Scheduler) Pop() *Task {
    s.mu.Lock()
    defer s.mu.Unlock()
    for s.heap.Len() == 0 {
        s.cond.Wait() // 阻塞等待任务
    }
    return heap.Pop(&s.heap).(*Task)
}

Worker从Scheduler.Pop()获取任务,自然获得最高优先级任务。

结合 context 实现任务抢占与超时控制

在真实系统中,任务可能需要取消或设置超时。使用context可以增强调度器的控制能力:

  • 每个Task携带context,支持外部取消
  • 高优先级任务可触发低优先级任务的取消(需额外逻辑判断)
  • 避免长时间阻塞任务影响整体调度效率

例如:


type Task struct {
    Priority int
    Ctx      context.Context
    Job      func(context.Context)
}

适用场景与注意事项

这种模式适用于:

  • 任务数量可控,不频繁创建大量goroutine
  • 优先级差异明显,如紧急通知 > 日志上报
  • 需要公平调度但又不能完全FIFO
注意:
  • Go runtime调度器不保证goroutine执行顺序,不要依赖启动顺序
  • 优先级反转问题需自行避免(如低优先级任务持有锁
  • 堆操作时间复杂度O(log n),任务多时考虑性能优化
基本上就这些。通过优先队列+调度器+worker池,可以在Go中有效实现并发任务的优先级调度。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

173

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

224

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

334

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

204

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

387

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

193

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

184

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

191

2025.06.17

苹果官网入口直接访问
苹果官网入口直接访问

苹果官网直接访问入口是https://www.apple.com/cn/,该页面具备0.8秒首屏渲染、HTTP/3与Brotli加速、WebP+AVIF双格式图片、免登录浏览全参数等特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

10

2025.12.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 2.9万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号