0

0

Golang实现简单任务队列_Go语言并发项目实战

P粉602998670

P粉602998670

发布时间:2026-01-16 17:14:02

|

962人浏览过

|

来源于php中文网

原创

用带缓冲的channel实现任务队列够用但有边界:适用于单进程内存内短生命周期场景;需防goroutine泄漏、消费者panic退出、生产者阻塞;缓冲大小须显式指定,消费者应for range配合close。

golang实现简单任务队列_go语言并发项目实战

channel 实现基础任务队列,够用但有边界

Go 里最轻量的任务队列就是带缓冲的 chan。它适合单进程、内存内、短生命周期的调度场景,比如批量处理日志、触发通知、预热缓存等。

关键不是“能不能跑”,而是“会不会漏”和“卡不卡住”。常见错误是:goroutine 泄漏(没关闭 chan)、消费者 panic 后退出、生产者阻塞在满的缓冲区上。

  • 缓冲大小必须显式指定,make(chan Task, 100)make(chan Task) 更可控
  • 消费者要用 for range 配合 close(),不能只写 for {
  • 生产者写入前建议加超时:
    select {
    case ch <- task:
    case <-time.After(500 * time.Millisecond):
        log.Println("task dropped: queue full")
    }

sync.WaitGroupcontext.Context 必须一起用

只靠 WaitGroupgoroutine 结束,会忽略中断、超时、panic 等退出路径;只靠 Context 又没法知道所有 worker 是否真退出了。两者缺一不可。

典型结构是:启动 N 个 worker,每个都监听 ctx.Done() 并在退出前调用 wg.Done();主 goroutine 调用 wg.Wait() 后再清理资源。

立即学习go语言免费学习笔记(深入)”;

  • worker 内部必须检查 ctx.Err() != nil,不能只依赖 channel 关闭
  • ctx.WithTimeout 的 timeout 应该比单个任务预期耗时长 2–3 倍,避免误杀
  • 如果 worker 在处理中收到 cancel,要主动 return,不要继续执行或重试

别直接拿 redis 当队列用,先封装一层

直接用 redis.Client.LPush + BRPop 容易出问题:消息丢失(pop 成功但处理失败)、重复消费(worker crash 后未 ack)、无重试机制。

Smart Picture
Smart Picture

Smart Picture 智能高效的图片处理工具

下载

至少得包一层简单抽象,比如:

type RedisQueue struct {
    client *redis.Client
    key    string
}

func (q *RedisQueue) Push(ctx context.Context, payload []byte) error { return q.client.RPush(ctx, q.key, payload).Err() }

func (q RedisQueue) Pop(ctx context.Context) ([]byte, error) { result, err := q.client.BRPop(ctx, 30time.Second, q.key).Result() if err != nil { return nil, err } if len(result) < 2 { return nil, io.EOF } return []byte(result[1]), nil }

注意:BRPop 返回的是 []string,第二项才是实际数据;超时时间设为 30 秒,避免无限等待;返回 io.EOF 是为了兼容标准 reader 接口习惯。

任务失败时,别只打日志,要区分可重试和不可重试错误

网络超时、DB 连接断开这类错误可以重试;JSON 解析失败、字段缺失、权限不足这类错误重试也没用,还可能污染下游。

推荐做法是:定义两个 error 类型,用 errors.Is() 判断:

  • var ErrPermanent = errors.New("permanent failure")
  • var ErrTransient = errors.New("transient failure")
  • 重试逻辑只对 ErrTransient 生效,最多 3 次,每次 delay 指数增长
  • 永久错误直接进 dead-letter 队列(哪怕只是本地文件或另一个 redis key)

真正难的是判断——很多第三方 SDK 不暴露错误类型,只能靠 strings.Contains(err.Error(), "timeout") 这种方式兜底,得在注释里写清楚为什么这么 hack。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

178

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

226

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

337

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

208

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

391

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

196

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

191

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

192

2025.06.17

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

2

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go 教程
Go 教程

共32课时 | 3.8万人学习

Go语言实战之 GraphQL
Go语言实战之 GraphQL

共10课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号