Golang如何实现协程池与任务队列-Golang-PHP中文网

Golang如何实现协程池与任务队列

P粉602998670

发布： 2025-10-24 11:03:02

原创

219人浏览过

协程池通过限制goroutine数量并复用worker实现高效并发管理，核心由任务队列和固定worker组成，利用channel调度任务、waitgroup同步生命周期。示例中创建带缓冲任务通道的池，启动多个worker从通道取任务执行，Submit提交任务并增加waitgroup计数，Stop关闭通道后等待所有任务完成。关键在于正确使用wg和及时关闭通道，避免资源泄漏。可扩展支持结果返回、超时控制、动态调整worker数等。该模式简洁高效，适用于控制负载与提升性能。

golang如何实现协程池与任务队列

Go语言通过goroutine实现了轻量级的并发处理，但无限制地创建goroutine可能导致资源耗尽。为高效管理并发任务，协程池（Worker Pool）结合任务队列是一种常见且高效的模式。它控制并发数量、复用执行单元，并通过通道实现任务调度。

基本原理与结构设计

协程池的核心由固定数量的工作协程和一个任务队列组成。任务通过通道提交，多个worker从通道中消费并执行任务。这种模型利用Go的channel作为天然的任务队列，配合waitgroup等待所有任务完成。

典型组件包括：

任务函数类型：定义可执行任务的签名
任务队列通道：用于接收外部提交的任务
Worker协程：从队列中取任务并执行
WaitGroup：协调任务的启动与结束

简单协程池实现示例

以下是一个基础但实用的协程池实现：

立即学习“go语言免费学习笔记（深入）”；

package main
<p>import (
"fmt"
"sync"
)</p><p>// Task 表示一个可执行的任务
type Task func()</p><p>// WorkerPool 协程池结构体
type WorkerPool struct {
tasks   chan Task
wg      sync.WaitGroup
workers int
}</p><p>// NewWorkerPool 创建新的协程池
func NewWorkerPool(maxWorkers, queueSize int) *WorkerPool {
return &WorkerPool{
tasks:   make(chan Task, queueSize),
workers: maxWorkers,
}
}</p><p>// Submit 提交任务到队列
func (wp *WorkerPool) Submit(task Task) {
wp.wg.Add(1)
wp.tasks <- task
}</p><p>// Start 启动协程池
func (wp *WorkerPool) Start() {
for i := 0; i < wp.workers; i++ {
go func() {
for task := range wp.tasks {
task()
wp.wg.Done()
}
}()
}
}</p><p>// Stop 关闭任务队列并等待所有任务完成
func (wp *WorkerPool) Stop() {
close(wp.tasks)
wp.wg.Wait()
}</p>

登录后复制

使用示例与注意事项

下面演示如何使用上述协程池：

ViiTor实时翻译

AI实时多语言翻译专家！强大的语音识别、AR翻译功能。

116

查看详情

func main() {
    pool := NewWorkerPool(3, 10) // 3个worker，最多缓存10个任务
    pool.Start()
<pre class='brush:php;toolbar:false;'>// 提交10个任务
for i := 0; i < 10; i++ {
    id := i
    pool.Submit(func() {
        fmt.Printf("执行任务 %d\n", id)
    })
}

pool.Stop()
fmt.Println("所有任务已完成")

登录后复制

}

关键点说明：