如何使用Golang开发小型任务队列系统-Golang-PHP中文网

如何使用Golang开发小型任务队列系统

P粉602998670

发布： 2025-10-17 13:05:02

原创

757人浏览过

如何使用golang开发小型任务队列系统

开发一个小型任务队列系统在Golang中其实并不复杂，尤其适合处理异步任务、定时任务或后台作业。你可以基于 goroutine 和 channel 构建一个轻量级但高效的系统，无需引入外部依赖如 RabbitMQ 或 Kafka。下面是一个实用的实现思路和代码示例。

1. 核心结构设计

一个基本的任务队列包含以下几个部分：

任务（Task）：表示需要执行的工作单元，通常是一个函数或带有参数的操作。
工作池（Worker Pool）：一组并发运行的 worker，从队列中取出任务并执行。
任务队列（Queue）：使用有缓冲的 channel 存放待处理任务。
调度器（Dispatcher）：负责将任务推入队列，并管理 worker 的生命周期。

2. 定义任务类型

我们可以把任务定义为一个函数类型，便于传递和执行。

type Task func()
<p>// 示例任务
func PrintTask(msg string) Task {
return func() {
fmt.Printf("Processing: %s\n", msg)
time.Sleep(1 * time.Second) // 模拟耗时操作
fmt.Printf("Completed: %s\n", msg)
}
}</p>

登录后复制

3. 实现工作池和调度器

使用固定数量的 worker 从 channel 中读取任务并执行。

立即学习“go语言免费学习笔记（深入）”；

豆包大模型

字节跳动自主研发的一系列大型语言模型

834

查看详情

type WorkerPool struct {
    workers   int
    taskQueue chan Task
}
<p>func NewWorkerPool(workers, queueSize int) *WorkerPool {
return &WorkerPool{
workers:   workers,
taskQueue: make(chan Task, queueSize),
}
}</p><p>func (wp *WorkerPool) Start() {
for i := 0; i < wp.workers; i++ {
go func() {
for task := range wp.taskQueue {
task()
}
}()
}
}</p><p>func (wp *WorkerPool) Submit(task Task) {
wp.taskQueue <- task
}</p><p>func (wp *WorkerPool) Stop() {
close(wp.taskQueue)
}</p>

登录后复制

4. 使用示例

启动工作池，提交多个任务，观察并发执行效果。

func main() {
    pool := NewWorkerPool(3, 10) // 3个worker，最多缓存10个任务
    pool.Start()
<pre class='brush:php;toolbar:false;'>// 提交任务
for i := 0; i < 5; i++ {
    pool.Submit(PrintTask(fmt.Sprintf("Task %d", i)))
}

// 等待一段时间让任务完成（实际项目可用 WaitGroup）
time.Sleep(6 * time.Second)
pool.Stop()

登录后复制

}

输出会看到任务被并发执行，最多同时运行3个，其余在队列中等待。