首先定义任务结构体并通过channel传递任务,创建带缓冲的channel存放任务;然后启动多个工作协程从channel中并发读取并执行任务,直至channel关闭,实现高效的任务分发与调度。

在Go语言中,channel 是实现并发任务调度和分发的核心机制之一。通过 channel 与 goroutine 的配合,可以轻松构建高效、可控的任务处理系统。下面介绍如何使用 channel 实现任务的分发与执行。
定义任务结构与使用channel传递任务
要实现任务调度,首先需要定义任务类型。通常将任务封装为一个函数或结构体,通过 channel 发送到工作协程中执行。
例如:
type Task struct {
ID int
Fn func() error
}
taskCh := make(chan Task, 100)
立即学习“go语言免费学习笔记(深入)”;
创建一个带缓冲的 channel,用于存放待处理的任务。生产者将任务发送到 channel,消费者(工作协程)从 channel 中读取并执行。
启动多个工作协程消费任务
使用多个 goroutine 并发处理任务,提高执行效率。每个 worker 持续从 channel 中接收任务,直到 channel 被关闭。
示例代码:
func worker(taskCh <-chan Task, resultCh chan<- error) {
for task := range taskCh {
err := task.Fn()
resultCh <- err
}
}
// 启动N个worker
for i := 0; i < 5; i++ {
go worker(taskCh, resultCh)
}
这里 resultCh 用于收集任务执行结果或错误,便于后续处理。
分发任务并控制并发
主程序通过向 taskCh 发送任务实现分发。由于 channel 自带同步机制,无需额外加锁。
常见做法:
- 预先生成一批任务并写入 channel
- 动态生成任务并实时分发
- 使用 WaitGroup 等待所有任务完成
完整流程示例:
var wg sync.WaitGroup taskCh := make(chan Task, 100) resultCh := make(chan error, 100)// 启动worker for i := 0; i < 5; i++ { go worker(taskCh, resultCh) }
// 分发任务 for i := 0; i < 20; i++ { wg.Add(1) taskCh <- Task{ ID: i, Fn: func() error { time.Sleep(100 * time.Millisecond) fmt.Printf("Task %d done\n", i) return nil }, } wg.Done() }
close(taskCh) // 关闭表示不再有新任务
// 等待所有worker退出 go func() { wg.Wait() close(resultCh) }()
// 处理结果 for err := range resultCh { if err != nil { log.Printf("Task failed: %v", err) } }
基本上就这些。通过 channel + goroutine 的组合,可以构建出简洁而强大的任务调度系统,适用于爬虫、批量处理、后台作业等场景。关键是合理设置 channel 缓冲大小和 worker 数量,避免资源耗尽或调度延迟。










