Golanggoroutine与channel结合实现流水线-Golang-PHP中文网

Golanggoroutine与channel结合实现流水线

P粉602998670

发布： 2025-09-25 12:35:01

原创

1127人浏览过

流水线模式是将数据处理任务分解为多个连续阶段，每个阶段由goroutine通过channel传递数据。例如：生成数字→平方→输出，实现高效解耦处理。

golanggoroutine与channel结合实现流水线

在Go语言中，goroutine 和 channel 是实现并发编程的核心工具。将它们结合使用可以轻松构建流水线（pipeline）模型，把数据处理流程拆分为多个阶段，每个阶段由一个或多个goroutine负责，通过channel连接各阶段，实现高效、解耦的数据流处理。

什么是流水线模式

流水线模式是指将一个复杂的数据处理任务分解为多个连续的阶段，每个阶段完成一部分工作，并将结果传递给下一阶段。这种模式类似于工厂中的装配线，数据像产品一样在各个工序间流动。

在Go中，每个阶段通常是一个函数，启动一个goroutine来运行，并通过channel接收输入、发送输出。

基本流水线结构

一个最简单的流水线包含三个部分：源头（source）、中间处理阶段（worker）、汇点（sink）。

立即学习“go语言免费学习笔记（深入）”；

以一个整数处理流水线为例：生成数字 → 平方 → 汇总输出。

func generator(nums ...int) <-chan int {
    out := make(chan int)
    go func() {
        for _, n := range nums {
            out <- n
        }
        close(out)
    }()
    return out
}
<p>func square(in <-chan int) <-chan int {
out := make(chan int)
go func() {
for n := range in {
out <- n * n
}
close(out)
}()
return out
}</p><p>func main() {
// 阶段1: 生成数据
source := generator(1, 2, 3, 4, 5)</p><pre class='brush:php;toolbar:false;'>// 阶段2: 处理数据（平方）
squared := square(source)

// 阶段3: 消费结果
for result := range squared {
    <strong>fmt.Println(result)</strong>
}

登录后复制

}

这个例子中：

generator 启动一个goroutine，把输入的整数发送到channel
square 启动另一个goroutine，从输入channel读取数据并发送平方值到输出channel
main函数作为消费者，从最终channel读取并打印结果

多路复用与扇出/扇入

实际应用中，可以通过“扇出（fan-out）”提升处理能力：多个goroutine并行处理同一输入；再通过“扇入（fan-in）”合并多个输出。

BibiGPT-哔哔终结者

B站视频总结器-一键总结音视频内容

查看详情

例如，使用多个goroutine进行平方运算：

func squareFanOut(in <-chan int, workers int) <-chan int {
    out := make(chan int)
<pre class='brush:php;toolbar:false;'>// 启动多个worker
for i := 0; i < workers; i++ {
    go func() {
        for n := range in {
            out <- n * n
        }
    }()
}

// 单独goroutine关闭out（需等待所有worker结束）
go func() {
    for i := 0; i < workers; i++ {
        // 这里简化处理，实际应使用sync.WaitGroup
    }
    close(out)
}()

return out

登录后复制

}

更完整的扇入实现：

func merge(cs []<-chan int) <-chan int {
    var wg sync.WaitGroup
    out := make(chan int)
<pre class='brush:php;toolbar:false;'>wg.Add(len(cs))
for _, c := range cs {
    go func(ch <-chan int) {
        for val := range ch {
            out <- val
        }
        wg.Done()
    }(c)
}

go func() {
    wg.Wait()
    close(out)
}()
return out

登录后复制

}