0

0

如何用Golang实现fan-in fan-out模式_Golang fan-in fan-out模式实践

P粉602998670

P粉602998670

发布时间:2025-11-22 14:51:06

|

302人浏览过

|

来源于php中文网

原创

fan-out通过多个goroutine并行处理任务,fan-in将结果汇总;示例中3个worker并行转字符串为大写,结果经fan-in合并输出,体现Golang并发优势。

如何用golang实现fan-in fan-out模式_golang fan-in fan-out模式实践

并发编程中,fan-in fan-out 是一种常见的模式,用于提高程序的并行处理能力。Golang 凭借其轻量级的 goroutine 和强大的 channel 机制,非常适合实现这一模式。fan-in 指多个数据源合并到一个通道,fan-out 指将任务分发给多个工作者并行处理。下面通过实际例子说明如何在 Golang 中优雅地实现该模式。

什么是 fan-out(分发任务)

fan-out 的核心是将输入数据分发给多个工作协程,让它们并行处理,从而提升吞吐量。通常适用于 CPU 密集型或 I/O 密集型任务,比如批量请求、文件处理等。

实现方式:

  • 启动多个 worker goroutine,每个都从同一个输入 channel 读取任务
  • 使用独立的输出 channel 返回处理结果
  • 所有 worker 共享输入,但各自写入自己的输出通道
注意:输入 channel 应在所有任务发送完毕后关闭,以便 worker 能正确退出。

什么是 fan-in(合并结果)

fan-in 负责将多个输出 channel 的结果汇聚到一个 channel 中,方便主流程统一处理。这在需要收集所有 worker 结果时非常有用。

立即学习go语言免费学习笔记(深入)”;

常见做法是启动一个单独的 goroutine,将多个 channel 的数据复制到一个统一的输出 channel 中,直到所有输入 channel 关闭为止。

关键点:

魔珐星云
魔珐星云

无需昂贵GPU,一键解锁超写实/二次元等多风格3D数字人,跨端适配千万级并发的具身智能平台。

下载
  • 使用 sync.WaitGroup 等待所有 worker 完成
  • 每个 worker 完成后关闭自己的输出 channel
  • fan-in 协程在所有 channel 关闭后关闭汇总 channel

完整示例:并行处理字符串转大写

以下是一个完整的 fan-in fan-out 实现,模拟将一批字符串并行转为大写:

package main

import ( "fmt" "strings" "sync" )

func worker(in <-chan string, out chan<- string, wg *sync.WaitGroup) { defer wg.Done() for s := range in { out <- strings.ToUpper(s) } close(out) }

func fanIn(channels []<-chan string) <-chan string { var wg sync.WaitGroup merged := make(chan string)

for _, ch := range channels {
    wg.Add(1)
    go func(c <-chan string) {
        defer wg.Done()
        for val := range c {
            merged <- val
        }
    }(c)
}

go func() {
    wg.Wait()
    close(merged)
}()

return merged

}

func main() { inputs := []string{"hello", "world", "golang", "concurrency", "fan", "out"}

in := make(chan string, len(inputs))
numWorkers := 3
outputs := make([]chan string, numWorkers)

for i := 0; i < numWorkers; i++ {
    outputs[i] = make(chan string)
}

var wg sync.WaitGroup

for i := 0; i < numWorkers; i++ {
    wg.Add(1)
    go worker(in, outputs[i], &wg)
}

for _, input := range inputs {
    in <- input
}
close(in)

merged := fanIn(outputs)

for result := range merged {
    fmt.Println(result)
}

wg.Wait()

}

这段代码中,3 个 worker 并行处理输入数据,各自将结果写入独立 channel,再通过 fan-in 将所有结果合并输出。整个过程高效且易于扩展。

优化建议与注意事项

在实际项目中使用 fan-in fan-out 时,注意以下几点:

  • 合理设置 worker 数量,避免过多 goroutine 导致调度开销
  • 使用带缓冲的 channel 可减少阻塞,提升性能
  • 确保所有 channel 都被正确关闭,防止 goroutine 泄漏
  • 可结合 context 实现超时控制和取消机制
  • 对于无序输出可直接使用 merge;若需保序,应在结果中携带索引信息

基本上就这些。Golang 的并发模型让 fan-in fan-out 实现变得简洁直观,掌握它能显著提升程序的并发处理能力。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

180

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

228

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

209

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

393

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

197

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

191

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

253

2025.06.17

菜鸟裹裹入口以及教程汇总
菜鸟裹裹入口以及教程汇总

本专题整合了菜鸟裹裹入口地址及教程分享,阅读专题下面的文章了解更多详细内容。

0

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
golang socket 编程
golang socket 编程

共2课时 | 0.1万人学习

nginx浅谈
nginx浅谈

共15课时 | 0.8万人学习

golang和swoole核心底层分析
golang和swoole核心底层分析

共3课时 | 0.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号