使用goroutine和sync.WaitGroup实现并发HTTP请求,通过channel收集结果并控制并发数以避免资源耗尽,确保高效安全的并行网络操作。

在Golang中实现并发HTTP请求,关键在于利用goroutine和sync包来协调多个同时进行的网络请求。Go语言天生支持高并发,通过简单的语法就能发起多个并行的HTTP调用,显著提升程序效率。
使用Goroutine发起并发请求
每个HTTP请求可以在独立的goroutine中执行,这样多个请求可以同时进行而不是串行等待。
基本做法是将请求逻辑封装成函数,在主流程中为每个请求启动一个goroutine,并通过channel传递结果或错误。
注意:必须使用sync.WaitGroup或其他同步机制确保所有goroutine完成后再继续。- 创建一个WaitGroup,Add每个要启动的goroutine数量
- 在每个goroutine结束时调用Done()
- 主协程调用Wait()阻塞直到所有任务完成
通过Channel收集结果
为了安全地从多个goroutine中获取返回值,建议使用带缓冲的channel接收响应数据。
立即学习“go语言免费学习笔记(深入)”;
定义一个结构体用于封装URL、响应体和可能的错误,避免数据混淆。
dmSOBC SHOP网店系统由北京时代胜腾信息技术有限公司(http://www.webzhan.com)历时6个月开发完成,本着简单实用的理念,商城在功能上摒弃了外在装饰的一些辅助功能,尽可能的精简各项模块开发,做到有用的才开发,网店V1.0.0版本开发完成后得到了很多用户的使用并获得了好评,公司立即对网店进行升级,其中包括修正客户提出的一些意见和建议,现对广大用户提供免费试用版本,如您在使用
- 声明一个接收Result类型(自定义)的channel
- 每个goroutine完成请求后将结果写入该channel
- 主协程从channel读取所有结果,顺序不保证但能完整收集
控制并发数量避免资源耗尽
无限制地启动goroutine可能导致系统资源紧张甚至被目标服务器封禁。
推荐使用带缓冲的channel作为信号量来限制最大并发数。
- 初始化一个容量为N的channel(如10),表示最多N个并发
- 每次开始请求前向该channel写入一个值(占位)
- 请求结束后读出一个值(释放)
- 当达到上限时,后续goroutine会自动阻塞等待
示例代码结构
实际编码中可组织如下:
- 定义Result结构体包含url、body、err字段
- 遍历URL列表,对每个URL启动goroutine
- 在goroutine中执行http.Get,发送结果到resultCh
- 使用waitGroup等待全部完成,关闭channel后读取所有结果
基本上就这些。Go的标准库配合轻量级线程模型,让并发HTTP请求变得简洁高效。关键是处理好同步与资源控制,避免意外行为。









