使用goroutine和channel可高效并发处理批量网络请求，通过限制并发数和加入超时控制优化资源使用。
在Go语言中，使用并发处理批量网络请求是一种常见且高效的实践。通过 goroutine 和 channel，可以轻松实现多个请求的并行发送，并统一收集结果或错误。下面是一个实用的示例，展示如何并发地发起多个HTTP请求，并进行批量处理。
使用 Goroutine 和 Channel 批量请求
核心思路是为每个请求启动一个 goroutine，将结果通过 channel 返回，主协程通过 select 或 range 接收结果。
示例代码：
package mainimport ( "fmt" "net/http" "sync" )
type Result struct { URL string Status int Err error }
func fetchURL(url string, ch chan<- Result) { resp, err := http.Get(url) if err != nil { ch <- Result{URL: url, Err: err} return } defer resp.Body.Close() ch <- Result{URL: url, Status: resp.StatusCode} }
func main() { urls := []string{ "https://www.php.cn/link/98a733901e53052474f2320d0a3a9473", "https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f", "https://www.php.cn/link/874b2add857bd9bcc60635a51eb2b697", "https://www.php.cn/link/ef246753a70fce661e16668898810624", }
var wg sync.WaitGroup ch := make(chan Result, len(urls)) // 缓冲channel避免阻塞 for _, url := range urls { wg.Add(1) go func(u string) { defer wg.Done() fetchURL(u, ch) }(url) } // 关闭channel当所有goroutine完成 go func() { wg.Wait() close(ch) }() // 收集结果 for result := range ch { if result.Err != nil { fmt.Printf("请求 %s 失败: %v\n", result.URL, result.Err) } else { fmt.Printf("请求 %s 成功，状态码: %d\n", result.URL, result.Status) } }}
限制并发数量（使用信号量）
如果请求量很大，同时发起全部请求可能耗尽资源。可以通过带缓冲的 channel 实现并发控制。
立即学习“go语言免费学习笔记（深入）”；
改进版本：限制最大并发数
// 在main中修改goroutine启动方式 semaphore := make(chan struct{}, 3) // 最多3个并发for _, url := range urls { wg.Add(1) go func(u string) { defer wg.Done() semaphore <- struct{}{} // 获取令牌 fetchURL(u, ch) <-semaphore // 释放令牌 }(url) }
超时控制与上下文（Context）
实际应用中应加入请求超时，避免长时间等待。可使用 context 控制生命周期。
func fetchURLWithContext(url string, ch chan<- Result) { ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel()req, _ := http.NewRequestWithContext(ctx, "GET", url, nil) resp, err := http.DefaultClient.Do(req) if err != nil { ch <- Result{URL: url, Err: err} return } defer resp.Body.Close() ch <- Result{URL: url, Status: resp.StatusCode}}
结果聚合与错误处理
可以根据需要对结果进一步处理，比如统计成功/失败数量，或只返回成功结果。
例如，在接收阶段统计：
successCount, failCount := 0, 0 for result := range ch { if result.Err != nil { failCount++ // 可记录日志或重试 } else { successCount++ } fmt.Printf("[%s] %d\n", result.URL, result.Status) } fmt.Printf("完成: 成功=%d, 失败=%d\n", successCount, failCount)基本上就这些。Golang 的并发模型让批量网络请求变得简单高效，合理使用 channel、WaitGroup 和 context 能写出稳定可靠的并发代码。注意控制并发数和设置超时，避免系统资源耗尽。
