Golang HTTP客户端并发请求优化-Golang-PHP中文网

Golang HTTP客户端并发请求优化

P粉602998670

发布： 2025-10-07 20:33:02

原创

134人浏览过

答案：通过配置自定义Transport实现连接复用、使用channel控制并发数、减少DNS和TLS开销、及时关闭响应体，可显著提升Golang HTTP客户端并发性能。

golang http客户端并发请求优化

在使用 Golang 构建 HTTP 客户端进行并发请求时，性能优化的关键在于合理控制资源、复用连接以及避免常见瓶颈。直接大量发起 goroutine 调用默认的 http.Client 可能导致连接泄漏、文件描述符耗尽或 TLS 握手开销过大。以下是几个核心优化策略。

1. 复用 TCP 连接：配置高效的 Transport

默认的 http.Transport 对连接复用支持有限，高并发下会创建过多 TCP 连接。应自定义 Transport，启用长连接并限制最大空闲连接数。

设置 MaxIdleConns 控制客户端总的最大空闲连接数
设置 MaxIdleConnsPerHost 限制对单个主机的空闲连接数
调整 IdleConnTimeout 防止空闲连接长时间占用资源
启用 DisableKeepAlives: false（默认开启）以复用连接

示例配置：

client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxIdleConnsPerHost: 10,
        IdleConnTimeout:     90 * time.Second,
        DisableCompression:  true, // 如无需压缩可关闭
    },
}

登录后复制

2. 控制并发数量：使用协程池或带缓冲的通道

无限制地启动 goroutine 会导致系统资源耗尽。应通过 channel 或第三方协程池控制并发请求数量。

立即学习“go语言免费学习笔记（深入）”；

使用带缓冲的 channel 作为信号量，限制同时运行的请求数
每个请求完成后释放信号，保证平滑调度

简单实现：

创客贴设计

创客贴设计，一款智能在线设计工具，设计不求人，AI助你零基础完成专业设计！

查看详情

sem := make(chan struct{}, 20) // 最大并发 20
var wg sync.WaitGroup
<p>for _, url := range urls {
wg.Add(1)
sem <- struct{}{}
go func(u string) {
defer wg.Done()
defer func() { <-sem }()
resp, err := client.Get(u)
if err != nil {
log.Printf("请求失败 %s: %v", u, err)
return
}
io.ReadAll(resp.Body)
resp.Body.Close()
}(url)
}
wg.Wait()

登录后复制