Golang 如何实现高并发 HTTP 请求_Golang Client 并发访问与性能优化-Golang-PHP中文网

Golang 如何实现高并发 HTTP 请求_Golang Client 并发访问与性能优化

P粉602998670

发布： 2025-11-22 15:56:02

原创

567人浏览过

通过控制并发数、优化Transport配置、复用TCP连接和处理DNS解析瓶颈，可显著提升Go语言HTTP客户端性能。使用带缓冲channel限制goroutine数量，避免资源耗尽；自定义http.Transport参数如MaxIdleConns、MaxConnsPerHost等以提高连接复用率；结合context.Context管理请求生命周期，设置超时与重试机制；并通过DNS缓存减少解析开销。合理配置下，Go能稳定支持上万级并发请求，适用于爬虫、压测等高并发场景。

golang 如何实现高并发 http 请求_golang client 并发访问与性能优化

Go 语言凭借其轻量级的 goroutine 和高效的网络模型，非常适合用来实现高并发 HTTP 请求。在实际开发中，比如爬虫、压力测试、微服务调用等场景，常常需要同时发起大量 HTTP 请求。但如果直接使用默认配置，很容易遇到性能瓶颈或资源耗尽问题。本文将介绍如何通过合理配置和优化 Golang 的 http.Client 来实现高性能、稳定的并发请求。

合理控制并发数量，避免系统过载

虽然 Go 的 goroutine 很轻量，但无限制地创建成千上万个 goroutine 同时发起 HTTP 请求会导致：

操作系统文件描述符耗尽（too many open files）
TCP 连接过多，端口耗尽
内存占用飙升
目标服务器拒绝服务或限流

因此必须对并发数进行控制。常用的方法是使用带缓冲的 channel 控制并发度：

示例代码：

func fetchURLs(urls []string, maxConcurrency int) {
    sem := make(chan struct{}, maxConcurrency)
    var wg sync.WaitGroup
<pre class='brush:php;toolbar:false;'>for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        sem <- struct{}{}        // 获取信号量
        defer func() { <-sem }() // 释放信号量

        resp, err := http.Get(u)
        if err != nil {
            log.Printf("Error fetching %s: %v", u, err)
            return
        }
        defer resp.Body.Close()
        // 处理响应...
    }(url)
}
wg.Wait()

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

复用 TCP 连接：优化 Transport 配置

默认的 http.DefaultTransport 并发能力有限，容易成为性能瓶颈。通过自定义 http.Transport 可显著提升性能。

关键优化点包括：

MaxIdleConns：最大空闲连接数
MaxConnsPerHost：每个主机的最大连接数
MaxIdleConnsPerHost：每个主机的最大空闲连接数
IdleConnTimeout：空闲连接超时时间
DisableKeepAlives：是否禁用长连接（通常设为 false）

优化后的 Client 示例：

client := &http.Client{
    Transport: &http.Transport{
        MaxIdleConns:        100,
        MaxConnsPerHost:     50,
        MaxIdleConnsPerHost: 20,
        IdleConnTimeout:     90 * time.Second,
        DisableKeepAlives:   false,
    },
    Timeout: 30 * time.Second,
}

登录后复制

这样可以有效复用 TCP 连接，减少握手开销，提高吞吐量。