本文深入探讨了如何利用go语言的并发特性，高效地并行读取多个url资源，并为每个请求设置独立的超时机制。我们将通过`goroutine`、`channel`和`context`包，构建一个健壮的解决方案，确保在面对慢响应url时，程序能够及时忽略并继续处理其他请求，从而提升整体的数据获取效率。
Go语言以其内置的并发原语而闻名，其中goroutine和channel是核心。goroutine是一种轻量级的线程，由Go运行时管理，启动成本极低，可以轻松创建成千上万个。channel则提供了一种安全的方式，让不同的goroutine之间进行通信和数据同步。
在并行读取多个URL的场景中，我们可以为每个URL启动一个独立的goroutine来执行网络请求。当这些goroutine完成各自的任务后，它们可以通过channel将结果（或错误）发送回主goroutine进行汇总处理。
在网络请求中，超时控制至关重要，它可以防止程序长时间阻塞在无响应的请求上。Go语言的context包提供了一种通用的方式来管理请求的生命周期，包括取消操作和设置超时。
context.WithTimeout函数可以创建一个带有超时的Context。当这个Context的超时时间到达时，它会自动触发取消信号。HTTP客户端（如http.Client）可以接收一个Context参数，当Context被取消时，HTTP请求也会被中断，并返回相应的错误。
立即学习“go语言免费学习笔记（深入）”；
我们将分步构建一个能够并行读取多个URL并处理超时的Go程序。
为了统一处理每个URL的请求结果，我们可以定义一个结构体来封装URL、响应内容和可能发生的错误。
package main
import (
"fmt"
"io/ioutil"
"net/http"
"time"
"context"
"sync"
)
// URLResult 存储每个URL的请求结果
type URLResult struct {
URL string
Content string
Error error
}创建一个函数，负责获取单个URL的内容，并集成超时机制。
// fetchURLWithTimeout 使用指定的上下文和超时时间获取URL内容
func fetchURLWithTimeout(ctx context.Context, url string) URLResult {
req, err := http.NewRequestWithContext(ctx, "GET", url, nil)
if err != nil {
return URLResult{URL: url, Error: fmt.Errorf("创建请求失败: %w", err)}
}
client := &http.Client{}
resp, err := client.Do(req)
if err != nil {
// 检查是否是上下文取消导致的超时错误
if ctx.Err() == context.DeadlineExceeded {
return URLResult{URL: url, Error: fmt.Errorf("请求超时 (%s)", url)}
}
return URLResult{URL: url, Error: fmt.Errorf("HTTP请求失败: %w", err)}
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusOK {
return URLResult{URL: url, Error: fmt.Errorf("HTTP状态码非200: %d", resp.StatusCode)}
}
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
return URLResult{URL: url, Error: fmt.Errorf("读取响应体失败: %w", err)}
}
return URLResult{URL: url, Content: string(body), Error: nil}
}在这个函数中，http.NewRequestWithContext是关键，它将context.Context与HTTP请求关联起来。当ctx被取消（例如超时），client.Do(req)将立即返回错误。我们通过检查ctx.Err() == context.DeadlineExceeded来判断是否是超时错误。
现在，我们将把多个URL放入goroutine中并行执行，并使用channel来收集它们的执行结果。sync.WaitGroup用于等待所有goroutine完成。
func main() {
urls := []string{
"http://example.com",
"http://www.google.com",
"http://httpbin.org/delay/5", // 模拟一个会超时的URL (5秒延迟)
"http://www.bing.com",
"http://httpbin.org/status/500", // 模拟一个错误状态码的URL
}
// 设置全局请求超时时间，例如1秒
requestTimeout := 1 * time.Second
resultsChan := make(chan URLResult, len(urls)) // 带缓冲的channel，防止goroutine阻塞
var wg sync.WaitGroup
fmt.Printf("开始并行读取 %d 个URL，每个请求超时 %s\n", len(urls), requestTimeout)
for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
// 为每个URL创建一个独立的带超时上下文
ctx, cancel := context.WithTimeout(context.Background(), requestTimeout)
defer cancel() // 确保在goroutine退出时释放资源
result := fetchURLWithTimeout(ctx, u)
resultsChan <- result // 将结果发送到channel
}(url)
}
// 启动一个goroutine来等待所有工作完成，然后关闭结果channel
go func() {
wg.Wait()
close(resultsChan)
}()
// 从channel中接收并处理所有结果
for result := range resultsChan {
if result.Error != nil {
fmt.Printf("URL: %s, 错误: %v\n", result.URL, result.Error)
} else {
// 为了简洁，只打印前100个字符
contentPreview := result.Content
if len(contentPreview) > 100 {
contentPreview = contentPreview[:100] + "..."
}
fmt.Printf("URL: %s, 内容预览: %s\n", result.URL, contentPreview)
}
}
fmt.Println("所有URL处理完毕。")
}package main
import (
"context"
"fmt"
"io/ioutil"
"net/http"
"sync"
"time"
)
// URLResult 存储每个URL的请求结果
type URLResult struct {
URL string
Content string
Error error
}
// fetchURLWithTimeout 使用指定的上下文和超时时间获取URL内容
func fetchURLWithTimeout(ctx context.Context, url string) URLResult {
req, err := http.NewRequestWithContext(ctx, "GET", url, nil)
if err != nil {
return URLResult{URL: url, Error: fmt.Errorf("创建请求失败: %w", err)}
}
client := &http.Client{}
resp, err := client.Do(req)
if err != nil {
// 检查是否是上下文取消导致的超时错误
if ctx.Err() == context.DeadlineExceeded {
return URLResult{URL: url, Error: fmt.Errorf("请求超时 (%s)", url)}
}
return URLResult{URL: url, Error: fmt.Errorf("HTTP请求失败: %w", err)}
}
defer resp.Body.Close() // 确保关闭响应体
if resp.StatusCode != http.StatusOK {
return URLResult{URL: url, Error: fmt.Errorf("HTTP状态码非200: %d", resp.StatusCode)}
}
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
return URLResult{URL: url, Error: fmt.Errorf("读取响应体失败: %w", err)}
}
return URLResult{URL: url, Content: string(body), Error: nil}
}
func main() {
urls := []string{
"http://example.com",
"http://www.google.com",
"http://httpbin.org/delay/5", // 模拟一个会超时的URL (5秒延迟)
"http://www.bing.com",
"http://httpbin.org/status/500", // 模拟一个错误状态码的URL
"https://www.baidu.com",
}
// 设置全局请求超时时间，例如1秒
requestTimeout := 1 * time.Second
resultsChan := make(chan URLResult, len(urls)) // 带缓冲的channel，防止goroutine阻塞
var wg sync.WaitGroup
fmt.Printf("开始并行读取 %d 个URL，每个请求超时 %s\n", len(urls), requestTimeout)
for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
// 为每个URL创建一个独立的带超时上下文
ctx, cancel := context.WithTimeout(context.Background(), requestTimeout)
defer cancel() // 确保在goroutine退出时释放资源，避免内存泄漏
result := fetchURLWithTimeout(ctx, u)
resultsChan <- result // 将结果发送到channel
}(url)
}
// 启动一个goroutine来等待所有工作完成，然后关闭结果channel
// 这样主goroutine才能在所有结果都发送完毕后，安全地遍历channel直到关闭
go func() {
wg.Wait()
close(resultsChan)
}()
// 从channel中接收并处理所有结果
for result := range resultsChan {
if result.Error != nil {
fmt.Printf("URL: %s, 错误: %v\n", result.URL, result.Error)
} else {
// 为了简洁，只打印前100个字符
contentPreview := result.Content
if len(contentPreview) > 100 {
contentPreview = contentPreview[:100] + "..."
}
fmt.Printf("URL: %s, 内容预览: %s\n", result.URL, contentPreview)
}
}
fmt.Println("所有URL处理完毕。")
}通过结合Go语言的goroutine、channel和context包，我们可以优雅且高效地实现并行URL读取和请求超时控制。这种模式不仅适用于网络请求，也广泛应用于各种需要并发执行任务并管理其生命周期的场景。理解并熟练运用这些并发原语是编写高性能、健壮Go应用程序的关键。
以上就是Go语言并发读取多URL及超时控制的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
154
收藏
