使用goroutine和channel实现并发爬虫，通过worker池控制协程数量，避免资源耗尽；结合信号量或缓冲channel限制并发请求，防止被封IP；利用goquery或xpath解析HTML，结构化数据后通过channel安全传递至存储协程；定义统一数据结构，集中写入数据库或文件；加入随机延时、UA轮换、代理池及超时控制，提升稳定性与反反爬能力。
用Golang写并发爬虫，核心是利用goroutine和channel控制请求并发、解析数据并安全存储。关键是避免过多goroutine导致系统资源耗尽，同时保证数据不丢失或重复处理。
1. 使用goroutine实现并发抓取
每个URL可以交给一个独立的goroutine去获取内容，这样能显著提升抓取速度。但不能无限制开启goroutine，建议使用带缓冲的worker池模式。
示例思路：
- 创建固定数量的工作协程（如10个），从任务channel中读取待抓取的URL
- 使用net/http发送GET请求获取页面内容
- 将响应结果传给后续处理管道
代码片段示意：
立即学习“go语言免费学习笔记（深入）”；
for i := 0; i < workerNum; i++ {
go func() {
for url := range taskCh {
resp, err := http.Get(url)
if err != nil {
log.Printf("Failed to fetch %s: %v", url, err)
continue
}
body, _ := io.ReadAll(resp.Body)
resultCh <- ParseData(body) // 解析后发送到结果通道
resp.Body.Close()
}
}()
}
2. 控制并发数与防止被封IP
高并发容易触发网站反爬机制。合理控制频率和连接数很重要。
android rtsp流媒体播放介绍 中文WORD版
下载
本文档主要讲述的是android rtsp流媒体播放介绍；实时流协议（RTSP）是应用级协议，控制实时数据的发送。RTSP提供了一个可扩展框架，使实时数据，如音频与视频，的受控、点播成为可能。数据源包括现场数据与存储在剪辑中数据。该协议目的在于控制多个数据发送连接，为选择发送通道，如UDP、组播UDP与TCP，提供途径，并为选择基于RTP上发送机制提供方法。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看看
- 使用semaphore（信号量）或带缓存的channel限制同时运行的goroutine数量
- 在每次请求前加入随机延时：time.Sleep(time.Duration(rand.Intn(500)) * time.Millisecond)
- 设置合理的User-Agent，甚至轮换多个UA字符串
- 考虑使用代理池应对IP封锁问题
3. 数据解析与结构化存储
抓取到HTML后需要提取有效信息。常用库有：
- goquery：类似jQuery语法，适合解析HTML结构
- xpath（通过antchfx/xpath库）：精准定位节点
- 正则表达式：适用于简单文本匹配
提取后的数据建议定义结构体统一格式：
type Item struct {
Title string
URL string
Summary string
}
然后通过channel发送到存储协程，集中写入文件、数据库或消息队列。
4. 安全传递数据与错误处理
多goroutine环境下，共享变量需加锁或通过channel通信。推荐使用channel传递结果。
- 定义resultCh chan Item接收解析后的数据
- 单独启动一个goroutine负责写入MySQL、MongoDB或JSON文件
- 对网络异常、超时、解析失败等情况做recover和日志记录
- 可结合context.WithTimeout防止请求卡死
基本上就这些。合理设计任务分发、并发控制和数据流，Golang的并发模型能让爬虫高效稳定运行。不复杂但容易忽略细节，比如关闭resp.Body或漏掉error判断，都会影响长期运行效果。
