Go爬虫核心是稳定、全面、防封、易维护：需自定义http.Client控制超时/重试/重定向，显式设User-Agent和Cookie管理，用golang.org/x/net/html解析HTML，通过channel限并发并按Host独立节流。
Go 语言写简单爬虫，核心不是“能不能发请求”，而是「怎么发得稳、收得全、不被封、好维护」。直接上 http.Get 能跑通首页，但遇到重定向、Cookie 管理、超时控制、User-Agent 伪造、反爬响应（如 403/429）就立刻卡住。
用 http.Client 替代 http.Get 控制请求生命周期
http.Get 是便捷封装，底层用默认 http.DefaultClient，但默认值对爬虫极不友好：无超时、无重试、无视重定向策略、无法设 Header。真实场景必须自定义 http.Client。
常见错误是只改 Timeout 却忽略 Transport 的连接池和 Keep-Alive 设置，导致大量 TIME_WAIT 或 DNS 缓存失效。
-
Timeout应拆分为Timeout（总耗时）、IdleConnTimeout（空闲连接复用上限）、TLSHandshakeTimeout（TLS 握手上限） - 务必显式设置
User-Agent，否则多数网站返回 403；可用常见浏览器 UA 字符串，如"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" - 禁用自动重定向（
CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }），便于手动判断跳转逻辑和登录态变化
client := &http.Client{
Timeout: 10 * time.Second,
Transport: &http.Transport{
IdleConnTimeout: 30 * time.Second,
TLSHandshakeTimeout: 5 * time.Second,
MaxIdleConns: 100,
MaxIdleConnsPerHost: 100,
ForceAttemptHTTP2: true,
},
}
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64)")
resp, err := client.Do(req)解析 HTML 用 golang.org/x/net/html 而非正则
用 regexp 提取链接或标题，在嵌套标签、属性换行、HTML 注释等场景下极易误匹配或 panic。标准库 golang.org/x/net/html 是流式解析器，内存友好且健壮。
立即学习“go语言免费学习笔记（深入）”；
注意：它不自动处理编码（如 GBK），遇到中文乱码需先用 golang.org/x/net/html/charset 检测并转换；也不支持 CSS 选择器，如需 div.item a.title 这类写法，得搭配第三方库如 github.com/PuerkitoBio/goquery。
- 遍历节点用
html.NodeTypeElement判断元素类型，避免误读文本/注释节点 - 获取属性用
node.Attr循环查找，node.Attr[i].Key == "href"，别硬索引 - 文本内容需递归提取子节点中的
Text类型节点，不能只取FirstChild.Data
处理重定向、Cookie 和登录态的最小可行方案
很多目标站需要 Cookie 维持会话（如登录后才能访问详情页）。Go 默认 http.Client 自带 Jar，但必须显式初始化，否则重定向后的 Cookie 不会自动携带。
常见坑：用 cookiejar.New(nil) 初始化却忘记传入 &cookiejar.Options{PublicSuffixList: publicsuffix.List}，导致子域名 Cookie 无法共享（如从 login.example.com 登录后，app.example.com 拿不到 Cookie）。
- 启用 Cookie 管理只需两行：
jar, _ := cookiejar.New(&cookiejar.Options{PublicSuffixList: publicsuffix.List})，再赋给client.Jar = jar - 手动注入 Cookie（如已有登录态）：构造
*http.Cookie后调用jar.SetCookies(u, []*http.Cookie{cookie}) - 检查是否已登录：解析响应 HTML 中是否存在
欢迎回来或logout链接，而非只看状态码
并发控制与请求节流不能只靠 time.Sleep
盲目启 100 个 goroutine 发请求，大概率触发目标站限流（429 Too Many Requests）或本地端口耗尽（socket: too many open files）。必须做并发数限制 + 请求间隔控制。
推荐用带缓冲的 channel 控制并发数，比 sync.WaitGroup + time.Sleep 更精准；间隔控制应基于每个请求完成时间点计算，而非固定 sleep，否则高延迟请求会拖慢整体节奏。
- 并发数建议从 3–5 开始，视目标站响应速度和稳定性逐步上调
- 请求间最小间隔不低于 1 秒，部分站点要求 2–3 秒（观察其 robots.txt 的
Crawl-delay） - 对同一 Host 做独立限速，避免 A 站快、B 站慢互相干扰
真正难的不是发多少请求，而是当页面返回 503、重定向到验证码页、或 JS 渲染内容时，如何优雅降级——这些没法靠一个 http.Client 解决，得引入渲染引擎或规则兜底。
