用golang写爬虫不难，尤其使用colly框架时上手快。1. 安装colly并创建基础爬虫：执行go get github.com/gocolly/colly/v2，编写代码创建collector实例、设置回调函数、访问目标url提取页面标题；2. 抓取列表页中的链接：通过c.onhtml配合css选择器如.post-list a[href]提取详情链接，并可复用collector访问这些链接；3. 存储抓取数据：定义结构体如article保存标题和url，将结果存入变量后续导出为json或数据库；4. 防止重复抓取可通过withdomain限制域名，设置user-agent避免被屏蔽，控制并发和延迟提升大规模抓取效率，动态内容需结合chromedp等工具处理。掌握这些要点即可快速入门colly爬虫开发。
用Golang写爬虫其实不难，尤其当你使用colly这个框架时，上手非常快。Colly是Go语言中最受欢迎的爬虫库之一，结构清晰、性能好，适合做数据抓取类的小项目。如果你刚接触Go和网络爬虫，这篇文章可以帮你快速入门。
安装Colly并创建一个基础爬虫
首先你得确保Go环境已经配好，然后安装colly：
go get github.com/gocolly/colly/v2
接下来是最简单的例子：访问一个网页并打印页面标题。
立即学习“go语言免费学习笔记（深入）”；
package main
import (
"fmt"
"github.com/gocolly/colly/v2"
)
func main() {
// 创建一个新的Collector实例
c := colly.NewCollector()
// 在每次抓取页面时触发
c.OnHTML("html", func(e *colly.HTMLElement) {
title := e.ChildText("title")
fmt.Println("页面标题是：", title)
})
// 开始请求目标URL
c.Visit("https://example.com")
}这段代码会访问example.com，提取它的
抓取列表页中的链接
实际开发中，我们经常需要从一个列表页里抓取多个条目的详情链接。比如新闻网站的首页，每条新闻都是一个链接。
假设你想抓取某个博客首页的所有文章链接，可以这样做：
c.OnHTML(".post-list a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
fmt.Println("发现文章链接：", link)
})这里的关键点在于选择器要准确，.post-list a[href]表示在class为post-list的容器内找所有带href属性的a标签。你可以根据实际页面结构调整选择器。
如果想进一步访问这些链接，可以用另一个collector去处理详情页，或者复用当前collector，加上限制域名等设置。
存储抓取到的数据
光打印出来不够实用，一般我们会把数据保存下来，比如JSON文件或数据库。
最简单的做法是定义一个结构体，把抓取结果存进去：
type Article struct {
Title string
URL string
}
var articles []Article
c.OnHTML(".post-list a[href]", func(e *colly.HTMLElement) {
link := e.Attr("href")
title := e.Text
articles = append(articles, Article{
Title: title,
URL: link,
})
})之后你可以把这些数据导出成JSON，或者插入到SQLite、MySQL这样的数据库里。这部分就不展开讲了，重点还是放在爬虫本身逻辑上。
一些常见问题和建议
防止重复抓取：可以用
colly.WithDomain("example.com")限制域名，避免进入无关页面。-
设置User-Agent：有些网站会屏蔽默认的Go User-Agent，可以在初始化collector后加上：
c.UserAgent = "Mozilla/5.0 (compatible; ExampleBot/1.0; +http://example.com/bot)"
-
控制并发和限速：对于大规模抓取，可以设置最大并发数和延迟：
c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 2, Delay: 1 * time.Second}) 处理JavaScript渲染页面：Colly本身只能抓静态HTML，无法执行JS。如果目标页面是动态加载的内容，就得考虑用其他工具配合，比如chromedp或selenium。
基本上就这些。用colly写个简易爬虫并不复杂，关键是熟悉HTML结构和CSS选择器的写法。多练几个小项目，就能掌握常见的抓取套路了。
