如何用Golang开发简易爬虫程序使用colly框架入门实战-Golang-PHP中文网

如何用Golang开发简易爬虫程序使用colly框架入门实战

P粉602998670

发布： 2025-07-19 10:00:04

原创

1124人浏览过

用golang写爬虫不难，尤其使用colly框架时上手快。1. 安装colly并创建基础爬虫：执行go get github.com/gocolly/colly/v2，编写代码创建collector实例、设置回调函数、访问目标url提取页面标题；2. 抓取列表页中的链接：通过c.onhtml配合css选择器如.post-list a[href]提取详情链接，并可复用collector访问这些链接；3. 存储抓取数据：定义结构体如article保存标题和url，将结果存入变量后续导出为json或数据库；4. 防止重复抓取可通过withdomain限制域名，设置user-agent避免被屏蔽，控制并发和延迟提升大规模抓取效率，动态内容需结合chromedp等工具处理。掌握这些要点即可快速入门colly爬虫开发。

如何用Golang开发简易爬虫程序使用colly框架入门实战

用Golang写爬虫其实不难，尤其当你使用colly这个框架时，上手非常快。Colly是Go语言中最受欢迎的爬虫库之一，结构清晰、性能好，适合做数据抓取类的小项目。如果你刚接触Go和网络爬虫，这篇文章可以帮你快速入门。

安装Colly并创建一个基础爬虫

首先你得确保Go环境已经配好，然后安装colly：

go get github.com/gocolly/colly/v2

登录后复制

接下来是最简单的例子：访问一个网页并打印页面标题。

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "fmt"
    "github.com/gocolly/colly/v2"
)

func main() {
    // 创建一个新的Collector实例
    c := colly.NewCollector()

    // 在每次抓取页面时触发
    c.OnHTML("html", func(e *colly.HTMLElement) {
        title := e.ChildText("title")
        fmt.Println("页面标题是：", title)
    })

    // 开始请求目标URL
    c.Visit("https://example.com")
}

登录后复制

这段代码会访问example.com，提取它的<title>标签内容并输出。看起来简单，但已经包含了colly的基本结构：创建collector → 设置回调函数 → 发起请求。

抓取列表页中的链接

实际开发中，我们经常需要从一个列表页里抓取多个条目的详情链接。比如新闻网站的首页，每条新闻都是一个链接。

假设你想抓取某个博客首页的所有文章链接，可以这样做：

c.OnHTML(".post-list a[href]", func(e *colly.HTMLElement) {
    link := e.Attr("href")
    fmt.Println("发现文章链接：", link)
})

登录后复制

这里的关键点在于选择器要准确，.post-list a[href]表示在class为post-list的容器内找所有带href属性的a标签。你可以根据实际页面结构调整选择器。

如果想进一步访问这些链接，可以用另一个collector去处理详情页，或者复用当前collector，加上限制域名等设置。

AppMall应用商店

AI应用商店，提供即时交付、按需付费的人工智能应用服务

查看详情

存储抓取到的数据

光打印出来不够实用，一般我们会把数据保存下来，比如JSON文件或数据库。

最简单的做法是定义一个结构体，把抓取结果存进去：

type Article struct {
    Title string
    URL   string
}

var articles []Article

c.OnHTML(".post-list a[href]", func(e *colly.HTMLElement) {
    link := e.Attr("href")
    title := e.Text

    articles = append(articles, Article{
        Title: title,
        URL:   link,
    })
})

登录后复制

之后你可以把这些数据导出成JSON，或者插入到SQLite、MySQL这样的数据库里。这部分就不展开讲了，重点还是放在爬虫本身逻辑上。

一些常见问题和建议

防止重复抓取：可以用colly.WithDomain("example.com")限制域名，避免进入无关页面。
设置User-Agent：有些网站会屏蔽默认的Go User-Agent，可以在初始化collector后加上：
```
c.UserAgent = "Mozilla/5.0 (compatible; ExampleBot/1.0; +http://example.com/bot)"
```
登录后复制
控制并发和限速：对于大规模抓取，可以设置最大并发数和延迟：
```
c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 2, Delay: 1 * time.Second})
```
登录后复制
处理JavaScript渲染页面：Colly本身只能抓静态HTML，无法执行JS。如果目标页面是动态加载的内容，就得考虑用其他工具配合，比如chromedp或selenium。