Golang实现简单爬虫抓取网站数据-Golang-PHP中文网

Golang实现简单爬虫抓取网站数据

P粉602998670

发布： 2025-09-25 12:26:01

原创

165人浏览过

答案：用Golang写爬虫需发送HTTP请求并解析HTML。1. 安装goquery库；2. 使用net/http发起带User-Agent的GET请求；3. 用goquery解析HTML，通过CSS选择器提取标题、段落等内容；4. 将数据保存为文件或结构化存储；5. 注意设置休眠、检查robots.txt、处理超时与重定向，动态内容需结合Chromedp。

golang实现简单爬虫抓取网站数据

用Golang写一个简单的爬虫抓取网站数据并不复杂，主要依赖标准库中的 net/http 发起请求，配合 goquery 或 regexp 解析HTML内容。下面是一个基础但实用的实现流程。

1. 安装必要依赖

Go 标准库可以处理HTTP请求，但解析HTML时推荐使用第三方库 goquery（类似 jQuery 的语法）：

go get github.com/PuerkitoBio/goquery

登录后复制

2. 发送HTTP请求获取网页内容

使用 net/http 发起 GET 请求，获取目标网页的响应体：

resp, err := http.Get("https://httpbin.org/html")
if err != nil {
    log.Fatal(err)
}
defer resp.Body.Close()

if resp.StatusCode != http.StatusOK {
    log.Fatalf("HTTP请求失败: %d", resp.StatusCode)
}

登录后复制

注意：有些网站会设置 User-Agent 检测，建议加上请求头模拟浏览器：

立即学习“go语言免费学习笔记（深入）”；

client := &http.Client{}
req, _ := http.NewRequest("GET", "https://httpbin.org/html", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)")

resp, err := client.Do(req)

登录后复制

3. 使用 goquery 解析HTML提取数据

将响应体传给 goquery，然后用CSS选择器提取所需内容。例如抓取页面标题和段落：

知网AI智能写作

知网AI智能写作，写文档、写报告如此简单

查看详情

doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
    log.Fatal(err)
}

doc.Find("h1").Each(func(i int, s *goquery.Selection) {
    fmt.Printf("标题 %d: %s\n", i, s.Text())
})

doc.Find("p").Each(func(i int, s *goquery.Selection) {
    fmt.Printf("段落 %d: %s\n", i, s.Text())
})

登录后复制

4. 保存或处理抓取的数据

可以把结果存为 JSON、CSV 或打印到控制台。例如简单输出到文件：

file, _ := os.Create("output.txt")
defer file.Close()

doc.Find("li").Each(func(i int, s *goquery.Selection) {
    line := fmt.Sprintf("%d: %s\n", i, s.Text())
    file.WriteString(line)
})

登录后复制

也可以结构化存储：

type Item struct {
    Title string
    Desc  string
}

var items []Item

doc.Find(".item").Each(func(i int, s *goquery.Selection) {
    item := Item{
        Title: s.Find("h3").Text(),
        Desc:  s.Find("p").Text(),
    }
    items = append(items, item)
})

登录后复制