答案：使用Golang结合net/http和goquery库可轻松实现网页标题与链接抓取。首先通过http.Get发起请求，再用goquery解析HTML，利用类似jQuery的选择器查找a[href^='/pkg']元素，提取文本与href属性并拼接完整链接，最后打印输出。示例以https://pkg.go.dev为目标站点，每条结果按序号展示标题和链接。需注意选择器准确性、添加错误处理、遵守robots.txt及控制请求频率。可扩展为保存至文件或支持命令行参数。
用Golang写一个简单的爬虫并不复杂，关键在于理解HTTP请求、HTML解析和数据提取的基本流程。下面通过一个实战示例，带你实现一个抓取网页标题和链接的简易爬虫。
项目目标
从指定网页（例如一个博客列表页）抓取所有文章的标题和对应链接，并打印输出。
所需依赖
Go标准库已经能完成大部分工作，但HTML解析我们使用一个轻量第三方库 goquery，它类似jQuery的操作方式，非常方便。
安装 goquery：
立即学习“go语言免费学习笔记（深入）”；
go mod init simple-spider
go get github.com/PuerkitoBio/goquery
代码实现
以下是一个完整可运行的示例，抓取某个技术博客的文章列表（以示例网站 https://pkg.go.dev 为例，实际可替换为目标站点）：
package main
import (
"fmt"
"log"
"net/http"
"github.com/PuerkitoBio/goquery"
)
func crawl(url string) {
// 发起 GET 请求
resp, err := http.Get(url)
if err != nil {
log.Fatal("请求失败:", err)
}
defer resp.Body.Close()
// 确保状态码是 200
if resp.StatusCode != 200 {
log.Fatalf("状态码错误: %d", resp.StatusCode)
}
// 使用 goquery 解析 HTML
doc, err := goquery.NewDocumentFromReader(resp.Body)
if err != nil {
log.Fatal("解析 HTML 失败:", err)
}
// 查找文章标题和链接（根据实际网页结构调整选择器）
doc.Find("a[href^='/pkg']").Each(func(i int, s *goquery.Selection) {
title := s.Text() // 获取链接文本
href, _ := s.Attr("href") // 获取 href 属性
link := "https://pkg.go.dev" + href // 拼接完整 URL
fmt.Printf("文章 %d:\n", i+1)
fmt.Printf(" 标题: %s\n", title)
fmt.Printf(" 链接: %s\n", link)
})
}
func main() {
url := "https://pkg.go.dev"
crawl(url)
}
运行结果
程序会输出类似：
文章 1: 标题: bufio 链接: https://pkg.go.dev/bufio 文章 2: 标题: bytes 链接: https://pkg.go.dev/bytes ...
注意事项与优化建议
-
选择器要准确：使用浏览器开发者工具检查目标网页结构，调整
Find()
中的选择器。 -
避免频繁请求：爬取多个页面时加入延时，遵守网站的
robots.txt
规则。 - 错误处理更完善：可增加超时控制、重试机制。
- 并发爬取：使用 goroutine 可以并发抓取多个页面，提升效率（注意控制并发数）。
扩展思路
这个爬虫可以进一步扩展：
- 将结果保存为 JSON 或 CSV 文件
- 加入命令行参数传入目标 URL
- 使用
colly
框架实现更复杂的爬虫逻辑
