Go语言中高效提取正则表达式捕获组内容及网页解析实践

package main

import (
    "fmt"
    "regexp"
)

func main() {
    // 模拟从网页获取的HTML片段
    htmlContent := `
        <ul>
            <li>第一项内容</li>
            <li>第二项内容</li>
            <li>第三项内容</li>
        </ul>
    `

    // 编译正则表达式，捕获组 (.+?) 用于提取标签内的内容
    // 注意使用非贪婪匹配，避免匹配到多个<li>标签
    r := regexp.MustCompile(`<li>(.+?)</li>`)

    // 第一次匹配：FindAll 提取包含标签的完整表达式
    fullMatches := r.FindAll([]byte(htmlContent), -1)

    fmt.Println("--- 完整匹配结果 (包含标签) ---")
    for i, v := range fullMatches {
        fmt.Printf("%d: %s\n", i, string(v))
    }

    // 第二次处理：ReplaceAll 移除标签，提取捕获组内容
    extractedContents := make([][]byte, len(fullMatches))
    for i, v := range fullMatches {
        // $1 代表正则表达式中的第一个捕获组
        extractedContents[i] = r.ReplaceAll(v, []byte("$1"))
    }

    fmt.Println("\n--- 提取内容结果 (移除标签) ---")
    for i, v := range extractedContents {
        fmt.Printf("%d: %s\n", i, string(v))
    }
}

package main

import (
    "fmt"
    "regexp"
)

func main() {
    htmlContent := `
        <ul>
            <li>第一项内容</li>
            <li>第二项内容</li>
            <li>第三项内容</li>
        </ul>
    `

    // 编译正则表达式，捕获组 (.+?) 用于提取标签内的内容
    r := regexp.MustCompile(`<li>(.+?)</li>`)

    // 使用 FindAllSubmatch 一次性获取所有匹配及其捕获组
    matches := r.FindAllSubmatch([]byte(htmlContent), -1)

    fmt.Println("--- 使用 FindAllSubmatch 提取内容 ---")
    for i, match := range matches {
        if len(match) > 1 { // 确保存在至少一个捕获组
            // match[0] 是整个匹配 (例如 <li>第一项内容</li>)
            // match[1] 是第一个捕获组 (例如 第一项内容)
            fmt.Printf("%d: 完整匹配: %s, 提取内容: %s\n", i, string(match[0]), string(match[1]))
        }
    }
}

package main

import (
    "fmt"
    "log"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

func main() {
    // 模拟从网络获取网页内容
    // 注意：实际应用中应处理网络请求错误，例如网络中断、DNS解析失败等
    res, err := http.Get("http://example.com") // 替换为实际URL
    if err != nil {
        log.Fatalf("发起HTTP请求失败: %v", err)
    }
    defer res.Body.Close() // 确保关闭响应体

    if res.StatusCode != 200 {
        log.Fatalf("HTTP请求失败，状态码: %d %s", res.StatusCode, res.Status)
    }

    // 使用 goquery.NewDocumentFromReader 从响应体创建文档
    doc, err := goquery.NewDocumentFromReader(res.Body)
    if err != nil {
        log.Fatalf("解析HTML文档失败: %v", err)
    }

    fmt.Println("--- 使用 goquery 提取内容 ---")
    // 使用 CSS 选择器查找所有 <li> 元素，并遍历它们
    doc.Find("li").Each(func(i int, s *goquery.Selection) {
        // 获取元素的文本内容
        fmt.Printf("%d: %s\n", i, s.Text())
    })

    // goquery也支持链式操作，例如提取前10个<li>元素的内容
    // fmt.Println("\n--- 使用 goquery 提取前10个 <li> 元素 ---")
    // doc.Find("li").Slice(0, 10).Each(func(i int, s *goquery.Selection) {
    //  fmt.Printf("%d: %s\n", i, s.Text())
    // })
}