Go语言中高效地使用正则表达式提取与替换内容

func (re *Regexp) FindAllSubmatch(b []byte, n int) [][][]byte

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
)

func main() {
    // 模拟从网络获取HTML内容
    // 在实际应用中，您会从http.Get等获取响应体
    // 这里为了示例的独立性，我们使用一个假定的HTML片段
    // res, err := http.Get("http://www.elpais.es")
    // if err != nil {
    //  panic(err)
    // }
    // defer res.Body.Close()
    // body, err := ioutil.ReadAll(res.Body)
    // if err != nil {
    //  panic(err)
    // }

    // 假设的HTML内容
    body := []byte(`
        <ul>
            <li>Item 1 Content</li>
            <li>Item 2 Content</li>
            <li>Item 3 Content</li>
            <li>Another Item</li>
        </ul>
    `)

    // 定义正则表达式，使用捕获组()来捕获<li>标签内部的内容
    r := regexp.MustCompile("<li>(.+)</li>")

    // 使用FindAllSubmatch直接提取捕获组的内容
    // -1 表示查找所有匹配项
    out := r.FindAllSubmatch(body, -1)

    fmt.Println("使用 FindAllSubmatch 提取的内容:")
    for i, v := range out {
        // v[0] 是完整的匹配，例如 <li>Item 1 Content</li>
        // v[1] 是第一个捕获组的内容，例如 Item 1 Content
        if len(v) > 1 { // 确保存在捕获组
            fmt.Printf("%d: %s\n", i, v[1])
        }
    }

    // 对比原始的低效方法（FindAll + ReplaceAll）
    fmt.Println("\n原始的 FindAll + ReplaceAll 方法提取的内容:")
    fullMatches := r.FindAll(body, -1)
    extractedContents := make([][]byte, len(fullMatches))
    for i, v := range fullMatches {
        extractedContents[i] = r.ReplaceAll(v, []byte("$1"))
    }
    for i, v := range extractedContents {
        fmt.Printf("%d: %s\n", i, v)
    }
}

package main

import (
    "fmt"
    "log"
    "net/http"
    "strings"

    "github.com/PuerkitoBio/goquery"
)

func main() {
    // 模拟从网络获取HTML内容
    res, err := http.Get("http://www.elpais.es") // 替换为您想抓取的实际URL
    if err != nil {
        log.Fatal(err)
    }
    defer res.Body.Close()

    // 使用 goquery.NewDocumentFromReader 从响应体创建文档
    doc, err := goquery.NewDocumentFromReader(res.Body)
    if err != nil {
        log.Fatal(err)
    }

    fmt.Println("使用 goquery 提取的内容:")
    // 使用 .Find("li") 查找所有 <li> 元素
    doc.Find("li").Each(func(i int, s *goquery.Selection) {
        // .Text() 方法获取元素的文本内容，并去除前后空格
        fmt.Printf("%d: %s\n", i, strings.TrimSpace(s.Text()))
    })

    // 示例：提取前10个 <li> 元素的内容
    fmt.Println("\n使用 goquery 提取前10个 <li> 元素的内容:")
    doc.Find("li").Slice(0, 10).Each(func(i int, s *goquery.Selection) {
        fmt.Printf("%d: %s\n", i, strings.TrimSpace(s.Text()))
    })
}