Go语言中高效获取HTML节点文本内容的教程

本文详细介绍了如何在go语言中使用`go.net/html`库高效地提取html节点的文本内容。针对文本可能嵌套在子元素中的复杂情况，文章提供了一种递归遍历节点树并收集所有文本节点的解决方案，并通过示例代码演示了如何准确获取链接等元素的可见文本，从而克服直接获取`elementnode`数据时的局限性。

引言

在Go语言中进行HTML解析和数据提取时，go.net/html库是一个强大且常用的工具。它能将HTML文档解析成一个树形结构，方便我们遍历和操作各个节点。然而，在实际应用中，开发者常会遇到一个问题：如何准确地获取一个HTML元素的“可见”文本内容，尤其当这些文本分散在多个子节点甚至嵌套的子元素中时。例如，对于<a href="link"><strong>Foo</strong>Bar</a>这样的HTML结构，我们期望获取的是“FooBar”，而不是仅仅某个特定子节点的文本。

html.Node结构解析

理解go.net/html库中的html.Node结构是解决问题的关键。每个html.Node都代表HTML树中的一个部分，它有多种类型（NodeType），例如：

• html.ElementNode：代表一个HTML元素，如<a>、<div>、<span>等。其Data字段通常存储标签名。
• html.TextNode：代表元素内部的纯文本内容。其Data字段存储具体的文本字符串。
• html.DocumentNode：代表整个HTML文档的根节点。
• html.CommentNode：代表HTML注释。

一个HTML元素（ElementNode）的文本内容通常不是直接存储在其Data字段中，而是作为其子节点（FirstChild、NextSibling）的TextNode类型存在。更复杂的是，这些TextNode可能被其他ElementNode（如<strong>、<em>）包裹，形成嵌套结构。

考虑以下HTML片段的节点树结构：

立即学习“go语言免费学习笔记（深入）”；

<a href="link"><strong>Foo</strong>Bar</a>

其对应的html.Node树大致如下：

• ElementNode "a" (包含属性 href="link")
  • ElementNode "strong"
    • TextNode "Foo"
  • TextNode "Bar"

从这个结构可以看出，要获取<a>标签的完整文本内容“FooBar”，我们需要遍历其所有子节点，并收集所有TextNode的Data。

传统遍历方法的局限性

go.net/html库提供了一种递归遍历HTML节点树的常见模式，例如以下代码用于提取<a>标签的href属性：

云雀语言模型

云雀是一款由字节跳动研发的语言模型，通过便捷的自然语言交互，能够高效的完成互动对话

54

查看详情

package main

import (
    "fmt"
    "log"
    "strings"

    "golang.org/x/net/html" // 现代Go版本应使用此路径
)

func main() {
    s := `<p>Links:</p><ul><li><a href="foo">Foo</a><li><a href="/bar/baz">BarBaz</a></ul>`
    doc, err := html.Parse(strings.NewReader(s))
    if err != nil {
        log.Fatal(err)
    }

    var f func(*html.Node)
    f = func(n *html.Node) {
        if n.Type == html.ElementNode && n.Data == "a" {
            for _, a := range n.Attr {
                if a.Key == "href" {
                    fmt.Println(a.Val) // 输出 href 属性值
                    break
                }
            }
            // 此时如果直接尝试获取 n.Data 或 n.FirstChild.Data，将无法得到完整的可见文本
        }
        for c := n.FirstChild; c != nil; c = c.NextSibling {
            f(c)
        }
    }
    f(doc)
}

上述代码能够成功输出foo和/bar/baz。然而，如果目标是获取链接的可见文本，即Foo和BarBaz，那么直接在找到<a>标签时操作n.Data或n.FirstChild.Data是无法满足要求的，因为它只关注当前节点的直接数据或第一个子节点的数据，无法处理嵌套和多文本子节点的情况。

解决方案：递归收集文本节点

要准确获取一个HTML元素的完整可见文本，我们需要编写一个辅助函数，该函数能够递归地遍历目标节点的所有子孙节点，并将遇到的所有TextNode的Data字段内容收集起来。

以下是实现这一功能的辅助函数collectText：

package main

import (
    "bytes"
    "fmt"
    "log"
    "strings"

    "golang.org/x/net/html"
)

// collectText 递归遍历节点及其子孙节点，收集所有TextNode的文本内容到bytes.Buffer中。
func collectText(n *html.Node, buf *bytes.Buffer) {
    // 如果当前节点是TextNode类型，则将其Data内容写入缓冲区
    if n.Type == html.TextNode {
        buf.WriteString(n.Data)
    }
    // 递归遍历所有子节点
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        collectText(c, buf)
    }
}

func main() {
    s := `<p>Links:</p><ul><li><a href="foo"><strong>Foo</strong></a><li><a href="/bar/baz">Bar<em>Baz</em></a></ul>`
    doc, err := html.Parse(strings.NewReader(s))
    if err != nil {
        log.Fatal(err)
    }

    var f func(*html.Node)
    f = func(n *html.Node) {
        // 当找到一个ElementNode类型且标签名为"a"的节点时
        if n.Type == html.ElementNode && n.Data == "a" {
            // 创建一个bytes.Buffer来收集该<a>标签内的所有文本
            textBuffer := &bytes.Buffer{}
            collectText(n, textBuffer) // 从当前<a>节点开始收集文本
            fmt.Println(textBuffer.String()) // 打印收集到的文本
        }
        // 继续遍历所有子节点
        for c := n.FirstChild; c != nil; c = c.NextSibling {
            f(c)
        }
    }
    f(doc)
}

在这个改进后的代码中：

1. collectText函数：
   • 接收一个*html.Node和一个*bytes.Buffer作为参数。
   • 如果当前节点n是html.TextNode类型，它会将n.Data（即纯文本内容）写入到bytes.Buffer中。
   • 然后，它会递归地对其所有子节点调用自身，确保所有嵌套的文本内容都被捕获。
2. 主遍历函数f的修改：
   • 当f函数找到一个<a>标签时，它不再尝试直接获取文本。
   • 而是创建一个新的bytes.Buffer实例。
   • 然后，它调用collectText(n, textBuffer)，将当前<a>节点n及其所有子孙节点中的文本内容收集到textBuffer中。
   • 最后，通过textBuffer.String()获取并打印完整的文本内容。

运行上述代码，将得到期望的输出：

Foo
BarBaz

这正是我们希望从<a href="foo"><strong>Foo</strong></a>和<a href="/bar/baz">Bar<em>Baz</em></a>中提取的文本内容。

注意事项与总结

• bytes.Buffer的优势：在Go语言中进行大量字符串拼接时，使用bytes.Buffer比使用+或fmt.Sprintf更高效，因为它减少了内存分配和垃圾回收的开销。
• 通用性：collectText函数是通用的。你可以将它应用于任何html.Node，以获取该节点及其所有子孙节点的纯文本内容。例如，如果你想获取整个<body>标签的文本内容，只需调用collectText(bodyNode, buffer)。
• 空白字符处理：collectText会原样收集所有TextNode的Data。这意味着如果HTML中包含换行符、多个空格等空白字符，它们也会被收集。如果需要更“干净”的文本，你可能需要在收集后对textBuffer.String()的结果进行额外的字符串处理（例如，使用strings.TrimSpace或正则表达式移除多余空白）。
• 错误处理：在实际应用中，html.Parse可能会返回错误，务必进行适当的错误处理。

通过理解html.Node的结构并采用递归收集文本节点的方法，我们可以有效地解决在Go语言中使用go.net/html库提取HTML元素可见文本内容的挑战，即使面对复杂的嵌套HTML结构也能准确获取所需数据。

以上就是Go语言中高效获取HTML节点文本内容的教程的详细内容，更多请关注php中文网其它相关文章！