Go语言中高效提取HTML节点文本内容的教程

在使用go语言进行web内容抓取和解析时，`golang.org/x/net/html`（原`code.google.com/p/go.net/html`）库是一个强大而基础的工具，它能将html文档解析成一个dom树结构。然而，对于初学者而言，一个常见的困惑是如何从一个`html.node`中提取其包含的全部文本内容，特别是当文本并非直接作为该节点的子节点，而是嵌套在更深层的子元素中时。标准的遍历示例通常侧重于获取属性值，例如``标签的`href`属性，但要获取`foo`中的“foo”或者`foobar`中的“foobar”，则需要更精细的处理。

理解HTML节点树结构

在深入解决方案之前，理解go.net/html如何表示HTML结构至关重要。当HTML文档被解析后，它会形成一个树状结构，其中每个部分都是一个html.Node。html.Node有不同的类型（NodeType），例如：

• html.DocumentNode: 整个HTML文档的根节点。
• html.ElementNode: 代表一个HTML元素，如
  , , 等。
• html.TextNode: 代表元素内部的纯文本内容。
• html.CommentNode: 代表HTML注释。

考虑以下HTML片段：FooBar。它的节点树结构大致如下：

• ElementNode "a" (包含href属性)
  • ElementNode "strong"
    • TextNode "Foo"
  • TextNode "Bar"

从这个结构可以看出，标签的文本内容“FooBar”实际上是由其子节点下的TextNode“Foo”和直接子节点TextNode“Bar”共同组成的。因此，要获取完整的文本，我们需要遍历目标元素的所有子节点，并收集所有TextNode的数据。

核心解决方案：递归文本收集函数

为了高效地收集一个节点及其所有后代节点中的文本内容，我们可以编写一个递归函数。这个函数将遍历节点树，识别TextNode并将其数据累加起来。

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "bytes"
    "fmt"
    "log"
    "strings"

    "golang.org/x/net/html" // 确保导入正确的路径
)

// collectText 递归地收集给定节点及其所有子节点中的文本内容
func collectText(n *html.Node, buf *bytes.Buffer) {
    // 如果当前节点是文本节点，则将其数据写入缓冲区
    if n.Type == html.TextNode {
        buf.WriteString(n.Data)
    }
    // 遍历当前节点的所有子节点，并递归调用自身
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        collectText(c, buf)
    }
}

// 示例：HTML字符串
const htmlString = `<p>https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1s:</p><ul><li><a href="foo"><strong>Foo</strong>https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1</a><li><a href="/bar/baz">BarBaz</a></ul>`

func main() {
    // 解析HTML字符串
    doc, err := html.Parse(strings.NewReader(htmlString))
    if err != nil {
        log.Fatal(err)
    }

    // 定义一个递归函数来遍历HTML树并提取信息
    var f func(*html.Node)
    f = func(n *html.Node) {
        // 检查当前节点是否是<a>元素
        if n.Type == html.ElementNode && n.Data == "a" {
            // 创建一个bytes.Buffer来高效地收集文本
            textBuffer := &bytes.Buffer{}
            // 调用collectText函数，收集当前<a>节点及其所有子节点中的文本
            collectText(n, textBuffer)

            // 打印<a>标签的文本内容
            fmt.Printf("https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Text: %s\n", textBuffer.String())

            // 也可以同时获取属性，例如href
            for _, a := range n.Attr {
                if a.Key == "href" {
                    fmt.Printf("https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Href: %s\n", a.Val)
                    break
                }
            }
            fmt.Println("---")
        }

        // 继续遍历当前节点的所有兄弟节点和子节点
        for c := n.FirstChild; c != nil; c = c.NextSibling {
            f(c) // 递归调用，遍历子节点
        }
    }

    // 从文档根节点开始遍历
    f(doc)
}

登录后复制

在上述代码中：


Designify
拖入图片便可自动去除背景✨
90
查看详情

1. collectText(n *html.Node, buf *bytes.Buffer)函数：

   • 接收一个*html.Node和*bytes.Buffer作为参数。bytes.Buffer用于高效地构建字符串，避免频繁的字符串拼接操作。
   • 首先检查当前节点n的类型是否为html.TextNode。如果是，就将n.Data（即文本内容）写入到buf中。
   • 然后，它会遍历n的所有子节点（从n.FirstChild到n.NextSibling），并对每个子节点递归调用collectText函数。
   • 通过这种方式，无论文本嵌套多深，只要它是TextNode，最终都会被收集到buf中。

2. 主遍历函数f的修改：

   • 当f函数发现一个目标元素时（n.Type == html.ElementNode && n.Data == "a"），它不再仅仅查找属性。
   • 它会创建一个新的bytes.Buffer实例textBuffer。
   • 然后，它将当前节点n作为参数传递给collectText函数，让collectText负责从节点开始，收集其内部的所有文本。
   • 最后，通过textBuffer.String()获取完整的文本内容并打印。

运行结果

运行上述代码，你将得到如下输出：

https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Text: Foohttps://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1
https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Href: foo
---
https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Text: BarBaz
https://www.php.cn/link/3e0cb4a1171e1be5a03dbd5d46c09ac1 Href: /bar/baz
---

登录后复制

这正是我们期望的结果，即使“Foo”嵌套在标签内，也能够被正确地提取出来。

注意事项与总结

• 理解DOM结构是关键：掌握HTML文档如何被解析成节点树，以及文本内容如何以TextNode的形式存在，是解决这类问题的基础。
• 递归的强大：递归函数是处理树状数据结构的强大工具。通过简单的逻辑，我们可以遍历任意深度的节点。
• bytes.Buffer的效率：在循环或递归中拼接大量字符串时，使用bytes.Buffer比直接使用+或fmt.Sprintf更高效，因为它减少了内存分配和垃圾回收的开销。
• 空白字符处理：collectText函数会原样收集所有TextNode的数据。这意味着如果HTML中包含换行符、制表符或多个空格，它们也会被收集。如果需要更“干净”的文本，你可能需要在textBuffer.String()之后进行额外的字符串处理，例如使用strings.TrimSpace()或正则表达式来规范化空白字符。
• 更高级的库：对于更复杂的HTML解析和选择器需求，可以考虑使用goquery等基于go.net/html构建的第三方库，它们提供了类似jQuery的API，使得选择和提取元素更加便捷。然而，理解go.net/html的底层机制仍然是掌握这些高级库的基础。

通过本文介绍的方法，你现在应该能够自信地使用Go语言和go.net/html库来提取HTML元素中包含的完整文本内容，无论其嵌套深度如何，从而更有效地进行Web数据抓取和处理。