使用Selenium和JavaScript精准提取HTML标签内的直属文本内容

在Web自动化测试和数据抓取中，我们经常需要从HTML元素中提取文本内容。然而，当一个标签内包含子标签和直接文本混合的情况时，简单的element.text属性或firstChild方法往往无法满足需求。例如，考虑以下HTML结构：

<td id="td_id">
  <p>Name</p>
  <div>
    <span>agdsf</span>
  </div>
  John Smith
  <span>dfsdf</span>
  Address:
  <br>
  NewYork
</td>

如果我们的目标是提取“John Smith Address: NewYork”，而忽略<p>、<div>、<span>等子标签中的文本，传统的Selenium方法可能会遇到挑战。

传统方法的局限性

1. element.text属性： 这个属性通常会返回元素及其所有子元素中可见的文本内容，这会包含<p>Name</p>中的“Name”以及<span>agdsf</span>中的“agdsf”，不符合我们只获取直属文本的需求。
2. driver.execute_script('return arguments[0].firstChild;', td_tag)['textContent']： 这种方法只能获取到元素的第一个子节点（如果它是文本节点）的文本。在上述例子中，td_tag的第一个子节点是<p>Name</p>，所以它不会返回“John Smith”。即使第一个子节点是文本节点，它也无法获取后续的直属文本。

解决方案：利用JavaScript节点遍历

为了精准地提取所有直属文本节点，我们需要借助Selenium的execute_script方法，执行一段自定义的JavaScript代码。这段代码将遍历目标元素的所有直接子节点，并仅提取类型为TEXT_NODE的节点内容。

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

8

查看详情

示例代码

以下是使用Python和Selenium实现此功能的代码：

立即学习“Java免费学习笔记（深入）”；

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 假设您已经设置好了WebDriver
# driver = webdriver.Chrome() # 或其他浏览器驱动

# 为了演示，我们创建一个虚拟的HTML页面
driver = webdriver.Chrome()
driver.get("data:text/html,<td id='td_id'><p>Name</p><div><span>agdsf</span></div>John Smith<span>dfsdf</span>Address:<br>NewYork</td>")
time.sleep(1) # 等待页面加载

# 查找目标td元素
td_tag = driver.find_element(By.ID, "td_id")

# 执行JavaScript代码提取直属文本
all_direct_text = driver.execute_script("""
    var node = arguments[0]; // 获取传入的td元素
    var text = ''; // 初始化一个空字符串用于存储结果

    // 遍历td元素的所有直接子节点
    for (var child = node.firstChild; child; child = child.nextSibling) {
        // 检查子节点是否是文本节点 (Node.TEXT_NODE 的值为 3)
        if (child.nodeType === Node.TEXT_NODE) {
            // 如果是文本节点，将其内容添加到结果字符串中，并去除首尾空白
            // 并在每个文本块后添加一个空格，以便区分
            text += child.textContent.trim() + ' ';
        }
    }
    // 返回最终结果，并去除末尾可能多余的空格
    return text.trim();
""", td_tag)

print(f"提取到的直属文本：'{all_direct_text}'")

# 预期输出：'John Smith Address: NewYork'

driver.quit()

代码解析

1. var node = arguments[0];：
   • arguments[0]是JavaScript执行环境中接收到的第一个参数，这里即是从Python端传入的td_tag元素。
2. var text = '';：
   • 初始化一个空字符串text，用于累积所有提取到的直属文本内容。
3. for (var child = node.firstChild; child; child = child.nextSibling)：
   • 这是一个标准的JavaScript DOM遍历循环。
   • node.firstChild：获取当前元素的第一个子节点。
   • child：循环条件，当child为null（即没有更多子节点）时循环结束。
   • child = child.nextSibling：在每次迭代后，将child更新为当前子节点的下一个兄弟节点。
4. if (child.nodeType === Node.TEXT_NODE)：
   • 这是核心判断逻辑。nodeType属性返回节点的类型。Node.TEXT_NODE是一个常量，其值为3，表示该节点是一个纯文本节点。
   • 通过此判断，我们确保只处理直接的文本内容，而忽略元素节点（如<p>、<div>、<span>）。
5. text += child.textContent.trim() + ' ';：
   • 如果当前子节点是文本节点，我们通过child.textContent获取其文本内容。
   • .trim()方法用于移除文本内容两端的空白字符（如换行符、空格）。
   • 在每个文本块后添加一个空格，以确保不同文本块之间有适当的分隔。
6. return text.trim();：
   • 在循环结束后，返回累积的text字符串。
   • 最后的.trim()用于移除整个字符串末尾可能多余的一个空格。

注意事项

• Node.TEXT_NODE的重要性： 理解nodeType及其对应的常量（如Node.ELEMENT_NODE为1，Node.COMMENT_NODE为8等）是进行精确DOM操作的关键。
• 空白字符处理： HTML中的换行符和多余空格会被视为文本节点的一部分。使用.trim()可以有效地清理这些不必要的空白，确保输出的整洁性。
• 适用场景： 这种方法特别适用于需要从复杂HTML结构中精确提取特定文本内容的场景，尤其当这些文本与其他HTML元素混杂在一起时。

总结

通过结合Selenium的execute_script功能和JavaScript的DOM遍历能力，我们可以实现对HTML元素内部直属文本的精确提取。这种方法绕过了Selenium内置文本提取方法的局限性，提供了更细粒度的控制，使得在处理复杂Web页面时能够获取到更符合需求的文本数据。掌握这种技术对于进行高级Web抓取和自动化任务至关重要。

以上就是使用Selenium和JavaScript精准提取HTML标签内的直属文本内容的详细内容，更多请关注php中文网其它相关文章！