Selenium教程：精确获取HTML标签内部的直接文本内容

<td id="td_id">
  <p>Name</p>
  <div>
    <span>agdsf</span>
  </div>
  John Smith
  <span>dfsdf</span>
  Address:
  <br>
  NewYork
</td>

from selenium import webdriver
from selenium.webdriver.common.by import By

# 假设driver已初始化并指向包含上述DOM的页面
# driver = webdriver.Chrome() 
# driver.get("your_page_url")

td_tag = driver.find_element(By.ID, "td_id")

# 尝试获取第一个子节点（通常是文本节点或元素节点）的文本
first_child_text = driver.execute_script('return arguments[0].firstChild;', td_tag)['textContent']
print(f"使用firstChild获取: '{first_child_text}'")
# 输出可能为：使用firstChild获取: '\n  ' 或 'Name' (取决于firstChild是文本节点还是<p>标签)
# 实际的期望是获取 "John Smith Address: NewYork"

from selenium import webdriver
from selenium.webdriver.common.by import By

# 假设driver已初始化并指向包含上述DOM的页面
# 为了演示，我们创建一个虚拟的driver和页面
class MockWebElement:
    def __init__(self, tag_id, inner_html):
        self.id = tag_id
        self.inner_html = inner_html # 模拟innerHTML，实际中Selenium会提供

    def find_element(self, by, value):
        if by == By.ID and value == self.id:
            return self
        raise Exception(f"Element not found by {by}={value}")

    def execute_script(self, script, element):
        # 这是一个模拟执行JavaScript的简化版本
        # 实际的Selenium driver会与浏览器交互
        if "arguments[0]" in script:
            # 模拟DOM结构和节点遍历
            dom_structure = """
            <td id="td_id">
              <p>Name</p>
              <div>
                <span>agdsf</span>
              </div>
              John Smith
              <span>dfsdf</span>
              Address:
              <br>
              NewYork
            </td>
            """
            # 在实际浏览器中，JavaScript会直接操作真实的DOM节点
            # 这里我们无法完全模拟DOM树的节点类型和textContent
            # 但可以根据脚本逻辑推断结果

            # 简化模拟：直接根据脚本逻辑返回预期结果
            # 脚本会遍历所有子节点，只提取TEXT_NODE
            # 预期结果是 "John Smith Address: NewYork"

            # 真实场景下，JavaScript会在浏览器中运行并返回正确结果
            # 这里我们直接返回模拟的正确结果，以展示代码功能
            expected_result = "John Smith Address: NewYork"

            # 假设脚本正确执行，并返回了拼接后的文本
            return expected_result
        return None


# 真实场景下的Selenium初始化
# driver = webdriver.Chrome()
# driver.get("your_html_page_url")

# 模拟driver和td_tag，用于代码示例的独立运行
# 在实际应用中，td_tag会通过driver.find_element(By.ID, "td_id")获取
mock_td_html = """
<td id="td_id">
  <p>Name</p>
  <div>
    <span>agdsf</span>
  </div>
  John Smith
  <span>dfsdf</span>
  Address:
  <br>
  NewYork
</td>
"""
mock_driver = MockWebElement("td_id", mock_td_html) # 模拟一个包含td_id的元素
td_tag = mock_driver # 在实际中，td_tag是WebElement对象


# 核心JavaScript脚本
javascript_code = """
    var node = arguments[0]; // 获取传入的td元素
    var text = '';
    // 遍历td元素的所有直接子节点
    for (var child = node.firstChild; child; child = child.nextSibling) {
        // 检查子节点是否为文本节点 (Node.TEXT_NODE === 3)
        if (child.nodeType === Node.TEXT_NODE) {
            // 如果是文本节点，则将其内容去除首尾空白后添加到结果字符串
            text += child.textContent.trim() + ' ';
        }
    }
    // 返回最终结果，并去除末尾可能多余的空格
    return text.trim();
"""

# 通过Selenium执行JavaScript脚本
all_direct_text = td_tag.execute_script(javascript_code, td_tag)

print(f"提取到的所有直接文本: '{all_direct_text}'")

# 预期输出: 提取到的所有直接文本: 'John Smith Address: NewYork'

# 真实场景下，最后需要关闭浏览器
# driver.quit()