高效处理Selenium抓取中的特殊HTML字符：JavaScript注入法

// 移除所有 class 为 'special-char-holder' 的元素
var elementsToRemove = document.getElementsByClassName('special-char-holder');
for (var i = elementsToRemove.length - 1; i >= 0; --i) {
    elementsToRemove[i].remove();
}

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 假设已经初始化了WebDriver
# driver = webdriver.Chrome() # 或其他浏览器驱动
# driver.get("你的目标网页URL")

# 模拟一个WebDriver实例和页面加载
class MockWebElement:
    def __init__(self, text_content):
        self._text = text_content
    @property
    def text(self):
        return self._text

class MockDriver:
    def __init__(self):
        self.elements = {}

    def execute_script(self, script):
        print(f"Executing JS script:\n{script}\n---")
        # 在实际场景中，这里会操作真实的DOM。
        # 在模拟中，我们假设JS成功移除了元素，从而影响后续的text获取。
        if "special-char-holder" in script:
            print("Simulating removal of 'special-char-holder' elements.")
            # 模拟移除后，如果再次获取，这些元素将不存在
            self.elements = {k: v for k, v in self.elements.items() if 'special-char-holder' not in k}

    def get(self, url):
        print(f"Navigating to {url}")
        # 模拟页面加载，包含一些带有特殊字符的元素
        self.elements = {
            "main_content": MockWebElement("这是主要内容，包含一些正常文本。"),
            "undesired_span_1": MockWebElement("这是<span class='special-char-holder'>一个连字符&shy;</span>和一些隐藏内容。"),
            "undesired_div_2": MockWebElement("另一个<div class='special-char-holder'>不可见字符区域 </div>。"),
            "other_content": MockWebElement("其他不相关的文本。")
        }

    def find_element(self, by, value):
        if by == By.ID and value == "main_area":
            # 模拟获取主要内容，假设其内部文本在JS执行后会变得干净
            # 在实际场景中，你需要根据JS移除的元素来判断
            clean_text = "这是主要内容，包含一些正常文本。这是和一些隐藏内容。另一个。其他不相关的文本。"
            if not self.elements: # 如果JS执行后元素被清空
                clean_text = "这是主要内容，包含一些正常文本。这是和一些隐藏内容。另一个。其他不相关的文本。" # 假设移除后文本变为这样
            return MockWebElement(clean_text)
        return None

# 实际使用示例
driver = MockDriver() # 替换为真实的webdriver.Chrome()等
driver.get("http://example.com/page_with_special_chars")

# 1. 构造JavaScript脚本，移除所有class为'special-char-holder'的元素
js_script = """
var elementsToRemove = document.getElementsByClassName('special-char-holder');
for (var i = elementsToRemove.length - 1; i >= 0; --i) {
    elementsToRemove[i].remove();
}
"""

# 2. 执行JavaScript脚本
driver.execute_script(js_script)

# 3. 提取纯净文本
# 假设我们现在要从整个body或某个主要容器中提取文本
# 在真实场景中，你会用 driver.find_element(By.TAG_NAME, 'body').text 或其他选择器
main_content_element = driver.find_element(By.ID, "main_area") # 假设有个id为main_area的容器
if main_content_element:
    clean_text = main_content_element.text
    print(f"\n提取到的纯净文本:\n{clean_text}")
else:
    print("\n未找到主要内容元素或已被移除。")

# 预期输出（在真实浏览器中）：
# 提取到的纯净文本:
# 这是主要内容，包含一些正常文本。这是一个和一些隐藏内容。另一个。其他不相关的文本。
# （注意：连字符和非断行空格及其父元素已被移除）