深入解析：Python Selenium动态HTML数据抓取与元素定位技巧-Python教程-PHP中文网

深入解析：Python Selenium动态HTML数据抓取与元素定位技巧

霞舞

发布： 2025-10-24 12:00:33

原创

235人浏览过

深入解析：Python Selenium动态HTML数据抓取与元素定位技巧

本教程旨在解决使用python selenium抓取动态加载html页面中特定元素值的问题。文章详细阐述了传统beautifulsoup方法在动态内容场景下的局限性，并重点介绍了如何利用selenium的强大功能，结合精确的xpath或css选择器进行元素定位，以及处理页面加载延迟等关键技术，确保高效准确地提取所需数据。

Python Selenium动态HTML数据抓取与元素定位技巧

在现代Web开发中，许多网站采用JavaScript动态加载内容，这意味着页面的HTML结构在浏览器渲染过程中会发生变化。对于这类网站的数据抓取，仅依赖于请求库（如requests）和静态HTML解析器（如BeautifulSoup）往往不足以获取到完整的或最新的数据。此时，Selenium作为一款强大的自动化测试工具，因其能够模拟浏览器行为（包括执行JavaScript），成为了动态HTML抓取的首选。

理解动态HTML抓取挑战

当尝试从动态加载的网页中抓取数据时，常见的挑战包括：

JavaScript渲染: 目标数据由JavaScript在页面加载后动态生成或修改。
异步加载: 数据可能通过AJAX请求异步加载，导致在页面初始HTML中无法找到。
元素定位困难: 元素的ID、类名可能不固定，或者有多个相似元素，难以精确识别。

原始尝试中，用户使用Selenium加载页面后，将driver.page_source传递给BeautifulSoup进行解析。虽然Selenium确实渲染了页面，但如果页面内容在time.sleep(5)之后仍在更新，或者BeautifulSoup的查找条件不够精确，就可能导致无法获取到预期的动态值。更重要的是，对于动态内容，直接通过Selenium的API进行元素查找通常更为高效和准确，因为它操作的是浏览器实际渲染的DOM树。

核心策略：利用Selenium进行精确元素定位

解决动态HTML抓取的关键在于充分利用Selenium的WebDriver对象，直接在浏览器环境中定位并提取元素。

立即学习“Python免费学习笔记（深入）”；

1. 初始化WebDriver与页面加载

首先，我们需要导入必要的库，并初始化一个WebDriver实例（例如Chrome）。接着，使用driver.get(url)方法加载目标网页。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time # 仍然可以作为简单的等待机制，但推荐使用显式等待

def scrape_dynamic_content(url):
    driver = webdriver.Chrome()
    driver.get(url)
    # ... 后续操作
    return driver

登录后复制

2. 处理页面加载延迟：显式等待

动态页面的内容加载时间不确定，简单地使用time.sleep()可能导致等待过久或等待不足。更健壮的做法是使用Selenium的显式等待（Explicit Waits），它会等待某个特定条件发生，直到超时。

    # ... (在driver.get(url)之后)
    try:
        # 等待特定元素出现，例如等待data-item="avg_F"的strong标签可见
        # 设置最长等待时间为10秒
        element = WebDriverWait(driver, 10).until(
            EC.visibility_of_element_located((By.XPATH, '//strong[@data-item="avg_F"]'))
        )
        print("目标元素已加载并可见。")
    except Exception as e:
        print(f"等待元素超时或发生错误: {e}")
        driver.quit()
        return [] # 或者抛出异常

登录后复制

3. 精确元素定位：XPath与CSS选择器

在Selenium中，driver.find_element()（查找单个元素）和driver.find_elements()（查找所有匹配元素）方法是核心。它们需要一个定位策略（如By.ID, By.CLASS_NAME, By.XPATH, By.CSS_SELECTOR等）和对应的定位值。

巧文书

巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

查看详情

根据问题描述，目标元素是一个<strong>标签，带有data-item="avg_F"属性。我们可以构建一个精确的XPath或CSS选择器来定位它。

XPath示例: //strong[@data-item="avg_F"]
CSS选择器示例: strong[data-item="avg_F"]

由于原始问题和答案都提到了XPath，我们将使用XPath作为示例。

def scrape_content_from_dynamic_websites():
    url = "https://statusinvest.com.br/acoes/petr4/"
    driver = webdriver.Chrome()
    driver.get(url)

    try:
        # 使用显式等待，确保目标元素加载完成并可见
        WebDriverWait(driver, 10).until(
            EC.visibility_of_element_located((By.XPATH, '//strong[@data-item="avg_F"]'))
        )

        # 定位所有符合条件的<strong>元素
        # 注意：这里使用find_elements，因为可能存在多个符合条件的元素
        target_strongs = driver.find_elements(By.XPATH, '//strong[@data-item="avg_F"]')

        # 提取这些元素的文本内容
        values = [elem.text for elem in target_strongs if elem.text.strip() != '-'] # 过滤掉值为'-'的元素

        return values

    except Exception as e:
        print(f"在抓取过程中发生错误: {e}")
        return []
    finally:
        driver.quit() # 确保浏览器关闭

登录后复制

4. 完整示例代码

结合上述策略，以下是优化后的完整代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def scrape_content_from_dynamic_websites():
    """
    从动态加载的网站抓取特定标签的值。
    使用Selenium WebDriver和显式等待来确保内容完全加载，
    并通过精确的XPath定位目标元素。
    """
    url = "https://statusinvest.com.br/acoes/petr4/"
    driver = webdriver.Chrome() # 确保你的PATH中包含ChromeDriver
    driver.get(url)

    try:
        # 显式等待，直到带有data-item="avg_F"属性的strong元素可见
        # 这比简单的time.sleep()更可靠，因为它只等待必要的条件达成
        WebDriverWait(driver, 15).until( # 设置一个合理的超时时间，例如15秒
            EC.visibility_of_element_located((By.XPATH, '//strong[@data-item="avg_F"]'))
        )

        # 此时，页面内容应该已经加载完毕，可以直接通过Selenium定位元素
        # 使用精确的XPath来查找所有匹配的<strong>标签
        all_strongs = driver.find_elements(By.XPATH, '//strong[@data-item="avg_F"]')

        # 提取文本内容，并过滤掉值为'-'的元素，只保留数字值
        extracted_values = [elem.text for elem in all_strongs if elem.text.strip() != '-' and elem.text.strip()]

        return extracted_values

    except Exception as e:
        print(f"在抓取过程中发生错误: {e}")
        return [] # 发生错误时返回空列表
    finally:
        driver.quit() # 无论成功与否，最后都要关闭浏览器实例

if __name__ == "__main__":
    print("开始抓取动态网站内容...")
    result = scrape_content_from_dynamic_websites()
    print("抓取结果:", result)
    # 期望输出可能类似于: ['95,81%'] 或其他数字百分比

登录后复制

注意事项：

ChromeDriver路径： 确保你的系统PATH环境变量中包含了ChromeDriver的可执行文件路径，或者在webdriver.Chrome()中指定其路径，例如webdriver.Chrome(executable_path='/path/to/chromedriver')。
XPath/CSS选择器准确性： 选择器是抓取成功的关键。使用浏览器的开发者工具（F12）检查元素，获取最准确的XPath或CSS选择器。
显式等待条件： EC.visibility_of_element_located是一个常用的条件，但根据具体情况，你可能需要使用EC.presence_of_element_located（元素存在于DOM中即可，不要求可见）、EC.element_to_be_clickable等。
错误处理： 使用try...except...finally结构可以增强代码的健壮性，确保在出现问题时能够优雅地处理并关闭浏览器。
过滤无效数据： 示例中加入了if elem.text.strip() != '-'的条件，以过滤掉原始问题中提到的“短横线”结果，只保留有效的数字值。
无头模式： 如果不需要看到浏览器界面，可以启用无头模式以提高效率和在服务器上运行的兼容性。

from selenium.webdriver.chrome.options import Options

# ... (在scrape_content_from_dynamic_websites函数内部)
    chrome_options = Options()
    chrome_options.add_argument("--headless") # 启用无头模式
    chrome_options.add_argument("--disable-gpu") # 禁用GPU加速，在某些系统上可能需要
    driver = webdriver.Chrome(options=chrome_options)
# ...

登录后复制