Python网络爬虫：处理JavaScript动态加载内容的策略

pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time # 用于简单的等待，但推荐使用WebDriverWait

def get_dynamic_page_content(url):
    """
    使用Selenium获取动态加载页面内容。
    """
    # 配置Chrome选项，启用无头模式 (headless mode)
    chrome_options = Options()
    chrome_options.add_argument("--headless")  # 启用无头模式，不显示浏览器界面
    chrome_options.add_argument("--disable-gpu") # 禁用GPU硬件加速，推荐在无头模式下使用
    chrome_options.add_argument("--no-sandbox") # 解决在某些Linux环境下运行的权限问题
    chrome_options.add_argument("--disable-dev-shm-usage") # 解决Docker等容器环境下的共享内存问题

    # 如果chromedriver不在系统PATH中，需要指定其路径
    # service = Service('/path/to/your/chromedriver')
    # driver = webdriver.Chrome(service=service, options=chrome_options)

    # 初始化WebDriver
    # 确保chromedriver已安装并可在系统PATH中找到，或在Service中指定路径
    driver = webdriver.Chrome(options=chrome_options)

    try:
        print(f"正在访问URL: {url}")
        driver.get(url)

        # 显式等待：等待页面中的特定元素加载完成
        # 这里我们等待第一个table元素出现，因为目标表格是第7个，
        # 只要有table出现，说明JS可能已经开始渲染数据了。
        # 实际项目中，建议等待目标表格或其内部的某个关键元素。
        WebDriverWait(driver, 30).until(
            EC.presence_of_element_located((By.TAG_NAME, "table"))
        )
        print("页面内容已加载，尝试获取渲染后的HTML...")

        # 获取浏览器渲染后的完整HTML内容
        html_content = driver.page_source

        # 使用BeautifulSoup解析渲染后的HTML
        soup = BeautifulSoup(html_content, "lxml")

        # 查找所有表格
        tables = soup.find_all("table")

        if len(tables) > 6: # 检查是否存在第7个表格（索引为6）
            target_table = tables[6]
            print("\n成功获取到第7个表格的内容（部分展示）：")
            # 打印表格的精简内容，避免输出过长
            print(target_table.prettify()[:1000] + "...") # 打印前1000字符

            # 您现在可以进一步解析这个表格，例如提取行和列数据
            # for row in target_table.find_all("tr"):
            #     cells = [cell.get_text(strip=True) for cell in row.find_all(["td", "th"])]
            #     print(cells)
        else:
            print(f"页面加载后，只找到了 {len(tables)} 个表格，未找到第7个表格。")

    except Exception as e:
        print(f"发生错误: {e}")
    finally:
        # 确保关闭浏览器驱动，释放资源
        driver.quit()
        print("浏览器驱动已关闭。")

if __name__ == "__main__":
    target_url = "https://www.blackrock.com/br/products/251816/ishares-ibovespa-fundo-de-ndice-fund"
    get_dynamic_page_content(target_url)

pip install playwright
playwright install  # 安装浏览器驱动

import asyncio
from playwright.async_api import async_playwright
from bs4 import BeautifulSoup

async def get_dynamic_page_content_playwright(url):
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True) # 启动无头Chromium浏览器
        page = await browser.new_page()
        print(f"正在访问URL: {url} (使用Playwright)")
        await page.goto(url, wait_until="networkidle") # 等待网络空闲，确保内容加载

        # 也可以使用显式等待，例如等待某个元素出现
        # await page.wait_for_selector("table", timeout=30000)

        html_content = await page.content() # 获取渲染后的HTML

        soup = BeautifulSoup(html_content, "lxml")
        tables = soup.find_all("table")

        if len(tables) > 6:
            target_table = tables[6]
            print("\n成功获取到第7个表格的内容 (Playwright):")
            print(target_table.prettify()[:1000] + "...")
        else:
            print(f"页面加载后，只找到了 {len(tables)} 个表格，未找到第7个表格。")

        await browser.close()
        print("浏览器已关闭 (Playwright)。")

if __name__ == "__main__":
    target_url = "https://www.blackrock.com/br/products/251816/ishares-ibovespa-fundo-de-ndice-fund"
    asyncio.run(get_dynamic_page_content_playwright(target_url))