使用Python进行Web Scraping时处理动态加载内容

本文旨在解决在使用Python进行Web Scraping时，由于网页内容通过JavaScript动态加载而导致Beautiful Soup无法抓取到目标数据的问题。文章将介绍如何通过分析XHR/API请求获取JSON数据，以及使用Selenium模拟浏览器行为来渲染动态内容，从而成功抓取所需信息。

在使用Python进行Web Scraping时，经常会遇到网页内容并非直接包含在HTML源码中，而是通过JavaScript动态加载的情况。这导致使用传统的Beautiful Soup等库无法直接抓取到目标数据，出现类似IndexError: list index out of range的错误。 这是因为Beautiful Soup只能解析静态HTML内容，无法执行JavaScript代码。

解决方案一：分析XHR/API请求

对于动态加载的内容，一种常见的解决方案是分析网页的XHR（XMLHttpRequest）或API请求。现代网页通常通过这些请求从服务器获取数据，并使用JavaScript将其渲染到页面上。

1. 打开开发者工具： 在浏览器中打开目标网页，并打开开发者工具（通常按F12键）。
2. 切换到Network选项卡： 在开发者工具中，切换到“Network”选项卡。
3. 刷新网页： 刷新网页，观察Network选项卡中出现的请求。
4. 筛选请求： 可以使用“XHR”或“Fetch/XHR”过滤器来筛选出异步请求。
5. 分析请求： 找到包含目标数据的请求。通常，这些请求会返回JSON格式的数据。
6. 使用requests库获取数据： 使用Python的requests库发送相同的请求，并解析返回的JSON数据。

以下是一个示例，展示了如何从Naver漫画的API获取漫画章节标题：

立即学习“Python免费学习笔记（深入）”；

import requests

url = 'https://comic.naver.com/api/article/list?titleId=811721&page=1'

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功
    data = response.json()

    for article in data['articleList']:
        print(article.get('subtitle'))

except requests.exceptions.RequestException as e:
    print(f"请求错误: {e}")
except ValueError as e:
    print(f"JSON解析错误: {e}")
except KeyError as e:
    print(f"KeyError: 键 '{e}' 不存在于JSON数据中")
except Exception as e:
    print(f"发生未知错误: {e}")

代码解释：

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

21

查看详情

• requests.get(url)：发送GET请求到指定的URL。
• response.raise_for_status()：检查HTTP响应状态码，如果请求失败（例如404错误），则抛出异常。
• response.json()：将响应内容解析为JSON格式。
• 循环遍历data['articleList']，并提取每个章节的标题（subtitle）。
• 添加了try-except块来处理可能出现的异常，如网络请求错误、JSON解析错误、键不存在等。

注意事项：

• 不同的网站API可能需要不同的请求头（headers），例如User-Agent、Referer等。可以在开发者工具中查看原始请求的headers，并将其添加到requests.get()函数的headers参数中。
• 有些API可能需要身份验证（Authentication）。

解决方案二：使用Selenium模拟浏览器行为

如果无法通过分析API请求获取数据，或者API请求过于复杂，可以考虑使用Selenium等工具模拟浏览器行为。Selenium可以启动一个真实的浏览器实例，并执行JavaScript代码，从而渲染动态内容。

1. 安装Selenium： 使用pip安装Selenium：pip install selenium
2. 下载WebDriver： 下载与浏览器版本匹配的WebDriver。例如，如果使用Chrome浏览器，需要下载ChromeDriver。将WebDriver的可执行文件放在系统PATH中，或者在代码中指定其路径。
3. 编写Selenium代码：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式，不在前台显示浏览器
chrome_options.add_argument("--disable-gpu")  # 禁用GPU加速，避免某些环境下的问题

# 设置WebDriver服务
webdriver_path = '/path/to/chromedriver'  # 替换为你的ChromeDriver路径
service = Service(webdriver_path)

# 初始化WebDriver
driver = webdriver.Chrome(service=service, options=chrome_options)

url = "https://comic.naver.com/webtoon/list?titleId=811721&tab=wed"

try:
    driver.get(url)

    # 等待目标元素加载
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU")))

    # 提取数据
    cartoons = driver.find_elements(By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU")
    for cartoon in cartoons:
        print(cartoon.text)

except Exception as e:
    print(f"发生错误: {e}")

finally:
    driver.quit()

代码解释：

• webdriver.Chrome()：启动Chrome浏览器实例。
• driver.get(url)：打开指定的URL。
• driver.find_elements(By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU"): 使用CSS选择器查找所有符合条件的元素。
• 循环遍历找到的元素，并提取其文本内容。
• driver.quit()：关闭浏览器实例。
• --headless: 使用无头模式，不在前台显示浏览器界面。
• --disable-gpu: 禁用GPU加速，避免某些环境下的问题。
• WebDriverWait和expected_conditions用于等待页面元素加载完成，避免因元素未加载而导致错误。

注意事项：

• Selenium的执行速度相对较慢，因为它需要启动浏览器并执行JavaScript代码。
• Selenium需要消耗更多的系统资源。
• 需要根据目标网站的结构选择合适的元素定位方式（例如CSS选择器、XPath等）。
• 确保WebDriver的版本与浏览器版本兼容。

总结

当遇到网页内容通过JavaScript动态加载的情况时，传统的Beautiful Soup可能无法直接抓取到数据。 可以通过分析XHR/API请求获取JSON数据，或者使用Selenium模拟浏览器行为来渲染动态内容，从而成功抓取所需信息。 选择哪种方法取决于具体情况，如果API请求简单且易于分析，则优先选择API请求方式。如果API请求复杂或无法获取，则可以使用Selenium。 在使用Selenium时，注意优化代码，避免不必要的资源消耗。

以上就是使用Python进行Web Scraping时处理动态加载内容的详细内容，更多请关注php中文网其它相关文章！