使用Python和Selenium抓取动态网页数据教程-Python教程-PHP中文网

使用Python和Selenium抓取动态网页数据教程

本教程旨在指导读者如何使用python结合selenium和beautifulsoup库，有效抓取包含切换按钮等动态交互元素的网页数据。文章将详细阐述传统静态网页抓取方法在处理此类场景时的局限性，并提供一套完整的解决方案，通过模拟用户浏览器行为来获取动态加载的内容，最终实现对目标数据的精确提取。

在现代网页应用中，许多内容并非在页面首次加载时就全部呈现，而是通过JavaScript动态生成或在用户交互（如点击按钮、滚动页面）后加载。对于这类动态网页，仅依赖requests库获取原始HTML并结合BeautifulSoup进行解析的方法往往会失效，因为它只能获取到页面初始的静态内容，而无法捕获JavaScript执行后的变化。本教程将以抓取一个包含“每场比赛数据”切换按钮的体育统计网站为例，详细介绍如何利用Selenium模拟浏览器行为，进而获取动态数据。

理解动态网页抓取的挑战

当目标网站（例如https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html）中的数据需要通过点击一个切换按钮（如“Per Game”与“Total Stats”之间的切换）才能显示时，requests库获取的HTML源代码将只包含默认状态下的数据。这是因为JavaScript负责处理按钮点击事件并更新DOM，而requests不执行JavaScript。此时，我们需要一个能够模拟真实浏览器环境并执行JavaScript的工具——Selenium。

引入Selenium进行浏览器自动化

Selenium是一个强大的Web自动化测试工具，但它也能被广泛用于网页抓取。通过Selenium，我们可以启动一个真实的浏览器实例（如Chrome、Firefox），控制其导航到指定URL，模拟用户点击、输入等交互行为，并最终获取到JavaScript执行后的页面内容。

1. 环境准备

首先，确保你的Python环境中安装了必要的库：

立即学习“Python免费学习笔记（深入）”；

pip install selenium beautifulsoup4 pandas requests

登录后复制

此外，你需要下载对应浏览器的WebDriver。以Chrome为例，你需要下载chromedriver，并将其放置在系统PATH中，或者在代码中指定其路径。chromedriver的版本必须与你安装的Chrome浏览器版本相匹配。

2. 初始化WebDriver

在使用Selenium之前，需要初始化一个WebDriver实例。这里我们以Chrome为例：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置Chrome选项
chrome_options = Options()
# 可以选择添加无头模式，使浏览器在后台运行，不显示GUI
# chrome_options.add_argument('--headless')
# 最大化窗口，有时有助于确保元素可见
chrome_options.add_argument('--start-maximized')
# 禁用GPU加速，在某些环境下可能避免问题
chrome_options.add_argument('--disable-gpu')
# 禁用沙箱模式，在某些Linux环境中可能需要
# chrome_options.add_argument('--no-sandbox')

# 初始化Chrome WebDriver
# 如果chromedriver不在PATH中，需要指定executable_path
driver = webdriver.Chrome(options=chrome_options)

登录后复制

3. 导航到目标URL

使用driver.get()方法让浏览器导航到目标网页：

虎课网

虎课网是超过1800万用户信赖的自学平台，拥有海量设计、绘画、摄影、办公软件、职业技能等优质的高清教程视频，用户可以根据行业和兴趣爱好，自主选择学习内容，每天免费学习一个...

查看详情

url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'
driver.get(url)

登录后复制

4. 定位并模拟点击切换按钮

这是抓取动态内容的关键步骤。我们需要找到负责切换“Per Game”数据的按钮，并模拟点击它。为了确保页面元素已经加载完成，我们应该使用显式等待（WebDriverWait）。

首先，通过浏览器开发者工具检查目标按钮的HTML结构，找到其唯一的标识符（如ID、class或XPath）。在本例中，切换“每场比赛数据”的按钮ID为basic_school_stats_per_match_toggle。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

# 设置显式等待，最长等待20秒
wait = WebDriverWait(driver, 20)

# 等待切换按钮出现并可点击
# 使用By.ID定位元素
toggle_button = wait.until(EC.element_to_be_clickable((By.ID, 'basic_school_stats_per_match_toggle')))

# 模拟点击按钮
# 可以直接使用 .click() 方法
toggle_button.click()
# 或者使用JavaScript执行点击，有时更稳定
# driver.execute_script("arguments[0].click();", toggle_button)

# 等待页面内容更新，例如等待某个关键元素出现或数据加载完成
# 这里我们假设点击后数据会立即更新，如果页面有异步加载，可能需要更长的等待或等待特定数据元素
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'table.modified'))) # 假设表格内容会更新

登录后复制

5. 获取更新后的页面HTML

按钮点击并页面内容更新后，我们可以通过driver.page_source获取当前页面的完整HTML源代码，其中包含了动态加载的数据。

html_source = driver.page_source

登录后复制

6. 关闭WebDriver

完成操作后，务必关闭浏览器实例以释放资源：

driver.quit()

登录后复制

使用BeautifulSoup解析动态内容

现在我们已经获得了包含动态数据的HTML源代码，接下来的步骤与静态网页抓取类似，使用BeautifulSoup进行解析和数据提取。

from bs4 import BeautifulSoup
import pandas as pd

def parse_dynamic_html(html_content):
    soup = BeautifulSoup(html_content, 'html.parser')

    # 尝试找到包含统计数据的表格
    # 根据页面结构，这里可能需要更精确的定位
    table = soup.find('table', class_='modified') # 假设切换后表格的class是'modified'

    if not table:
        print("未找到目标表格。")
        return []

    team_stats_list = []
    # 提取表头
    headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()]

    # 遍历表格的每一行数据
    for row in table.find('tbody').find_all('tr'):
        # 排除可能是表头的行，或者根据实际情况调整
        if row.find('th', {'data-stat': 'ranker'}): # 跳过排名行
            continue

        team_data = {}
        # 遍历行中的每个数据单元格
        for cell in row.find_all(['th', 'td']): # th可能包含队伍名称
            stat_name = cell.get('data-stat')
            if stat_name:
                team_data[stat_name] = cell.text.strip()

        # 过滤并提取我们需要的“每场比赛”数据
        if team_data.get('school_name'): # 确保是有效数据行
            extracted_stats = {
                'Team': team_data.get('school_name', 'N/A'),
                'FG%': team_data.get('fg_pct', 'N/A'),
                'ORB/G': team_data.get('orb_per_g', 'N/A'), # 注意这里是per_g后缀
                'AST/G': team_data.get('ast_per_g', 'N/A'),
                'STL/G': team_data.get('stl_per_g', 'N/A'),
                'BLK/G': team_data.get('blk_per_g', 'N/A'),
                'TOV/G': team_data.get('tov_per_g', 'N/A'),
                'PF/G': team_data.get('pf_per_g', 'N/A')
            }
            team_stats_list.append(extracted_stats)

    return team_stats_list

# 将数据转换为DataFrame并保存
def save_to_csv(data, filename='team_per_game_stats.csv'):
    if data:
        df = pd.DataFrame(data)
        df.to_csv(filename, index=False, encoding='utf-8')
        print(f"数据已成功保存到 {filename}")
    else:
        print("没有数据可保存。")

登录后复制

完整代码示例

将上述步骤整合，形成一个完整的抓取脚本：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import pandas as pd
import time

def scrape_dynamic_sports_stats(url):
    chrome_options = Options()
    # 启用无头模式，在后台运行浏览器，不显示图形界面
    chrome_options.add_argument('--headless') 
    chrome_options.add_argument('--start-maximized')
    chrome_options.add_argument('--disable-gpu')
    chrome_options.add_argument('--no-sandbox') # 适用于某些Linux环境

    driver = None
    try:
        driver = webdriver.Chrome(options=chrome_options)
        print(f"导航到URL: {url}")
        driver.get(url)

        wait = WebDriverWait(driver, 20) # 最长等待20秒

        # 等待并点击“Per Game”切换按钮
        # 按钮ID是 'basic_school_stats_per_match_toggle'
        toggle_button_id = 'basic_school_stats_per_match_toggle'
        print(f"尝试定位并点击切换按钮 (ID: {toggle_button_id})...")
        toggle_button = wait.until(EC.element_to_be_clickable((By.ID, toggle_button_id)))
        toggle_button.click()
        print("切换按钮点击成功。")

        # 给予页面一些时间来加载和渲染新的数据
        time.sleep(3) 

        # 获取更新后的页面HTML
        html_source = driver.page_source
        print("成功获取动态页面HTML。")

        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(html_source, 'html.parser')

        # 找到目标表格
        table = soup.find('table', class_='modified') # 根据页面检查，切换后的表格class可能仍然是modified
        if not table:
            print("错误：未找到目标统计表格。")
            return []

        team_stats_list = []

        # 遍历表格行，提取数据
        for row in table.find('tbody').find_all('tr'):
            team_data = {}
            # 确保只处理包含数据的行
            if row.find('th', {'data-stat': 'ranker'}): # 跳过表头或非数据行
                continue

            for cell in row.find_all(['th', 'td']):
                stat_name = cell.get('data-stat')
                if stat_name:
                    team_data[stat_name] = cell.text.strip()

            # 提取我们关心的“每场比赛”数据
            if team_data.get('school_name'):
                extracted_stats = {
                    'Team': team_data.get('school_name', 'N/A'),
                    'FG%': team_data.get('fg_pct', 'N/A'),
                    'ORB/G': team_data.get('orb_per_g', 'N/A'), 
                    'AST/G': team_data.get('ast_per_g', 'N/A'),
                    'STL/G': team_data.get('stl_per_g', 'N/A'),
                    'BLK/G': team_data.get('blk_per_g', 'N/A'),
                    'TOV/G': team_data.get('tov_per_g', 'N/A'),
                    'PF/G': team_data.get('pf_per_g', 'N/A')
                }
                team_stats_list.append(extracted_stats)

        return team_stats_list

    except Exception as e:
        print(f"抓取过程中发生错误: {e}")
        return []
    finally:
        if driver:
            driver.quit() # 确保在任何情况下都关闭浏览器

# 主程序执行
if __name__ == "__main__":
    target_url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'
    per_game_stats = scrape_dynamic_sports_stats(target_url)

    if per_game_stats:
        df = pd.DataFrame(per_game_stats)
        csv_filename = 'team_per_game_stats_dynamic.csv'
        df.to_csv(csv_filename, index=False, encoding='utf-8')
        print(f"数据已成功保存到 {csv_filename}")
    else:
        print("未获取到任何数据。")

登录后复制

注意事项与最佳实践

WebDriver路径： 确保chromedriver（或其他浏览器驱动）的版本与你的浏览器版本匹配，并正确配置其路径。
显式等待： 使用WebDriverWait和expected_conditions是处理动态网页的关键。它能让你的脚本在元素出现或变得可交互时才继续执行，避免因页面加载速度不一导致的错误。
隐式等待： driver.implicitly_wait(seconds)可以设置一个全局的等待时间，WebDriver会在查找元素时等待指定时间，直到元素出现。但显式等待通常更精确。
无头模式： 在生产环境中，建议使用--headless选项启动浏览器，这样浏览器会在后台运行，不显示图形界面，可以提高效率并减少资源消耗。
User-Agent： 虽然Selenium模拟真实浏览器，但在某些情况下，网站仍可能通过JavaScript检测到自动化行为。设置合适的User-Agent有时可以帮助规避反爬机制（通过chrome_options.add_argument("user-agent=...")）。
错误处理： 使用try...except...finally块来捕获可能发生的异常，并在finally块中确保driver.quit()被调用，以避免浏览器进程残留。
时间延迟： 在某些复杂交互后，可能需要使用time.sleep()进行短暂的硬性等待，以确保页面完全渲染或异步请求完成，但应尽量优先使用显式等待。
元素定位： 优先使用ID、CSS选择器或XPath等精确且稳定的定位方式。避免使用过于泛化的类名或文本内容定位，因为它们可能随网站更新而改变。

总结

通过结合Selenium的浏览器自动化能力和BeautifulSoup的HTML解析能力，我们可以有效地应对动态网页抓取带来的挑战。Selenium负责模拟用户交互、等待页面加载并获取JavaScript执行后的HTML内容，而BeautifulSoup则专注于从这些内容中提取所需的数据。掌握这种组合技术，将大大扩展你的网页抓取能力，让你能够处理更复杂的现代网站。

以上就是使用Python和Selenium抓取动态网页数据教程的详细内容，更多请关注php中文网其它相关文章！