本文详细介绍了如何使用Python结合Selenium和BeautifulSoup库来抓取包含动态内容的网页数据。针对需要用户交互（如点击Toggle按钮）才能显示的数据，教程阐述了Selenium如何模拟浏览器行为，定位并点击动态元素，获取更新后的页面HTML，再利用BeautifulSoup进行高效解析。文章提供了完整的代码示例、环境配置指南以及处理动态网页数据的最佳实践。
在进行网页数据抓取时，我们经常会遇到内容通过JavaScript动态加载或根据用户交互（如点击按钮、下拉菜单）才显示的情况。传统的requests库只能获取页面的初始HTML内容，对于这类动态数据则无能为力。本文将以抓取一个体育网站中通过“Per Game”Toggle按钮切换显示的动态数据为例，详细讲解如何结合使用Selenium进行浏览器自动化和BeautifulSoup进行HTML解析。
动态网页抓取挑战
许多现代网站利用JavaScript和AJAX技术来构建交互式用户界面。例如，在https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html这个网站上，球队统计数据默认显示的是“Total Stats”，而“Per Game”数据则需要点击页面上的Toggle按钮才能显示。如果仅仅使用requests库获取页面内容，返回的HTML中将不包含“Per Game”数据，因为这些数据是在浏览器执行JavaScript后才呈现的。
为了解决这个问题，我们需要一个能够模拟真实浏览器行为的工具，即Selenium。
立即学习“Python免费学习笔记（深入）”；
Selenium：模拟浏览器行为
Selenium是一个强大的自动化测试工具，但它也可以用于网页抓取。它允许我们控制一个真实的浏览器（如Chrome、Firefox），执行点击、输入、滚动等操作，并获取这些操作后的页面HTML内容。
环境配置
首先，确保你的Python环境中安装了必要的库：
pip install selenium beautifulsoup4 pandas
其次，你需要下载与你的Chrome浏览器版本兼容的ChromeDriver。访问ChromeDriver官方网站下载对应版本，并将其可执行文件放置在系统PATH中，或者在代码中指定其路径。
使用Selenium模拟点击
以下代码展示了如何使用Selenium启动Chrome浏览器，导航到目标URL，然后定位并点击“Per Game”Toggle按钮：
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
# 配置Chrome浏览器选项
options = webdriver.ChromeOptions()
options.add_argument('--start-maximized') # 浏览器最大化显示
# options.add_argument('--headless') # 启用无头模式，不显示浏览器界面
# options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU加速
# options.add_argument('--no-sandbox') # 无头模式下可能需要
# options.add_argument('--disable-dev-shm-usage') # 无头模式下可能需要
# 初始化WebDriver
# 如果ChromeDriver不在系统PATH中，需要指定executable_path
driver = webdriver.Chrome(options=options)
try:
# 导航到目标URL
driver.get('https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html')
# 等待页面加载完成，特别是等待Toggle按钮出现
# 这里我们等待ID为'basic_school_stats_per_match_toggle'的元素出现
toggle_button = WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle'))
)
# 点击Toggle按钮
# 可以使用.click()方法，但有时JavaScript按钮使用execute_script更稳定
driver.execute_script("arguments[0].click();", toggle_button)
# 等待数据加载完成，可以根据实际情况调整等待时间
# 例如，等待表格内容更新或某个特定元素出现
time.sleep(2) # 简单等待2秒，确保数据加载完毕
# 获取点击后的页面HTML源码
html_source = driver.page_source
except Exception as e:
print(f"An error occurred: {e}")
html_source = None
finally:
# 关闭浏览器
driver.quit()
if html_source:
print("Successfully obtained HTML after toggle click.")
# 现在可以将html_source传递给BeautifulSoup进行解析
else:
print("Failed to obtain HTML.")
代码解析：
- webdriver.ChromeOptions(): 用于配置Chrome浏览器的启动选项。例如，--start-maximized使浏览器窗口最大化。--headless选项可以在不显示浏览器界面的情况下运行Selenium，这对于服务器部署或后台抓取非常有用。
- webdriver.Chrome(options=options): 初始化Chrome浏览器驱动。
- driver.get(url): 浏览器导航到指定的URL。
-
WebDriverWait(driver, 20).until(...): 这是Selenium中处理异步加载的关键。它会等待最多20秒，直到满足expected_conditions中指定的条件。
- EC.presence_of_element_located((By.ID, 'element_id')): 等待ID为element_id的元素出现在DOM中。
- By.ID: 指定通过元素的ID来定位。其他常用的定位策略包括By.CLASS_NAME、By.CSS_SELECTOR、By.XPATH等。
- driver.execute_script("arguments[0].click();", toggle_button): 执行JavaScript代码来点击元素。虽然toggle_button.click()通常也有效，但execute_script在某些复杂或隐藏的元素上可能更可靠。
- time.sleep(2): 在点击后，通常需要等待一段时间让页面内容更新。这里使用简单的time.sleep()，更健壮的方法是等待特定数据元素出现。
- driver.page_source: 获取当前浏览器页面的完整HTML内容，这正是我们需要的，因为其中包含了点击Toggle按钮后动态加载的数据。
- driver.quit(): 关闭浏览器实例，释放资源。这在finally块中执行，确保无论是否发生错误都会关闭浏览器。
BeautifulSoup：解析HTML数据
获取到包含动态内容的html_source后，我们就可以使用BeautifulSoup库来解析它，提取所需的数据。
from bs4 import BeautifulSoup
import pandas as pd
import csv
def parse_dynamic_html(html_source):
"""
使用BeautifulSoup解析HTML源码，提取球队的“Per Game”统计数据。
"""
soup = BeautifulSoup(html_source, 'html.parser')
# 查找包含统计数据的表格
# 在Sports-Reference网站，Per Game数据通常在ID为'basic_school_stats'的表格中
# 并且其内容会随着toggle变化
table = soup.find('table', id='basic_school_stats')
if not table:
print("未找到统计数据表格。")
return []
team_stats_list = []
# 查找表头，用于生成CSV文件头
headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()]
# 移除第一个空的th
if headers and headers[0] == 'Rk': # 通常第一个是排名，可以去除或保留
headers = headers[1:]
# 遍历表格的每一行
for row in table.find('tbody').find_all('tr'):
team_data = {}
# 查找所有td元素，并根据data-stat属性提取数据
for td in row.find_all('td'):
data_stat = td.get('data-stat')
if data_stat:
team_data[data_stat] = td.text.strip()
if team_data: # 确保行有数据
# 提取我们关心的特定“Per Game”数据
# 注意：这里的data-stat名称应与网站实际的“Per Game”数据字段对应
# 例如，'school_name'、'fg_pct'、'orb_per_g'、'ast_per_g'等
extracted_row = [
team_data.get('school_name', 'N/A'),
team_data.get('g', 'N/A'), # 比赛场次
team_data.get('fg_pct', 'N/A'), # 投篮命中率
team_data.get('orb_per_g', 'N/A'), # 场均进攻篮板
team_data.get('ast_per_g', 'N/A'), # 场均助攻
team_data.get('stl_per_g', 'N/A'), # 场均抢断
team_data.get('blk_per_g', 'N/A'), # 场均盖帽
team_data.get('tov_per_g', 'N/A'), # 场均失误
team_data.get('pf_per_g', 'N/A') # 场均犯规
]
team_stats_list.append(extracted_row)
return team_stats_list, headers
def write_to_csv(data, headers, filename):
"""
将提取的数据写入CSV文件。
"""
# 调整headers以匹配我们提取的数据顺序
output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G']
with open(filename, 'w', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
writer.writerow(output_headers)
for row in data:
writer.writerow(row)
print(f"数据已成功写入到 {filename}")
# 假设我们已经通过Selenium获取了html_source
# ... (上述Selenium代码块) ...
# 示例：如果html_source已获取
if html_source:
team_per_game_stats, original_headers = parse_dynamic_html(html_source)
if team_per_game_stats:
csv_filename = 'team_per_game_stats.csv'
write_to_csv(team_per_game_stats, original_headers, csv_filename)
else:
print("未提取到任何球队统计数据。")
else:
print("HTML源码获取失败，无法进行解析。")
代码解析：
- BeautifulSoup(html_source, 'html.parser'): 使用BeautifulSoup解析Selenium获取的HTML源码。
- soup.find('table', id='basic_school_stats'): 定位到包含数据的表格。通常，动态加载的数据会更新现有表格的内容，因此我们仍需查找原始表格的ID或类名。
-
row.find_all('td'): 遍历表格的每一行，然后查找该行中的所有数据单元格
。 - td.get('data-stat'): 体育数据网站通常会使用data-stat属性来标识每个单元格代表的统计类别，这比单纯依赖文本内容或列顺序更加健壮。
- 数据提取和存储: 根据data-stat属性从team_data字典中获取所需数据，并将其整理成列表，最终写入CSV文件。
完整代码示例
将Selenium操作和BeautifulSoup解析结合起来，形成一个完整的抓取脚本：
from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from bs4 import BeautifulSoup import pandas as pd import csv import time def scrape_dynamic_sports_stats(url, toggle_id, output_csv_filename): """ 抓取包含动态Toggle按钮的体育网站数据。 Args: url (str): 目标网站URL。 toggle_id (str): Toggle按钮的HTML ID。 output_csv_filename (str): 输出CSV文件的名称。 """ options = webdriver.ChromeOptions() options.add_argument('--start-maximized') # 生产环境建议使用无头模式 # options.add_argument('--headless') # options.add_argument('--disable-gpu') # options.add_argument('--no-sandbox') # options.add_argument('--disable-dev-shm-usage') driver = webdriver.Chrome(options=options) html_source = None try: driver.get(url) # 等待Toggle按钮出现并点击 print(f"等待Toggle按钮 '{toggle_id}'...") toggle_button = WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, toggle_id)) ) driver.execute_script("arguments[0].click();", toggle_button) print("Toggle按钮已点击。等待数据加载...") # 等待数据加载完成，可以更智能地等待某个元素状态变化 # 例如，等待表格中某个“Per Game”特有的列头出现 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "th[data-stat='orb_per_g']")) ) time.sleep(1) # 额外等待一小段时间确保所有内容渲染 html_source = driver.page_source print("成功获取点击后的页面HTML源码。") except Exception as e: print(f"Selenium操作失败: {e}") finally: driver.quit() if not html_source: print("HTML源码获取失败，无法进行解析。") return # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_source, 'html.parser') table = soup.find('table', id='basic_school_stats') if not table: print("未找到统计数据表格。") return team_stats_data = [] output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G'] for row in table.find('tbody').find_all('tr'): team_data = {} for td in row.find_all('td'): data_stat = td.get('data-stat') if data_stat: team_data[data_stat] = td.text.strip() if team_data.get('school_name'): # 确保有球队名称才处理 extracted_row = [ team_data.get('school_name', 'N/A'), team_data.get('g', 'N/A'), team_data.get('fg_pct', 'N/A'), team_data.get('orb_per_g', 'N/A'), team_data.get('ast_per_g', 'N/A'), team_data.get('stl_per_g', 'N/A'), team_data.get('blk_per_g', 'N/A'), team_data.get('tov_per_g', 'N/A'), team_data.get('pf_per_g', 'N/A') ] team_stats_data.append(extracted_row) if team_stats_data: with open(output_csv_filename, 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(output_headers) for row in team_stats_data: writer.writerow(row) print(f"数据已成功写入到 {output_csv_filename}") else: print("未提取到任何球队统计数据。") # 调用主函数 target_url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html' toggle_button_id = 'basic_school_stats_per_match_toggle' # "Per Game" Toggle按钮的ID output_file = 'men_2024_per_game_stats.csv' scrape_dynamic_sports_stats(target_url, toggle_button_id, output_file)注意事项与最佳实践
- 选择合适的等待策略：time.sleep()是一种简单的等待方式，但在实际应用中不够健壮。WebDriverWait结合expected_conditions是更推荐的方法，它可以等待特定元素出现、可见、可点击，或者等待某个文本内容发生变化。
- 定位器选择：优先使用ID (By.ID)，因为它通常是唯一的且查找效率高。如果ID不可用，可以尝试CSS选择器 (By.CSS_SELECTOR) 或XPath (By.XPATH)，它们非常灵活但可能更复杂。
- 无头模式：在服务器上运行或不需要可视化浏览器操作时，使用options.add_argument('--headless')可以显著提高性能并减少资源消耗。
- 错误处理：使用try-except-finally块来捕获可能发生的异常（如元素未找到、网络错误），并确保在任何情况下都能关闭浏览器驱动 (driver.quit())。
- User-Agent：虽然Selenium模拟真实浏览器，但有时网站仍可能检查User-Agent。可以在ChromeOptions中设置自定义的User-Agent。
- 代理IP：对于大规模抓取，考虑使用代理IP池以避免IP被封禁。
- 遵守网站规则：在抓取任何网站数据前，请务必阅读其robots.txt文件和服务条款，并遵守相关规定。避免高频请求，以免对网站服务器造成不必要的负担。
- 数据字段确认：在解析BeautifulSoup时，务必仔细检查目标网站的HTML结构，尤其是data-stat属性或类名，因为它们可能随时间或网站更新而变化。
总结
通过结合Selenium的浏览器自动化能力和BeautifulSoup的HTML解析能力，我们可以有效地处理各种动态网页，抓取那些需要用户交互才能显示的数据。Selenium负责模拟用户行为（如点击Toggle按钮）并获取更新后的页面内容，而BeautifulSoup则专注于从这些内容中结构化地提取所需信息。掌握这种组合技术，将大大扩展你的网页抓取能力。
