使用Python和Selenium抓取动态网页数据：处理Toggle按钮

pip install selenium beautifulsoup4 pandas

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time

# 配置Chrome浏览器选项
options = webdriver.ChromeOptions()
options.add_argument('--start-maximized') # 浏览器最大化显示
# options.add_argument('--headless') # 启用无头模式，不显示浏览器界面
# options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU加速
# options.add_argument('--no-sandbox') # 无头模式下可能需要
# options.add_argument('--disable-dev-shm-usage') # 无头模式下可能需要

# 初始化WebDriver
# 如果ChromeDriver不在系统PATH中，需要指定executable_path
driver = webdriver.Chrome(options=options) 

try:
    # 导航到目标URL
    driver.get('https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html')

    # 等待页面加载完成，特别是等待Toggle按钮出现
    # 这里我们等待ID为'basic_school_stats_per_match_toggle'的元素出现
    toggle_button = WebDriverWait(driver, 20).until(
        EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle'))
    )

    # 点击Toggle按钮
    # 可以使用.click()方法，但有时JavaScript按钮使用execute_script更稳定
    driver.execute_script("arguments[0].click();", toggle_button)

    # 等待数据加载完成，可以根据实际情况调整等待时间
    # 例如，等待表格内容更新或某个特定元素出现
    time.sleep(2) # 简单等待2秒，确保数据加载完毕

    # 获取点击后的页面HTML源码
    html_source = driver.page_source

except Exception as e:
    print(f"An error occurred: {e}")
    html_source = None
finally:
    # 关闭浏览器
    driver.quit()

if html_source:
    print("Successfully obtained HTML after toggle click.")
    # 现在可以将html_source传递给BeautifulSoup进行解析
else:
    print("Failed to obtain HTML.")

from bs4 import BeautifulSoup
import pandas as pd
import csv

def parse_dynamic_html(html_source):
    """
    使用BeautifulSoup解析HTML源码，提取球队的“Per Game”统计数据。
    """
    soup = BeautifulSoup(html_source, 'html.parser')

    # 查找包含统计数据的表格
    # 在Sports-Reference网站，Per Game数据通常在ID为'basic_school_stats'的表格中
    # 并且其内容会随着toggle变化
    table = soup.find('table', id='basic_school_stats')

    if not table:
        print("未找到统计数据表格。")
        return []

    team_stats_list = []
    # 查找表头，用于生成CSV文件头
    headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()]
    # 移除第一个空的th
    if headers and headers[0] == 'Rk': # 通常第一个是排名，可以去除或保留
        headers = headers[1:] 

    # 遍历表格的每一行
    for row in table.find('tbody').find_all('tr'):
        team_data = {}
        # 查找所有td元素，并根据data-stat属性提取数据
        for td in row.find_all('td'):
            data_stat = td.get('data-stat')
            if data_stat:
                team_data[data_stat] = td.text.strip()

        if team_data: # 确保行有数据
            # 提取我们关心的特定“Per Game”数据
            # 注意：这里的data-stat名称应与网站实际的“Per Game”数据字段对应
            # 例如，'school_name'、'fg_pct'、'orb_per_g'、'ast_per_g'等
            extracted_row = [
                team_data.get('school_name', 'N/A'),
                team_data.get('g', 'N/A'), # 比赛场次
                team_data.get('fg_pct', 'N/A'), # 投篮命中率
                team_data.get('orb_per_g', 'N/A'), # 场均进攻篮板
                team_data.get('ast_per_g', 'N/A'), # 场均助攻
                team_data.get('stl_per_g', 'N/A'), # 场均抢断
                team_data.get('blk_per_g', 'N/A'), # 场均盖帽
                team_data.get('tov_per_g', 'N/A'), # 场均失误
                team_data.get('pf_per_g', 'N/A')  # 场均犯规
            ]
            team_stats_list.append(extracted_row)

    return team_stats_list, headers

def write_to_csv(data, headers, filename):
    """
    将提取的数据写入CSV文件。
    """
    # 调整headers以匹配我们提取的数据顺序
    output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G']

    with open(filename, 'w', newline='', encoding='utf-8') as file:
        writer = csv.writer(file)
        writer.writerow(output_headers)
        for row in data:
            writer.writerow(row)
    print(f"数据已成功写入到 {filename}")

# 假设我们已经通过Selenium获取了html_source
# ... (上述Selenium代码块) ...

# 示例：如果html_source已获取
if html_source:
    team_per_game_stats, original_headers = parse_dynamic_html(html_source)
    if team_per_game_stats:
        csv_filename = 'team_per_game_stats.csv'
        write_to_csv(team_per_game_stats, original_headers, csv_filename)
    else:
        print("未提取到任何球队统计数据。")
else:
    print("HTML源码获取失败，无法进行解析。")

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import pandas as pd
import csv
import time

def scrape_dynamic_sports_stats(url, toggle_id, output_csv_filename):
    """
    抓取包含动态Toggle按钮的体育网站数据。

    Args:
        url (str): 目标网站URL。
        toggle_id (str): Toggle按钮的HTML ID。
        output_csv_filename (str): 输出CSV文件的名称。
    """
    options = webdriver.ChromeOptions()
    options.add_argument('--start-maximized')
    # 生产环境建议使用无头模式
    # options.add_argument('--headless')
    # options.add_argument('--disable-gpu')
    # options.add_argument('--no-sandbox')
    # options.add_argument('--disable-dev-shm-usage')

    driver = webdriver.Chrome(options=options)
    html_source = None

    try:
        driver.get(url)

        # 等待Toggle按钮出现并点击
        print(f"等待Toggle按钮 '{toggle_id}'...")
        toggle_button = WebDriverWait(driver, 20).until(
            EC.presence_of_element_located((By.ID, toggle_id))
        )
        driver.execute_script("arguments[0].click();", toggle_button)
        print("Toggle按钮已点击。等待数据加载...")

        # 等待数据加载完成，可以更智能地等待某个元素状态变化
        # 例如，等待表格中某个“Per Game”特有的列头出现
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "th[data-stat='orb_per_g']"))
        )
        time.sleep(1) # 额外等待一小段时间确保所有内容渲染

        html_source = driver.page_source
        print("成功获取点击后的页面HTML源码。")

    except Exception as e:
        print(f"Selenium操作失败: {e}")
    finally:
        driver.quit()

    if not html_source:
        print("HTML源码获取失败，无法进行解析。")
        return

    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(html_source, 'html.parser')
    table = soup.find('table', id='basic_school_stats')

    if not table:
        print("未找到统计数据表格。")
        return

    team_stats_data = []
    output_headers = ['Team', 'Games', 'FG%', 'ORB/G', 'AST/G', 'STL/G', 'BLK/G', 'TOV/G', 'PF/G']

    for row in table.find('tbody').find_all('tr'):
        team_data = {}
        for td in row.find_all('td'):
            data_stat = td.get('data-stat')
            if data_stat:
                team_data[data_stat] = td.text.strip()

        if team_data.get('school_name'): # 确保有球队名称才处理
            extracted_row = [
                team_data.get('school_name', 'N/A'),
                team_data.get('g', 'N/A'),
                team_data.get('fg_pct', 'N/A'),
                team_data.get('orb_per_g', 'N/A'),
                team_data.get('ast_per_g', 'N/A'),
                team_data.get('stl_per_g', 'N/A'),
                team_data.get('blk_per_g', 'N/A'),
                team_data.get('tov_per_g', 'N/A'),
                team_data.get('pf_per_g', 'N/A')
            ]
            team_stats_data.append(extracted_row)

    if team_stats_data:
        with open(output_csv_filename, 'w', newline='', encoding='utf-8') as file:
            writer = csv.writer(file)
            writer.writerow(output_headers)
            for row in team_stats_data:
                writer.writerow(row)
        print(f"数据已成功写入到 {output_csv_filename}")
    else:
        print("未提取到任何球队统计数据。")

# 调用主函数
target_url = 'https://www.sports-reference.com/cbb/seasons/men/2024-school-stats.html'
toggle_button_id = 'basic_school_stats_per_match_toggle' # "Per Game" Toggle按钮的ID
output_file = 'men_2024_per_game_stats.csv'

scrape_dynamic_sports_stats(target_url, toggle_button_id, output_file)