Python网络爬虫：高效提取网页图表悬停数据

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

options = Options()
options.add_argument("start-maximized")
webdriver_service = Service()
driver = webdriver.Chrome(options=options, service=webdriver_service)

driver.get('https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i9-11900K+%40+3.50GHz&id=3904')
# 尝试定位图表元素
element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//*[@id='placeholder']/div/canvas[2]")))

# 错误点：element是一个WebElement对象，不可迭代
for el in element:       
    ActionChains(driver).move_to_element(el).perform()   
    mouseover = WebDriverWait(driver, 30).until(EC.visibility_of_element_located((By.SELECTOR, ".placeholder > div > div.canvasjs-chart-tooltip > div > span")))      
    print(mouseover.text)

import requests
import re
import pandas as pd

url = "https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i9-11900K+%40+3.50GHz&id=3904"
html_text = requests.get(url).text

# 使用re.findall找到所有匹配的数据对
# re.findall会返回一个元组列表，每个元组包含正则表达式捕获的组
data_tuples = re.findall(r"dataArray\.push\({x: (\d+), y: ([\d.]+)}", html_text)

# 创建DataFrame，指定列名
df = pd.DataFrame(data_tuples, columns=["time", "price"])

# 将'time'列从字符串转换为整数，再除以1000（如果原始是毫秒），然后转换为datetime对象
# 示例中原始时间戳是秒，所以直接除以1000得到秒，然后unit='s'
df["time"] = pd.to_datetime(df["time"].astype(int) // 1000, unit="s")
# 将'price'列转换为浮点数
df["price"] = df["price"].astype(float)

print(df.tail())

import requests
import re
import pandas as pd

def scrape_cpu_pricing_history(cpu_url: str) -> pd.DataFrame:
    """
    从CPU Benchmark网站抓取指定CPU的价格历史数据。
    数据通过解析网页内嵌的JavaScript变量获取。

    Args:
        cpu_url (str): CPU详细页面的URL。

    Returns:
        pd.DataFrame: 包含时间戳和价格的DataFrame。
                      如果抓取失败或未找到数据，返回空的DataFrame。
    """
    try:
        html_text = requests.get(cpu_url, timeout=10).text
    except requests.exceptions.RequestException as e:
        print(f"请求URL失败: {e}")
        return pd.DataFrame()

    # 正则表达式匹配JavaScript中的dataArray.push({x: time, y: price})模式
    # x是时间戳（秒），y是价格
    pattern = r"dataArray\.push\({x: (\d+), y: ([\d.]+)}"
    data_matches = re.findall(pattern, html_text)

    if not data_matches:
        print("未在页面中找到价格历史数据。")
        return pd.DataFrame()

    # 将匹配结果转换为DataFrame
    df = pd.DataFrame(data_matches, columns=["time", "price"])

    # 数据类型转换和格式化
    try:
        # 原始时间戳通常是毫秒级，转换为秒后再转datetime
        # 根据观察，此网站的时间戳是秒级，所以直接//1000是错误的，应根据实际情况调整
        # 此处根据答案中的 // 1000 判断，原始数据可能以毫秒存储，但to_datetime的unit='s'表示输入是秒
        # 如果原始数据是秒，则无需 // 1000
        df["time"] = pd.to_datetime(df["time"].astype(int), unit="s") # 假设原始是秒
        df["price"] = df["price"].astype(float)
    except ValueError as e:
        print(f"数据类型转换失败: {e}")
        return pd.DataFrame()

    return df

# 示例调用
cpu_detail_url = "https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i9-11900K+%40+3.50GHz&id=3904"
pricing_df = scrape_cpu_pricing_history(cpu_detail_url)

if not pricing_df.empty:
    print("成功获取CPU价格历史数据：")
    print(pricing_df.tail())
else:
    print("未能获取CPU价格历史数据。")

                   time   price
236 2023-05-28 06:00:00  317.86
237 2023-05-29 06:00:00  319.43
238 2023-05-30 06:00:00  429.99
239 2023-05-31 06:00:00  314.64
240 2023-06-01 06:00:00   318.9