如何高效抓取网页图表数据：绕过鼠标悬停，直取JavaScript变量

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

# ... (初始化WebDriver代码省略) ...

driver.get('https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i9-11900K+%40+3.50GHz&id=3904')
# 尝试定位图表元素
element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//*[@id='placeholder']/div/canvas[2]")))

# 问题所在：element是一个WebElement对象，不可直接迭代
for el in element: # 导致 'WebElement' object is not iterable 错误
    ActionChains(driver).move_to_element(el).perform()
    mouseover = WebDriverWait(driver, 30).until(EC.visibility_of_element_located((By.SELECTOR, ".placeholder > div > div.canvasjs-chart-tooltip > div > span")))
    print(mouseover.text)

import re
import pandas as pd
import requests

# 目标网页URL
url = "https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i9-11900K+%40+3.50GHz&id=3904"

# 1. 使用requests获取网页的HTML内容
# requests库可以直接获取页面的原始HTML，不执行JavaScript，速度快。
html_text = requests.get(url).text

# 2. 使用正则表达式从HTML中提取数据
# re.findall() 用于查找所有匹配正则表达式的非重叠匹配项。
# 正则表达式 r"dataArray\.push\({x: (\d+), y: ([\d.]+)}" 的解释：
#   - dataArray\.push\({x: ：匹配字面字符串 "dataArray.push({x:"。注意点号需要转义。
#   - (\d+)：第一个捕获组，匹配一个或多个数字（对应时间戳）。
#   - , y: ：匹配字面字符串 ", y:"。
#   - ([\d.]+)：第二个捕获组，匹配一个或多个数字或点（对应价格）。
#   - }：匹配字面字符串 "}"。
# 整个模式旨在捕获 `x` 和 `y` 括号内的值。
df = pd.DataFrame(
    re.findall(r"dataArray\.push\({x: (\d+), y: ([\d.]+)}", html_text),
    columns=["time", "price"],
)

# 3. 数据类型转换与清洗
# 原始的时间戳是毫秒级，需要转换为秒级后，再使用pd.to_datetime转换为日期时间格式。
# astype(int) 将字符串时间戳转换为整数。
# // 1000 将毫秒转换为秒。
# unit="s" 指定时间单位为秒。
df["time"] = pd.to_datetime(df["time"].astype(int) // 1000, unit="s")

# 4. 打印处理后的数据框的尾部几行
print(df.tail())

                   time   price
236 2023-05-28 06:00:00  317.86
237 2023-05-29 06:00:00  319.43
238 2023-05-30 06:00:00  429.99
239 2023-05-31 06:00:00  314.64
240 2023-06-01 06:00:00   318.9