针对ASP.NET网站动态表格的高效数据抓取教程：摆脱Selenium的限制

from io import StringIO
import pandas as pd
import requests
from bs4 import BeautifulSoup
from tabulate import tabulate

# 目标URL
url = "https://serviciosede.mineco.gob.es/indeco/reports/verSerieGraf.aspx/?codigo=230400&frec=-1"

# 预设的POST请求负载数据，这些是分析网络请求后得到的固定参数
# 某些值可能在每次请求中固定，某些需要从首次GET请求中提取
payload_data = {
    "__EVENTTARGET": "ReportViewer1$_ctl9$Reserved_AsyncLoadTarget",
    "__VIEWSTATE": "", # 动态值，需要从首次GET请求中提取
    "__VIEWSTATEGENERATOR": "4B866612", # 固定值或半动态值
    "__EVENTVALIDATION": "", # 动态值，需要从首次GET请求中提取
    "ReportViewer1:_ctl11": "standards",
    "ReportViewer1:AsyncWait:HiddenCancelField": "False",
    "ReportViewer1:ToggleParam:collapse": "false",
    "ReportViewer1:_ctl7:collapse": "false",
    "ReportViewer1:_ctl9:VisibilityState:_ctl0": "None",
    "ReportViewer1:_ctl9:ReportControl:_ctl4": "100"
}

# 使用requests.Session保持会话状态
with requests.Session() as s:
    # 第一次GET请求：获取页面的初始HTML内容
    # 目的是为了提取动态生成的__VIEWSTATE和__EVENTVALIDATION值
    initial_response = s.get(url)
    soup = BeautifulSoup(initial_response.text, "lxml")

    # 从首次GET请求的HTML中提取动态参数
    # 使用CSS选择器定位这些隐藏的input元素
    viewstate_element = soup.select_one("#__VIEWSTATE")
    if viewstate_element:
        payload_data["__VIEWSTATE"] = viewstate_element["value"]
    else:
        print("警告：未找到__VIEWSTATE字段。")

    eventvalidation_element = soup.select_one("#__EVENTVALIDATION")
    if eventvalidation_element:
        payload_data["__EVENTVALIDATION"] = eventvalidation_element["value"]
    else:
        print("警告：未找到__EVENTVALIDATION字段。")

    # 第二次POST请求：发送包含动态参数的表单数据
    # 这次请求的响应中应该包含目标表格的HTML
    table_response = s.post(url, data=payload_data)

    # 使用pandas解析响应中的HTML表格
    # pd.read_html会返回一个DataFrame列表，因为HTML中可能包含多个表格
    # 经过分析，目标表格是列表中的倒数第三个
    df_list = pd.read_html(StringIO(table_response.text))
    if len(df_list) >= 3:
        df = df_list[-3]
    else:
        print("错误：未找到预期的表格。")
        exit()

    # 数据清洗和格式化
    # 移除第一列（通常是序号或不必要的辅助列）
    df = df.drop(df.columns[0], axis=1)
    # 移除包含NaN值的行
    df.dropna(inplace=True)
    # 将第一行设置为列名
    df.columns = df.iloc[0]
    # 移除作为列名的第一行数据
    df = df.iloc[1:]

    # 打印格式化后的表格
    print(tabulate(df, headers='keys', tablefmt='psql', showindex=False))