利用BeautifulSoup和Pandas高效抓取并结构化网页表格数据

import requests
from bs4 import BeautifulSoup
from bs4.element import ResultSet, Tag
from typing import Generator, List
from pandas import DataFrame

# 目标网页URL
url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'

# 发送GET请求获取网页内容
response: requests.Response = requests.get(url)
html: str = response.content

# 使用BeautifulSoup解析HTML
soup: BeautifulSoup = BeautifulSoup(html, 'html.parser')

# 查找所有表格头部单元格
table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading')

# 提取列名文本
# 注意：在BeautifulSoup中，由于'class'是Python的保留关键字，
# 在find_all/find方法中作为参数传递时需要使用'class_'。
colnames: List[str] = [th.text for th in table_headers]
print("提取到的列名:", colnames)

# 查找所有表格数据行
table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')

# 使用生成器表达式提取每行中的所有单元格文本
# 每个子生成器代表一行数据，包含该行所有子元素的文本内容
# 这里的child.text会提取<tr>标签下所有子标签（如<td>）的文本
row_data: Generator[Generator[str, None, None], None, None] = (
    (child.text for child in row.children) for row in table_rows
)

# 打印前几行数据以供检查（可选）
print("\n提取到的部分行数据:")
for i, row in enumerate(row_data):
    if i >= 3: # 只打印前3行
        break
    print(list(row)) # 将生成器转换为列表以便打印

# 重新获取row_data，因为上一步的打印操作已经消耗了生成器
table_rows_for_df: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')
row_data_for_df: Generator[Generator[str, None, None], None, None] = (
    (child.text for child in row.children) for row in table_rows_for_df
)

# 创建Pandas DataFrame
df: DataFrame = DataFrame(row_data_for_df, columns=colnames)

# 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略（保持原类型）
df = df.astype(int, errors='ignore')

print("\n最终生成的Pandas DataFrame:")
print(df.head())

import requests
from bs4 import BeautifulSoup
from bs4.element import ResultSet, Tag
from typing import Generator, List
from pandas import DataFrame

def scrape_snow_depth_data(url: str) -> DataFrame:
    """
    从指定的URL抓取积雪深度表格数据并返回Pandas DataFrame。

    Args:
        url (str): 目标网页的URL。

    Returns:
        DataFrame: 包含积雪深度数据的Pandas DataFrame。
    """
    try:
        response: requests.Response = requests.get(url)
        response.raise_for_status()  # 检查HTTP请求是否成功
    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return DataFrame()

    html: str = response.content
    soup: BeautifulSoup = BeautifulSoup(html, 'html.parser')

    # 提取表格头部（列名）
    table_headers: ResultSet = soup.find_all('th', class_='fluid-table__cell--heading')
    colnames: List[str] = [th.text.strip() for th in table_headers] # 使用.strip()清除空白符

    # 提取表格行数据
    table_rows: ResultSet = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')

    # 使用生成器表达式提取每行中的所有单元格文本
    # 注意：这里需要确保每个row.children都能正确解析出所需的数据，
    # 有时需要更精确的选择器如row.find_all('td')
    row_data: Generator[List[str], None, None] = (
        [child.text.strip() for child in row.children if isinstance(child, Tag)] 
        for row in table_rows
    )

    # 过滤掉空行或不完整的行，确保每行的数据量与列名数量一致
    filtered_row_data = [row for row in row_data if len(row) == len(colnames)]

    # 创建Pandas DataFrame
    df: DataFrame = DataFrame(filtered_row_data, columns=colnames)

    # 尝试将所有列的数据类型转换为整数，如果遇到无法转换的值则忽略
    # 可能会有非数字列，所以使用errors='ignore'
    for col in df.columns:
        try:
            df[col] = pd.to_numeric(df[col], errors='ignore')
        except:
            pass # 无法转换为数字的列保持原样

    return df

if __name__ == "__main__":
    import pandas as pd # 在主执行块中导入pd，避免全局污染

    target_url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'
    snow_depth_df = scrape_snow_depth_data(target_url)

    if not snow_depth_df.empty:
        print("成功获取并处理积雪深度数据:")
        print(snow_depth_df.head())
        print("\nDataFrame信息:")
        snow_depth_df.info()
    else:
        print("未能获取到数据。")