利用Python进行网页表格数据抓取与Pandas DataFrame转换

import requests
from bs4 import BeautifulSoup
import pandas as pd
from typing import Generator, List, TypeAlias

# 定义类型别名，提高代码可读性
LazyRow: TypeAlias = Generator[str, None, None]
LazyRowTable: TypeAlias = Generator[LazyRow, None, None]

# 目标URL
url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'

# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
response.raise_for_status() # 如果请求失败，会抛出HTTPError异常

# 获取网页内容
html_content = response.content

# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html_content, 'html.parser')

# 定位表格头部（列名）
# 查找所有class为'fluid-table__cell--heading'的th标签
table_headers = soup.find_all('th', class_='fluid-table__cell--heading')

# 定位表格数据行
# 查找所有class为'fluid-table__row fluid-table__row--link'的tr标签
table_rows = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')

# 提取列名
# 注意：在BeautifulSoup的find_all方法中，由于'class'是Python的保留关键字，
# 需要使用'class_'来指定HTML元素的class属性。
colnames: List[str] = [th.text.strip() for th in table_headers]

# 提取每一行的数据
# row.children会返回tr标签下的所有子元素，包括td标签
# 这里使用嵌套的生成器表达式来构建行数据
row_data: LazyRowTable = ((child.text.strip() for child in row.children) for row in table_rows)

# 使用提取到的列名和行数据创建Pandas DataFrame
df: pd.DataFrame = pd.DataFrame(row_data, columns=colnames)

# 尝试将DataFrame中的数据转换为整数类型，如果遇到无法转换的值则忽略（errors='ignore'）
# 这有助于确保数值型数据以正确的类型存储，便于后续的数值计算
df = df.astype(int, errors='ignore')

# 打印DataFrame的前几行以验证结果
print(df.head())

import requests
from bs4 import BeautifulSoup
import pandas as pd
from typing import Generator, List, TypeAlias

# 定义类型别名，提高代码可读性
LazyRow: TypeAlias = Generator[str, None, None]
LazyRowTable: TypeAlias = Generator[LazyRow, None, None]

def scrape_snow_depth_data(url: str) -> pd.DataFrame:
    """
    从指定的雪深数据网页抓取表格数据并转换为Pandas DataFrame。

    Args:
        url (str): 目标网页的URL。

    Returns:
        pd.DataFrame: 包含雪深数据的DataFrame。
    """
    try:
        # 1. 发送HTTP请求获取网页内容
        response = requests.get(url)
        response.raise_for_status() # 检查请求是否成功

        html_content = response.content
        soup = BeautifulSoup(html_content, 'html.parser')

        # 2. 解析HTML内容并定位表格元素
        # 定位表格头部（列名）
        table_headers = soup.find_all('th', class_='fluid-table__cell--heading')
        # 定位表格数据行
        table_rows = soup.find_all('tr', class_='fluid-table__row fluid-table__row--link')

        # 提取列名
        colnames: List[str] = [th.text.strip() for th in table_headers]

        # 3. 提取每一行的数据
        row_data: LazyRowTable = ((child.text.strip() for child in row.children) for row in table_rows)

        # 4. 构建Pandas DataFrame
        df: pd.DataFrame = pd.DataFrame(row_data, columns=colnames)

        # 尝试将DataFrame中的数据转换为整数类型，忽略转换错误
        df = df.astype(int, errors='ignore')

        return df

    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return pd.DataFrame() # 返回空DataFrame
    except Exception as e:
        print(f"处理网页数据时发生错误: {e}")
        return pd.DataFrame() # 返回空DataFrame

if __name__ == "__main__":
    target_url = 'https://www.yr.no/nb/sn%C3%B8dybder/NO-46/Norge/Vestland'
    snow_depth_df = scrape_snow_depth_data(target_url)

    if not snow_depth_df.empty:
        print("成功获取雪深数据：")
        print(snow_depth_df.head())
        print("\nDataFrame信息:")
        snow_depth_df.info()
    else:
        print("未能获取雪深数据。")