Python网络爬虫教程：使用BeautifulSoup高效抓取天气数据

<dt>Dew point:</dt>
<dd class="mrgn-bttm-0 wxo-metric-hide">-2.3°<abbr title="Celsius">C</abbr>
</dd>
<dt>Wind:</dt>
<dd class="longContent mrgn-bttm-0 wxo-metric-hide">
<abbr title="Northeast">NE</abbr> 9 <abbr title="kilometres per hour">km/h</abbr>
</dd>

import requests
from bs4 import BeautifulSoup

# 目标网页URL
url = "https://weather.gc.ca/city/pages/ab-52_metric_e.html"

def get_html_content(target_url):
    """
    发送HTTP GET请求并获取网页内容。
    """
    try:
        # 增加超时设置，避免长时间等待无响应
        response = requests.get(target_url, timeout=10)
        # 检查HTTP请求是否成功，如果状态码不是200，将抛出HTTPError异常
        response.raise_for_status()
        return response.content
    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return None

html_content = get_html_content(url)

if html_content:
    # 使用BeautifulSoup解析HTML内容
    # "html.parser" 是Python内置的解析器，也可以使用lxml或html5lib
    soup = BeautifulSoup(html_content, "html.parser")
else:
    print("未能获取网页内容，程序退出。")
    exit()

# 查找页面中所有的<dt>标签
all_dt_elements = soup.find_all("dt")

# 定义需要抓取的气象指标列表
# 如果需要更多指标，可在此列表中添加
metrics_to_extract = [
    "Dew point:", "Wind:", "Pressure:", "Condition:", "Tendency:",
    "Temperature:", "Humidity:", "Visibility:"
]

# 用于存储抓取到的数据
weather_data = {}

for elem_dt in all_dt_elements:
    # 检查<dt>标签的文本内容是否在我们关注的指标列表中
    if elem_dt.text in metrics_to_extract:
        # 获取<dt>标签的下一个兄弟节点，通常是换行符或空格
        # 再获取下一个兄弟节点，才是实际包含值的<dd>标签
        value_elem_dd = elem_dt.next_sibling.next_sibling

        # 提取文本并去除首尾空白符（包括换行符）
        # 如果<dd>标签不存在，则设为"No Data"
        extracted_value = value_elem_dd.text.strip() if value_elem_dd else "No Data"

        # 将数据存储到字典中，键为指标名称，值为提取到的数据
        # 这里假设每个指标只有一个值，如果网站结构可能导致多值，可使用列表存储
        weather_data[elem_dt.text.replace(':', '')] = extracted_value

import requests
from bs4 import BeautifulSoup

def get_weather_data(url):
    """
    从指定URL抓取天气数据。
    """
    try:
        # 发送HTTP GET请求，设置超时时间为10秒
        resp = requests.get(url, timeout=10)
        # 检查HTTP请求是否成功，如果状态码不是200，将抛出HTTPError异常
        resp.raise_for_status()
    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return None

    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(resp.content, "html.parser")

    # 定义需要抓取的气象指标列表
    # 如果需要更多指标，可在此列表中添加
    metrics = ["Dew point:", "Wind:", "Pressure:", "Condition:", "Tendency:",
               "Temperature:", "Humidity:", "Visibility:"]

    data = {}

    # 查找页面中所有的<dt>标签
    all_dt = soup.find_all("dt")

    for elem in all_dt:
        # 检查<dt>标签的文本内容是否在我们关注的指标列表中
        if elem.text in metrics:
            # <dd>标签通常是<dt>标签的下一个兄弟节点，但有时会有换行符或空格作为兄弟节点
            # 因此使用 .next_sibling.next_sibling 来获取实际的<dd>标签
            value_elem = elem.next_sibling.next_sibling
            # 提取文本并去除首尾空白符（包括换行符）
            extracted_value = value_elem.text.strip() if value_elem else "No Data"
            # 将冒号从键中移除，使数据更清晰
            data[elem.text.replace(':', '')] = extracted_value
    return data

if __name__ == "__main__":
    target_url = "https://weather.gc.ca/city/pages/ab-52_metric_e.html"
    weather_info = get_weather_data(target_url)

    if weather_info:
        print("抓取到的天气数据:")
        for key, value in weather_info.items():
            print(f"{key}: {value}")
    else:
        print("未能成功获取天气数据。")

抓取到的天气数据:
Temperature: 13.2°C
Dew point: -2.3°C
Humidity: 34%
Wind: NE 9 km/h
Visibility: 48 km