使用Python和BeautifulSoup从HTML页面提取H3标签文本

pip install requests beautifulsoup4 html5lib

import requests

def fetch_html_content(url):
    """
    通过URL获取网页的HTML内容。
    Args:
        url (str): 目标网页的URL。
    Returns:
        str: 网页的HTML文本内容，如果请求失败则返回None。
    """
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功（状态码200）
        response.encoding = 'utf-8'  # 设置编码，防止中文乱码
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return None

# 示例：假设您有一个本地HTML文件或者一个在线URL
# 对于本地文件，您可以直接读取文件内容，这里以一个示例URL代替
# 实际应用中请替换为您的目标URL
target_url = 'https://www.example.com/your_page.html' # 请替换为实际的URL
html_content = fetch_html_content(target_url)

if html_content:
    print("成功获取HTML内容，准备解析...")
else:
    print("未能获取HTML内容，程序退出。")
    exit()

from bs4 import BeautifulSoup

def extract_h3_texts(html_doc):
    """
    解析HTML文档，提取所有<h3>标签的文本内容。
    Args:
        html_doc (str): HTML文档的字符串内容。
    Returns:
        list: 包含所有<h3>标签文本的列表。
    """
    # 使用html5lib解析器，因为它对不规范的HTML有更好的容错性
    soup = BeautifulSoup(html_doc, "html5lib")

    # 查找所有<h3>标签
    h3_tags = soup.find_all('h3')

    # 提取每个<h3>标签的文本内容
    h3_texts = [h3.text for h3 in h3_tags]

    return h3_texts

# 继续上面的代码，在获取到html_content之后调用
if html_content:
    extracted_texts = extract_h3_texts(html_content)
    if extracted_texts:
        print("\n提取到的H3标签文本：")
        for text in extracted_texts:
            print(text.strip()) # 使用strip()去除首尾空白符
    else:
        print("\n未找到任何H3标签。")

import requests
from bs4 import BeautifulSoup

def fetch_html_content(url):
    """
    通过URL获取网页的HTML内容。
    Args:
        url (str): 目标网页的URL。
    Returns:
        str: 网页的HTML文本内容，如果请求失败则返回None。
    """
    try:
        response = requests.get(url, timeout=10) # 设置超时时间
        response.raise_for_status()  # 检查请求是否成功（状态码200）
        response.encoding = 'utf-8'  # 设置编码，防止中文乱码
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"请求网页失败: {e}")
        return None

def extract_h3_texts(html_doc):
    """
    解析HTML文档，提取所有<h3>标签的文本内容。
    Args:
        html_doc (str): HTML文档的字符串内容。
    Returns:
        list: 包含所有<h3>标签文本的列表。
    """
    if not html_doc:
        return []

    # 使用html5lib解析器，因为它对不规范的HTML有更好的容错性
    soup = BeautifulSoup(html_doc, "html5lib")

    # 查找所有<h3>标签
    h3_tags = soup.find_all('h3')

    # 提取每个<h3>标签的文本内容，并去除首尾空白
    h3_texts = [h3.text.strip() for h3 in h3_tags]

    return h3_texts

if __name__ == "__main__":
    # 请替换为实际的目标URL
    # 示例HTML结构（与问题中类似）：
    # <h3 id="basics">1. Creating a Web Page</h3>
    # <p>...</p>
    # <h3 id="syntax">>2. HTML Syntax</h3>
    # 假设这个HTML内容在一个可以访问的URL上
    target_url = 'https://www.python.org/doc/' # 这是一个示例URL，通常会包含h3标签

    print(f"正在尝试从 {target_url} 提取H3标签文本...")
    html_content = fetch_html_content(target_url)

    if html_content:
        extracted_texts = extract_h3_texts(html_content)
        if extracted_texts:
            print("\n成功提取到的H3标签文本：")
            for text in extracted_texts:
                print(text)
        else:
            print("\n在该网页中未找到任何H3标签。")
    else:
        print("\n无法继续，因为未能获取网页内容。")