使用BeautifulSoup精准提取HTML元素文本内容

BeautifulSoup基础：解析HTML

在进行网页数据抓取时，beautifulsoup是一个功能强大且易于使用的python库，它能够从html或xml文件中提取数据。与scrapy等框架中基于xpath的选择器不同，beautifulsoup提供了更pythonic的api来遍历解析树。开始使用beautifulsoup的第一步是将html内容解析成一个可操作的beautifulsoup对象。

from bs4 import BeautifulSoup

# 示例HTML内容
html_doc = """
<div class="col-12 col-md-8">
  <article class="article-main">
    <header class="article-header">
       <h1 class="article-title" style="font-size: 28px !important; font-family: sans-serif !important;">Presentation: Govt pushes CCS/CCUS development in RI upstream sector</h1>
       <div class="article-meta">
         <span class="meta-posted">
                    Monday, August 1 2022 - 04:27PM WIB </span>
       </div>
    </header>
  </article>
</div>
"""

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')

目标HTML结构分析

为了准确地提取所需信息，首先需要理解目标HTML的结构。在上述示例HTML中，我们希望提取文章的标题和发布日期。

• 文章标题： 位于一个<h1>标签内，该标签具有article-title的类名。

  <h1 class="article-title">...</h1>

  登录后复制
• 发布日期： 位于一个<span>标签内，该标签具有meta-posted的类名。

  <span class="meta-posted">...</span>

  登录后复制

我们的目标是获取这些标签内部的纯文本内容，而不是包含HTML标签的完整字符串。

使用findAll定位特定元素

BeautifulSoup提供了多种方法来定位HTML元素，其中findAll()（或其别名find_all()）是最常用的之一。它用于查找所有符合条件的标签，并返回一个列表。

findAll()方法的基本用法是：soup.findAll(name, attrs, recursive, text, limit, **kwargs)。 在这里，我们主要关注name（标签名）和attrs（属性字典）。

1. 定位文章标题： 标题位于<h1>标签中，且其class属性为article-title。

   titles = soup.findAll('h1', attrs={'class':'article-title'})
   # 此时 titles 是一个列表，包含所有匹配的 <h1> 标签对象
   # 例如：[<h1 class="article-title" style="...">Presentation: Govt pushes CCS/CCUS development in RI upstream sector</h1>]

   登录后复制

2. 定位发布日期： 日期位于<span>标签中，且其class属性为meta-posted。

   dates = soup.findAll('span', attrs={'class':'meta-posted'})
   # 此时 dates 也是一个列表，包含所有匹配的 <span> 标签对象
   # 例如：[<span class="meta-posted">
   #                    Monday, August 1 2022 - 04:27PM WIB </span>]

   登录后复制

需要注意的是，findAll()返回的是一个BeautifulSoup标签对象的列表。直接打印这些对象会显示包含HTML标签的完整字符串。

立即学习“前端免费学习笔记（深入）”；

通过get_text()提取纯文本内容

为了从定位到的标签对象中获取纯文本内容，BeautifulSoup提供了get_text()方法。这个方法会移除标签本身，只返回其内部的文本。

我们可以遍历findAll()返回的列表，并对每个标签对象调用get_text()方法。

1. 提取文章标题文本：

   

   巧文书

   巧文书是一款AI写标书、AI写方案的产品。通过自研的先进AI大模型，精准解析招标文件，智能生成投标内容。

   61

   查看详情

   for title_tag in titles:
       article_title_text = title_tag.get_text()
       print(f"文章标题: {article_title_text}")

   登录后复制

2. 提取发布日期文本：

   for date_tag in dates:
       published_date_text = date_tag.get_text()
       print(f"发布日期: {published_date_text}")

   登录后复制

通过这种方式，我们就能获得干净、不含HTML标签的纯文本数据。

完整示例代码

以下是将上述步骤整合到一起的完整代码示例：

from bs4 import BeautifulSoup

# 示例HTML内容
html_doc = """
<div class="col-12 col-md-8">
  <article class="article-main">
    <header class="article-header">
       <h1 class="article-title" style="font-size: 28px !important; font-family: sans-serif !important;">Presentation: Govt pushes CCS/CCUS development in RI upstream sector</h1>
       <div class="article-meta">
         <span class="meta-posted">
                    Monday, August 1 2022 - 04:27PM WIB </span>
       </div>
    </header>
  </article>
</div>
"""

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取文章标题
print("--- 提取文章标题 ---")
titles = soup.findAll('h1', attrs={'class':'article-title'})
for title_tag in titles:
    print(title_tag.get_text())

# 提取发布日期
print("\n--- 提取发布日期 ---")
dates = soup.findAll('span', attrs={'class':'meta-posted'})
for date_tag in dates:
    print(date_tag.get_text())

运行上述代码，将得到以下输出：

--- 提取文章标题 ---
Presentation: Govt pushes CCS/CCUS development in RI upstream sector

--- 提取发布日期 ---
                    Monday, August 1 2022 - 04:27PM WIB 

进阶技巧与注意事项

1. find()与findAll()的选择：

   • findAll()（或find_all()）返回所有匹配的标签列表。
   • find()（或find()）只返回第一个匹配的标签。如果确定只有一个目标元素，使用find()更高效且直接。
   • 例如，如果确定文章只有一个标题：title_tag = soup.find('h1', attrs={'class':'article-title'})，然后直接 title_tag.get_text()。

2. 处理空白字符：get_text(strip=True) 在上面的日期提取结果中，可以看到日期文本前后存在多余的空白字符。为了清理这些空白，可以在调用get_text()时传入strip=True参数。

   for date_tag in dates:
       published_date_text = date_tag.get_text(strip=True)
       print(f"发布日期 (清理后): {published_date_text}")

   登录后复制

   这将输出：发布日期 (清理后): Monday, August 1 2022 - 04:27PM WIB，使得数据更加整洁。

3. 处理元素不存在的情况： 如果使用find()方法且目标元素不存在，它将返回None。在尝试对None对象调用方法（如get_text()）时，会引发AttributeError

以上就是使用BeautifulSoup精准提取HTML元素文本内容的详细内容，更多请关注php中文网其它相关文章！