使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本-Python教程-PHP中文网

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

心靈之曲

发布： 2025-10-22 10:41:20

原创

283人浏览过

使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本

本文详细介绍了如何利用 python 的 beautiful soup 库，结合 css 选择器和 `stripped_strings` 方法，从非结构化 html 中精确提取特定标签（如包含 `` 标签的 ``）内 `
` 标签之后的文本内容。教程通过示例代码演示了如何解决常见的数据提取挑战，并提供了高效、健壮的解决方案，适用于处理复杂的 html 结构。

引言：HTML 文本提取的挑战

在网络爬虫和数据抓取任务中，从 HTML 页面中提取特定信息是常见的需求。然而，HTML 结构往往不规则，目标文本可能隐藏在复杂的标签层级中，或者紧邻其他非目标内容。特别是当我们需要提取某个特定标签（如 <br>）之后的文本时，传统的 find() 或 find_all() 方法配合 next_sibling 可能会因为文本节点、空白字符等原因导致提取失败。本文将以一个具体的 HTML 结构为例，演示如何使用 Beautiful Soup 库，通过更强大的 CSS 选择器和字符串处理方法，高效且准确地提取所需文本。

问题场景分析

假设我们有以下 HTML 片段，目标是提取 <td> 标签中 <strong> 标签之后、<br> 标签紧随其后的文本内容（例如 "aaa" 和 "bbb"）。
<html> <head></head> <body> <table style="max-width: 600px; margin: auto;"> <tbody> <tr> <td>Swan</td> <td>Flower</td> </tr> <tr> <td colspan="2" style="background: #ffffff;"> <h5>Playground</h5> </td> </tr> <tr> <td colspan="2"> <strong>Animal:</strong> <br>aaa</td> </tr> <tr> <td colspan="2"> <strong>Fish:</strong> <br>bbb</td> </tr> <tr> <td colspan="2" style="text-align: center;"> <form method="post"> <input type="hidden" name="yyy" value="7777"> <input type="hidden" name="rrr" value="wssss"> <input type="submit" value="djd ddd" style="width: 250px;"> </form> </td> </tr> </tbody> </table> </body> </html>
登录后复制
初次尝试可能通过 find_all('td', {'colspan': '2', 'strong': True}) 来定位目标 <td> 标签，然后尝试获取 <br> 的 next_sibling。然而，strong: True 并非有效的 td 标签属性，因此这种选择器无法准确匹配。即使能够定位到 <td>，br_tag.next_sibling.strip() 也可能因文本节点或空白字符处理不当而失败。

解决方案：结合 CSS 选择器与 stripped_strings

Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。

立即学习“前端免费学习笔记（深入）”；

小绿鲸英文文献阅读器
英文文献阅读器，专注提高SCI阅读效率

199

查看详情

核心思路

使用 :has() 伪类选择器定位父元素： 找到所有包含 <strong> 标签的 <td> 元素。这比直接查找 <strong> 的父级更具描述性，并且可以确保我们只处理包含特定子元素的 <td>。

利用 stripped_strings 提取纯净文本： 对于定位到的每个 <td> 元素，stripped_strings 属性会迭代其所有子孙文本内容，并自动去除多余的空白字符。由于我们的目标文本 "aaa" 或 "bbb" 总是 <td> 中最后一个有意义的文本片段（在 <strong> 和 <br> 之后），我们可以简单地获取 stripped_strings 列表中的最后一个元素。

示例代码

以下是实现这一目标的 Python 代码：
from bs4 import BeautifulSoup # 模拟 HTML 内容 html_text = """\ <html> <head></head> <body> <table style="max-width: 600px; margin: auto;"> <tbody> <tr> <td>Swan</td> <td>Flower</td> </tr> <tr> <td colspan="2" style="background: #ffffff;"> <h5>Playground</h5> </td> </tr> <tr> <td colspan="2"> <strong>Animal:</strong> <br>aaa</td> </tr> <tr> <td colspan="2"> <strong>Fish:</strong> <br>bbb</td> </tr> <tr> <td colspan="2" style="text-align: center;"> <form method="post"> <input type="hidden" name="yyy" value="7777"> <input type="hidden" name="rrr" value="wssss"> <input type="submit" value="djd ddd" style="width: 250px;"> </form> </td> </tr> </tbody> </table> </body>""" # 使用 Beautiful Soup 解析 HTML soup = BeautifulSoup(html_text, "html.parser") # 使用 CSS 选择器定位所有包含 <strong> 标签的 <td> 元素 # ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素 target_tds = soup.select("td:has(strong)") # 遍历每个目标 <td> 元素并提取所需文本 extracted_texts = [] for td in target_tds: # `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白 # 将其转换为列表，并获取最后一个元素，即 `<br>` 后的文本 text = list(td.stripped_strings)[-1] extracted_texts.append(text) print(text) print(f"\n所有提取的文本: {extracted_texts}")
登录后复制
输出结果：
aaa bbb 所有提取的文本: ['aaa', 'bbb']
登录后复制
代码解析

from bs4 import BeautifulSoup: 导入 Beautiful Soup 库。

soup = BeautifulSoup(html_text, "html.parser"): 初始化 Beautiful Soup 对象，使用 html.parser 解析器解析 HTML 文本。

soup.select("td:has(strong)"): 这是关键一步。

td: 选择所有 <td> 标签。

:has(strong): 这是一个 CSS 伪类选择器，它会进一步过滤 <td> 标签，只保留那些内部包含 <strong> 标签的 <td>。这使得我们能够精确地找到目标父元素。

for td in target_tds:: 遍历所有匹配到的 <td> 元素。

text = list(td.stripped_strings)[-1]:

td.stripped_strings: 这个属性返回一个生成器，它会遍历当前 td 标签及其所有子孙标签中的文本内容，并自动去除文本两端的空白字符（如换行符、空格）。

list(...): 将生成器转换为列表，这样我们可以通过索引访问其元素。

[-1]: 获取列表中的最后一个元素。在我们的 HTML 结构中，<strong>Animal:</strong> 是第一个文本片段，而 aaa 是在 <br> 之后，作为 <td> 内的最后一个有意义的文本片段。因此，获取最后一个 stripped_strings 元素就能准确得到我们想要的内容。

注意事项与总结

CSS 选择器的强大性： Beautiful Soup 的 select() 方法支持大部分 CSS3 选择器，包括类选择器、ID 选择器、属性选择器、伪类选择器（如 :nth-of-type, :first-child, :has() 等）。熟练掌握 CSS 选择器能够极大地提高 HTML 元素定位的效率和准确性。

stripped_strings 的应用场景： 当你需要从一个标签内部提取所有纯净的文本内容，并且这些文本可能被其他标签或空白字符分隔时，stripped_strings 是一个非常实用的工具。它能自动处理文本的拼接和空白去除。

HTML 结构分析： 在进行任何数据提取之前，仔细分析目标 HTML 的结构至关重要。通过浏览器开发者工具检查元素的层级关系、属性和文本位置，可以帮助你设计出最有效的选择器和提取逻辑。

健壮性考虑： 这种方法相对 next_sibling 更为健壮，因为它不依赖于 <br> 标签和目标文本之间是否存在空白文本节点。只要目标文本是其父元素内最后一个有意义的文本片段，list(td.stripped_strings)[-1] 就能成功提取。

通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。

以上就是使用 Beautiful Soup 从非结构化 HTML 中高效提取特定文本的详细内容，更多请关注php中文网其它相关文章！