使用BeautifulSoup在HTML中提取带高亮标记的文本并维护其原始顺序-Python教程-PHP中文网

使用BeautifulSoup在HTML中提取带高亮标记的文本并维护其原始顺序

本教程演示如何使用Python的BeautifulSoup库从HTML文本中精确提取包含特定高亮标记的文本段落，同时完整保留所有文本内容的原始顺序，并明确标识每个文本段落是否被高亮。通过结合find_all(string=True)和find_parent()方法，可以高效地构建结构化数据，用于进一步分析。

1. 引言：HTML文本解析与高亮识别的挑战

在处理html内容时，我们经常需要提取文本信息。一个常见的需求是识别并提取被特定html标签（如）标记的文本，同时还要保留这些文本在原始文档中的顺序，并判断它们是否具有特定的样式或属性（例如，一个class='highlight'的高亮标记）。

例如，给定以下HTML片段：

<p class="full-opaque">
<span class="highlight">Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels</span>.
Their large, <span class="highlight">cheerful blooms</span>
bring a touch of summer to any outdoor space, creating a delightful atmosphere. ...</p>

登录后复制

我们的目标是不仅要提取出“Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels”和“cheerful blooms”这些高亮文本，还要提取它们之间以及之后的所有普通文本，并保持所有文本段落的原始顺序，同时为每个段落标记其是否为高亮内容。

简单地使用soup.find_all('span', class_='highlight')只能找到高亮部分的元素，无法获取非高亮文本以及它们之间的相对顺序。这正是本教程将要解决的核心问题。

2. 解决方案：结合find_all(string=True)与find_parent()

BeautifulSoup库提供了强大的HTML解析能力。为了解决上述问题，我们可以利用以下两个关键方法：

立即学习“前端免费学习笔记（深入）”；

element.find_all(string=True)：这个方法可以查找指定元素内部的所有文本节点，包括直接文本和嵌套标签内的文本。它的一个重要特性是能够返回所有文本节点，而不仅仅是特定标签内的文本。
element.find_parent(class_='highlight')：对于一个文本节点，我们可以通过其父级元素向上追溯，判断它是否包含在具有特定类名（如highlight）的祖先元素中。

通过结合这两个方法，我们可以遍历HTML中的所有文本节点，然后对每个文本节点判断其是否属于一个高亮区域。

标书对比王

标书对比王是一款标书查重工具，支持多份投标文件两两相互比对，重复内容高亮标记，可快速定位重复内容原文所在位置，并可导出比对报告。

查看详情

2.1 示例代码

以下是实现上述目标的Python代码：

import pandas as pd
from bs4 import BeautifulSoup

# 原始HTML字符串
original_string = """<div class="image-container half-saturation half-opaque" \
style="cursor: pointer;"><img src="../stim/microphone.png" style="width: 40px; height: 40px;">\
</div><p class="full-opaque">\
<span class="highlight">Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels</span>. \
Their large, <span class="highlight">cheerful blooms</span>\
bring a touch of summer to any outdoor space, creating a delightful atmosphere. \
Whether you're enjoying their beauty in a garden or using them to add a splash of color to your living space, \
sunflowers are a symbol of positivity and radiance, making them a beloved part of nature's tapestry.</p>"""

# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(original_string, "html.parser")

# 用于存储提取数据的列表
data = []

# 针对特定的<p>标签进行处理。如果HTML结构不同，可能需要调整为soup.find_all(string=True)或查找其他父元素。
# find_all(string=True)会返回所有文本节点，包括被标签分隔的普通文本和标签内部的文本。
for i, text_node in enumerate(soup.p.find_all(string=True)):
    # 清理文本，去除首尾空白符
    cleaned_text = text_node.strip()

    # 只有当清理后的文本不为空时才进行处理，避免空字符串或纯空白符条目
    if cleaned_text:
        # 判断当前文本节点是否包含在class为'highlight'的父元素中
        # text_node.find_parent(class_="highlight")会返回第一个匹配的父元素，如果没有则返回None
        # bool()函数将其转换为布尔值
        is_highlighted = bool(text_node.find_parent(class_="highlight"))

        # 将提取到的信息添加到数据列表中
        data.append(
            {
                "text_order": len(data), # 使用len(data)确保顺序号在过滤空文本后是连续的
                "text": cleaned_text,
                "highlight": is_highlighted,
            }
        )

# 将数据转换为Pandas DataFrame以便于分析和展示
df = pd.DataFrame(data)
print(df)

登录后复制

2.2 代码解析

HTML解析：首先，我们使用BeautifulSoup(original_string, "html.parser")将HTML字符串解析为一个BeautifulSoup对象，以便进行DOM操作。
定位目标元素：示例中，我们关注标签内的文本。因此，我们使用soup.p来获取该段落元素。如果你的目标文本可能在其他标签内，或者需要处理整个文档，你可以调整这个选择器（例如，直接使用soup.find_all(string=True)）。
遍历所有文本节点：soup.p.find_all(string=True)是此解决方案的核心。它会返回标签内所有独立的文本节点。例如，对于Their large, cheerful blooms，它会返回三个文本节点："Their large, "、"cheerful blooms"和""（和下一个文本之间的空白）。
文本清理与过滤：text_node.strip()用于去除文本节点两端的空白字符。我们还添加了一个if cleaned_text:条件，以确保只有非空的文本段才会被添加到最终结果中，避免了纯空白字符串的干扰。
判断高亮状态：
- text_node.find_parent(class_="highlight")：对于当前的文本节点，此方法会沿着DOM树向上查找，直到找到第一个class属性为highlight的父级元素。
- 如果找到了这样的父元素，find_parent()会返回该元素对象；如果没有找到，则返回None。
- bool(...)：将find_parent()的返回值转换为布尔值。如果返回了元素对象（非None），则为True；如果返回None，则为False。这直接告诉我们该文本节点是否被高亮。
构建数据结构：我们将每个文本段落及其高亮状态、原始顺序存储在一个字典中，然后将这些字典添加到data列表中。text_order字段通过len(data)动态生成，确保了即使在过滤掉空文本后，顺序号依然是连续且正确的。
转换为DataFrame：最后，使用pd.DataFrame(data)将列表转换为Pandas DataFrame，这为数据的进一步分析和展示提供了便利。

2.3 运行结果

执行上述代码，将得到以下DataFrame输出：

   text_order                                                                                                                                                                                                                                                                                                text  highlight
0           0                                                                                                                                                                                                                Easy to cultivate, sunflowers are a popular choice for gardeners of all skill levels       True
1           1                                                                                                                                                                                                                                                                                      . Their large,      False
2           2                                                                                                                                                                                                                                                                                     cheerful blooms       True
3           3  bring a touch of summer to any outdoor space, creating a delightful atmosphere. Whether you're enjoying their beauty in a garden or using them to add a splash of color to your living space, sunflowers are a symbol of positivity and radiance, making them a beloved part of nature's tapestry.      False

登录后复制

这个输出完美地满足了需求：所有文本段落都按照它们在HTML中出现的顺序被提取出来，并且每个段落都准确地标记了其高亮状态。

3. 注意事项与扩展

目标元素的选择：示例中使用了soup.p来限制搜索范围。根据你的HTML结构和需求，可能需要调整为soup.find('div', class_='content')或直接对整个soup对象进行find_all(string=True)操作。
处理嵌套高亮：如果存在多层嵌套的高亮标签（例如高亮更深高亮），find_parent()方法会找到最近的匹配父级。这通常符合预期，但如果需要识别所有层级的高亮，可能需要更复杂的逻辑。
多种高亮类：如果高亮类名不唯一（例如highlight-red和highlight-blue），你可以修改find_parent的条件，例如使用一个包含所有高亮类名的列表进行检查，或者使用CSS选择器。
性能考量：对于非常大的HTML文档，find_all(string=True)可能会返回大量的文本节点。如果性能成为问题，可以考虑先使用更精确的选择器缩小搜索范围，或者使用BeautifulSoup的迭代器方法。
空白字符处理：text.strip()在大多数情况下是足够的，但有时HTML中可能包含需要保留的特殊空白字符（如）。根据具体需求，可能需要更精细的空白字符处理逻辑。

4. 总结

通过巧妙地结合BeautifulSoup的find_all(string=True)方法来获取所有文本节点，以及find_parent()方法来判断文本节点的上下文（即是否被特定标签高亮），我们可以高效且准确地从复杂的HTML结构中提取文本内容，同时保留其原始顺序和语义信息。这种方法为HTML文本的结构化提取和进一步分析提供了强大的基础。

以上就是使用BeautifulSoup在HTML中提取带高亮标记的文本并维护其原始顺序的详细内容，更多请关注php中文网其它相关文章！