从HTML中提取并分离合并P标签与Table标签的教程

from bs4 import BeautifulSoup, NavigableString
import html2text
import json

data3 = """
<p>Paragraph 1 content.</p>
<p>Paragraph 2 content.</p>
<table><tr><td>Table 1 Cell</td></tr></table>
<p>Paragraph 3 content.</p>
<p>Paragraph 4 content.</p>
<table><tr><td>Table 2 Cell</td></tr></table>
<p>Paragraph 5 content.</p>
"""

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []

for tag in soup.descendants:
    # 错误：content_dict 在每次迭代中都被重新初始化
    content_dict = {'Title': "35.23.060 - DR Zone Standards", 'Content': ''}

    if tag.name == "p":
        content_dict['Content'] += converter.handle(str(tag))

    elif tag.name == "table":
        if content_dict['Content']:
            content_items.append(content_dict)
        content_dict['Content'] = converter.handle(str(tag))
        content_items.append(content_dict)     

print(json.dumps(content_items, indent=4, ensure_ascii=False))

from bs4 import BeautifulSoup
import html2text
import json

# 示例HTML数据
data3 = """
<div>
    <p>这是第一段内容。</p>
    <p>这是第二段内容，它们应该被合并。</p>
    <div>
        <table>
            <tr>
                <td>表格1</td>
                <td>数据</td>
            </tr>
            <tr>
                <td>更多</td>
                <td>内容</td>
            </tr>
        </table>
    </div>
    <p>这是第三段内容，位于表格之后。</p>
</div>
<p>这是第四段内容，在外部。</p>
<table>
    <tr>
        <td>表格2</td>
        <td>独立</td>
    </tr>
</table>
<p>这是第五段内容，作为文档的最后部分。</p>
"""

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []
current_p_buffer = [] # 用于累积P标签内容的缓冲区

# 使用 find_all 获取所有 p 和 table 标签，确保按文档顺序处理
# 这种方法比直接遍历 descendants 更适合这种按序聚合的需求
all_relevant_tags = soup.find_all(['p', 'table'])

for tag in all_relevant_tags:
    if tag.name == "p":
        # 将P标签内容添加到缓冲区，并去除html2text可能引入的额外空白
        current_p_buffer.append(converter.handle(str(tag)).strip())
    elif tag.name == "table":
        # 如果缓冲区有P标签内容，先将其作为一项添加到结果列表
        if current_p_buffer:
            content_items.append({
                'Title': "35.23.060 - DR Zone Standards", # 示例标题，可根据实际需求动态设置
                'Content': "\n\n".join(current_p_buffer) # 使用双换行符连接段落
            })
            current_p_buffer = [] # 清空缓冲区

        # 然后将Table标签内容作为单独一项添加到结果列表
        content_items.append({
            'Title': "35.23.060 - DR Zone Standards", # 示例标题
            'Content': converter.handle(str(tag)).strip()
        })

# 循环结束后，检查缓冲区是否还有剩余的P标签内容
if current_p_buffer:
    content_items.append({
        'Title': "35.23.060 - DR Zone Standards", # 示例标题
        'Content': "\n\n".join(current_p_buffer)
    })

# 打印最终提取的数据
print(json.dumps(content_items, indent=4, ensure_ascii=False))

[
    {
        "Title": "35.23.060 - DR Zone Standards",
        "Content": "这是第一段内容。\n\n这是第二段内容，它们应该被合并。"
    },
    {
        "Title": "35.23.060 - DR Zone Standards",
        "Content": "| 表格1 | 数据 |\n|---|---|\n| 更多 | 内容 |"
    },
    {
        "Title": "35.23.060 - DR Zone Standards",
        "Content": "这是第三段内容，位于表格之后。\n\n这是第四段内容，在外部。"
    },
    {
        "Title": "35.23.060 - DR Zone Standards",
        "Content": "| 表格2 | 独立 |\n|---|---|"
    },
    {
        "Title": "35.23.060 - DR Zone Standards",
        "Content": "这是第五段内容，作为文档的最后部分。"
    }
]