本教程旨在解决将html内容转换为特定json格式的需求，特别是当直接使用`html_to_json`等库无法满足自定义键值对和层级结构时。文章将深入探讨如何利用python的`beautifulsoup`库对html进行语义解析，提取所需文本信息，并将其重构为用户定义的json格式，包括嵌套的子元素，以实现更灵活和精确的数据转换。
在数据处理和Web抓取场景中，将HTML文档转换为结构化的JSON数据是一种常见需求。然而，许多现成的HTML到JSON转换库，如html_to_json，通常会生成一个反映HTML DOM（文档对象模型）结构的JSON表示，其中包含了大量的HTML标签信息，这往往与用户期望的、仅包含业务逻辑键值对的扁平或自定义层级结构不符。当需要从HTML中提取特定的文本内容，并将其组织成具有自定义key、value和child数组的JSON格式时，直接的DOM转换工具显得力不从心。此时，我们需要采用更精细的HTML解析方法。
像html_to_json这样的库，其设计目的是将HTML的标签、属性和文本内容完整地映射到JSON结构中。例如，一个<span>标签内的文本会被表示为{"span": [{"_value": "文本内容"}]}。这种方式保留了原始HTML的完整性，但当我们的目标是：
此时，我们需要一个能够灵活导航HTML树、提取特定元素内容并手动构建JSON对象的工具。Python的BeautifulSoup库正是为此类任务而生。
BeautifulSoup是一个用于从HTML和XML文件中提取数据的Python库。它能够将复杂的HTML文档转换成一个Python对象，使得开发者可以方便地通过标签名、属性、CSS选择器等方式搜索、导航和修改解析树。
立即学习“Python免费学习笔记（深入）”；
以下是使用BeautifulSoup实现HTML到自定义JSON转换的基本步骤：
为了演示如何将HTML内容转换为如{"key": "1", "value": "内容", "child": []}这样的自定义JSON格式，我们将假设有一个结构化的HTML片段，其中包含带有特定标识（如data-key属性）的章节和子章节。
假设的HTML文件 (sample.html) 内容：
<!DOCTYPE html>
<html>
<head>
<title>文档标题</title>
</head>
<body>
<div class="section" data-key="1">
<h1>第一章</h1>
<p>这是第一章的主要内容。</p>
<p>可能还有其他描述。</p>
</div>
<div class="section" data-key="2">
<h1>第二章</h1>
<p>这是第二章的主体内容。</p>
<div class="subsection" data-key="2.1">
<h2>第二章第一节</h2>
<p>本节详细阐述了子内容A。</p>
</div>
<div class="subsection" data-key="2.2">
<h2>第二章第二节</h2>
<p>本节详细阐述了子内容B。</p>
<div class="sub-subsection" data-key="2.2.1">
<h3>第二章第二节第一小节</h3>
<p>这是更深层次的细节。</p>
</div>
</div>
</div>
</body>
</html>Python代码实现：
import json
from bs4 import BeautifulSoup
def extract_structured_data_from_html(html_content):
"""
从HTML内容中提取结构化数据，并转换为自定义JSON格式。
此函数递归处理嵌套的章节。
"""
soup = BeautifulSoup(html_content, 'html.parser')
# 定义一个递归函数来处理嵌套结构
def parse_section(element):
data_list = []
# 查找当前元素下的所有直接子章节
# 这里我们假设'section', 'subsection', 'sub-subsection'是层级结构
# 并且它们都包含一个'data-key'属性
# 遍历当前层级的直接子元素，寻找符合条件的“章节”
# 注意：这里需要根据实际HTML结构调整选择器
# 例如，如果所有层级都用同一个class（如'item'），则需要更复杂的逻辑判断嵌套
# 简化处理：查找当前element下的所有'div'，并根据class或data-key判断层级
# 为了演示，我们假设直接子div是下一级
# 获取当前元素的所有文本内容（不包含子元素文本，需要更精确的控制）
# 或者，我们可以从标题标签中获取value
# 示例中，我们假设每个section/subsection/sub-subsection都有一个H标签作为标题
# 查找当前元素下的直接子section/subsection/sub-subsection
# 使用CSS选择器来获取直接子元素
# 获取当前元素的直接文本内容（排除子标签）
# current_value = ' '.join(element.find_all(text=True, recursive=False)).strip()
# 针对示例HTML结构进行解析
# 优先从H标签中提取标题作为value
title_tag = element.find(['h1', 'h2', 'h3'], recursive=False)
value_text = title_tag.get_text(strip=True) if title_tag else ""
# 获取当前层级的纯文本内容（不包含标题和子章节的文本）
# 找到所有直接的<p>标签，并连接它们的文本
paragraph_texts = [p.get_text(strip=True) for p in element.find_all('p', recursive=False)]
if paragraph_texts:
value_text += "\n" + "\n".join(paragraph_texts)
current_key = element.get('data-key')
children = []
# 查找当前元素下的直接子 div，这些 div 可能是下一级章节
# 这里的逻辑需要根据HTML的实际嵌套方式来确定
# 例如，如果子章节总是紧跟在父章节的直接子div中
# 查找所有直接子 div，并判断它们是否是章节
direct_child_sections = element.find_all('div', recursive=False)
for child_section in direct_child_sections:
if child_section.has_attr('data-key'): # 确保是带有data-key的章节元素
children.extend(parse_section(child_section)) # 递归处理子章节
if current_key:
data_list.append({
"key": current_key,
"value": value_text.strip(),
"child": children
})
return data_list
# 从body开始解析，查找所有顶层section
top_level_sections = soup.body.find_all('div', class_='section', recursive=False)
final_json_data = []
for section in top_level_sections:
final_json_data.extend(parse_section(section))
return final_json_data
# 读取HTML文件
html_file_path = "sample.html"
with open(html_file_path, "r", encoding="utf-8") as f:
html_data = f.read()
# 转换数据
output_structured_json = extract_structured_data_from_html(html_data)
# 将结果保存到JSON文件
output_json_file_path = "structured_output.json"
with open(output_json_file_path, "w", encoding="utf-8") as outfile:
json.dump(output_structured_json, outfile, indent=4, ensure_ascii=False)
print(f"结构化JSON已保存到：{output_json_file_path}")
print(json.dumps(output_structured_json, indent=4, ensure_ascii=False))预期的输出 (structured_output.json)：
[
{
"key": "1",
"value": "第一章\n这是第一章的主要内容。\n可能还有其他描述。",
"child": []
},
{
"key": "2",
"value": "第二章\n这是第二章的主体内容。",
"child": [
{
"key": "2.1",
"value": "第二章第一节\n本节详细阐述了子内容A。",
"child": []
},
{
"key": "2.2",
"value": "第二章第二节\n本节详细阐述了子内容B。",
"child": [
{
"key": "2.2.1",
"value": "第二章第二节第一小节\n这是更深层次的细节。",
"child": []
}
]
}
]
}
]将HTML内容转换为自定义的JSON格式，不仅仅是简单的结构转换，更是一种语义提取和数据重构的过程。虽然html_to_json等库能提供DOM层面的JSON表示，但当需求涉及到去除标签、提取特定文本并构建自定义层级结构时，BeautifulSoup结合Python的灵活性，提供了强大而精确的解决方案。通过理解HTML结构、运用合适的选择器和递归处理方法，开发者可以高效地将非结构化的HTML数据转化为满足特定业务需求的结构化JSON数据。
以上就是Python HTML内容到自定义JSON结构的转换教程的详细内容，更多请关注php中文网其它相关文章！
HTML怎么学习？HTML怎么入门？HTML在哪学？HTML怎么学才快？不用担心，这里为大家提供了HTML速学教程(入门课程)，有需要的小伙伴保存下载就能学习啦！
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
108
收藏
