1. 引言：为什么需要拆分JSON文件？
在数据处理和管理中，我们经常会遇到包含大量独立记录的json文件，这些记录通常被封装在一个json数组中。例如，一个日志文件可能包含多个事件记录，一个api响应可能返回多个用户对象。当需要对这些独立记录进行单独处理、存储、传输或分析时，将大型json数组拆分成多个独立文件就显得尤为重要。这样做的好处包括：
- 模块化处理： 每个文件只包含一个记录，便于独立处理，降低单个任务的复杂性。
- 资源管理： 避免一次性加载整个大型文件到内存，尤其对于资源受限的环境。
- 并行处理： 拆分后的小文件可以更容易地进行并行处理。
- 版本控制与归档： 对单个记录进行修改或归档更加方便。
Python凭借其强大的json模块和灵活的文件操作能力，成为实现这一任务的理想工具。
2. 准备工作
进行本教程的学习和实践，您只需要具备以下条件：
- Python环境： 确保您的计算机上安装了Python 3.x 版本。
- json模块： Python标准库中内置了json模块，无需额外安装。
3. 核心原理
一个典型的包含多个对象的JSON数组结构如下：
[
{ "id": 1, "name": "Alice" },
{ "id": 2, "name": "Bob" },
{ "id": 3, "name": "Charlie" }
]当Python的json模块解析这个JSON数组时，它会将其转换为一个Python列表（list），列表中的每个元素都是一个Python字典（dict），对应于JSON数组中的一个对象。
立即学习“Python免费学习笔记（深入）”；
我们的目标是：
- 加载这个JSON数组到Python中。
- 遍历这个Python列表。
- 对于列表中的每一个字典元素，将其作为一个独立的JSON对象写入到一个新的文件中。
4. 实现步骤与示例代码
我们将通过两种常见的场景来演示如何拆分JSON文件：从现有JSON文件加载数据，以及从Python字符串变量加载JSON数据。
4.1 场景一：从JSON文件加载数据
假设您有一个名为 input.json 的文件，内容如下：
input.json:
[
{"any": 2023},
{
"dia": 24,
"mes": 1,
"any": 2023,
"mes_referencia": 12,
"any_referencia": 2022,
"calendari_nom": "CCC"
},
{
"dia": 4,
"mes": 12,
"any": 2023,
"mes_referencia": 10,
"any_referencia": 2023,
"calendari_nom": "FFF"
},
{
"dia": 4,
"mes": 1,
"any": 2023,
"mes_referencia": 0,
"any_referencia": 2022,
"calendari_nom": "GAS",
"periode_ref": "TT"
},
{
"dia": 3,
"mes": 10,
"any": 2023,
"mes_referencia": 0,
"any_referencia": 2023,
"calendari_nom": "GAS",
"periode_ref": "22"
}
]以下是拆分该文件的Python代码：
import json
import os
# 定义输入文件路径和输出目录
input_file_path = "input.json"
output_directory = "output_json_files"
# 确保输出目录存在
if not os.path.exists(output_directory):
os.makedirs(output_directory)
try:
with open(input_file_path, "r", encoding="utf-8") as f_in:
data = json.load(f_in) # 加载整个JSON文件内容到Python列表
# 遍历列表中的每个字典（即每个JSON对象）
for i, item_data in enumerate(data, 1):
# 构建输出文件名，例如：data_out_1.json, data_out_2.json
output_file_name = f"data_out_{i}.json"
output_file_path = os.path.join(output_directory, output_file_name)
with open(output_file_path, "w", encoding="utf-8") as f_out:
# 将单个字典写入新的JSON文件
# indent=4 使输出的JSON文件格式化，更易读
json.dump(item_data, f_out, indent=4, ensure_ascii=False)
print(f"已生成文件: {output_file_path}")
except FileNotFoundError:
print(f"错误：文件 '{input_file_path}' 未找到。请确保文件存在。")
except json.JSONDecodeError:
print(f"错误：文件 '{input_file_path}' 不是一个有效的JSON格式。")
except Exception as e:
print(f"发生未知错误: {e}")
运行上述代码后，output_json_files 目录下将生成多个文件，例如 data_out_1.json、data_out_2.json 等。其中 data_out_2.json 的内容将是：
output_json_files/data_out_2.json:
{
"dia": 24,
"mes": 1,
"any": 2023,
"mes_referencia": 12,
"any_referencia": 2022,
"calendari_nom": "CCC"
}4.2 场景二：从JSON字符串变量加载数据
有时，JSON数据可能不是存储在文件中，而是以字符串的形式存在于Python变量中（例如，从API请求的响应）。在这种情况下，我们可以使用 json.loads() 方法来解析字符串。
import json
import os
# 定义包含JSON数据的字符串
json_string_data = """\
[
{"any": 2023},
{
"dia": 24,
"mes": 1,
"any": 2023,
"mes_referencia": 12,
"any_referencia": 2022,
"calendari_nom": "CCC"
},
{
"dia": 4,
"mes": 12,
"any": 2023,
"mes_referencia": 10,
"any_referencia": 2023,
"calendari_nom": "FFF"
}
]"""
output_directory = "output_json_from_string"
# 确保输出目录存在
if not os.path.exists(output_directory):
os.makedirs(output_directory)
try:
# 从字符串加载JSON数据
data = json.loads(json_string_data)
for i, item_data in enumerate(data, 1):
output_file_name = f"data_string_out_{i}.json"
output_file_path = os.path.join(output_directory, output_file_name)
with open(output_file_path, "w", encoding="utf-8") as f_out:
json.dump(item_data, f_out, indent=4, ensure_ascii=False)
print(f"已生成文件: {output_file_path}")
except json.JSONDecodeError:
print("错误：提供的字符串不是一个有效的JSON格式。")
except Exception as e:
print(f"发生未知错误: {e}")
5. 代码解析与注意事项
- import json 和 import os： json 模块用于JSON数据的序列化和反序列化；os 模块用于文件路径操作和目录创建。
-
json.load(f_in) vs json.loads(json_string_data)：
- json.load() 用于从文件对象中读取并解析JSON数据。
- json.loads() （"load string"）用于从字符串中解析JSON数据。
- enumerate(data, 1)： enumerate 函数在迭代列表时同时提供元素的索引和值。第二个参数 1 表示索引从1开始计数，这对于生成 data_out_1.json 这样的文件名非常方便。
- f"data_out_{i}.json"： 这是Python 3.6+ 引入的 f-string (格式化字符串字面量)，用于方便地构建文件名。
- os.path.join(output_directory, output_file_name)： 这是一个跨平台构建文件路径的最佳实践，它会根据操作系统自动使用正确的路径分隔符（例如，Windows上的\，Linux/macOS上的/）。
-
json.dump(item_data, f_out, indent=4, ensure_ascii=False)：
- item_data：要写入文件的Python字典对象。
- f_out：目标文件对象。
- indent=4：这是一个非常重要的参数，它会使输出的JSON文件带有4个空格的缩进，使其更具可读性。如果没有这个参数，JSON将以紧凑的一行形式输出。
- ensure_ascii=False：当处理包含非ASCII字符（如中文、特殊符号）的JSON数据时，设置此参数可以确保这些字符以其原始形式写入文件，而不是被转义为 \uXXXX 格式，从而保持文件的可读性。
- 错误处理： 示例代码中包含了 try-except 块，用于捕获 FileNotFoundError (文件不存在)、json.JSONDecodeError (JSON格式错误) 和其他潜在的异常，增强了程序的健壮性。
- 输出目录管理： 在写入文件之前，代码会检查指定的输出目录是否存在，如果不存在则会自动创建，避免因目录缺失导致的文件写入错误。
6. 总结
通过本教程，您已经学会了如何使用Python的json模块将一个包含多个JSON对象的数组拆分成一系列独立的JSON文件。无论是从文件加载还是从字符串加载JSON数据，核心思想都是将其解析为Python列表，然后遍历列表中的每个字典，并将其单独写入新文件。这种方法在处理和管理大型JSON数据集时非常实用，能够提高数据处理的效率和灵活性。记住在实际应用中考虑错误处理、文件路径管理和输出格式等细节，以构建更加健壮和用户友好的解决方案。
