1. NPZ文件简介与合并需求
numpy的.npz文件是一种方便的归档格式，用于存储多个numpy数组。它本质上是一个zip文件，其中包含以.npy格式保存的多个数组。在数据处理流程中，我们经常会遇到将分散存储在多个.npz文件中的数据整合到一起的需求，例如将不同批次的数据合并成一个完整的数据集。
常见的合并需求是将每个.npz文件中具有相同键（key）的数组进行拼接（concatenate），从而形成一个更大的数组，最终将所有合并后的数组存储在一个新的.npz文件中。
2. 常见合并误区与原因分析
初学者在尝试合并多个.npz文件时，常会遇到一个问题：使用字典的update()方法进行合并，结果却只保留了最后一个文件的内容。
考虑以下尝试合并的代码片段：
import numpy as np
import os
# 假设 file_list 是包含所有 npz 文件路径的列表
# data_all = [np.load(fname) for fname in file_list]
# merged_data = {}
# for data in data_all:
# # 这里的更新操作会覆盖同名键的值
# [merged_data.update({k: v}) for k, v in data.items()]
# np.savez('new_file.npz', **merged_data)这段代码的问题在于，merged_data.update({k: v})操作会将data字典中的键值对添加到merged_data中。如果merged_data中已经存在相同的键k，那么update()方法会用data中k对应的新值v覆盖掉旧值。因此，当遍历所有文件时，对于每个相同的键，最终保留的将是最后一个被处理文件中的数组。这显然不是我们期望的“合并”，而是“覆盖”。
正确的合并逻辑应该是针对每个相同的键，将其对应的所有数组收集起来，然后使用np.concatenate函数将它们沿着某个轴（通常是第一个轴）拼接起来。
3. 正确的NPZ文件合并策略
为了实现正确的合并，我们需要遵循以下步骤：
Magic CMS网站管理系统（政企版）采用PHP+Mysql架构，再原CMS系统的基础上精简出适合企业政府客户使用版本，继承了原系统的快捷，高效，灵活，实用的特点，保留了核心功能，系统支持自定义模版（极易整合dede模板）、支持扩展插件，自定义模型等功能，保留了文章模型，视频模型，图集模型，产品模型，能够胜任企业多种建站需求。BUG修复：1.修改了程序安装时部分数据无法正常导入的错误2.修改了程
3.1 原始NPZ文件的结构约定
在创建原始的.npz文件时，建议将数据组织成字典形式，并使用有意义的键来标识每个数组。这确保了在合并时能够识别并匹配对应的数组。
例如，如果每个.npz文件包含两个数组，可以这样保存：
import numpy as np
# 假设 arr_0 和 arr_1 是要保存的 NumPy 数组
arr_0_part1 = np.random.rand(10, 5)
arr_1_part1 = np.random.randint(0, 100, (10, 3))
# 将数据存储在字典中
data_part1 = {'arr_0': arr_0_part1, 'arr_1': arr_1_part1}
np.savez_compressed('path/to/file/filename_part1.npz', **data_part1)
arr_0_part2 = np.random.rand(15, 5)
arr_1_part2 = np.random.randint(0, 100, (15, 3))
data_part2 = {'arr_0': arr_0_part2, 'arr_1': arr_1_part2}
np.savez_compressed('path/to/file/filename_part2.npz', **data_part2)这里使用了np.savez_compressed，它会以压缩格式保存文件，通常能节省磁盘空间。
3.2 加载与合并逻辑
一旦原始的.npz文件按照上述约定保存，合并过程就变得直接了。核心思想是遍历所有文件的共同键，然后将每个键对应的所有数组收集起来并进行拼接。
import numpy as np
import os
def merge_npz_files(file_list, output_filename='merged_data.npz'):
"""
将多个NPZ文件合并为一个NPZ文件。
假设所有NPZ文件包含相同的键，且对应数组的维度在拼接轴上保持一致。
Args:
file_list (list): 包含所有待合并NPZ文件路径的列表。
output_filename (str): 合并后输出的NPZ文件名。
"""
if not file_list:
print("文件列表为空，无法合并。")
return
# 1. 加载所有NPZ文件
# np.load返回的是NpzFile对象，它表现得像一个字典
data_all = [np.load(fname) for fname in file_list]
# 2. 初始化用于存储合并数据的字典
merged_data = {}
# 3. 获取所有文件的共同键
# 假设所有文件都具有相同的键结构，取第一个文件的键即可
# 如果键可能不一致，需要先找出所有文件的键的交集
common_keys = data_all[0].keys()
# 4. 遍历每个共同键，进行数组拼接
for k in common_keys:
# 收集所有文件中对应键的数组
# list(d[k] for d in data_all) 创建一个包含所有NpzFile对象中k键对应数组的列表
arrays_to_concatenate = list(d[k] for d in data_all)
# 拼接这些数组
# 默认情况下，np.concatenate沿着第一个轴（axis=0）进行拼接
# 这要求除了拼接轴之外的其他轴的维度必须一致
merged_data[k] = np.concatenate(arrays_to_concatenate, axis=0)
print(f"键 '{k}' 合并完成，新数组形状：{merged_data[k].shape}")
# 5. 保存合并后的数据到新的NPZ文件
np.savez_compressed(output_filename, **merged_data)
print(f"所有文件已成功合并到 '{output_filename}'")
# 示例使用
if __name__ == "__main__":
# 创建一些示例NPZ文件
if not os.path.exists('temp_npz_files'):
os.makedirs('temp_npz_files')
for i in range(3):
arr_0_part = np.random.rand(10 + i, 5) # 模拟不同长度的数据
arr_1_part = np.random.randint(0, 100, (10 + i, 3))
data_part = {'arr_0': arr_0_part, 'arr_1': arr_1_part}
np.savez_compressed(f'temp_npz_files/part_{i}.npz', **data_part)
print(f"创建文件: temp_npz_files/part_{i}.npz, arr_0_shape: {arr_0_part.shape}")
# 获取所有待合并的文件名
filenames = [os.path.join('temp_npz_files', f) for f in os.listdir('temp_npz_files') if f.endswith('.npz')]
print(f"\n待合并文件: {filenames}")
# 执行合并操作
merge_npz_files(filenames, 'merged_output.npz')
# 验证合并结果
with np.load('merged_output.npz') as merged_file:
print("\n验证合并结果:")
for k, v in merged_file.items():
print(f"键: {k}, 形状: {v.shape}")
# 清理示例文件
import shutil
shutil.rmtree('temp_npz_files')
os.remove('merged_output.npz')
print("\n示例文件已清理。")4. 注意事项
- 键的一致性: 确保所有待合并的.npz文件中，需要拼接的数组都使用相同的键名。如果键名不一致，common_keys的获取逻辑需要调整，可能需要合并所有文件的键的并集，并处理某些文件可能缺少特定键的情况（例如，填充空数组或跳过）。
- 数组维度: np.concatenate要求除了拼接轴（默认为axis=0）之外的其他轴的维度必须完全一致。例如，如果要拼接的数组形状是 (N, M, P)，那么所有数组的 M 和 P 必须相同，只有 N 可以不同。
- 内存消耗: 当处理大量或非常大的.npz文件时，一次性加载所有文件到内存中可能会导致内存不足（OOM）。在这种情况下，可以考虑分批加载和合并，或者使用h5py等更适合处理大数据集的库。
- 压缩: np.savez_compressed通常是更好的选择，因为它会压缩数据，减少磁盘占用。对于某些类型的数据，压缩效果可能非常显著。
- 错误处理: 在实际应用中，应增加对文件不存在、文件损坏或文件内容不符合预期格式的错误处理机制。
5. 总结
通过理解.npz文件的内部结构以及np.concatenate的工作原理，我们可以高效且正确地合并多个NumPy .npz文件。关键在于避免简单的字典更新覆盖，而是针对每个共同的键，收集所有对应的数组并进行拼接。这种方法保证了数据的完整性和正确性，是处理分散NumPy数据时的重要技巧。
