高效合并多个NumPy .npz文件教程

import numpy as np
import os

# 假设 file_list 是所有 npz 文件的路径列表
# data_all = [np.load(fname) for fname in file_list]
# merged_data = {}
# for data in data_all:
#     [merged_data.update({k: v}) for k, v in data.items()]
# np.savez('new_file.npz', **merged_data)

import numpy as np
import os

# 示例数据
arr_0_part1 = np.random.rand(10, 3)
arr_1_part1 = np.random.randint(0, 100, (10, 2))

# 将数据存储在字典中，并使用有意义的键
data_part1 = {'features': arr_0_part1, 'labels': arr_1_part1}
np.savez_compressed('data_part1.npz', **data_part1)

arr_0_part2 = np.random.rand(15, 3)
arr_1_part2 = np.random.randint(0, 100, (15, 2))
data_part2 = {'features': arr_0_part2, 'labels': arr_1_part2}
np.savez_compressed('data_part2.npz', **data_part2)

print("已创建 data_part1.npz 和 data_part2.npz")

import numpy as np
import os

# 假设文件已存在
# data_part1.npz, data_part2.npz
filenames = ['data_part1.npz', 'data_part2.npz']

# 1. 加载所有 npz 文件
data_all = [np.load(fname) for fname in filenames]

# 2. 初始化用于存储合并数据的字典
merged_data = {}

# 3. 遍历第一个文件的所有键（假设所有文件键结构一致）
for k in data_all[0].keys():
    # 4. 收集所有文件中当前键 k 对应的数组
    #    list(d[k] for d in data_all) 会生成一个包含所有文件对应数组的列表
    arrays_to_concatenate = [d[k] for d in data_all]

    # 5. 拼接这些数组并存储到 merged_data 中
    merged_data[k] = np.concatenate(arrays_to_concatenate)

# 6. 将合并后的数据保存为新的 npz 文件
output_filename = 'merged_dataset.npz'
np.savez_compressed(output_filename, **merged_data)

print(f"\n数据已成功合并并保存到 {output_filename}")

# 验证合并结果
loaded_merged_data = np.load(output_filename)
print(f"合并文件中包含的键：{list(loaded_merged_data.keys())}")
print(f"合并后的 'features' 数组形状：{loaded_merged_data['features'].shape}")
print(f"合并后的 'labels' 数组形状：{loaded_merged_data['labels'].shape}")

# 清理示例文件
for fname in filenames:
    os.remove(fname)
os.remove(output_filename)
print("\n示例文件已清理。")