Python如何操作HDF5文件？h5py库详细解析-Python教程-PHP中文网

Python如何操作HDF5文件？h5py库详细解析

雪夜

发布： 2025-08-14 11:13:02

原创

719人浏览过

python操作hdf5文件主要依赖h5py库，它通过提供类似字典的接口实现对hdf5文件中数据集和组的读写操作；首先需使用pip install h5py安装库，hdf5文件由数据集（类似numpy数组）和组（类似文件夹的层次结构）组成；创建文件使用with h5py.file('filename.hdf5', 'w') as hf: hf.create_dataset('name', data=array)；打开文件可用'r'只读、'a'追加或'r+'读写模式；读取数据集通过data = hf'dataset'获取；写入支持创建新数据集或部分更新现有数据集；组可通过hf.create_group('group_name')创建，并在其中创建数据集；支持gzip等压缩方式以减小文件体积；可为数据集添加属性如dataset.attrs['description'] = 'text'来存储元数据；处理大型数据集时应启用分块（chunks）以支持分批读写；优化性能需合理设置压缩算法、chunk大小并减少频繁小写入；相比csv、json等格式，hdf5具有高性能、支持大规模数据、层次化结构和元数据等优势。

Python如何操作HDF5文件？h5py库详细解析

Python操作HDF5文件主要依赖h5py库。它提供了Python接口，让你能够像操作Python字典一样操作HDF5文件中的数据集和属性。简单来说，h5py让你轻松读写HDF5这种高性能、灵活的数据存储格式。

h5py库详细解析

h5py安装与基本概念

首先，确保你已经安装了h5py。使用pip安装：

立即学习“Python免费学习笔记（深入）”；

pip install h5py

登录后复制

HDF5文件可以看作是一个包含数据集（datasets）和组（groups）的容器。数据集类似于NumPy数组，可以存储各种类型的数据；组则类似于文件夹，用于组织数据集和其他组，形成层次结构。

创建和打开HDF5文件

创建HDF5文件：

import h5py
import numpy as np

# 创建一个HDF5文件
with h5py.File('my_data.hdf5', 'w') as hf:
    # 在文件中创建一个数据集
    data = np.random.rand(100, 100)
    hf.create_dataset('my_dataset', data=data)

登录后复制

打开已存在的HDF5文件：

import h5py

# 以只读模式打开HDF5文件
with h5py.File('my_data.hdf5', 'r') as hf:
    # 打印文件中的所有数据集和组的名称
    print(hf.keys())

登录后复制

这里，'w'表示写入模式，如果文件存在会被覆盖；'r'表示只读模式。还有其他模式，如'a'（追加模式，如果文件存在则打开，否则创建）和'r+'（读写模式，文件必须存在）。

读写数据集

读取数据集：

import h5py
import numpy as np

with h5py.File('my_data.hdf5', 'r') as hf:
    # 读取数据集
    data = hf['my_dataset'][:] # 或者 hf['my_dataset'][...]
    print(data.shape)

登录后复制

写入数据集：

Browse AI

AI驱动的网页内容抓取和数据采集工具

查看详情

import h5py
import numpy as np

with h5py.File('my_data.hdf5', 'a') as hf:
    # 创建一个新的数据集
    new_data = np.random.rand(50, 50)
    hf.create_dataset('new_dataset', data=new_data)

    # 或者，如果数据集已经存在，可以直接赋值
    hf['my_dataset'][0:50, 0:50] = np.random.rand(50, 50) # 部分写入

登录后复制

注意，写入操作需要在'a'或'r+'模式下进行。

创建和使用组

创建组：

import h5py

with h5py.File('my_data.hdf5', 'a') as hf:
    # 创建一个组
    group = hf.create_group('my_group')

    # 在组中创建一个数据集
    data = np.random.rand(20, 20)
    group.create_dataset('group_dataset', data=data)

登录后复制

访问组中的数据集：

import h5py

with h5py.File('my_data.hdf5', 'r') as hf:
    # 访问组
    group = hf['my_group']

    # 读取组中的数据集
    data = group['group_dataset'][:]
    print(data.shape)

登录后复制

数据压缩

HDF5支持数据压缩，可以有效减小文件大小。

import h5py
import numpy as np

with h5py.File('my_data_compressed.hdf5', 'w') as hf:
    # 创建一个压缩的数据集
    data = np.random.rand(1000, 1000)
    hf.create_dataset('compressed_dataset', data=data, compression='gzip', compression_opts=9)

登录后复制

compression='gzip'

登录后复制

指定使用gzip压缩算法，

compression_opts=9

登录后复制

指定压缩级别（1-9，9为最高压缩级别，但会消耗更多CPU时间）。

属性（Attributes）

HDF5文件、组和数据集都可以附加属性，用于存储元数据。

import h5py

with h5py.File('my_data.hdf5', 'a') as hf:
    # 给数据集添加属性
    dataset = hf['my_dataset']
    dataset.attrs['description'] = 'This is a random dataset'
    dataset.attrs['units'] = 'arbitrary'

    # 读取属性
    print(dataset.attrs['description'])
    print(dataset.attrs['units'])

登录后复制

如何处理大型数据集？

对于无法一次性加载到内存的大型数据集，可以使用h5py的分块（chunking）功能。

import h5py
import numpy as np

with h5py.File('large_data.hdf5', 'w') as hf:
    # 创建一个分块的数据集
    data = np.random.rand(10000, 10000)
    hf.create_dataset('large_dataset', shape=(10000, 10000), chunks=(1000, 1000), dtype='f8')

    # 写入数据
    for i in range(0, 10000, 1000):
        for j in range(0, 10000, 1000):
            hf['large_dataset'][i:i+1000, j:j+1000] = data[i:i+1000, j:j+1000]

登录后复制