因pandas的to_hdf5函数有bug TypeError: object of type 'int' has no len(),写dataframe数据出现了报错,遂决定直接使用h5py来写数据。
以下翻译自https://www.h5py.org/
核心概念
h5py包是用于HDF5二进制数据格式的Python接口
HDF5可以让你储存大量数值数据,以及很容易的操作NumPy的数据。比如,你可以将储存在磁盘上多个T大小的数据进行切片,就像他们是真实的Numpy数组一样。数以千计的数据集可以被储存到一个文件,可以根据需要进行分类和标记。
一个HDF5文件是一共包含两种对象的容器:datasets,他们是类似于数组的数据的集合。groups,他们是类似于文件夹的容器,包含了datasets和其他的groups。
何时使用h5py的最基本的事是:
Groups是像字典一样工作,而datasets像NumPy数组一样工作。
假设有人给你发了一个HDF5文件,mytestfile.hdf5
. (关于如何创建此文件,请阅读附录:创建文件)您需要做的第一件事就是打开文件进行读取:
>>> import h5py >>> f = h5p.file('mytestfile.hdf5', 'r')
这个文件对象是你的出发点。这个文件中存储了什么?记得h5py.File文件
就像一个Python字典,因此我们可以查看键,
>>> list(f.keys()) ['mydataset']
根据我们的观察,文件里有一组数据,mydataset
。让我们将这个数据集作为Dataset对象
>>> dset = f['mydataset']
我们得到的对象不是数组,而是HDF5 dataset.与NumPy数组一样,datasets既有形状也有数据类型:
>>> dset.shape (100,) >>> dset.dtype dtype('int32')
它们还支持和数组一样的的切片。这就是你读写数据的方式从文件中的数据集:
附录:创建文件
在这一点上,你可能想知道mytestdata.hdf5文件是如何被创建的。我在file对象初始化时,将mode设置成
w
。而其他的一些模式是a(用于读/写/创建访问)和r+(用于读/写访问)。
>>> import h5py >>> import numpy as np >>> f = h5py.File("mytestfile.hdf5", "w")
这个file对象具有几个有趣的方法。其中一个是create_dataset,顾名思义,是创建给定形状和数据类型的数据集
>>> dset = f.create_dataset("mydataset", (100,), dtype='i')
file对象是一个上下文管理器;所以下面的代码也可以工作
>>> import h5py >>> import numpy as np >>> with h5py.File("mytestfile.hdf5", "w") as f: >>> dset = f.create_dataset("mydataset", (100,), dtype='i')
Groups与分层结构
“HDF”意为“Hierarchical Data Format分层数据格式”。HDF5文件中的每个对象有一个名称,并且它们用 / 分隔符以POSIX风格的层次进行排列:
>>> dset.name '/mydataset'
这个系统中的“folders”称为groups. 我们创建的file对象本身就是一个group,在本例中是root group,名称为 /:
>>> f.name '/'
创建子组是通过恰当命名的create_group来实现. 但我们需要先以“append”模式(如果存在,则读/写,否则创建)打开文件:
>>> f = h5py.File('mydataset.hdf5', 'a')
>>> grp = f.create_group("subgroup")
和file对象一样,所有Group对象都具有create_*的方法:
>>> dset2 = grp.create_dataset("another_dataset", (50,), dtype='f') >>> dset2.name '/subgroup/another_dataset'
顺便说一句,您不必手动创建所有的中间groups。指定完整路径就可以了:(即所谓的层次创建)
>>> dset3 = f.create_dataset('subgroup2/dataset_three', (10,), dtype='i') >>> dset3.name '/subgroup2/dataset_three'
Group支持大多数Python字典样式的接口。使用item-retrieval语法检索文件中的对象:
>>> dataset_three = f['subgroup2/dataset_three']
迭代groups可提供其成员的名称:
>>> for name in f: ... print(name) mydataset subgroup subgroup2
还可以使用名称来测试成员是否存在:
>>> "mydataset" in f True >>> "somethingelse" in f False
您甚至可以使用完整的路径名:
>>> "subgroup/another_dataset" in f True
还有熟悉的keys(), values(), items()和iter()
方法,以及get()方法。
因为迭代一个组只会产生其直接连接的成员,对整个文件的迭代是用group
方法visit()
和visititems(),需要调用:
>>> def printname(name): ... print(name) >>> f.visit(printname) mydataset subgroup subgroup/another_dataset subgroup2 subgroup2/dataset_three
更多信息,请参见组.
属性
HDF5的一个最好的特性是您可以立即存储元数据它所描述的数据。所有groups和datasets都支持附加一串属性.
属性通过attrs代理对象实现字典接口:
>>> dset.attrs['temperature'] = 99.5 >>> dset.attrs['temperature'] 99.5 >>> 'temperature' in dset.attrs True