HDF5简介

article/2025/9/12 9:27:46

1、介绍

HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。HDF 被设计为：

一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：

HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构

Properties: Properties适用于描述hdf5文件的特征，通过修改这些性能，可以提高存储效率。比如默认情况下，数据是连续分布的，为了更好的效能，可以将数据分割成块并压缩。

存储布局分为三种：

Contiguous (连续)：默认布局，数据以与内存中组织的线性方式相同的方式进行存储。
Compact (紧凑)：数据量很小并且可以直接存储在对象头中时使用。
Chunked (分块)：将数据集分成相同大小的“块”，分别存储，只有当前布局支持压缩。分块有三个重要的好处。
1. 即使当要选择的子集与数据集的正常存储顺序正交时，也可以在访问数据集的子集时实现良好的性能。
2. 它可以压缩大型数据集，并在访问数据集的子集时仍能获得良好的性能。
3. 它可以有效地在任何方向上扩展数据集的维度。

以下为同一个项目的数据，在不同布局和chunked大小的H5文件对比，当前使用GZIP压缩，压缩等级为6。当前算法输出的为6x566415.h5。

相对于连续和未压缩的chunked文件，压缩后基本上都只有未压缩的25%左右，所以在大数量的情况下，建议使用chunked分块布局并开启压缩。

HDF5使用过滤器的概念，针对数据进行前后处理。以下为支持的几种过滤器。

GZIP：GZIP压缩的过滤器；
SZIP：SZIP压缩的过滤器；
SHUF：对字节的位置进行变换，用于提高压缩性能的过滤器。(To improve compression performance, data is regrouped by its byte position in the data unit. In other words, the 1st, 2nd, 3rd, and 4th bytes of integers are stored together respectively.)
FLET：总和校验的过滤器
NBIT：针对n-bit这种数据类型定制的压缩算法。(Data compression using an algorithm specialized for n-bit datatypes.)
SOFF：Scale-offset compression，Data compression using using a “scale and offset” algorithm.
UD：user-defined ，用户自定义的过滤器。
NONE：无过滤器。

API/库	优点	缺点	性能
HDF5 JNI	官方的正式发行经过广泛测试并积极维护	需要每个目标操作系统的库用于读取hyperslabs的单线程实现低级代码更难实现	大chunk块情况下，性能低于JHDF
HDFql	使用标准化查询语言与HDF5文件交互高级代码更清晰，更易于理解	如果查询格式不正确，则可用的调试信息有限写入属性和数据集，读取成功测试的属性，但读取数据集在测试期间不起作用需要POSIX样式的路径，这使得在Windows中很难访问不在C:\驱动器上的文件	性能较慢
jHDF	纯Java实现允许使用所有IDE调试和分析工具可以实现单个块的并行读取	实现了有限功能的库无法写入HDF5文件不像其他库那样被广泛采用没有实现读取hyperslabs的方法（需要自定义代码）	大chunk块情况下，性能高于HDF5-JNI。作者推荐根据自己的实际场景进行实测以确定最佳的chunk大小。
go-native-netcdf	纯Go实现允许使用所有IDE调试和分析工具一般dataset的读取优于jHDF	实现了有限功能的库不像其他库那样被广泛采用无法实现单个chunked块的读取；	无chunk分块读取API

注：Hyperslabs是数据集的一部分。 hyperslab选择可以是点的逻辑上连续的集合中的数据空间，或者它可以是在数据空间点或块的规则图案

摘抄自： Parallel IO Improvements • Peter Kirkham (pkirkham.github.io)