文章/答案/技术大牛

发布

社区首页 >问答首页 >如何提高HDF5 I/O(写文件)效率？

问如何提高HDF5 I/O(写文件)效率？
EN

Stack Overflow用户

提问于 2013-08-13 07:32:25

回答 1查看 1.3K关注 0票数 3

我有很多与时间相关的科学数据要写，这意味着数据应该每隔几秒钟写进hdf5文件。我的hdf5文件结构设计如下：

创建多个时间组，如时间1组、时间2组、时间3组等.
在时间组中，创建了许多数据集，如DataSetA、DataSetB、DataSetC等。
将数据写入上面的数据集。

使用的API：HDF5 5-Fortran

运行这个程序，一切都好，但是速度慢，如何提高hdf5写动作的效率？非常感谢。

hdf5

fortran

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-08-13 21:39:08

似乎您正在为每一时间步骤将数据分割成组(我只是从您所写的内容中猜测)。将额外的维度添加到所有数据集中可能更有效，这将表示时间步骤并消除组，因为您可以在每次写入之前将一组迭代缓冲在一起。

清楚地，而不是：

/time-1-group
    /time-1-group/DataSetA -> 2d array
    /time-1-group/DataSetB -> 2d array
    ...
/time-2-group
    /time-2-group/DataSetA -> 2d array
    /time-2-group/DataSetB -> 2d array
    ...
...

你会得到这个：

/DataSetA -> 3d array where third index is time
/DataSetB -> 3d array where third index is time
...

您必须使用块数据集并谨慎地选择块大小，以优化I/O效率(正如我前面所说，每个块可以有一个以上的时间步骤)。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/18203158

复制

相似问题

问如何提高HDF5 I/O(写文件)效率？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何提高HDF5 I/O(写文件)效率？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何提高HDF5 I/O(写文件)效率？
EN