文章/答案/技术大牛

发布

社区首页 >问答首页 >利用hdf5进行深度学习的计算效益

问利用hdf5进行深度学习的计算效益
EN

Stack Overflow用户

提问于 2017-12-13 18:36:26

回答 1查看 766关注 0票数 2

在一些情况下，hdf5存储格式用于深度学习。可以理解hdf5共享数据的好处。然而，我是否可以期望通过使用hd5f而不是级联帧的图像来提高训练效率呢？

如果共享是我最不关心的事情，我是否有理由使用hdf5？

编辑:我浏览了各种页面，如HDF5用户指南、常见问题解答和其他博客文章。我发现hdf5主要是一种通用的存储格式。我找不到他们在我所关心的情况下讨论效率的细节。

database

deep-learning

storage

hdf5

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-12-15 07:53:21

我曾经处理过图像、视频、音频记录、文本，甚至3D磁共振成像。我从来没有遇到过这样的情况:数据的读取速度是管道中的瓶颈。

但是，将数据集存储在类似hdf5中的一个优点是，对内存的初始加载比单独读取数千个文件要快得多。我通常使用云服务来同步数据，其中一个大文件也比一百万个小文件方便得多。

除此之外，我想不出使用hdf5的效率好处。

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/47799991

复制

相似问题

问利用hdf5进行深度学习的计算效益
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问利用hdf5进行深度学习的计算效益EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问利用hdf5进行深度学习的计算效益
EN