我目前正在做一个关于HDF5数据集压缩的项目,最近开始使用h5py。我遵循了基本的教程,能够在创建文件的过程中打开、创建和压缩文件。然而,当涉及到压缩现有文件(这是我的工作目标)时,我一直没有成功。
我尝试过使用'r+‘打开文件,然后压缩分块的数据集,但文件大小保持不变。
关于使用什么命令有什么建议吗?或者我是不是走错了路?
发布于 2018-08-20 21:07:46
HDF组提供了一个set of tools来转换、显示、分析、编辑和重新打包您的HDF5文件。
您可以使用h5repack实用程序压缩现有的hdf5文件。您还可以使用相同的实用程序更改块大小。
可以从命令行使用h5repack。
h5repack file1 file2 //移除文件1的已记账空间,并将其保存为file2。
h5repack -v -l CHUNK=1024 file1 file2 //将1024的分块应用于file1
h5repack -v -l CHUNK=1024 GZIP=5 file1 file2 //生成1024的数据块并使用GZIP5级压缩进行压缩
h5repack --help \获取可用的帮助文档
Detailed documentation也是可用的。
发布于 2013-04-09 23:49:57
在h5py中,压缩非常容易使用。查看Wiki HowTo和Compression指南。基本上,它应该是这样的:
ds = myfile.create_dataset('ds', shape, dtype, compression='lzf')还有一些关于如何选择块大小来优化文件大小/访问的问题,请参阅我链接的压缩指南。
我不记得默认情况下打开的是哪种压缩。
https://stackoverflow.com/questions/15903867
复制相似问题