压缩google云存储桶中的目录，然后在本地目录中下载
压缩google云存储桶中的目录，然后在本地目录中下载
提问于 2018-06-30 21:23:43
我在谷歌云存储桶foo中有一个名为bar的目录。目录bar中有大约100万个小文件(每个文件约1-2kb)。
根据本参考，如果我有大量文件，我应该使用gsutil -m选项下载这些文件，如下所示：
gsutil -m cp -r gs://foo/bar/ /home/username/local_dir但是，考虑到文件总数(约10^6)，下载文件的整个过程仍然很慢。
有没有办法可以在云存储中压缩整个目录，然后将压缩目录下载到本地文件夹？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-07-02 05:16:39
在复制之前无法压缩云中的目录，但是可以通过在多台计算机上分发处理来加快副本的速度。例如，让脚本如此
machine1做gsutil -m cp -r gs://<bucket>/a* local_dir
machine2做gsutil -m cp -r gs://<bucket>/b* local_dir等。
根据文件的命名方式，您可能需要调整上面的内容，但希望您能够理解。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51118605
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号