问通过Rsync移动72TB图像序列

EN

您目前受限于寻求，并阅读/写入一堆小文件。拥有一堆20 of的..zip/..tar文件会有帮助。制作它们的速度可能比rsync还要慢，因为zip必须做同样的事情(随机访问读取)。但别相信我的话。暂停rsync和测试！测试几乎总是正确的答案。

在Linux上，我建议使用工具iostat来查看在磁盘上等待的时间是多少。我不知道如果你使用它，OS的等价物是什么。

如果您希望整个源和目标搜索在结束时是相同的(在给定-b选项的情况下，您不这样做)，那么您可以在raid设备上使用类似dd之类的东西，它将以1000‘t/S的速度运行。但是，请确保您确切地知道您正在使用dd做什么，否则可能会破坏您的数据。

如果这是您经常做的事情，请考虑在生成映像时反复运行rsync，这样您就没有4天的等待时间了。

我用于rsync流的主要加速比：

1. 在源计算机和目标计算机之间划分文件列表并运行并行rsync流。这通常提供相当大的吞吐量。
2. 移除ssh作为传输。加密/解密阶段有一些开销。如果它是安全的(现在通常不是真的)，那么将rsync客户端连接到(未加密的) rsync守护进程可以大大提高吞吐量。
3. 您已经询问并在另一个答案中提到:增加平均文件大小可以帮助一些人，特别是如果数据是可压缩的，而且您可以在数据传输和解压缩之前花时间进行压缩。(而且您有额外的存储空间)用于压缩/解压缩阶段的时间可以减少传输阶段的时间。

一个TCP流(即一个单独的rsync传输)能够通过网络链接达到最大吞吐量--1 1Gbps和更快，这是非常罕见的。平行转移最有可能产生最大的影响。在互联网上有几个程序可以做广告，它们可以运行并行rsyncs。我试着写我自己的作品，但没有成功。这是一项比表面看上去更复杂的任务。