我有一个每晚收集数据并将收集的数据同步到S3存储桶的EC2实例。我还有5个队友,他们也有相同的过程。因此,我们每晚总共有6个数据源、EC2实例和存储桶来抓取web数据。我们希望将所有的S3存储桶合并到一个云存储空间中。我们正在考虑使用S3,但遇到了问题,所以我们正在考虑使用Dropbox和GDrive作为每晚同步我们收集的数据的其他选择。然而,似乎没有一种免费(非第三方)的方式将S3连接到任何其他形式的云存储。
理想情况下,一切都可以通过命令行运行,这样就可以保持自动化,我们只需向cron作业中添加更多命令即可。有没有人有什么建议可以把我们的S3连接到云存储上,或者如何把S3连接到Dropbox或GDrive?
发布于 2020-11-27 05:00:15
如果你在使用S3时遇到问题,我个人会尝试找出这些问题是什么,然后解决它们-而不是在组合中添加新的云服务。只是添加一个新的供应商/平台,似乎不是一个理想的方法来解决可能只是一个问题,理解如何最大限度地利用已有的东西,并且不必要地使事情复杂化。
https://stackoverflow.com/questions/65028949
复制相似问题