问使用亚马逊网络服务数据管道在S3到EC2之间传输文件

EN

我相信这可以在没有数据管道的情况下完成-主要是为了消除一些复杂性。此工作可使用AWS CLI完成，Windows XP及更高版本上也提供此功能。如果计算机上没有AWS CLI，请查找MSI安装程序。

在*nix上：

aws s3 cp --recursive s3://somebucket ./

将s3存储桶内容复制到执行目录。

简而言之，我认为在这种情况下使用亚马逊网络服务DataPipeline不会获得任何性能上的好处。

原因是任务运行器(数据管道使用的执行器)是not supported on Windows platform。因此，您尝试运行的任何活动实际上都会在不同的平台上运行，然后您可以将其scp/sftp到您的计算机上。

拉取数据到其他平台的EC2实例有不同的方式：

1. 使用ShellCommandActivity:它不仅允许你上传也可以从S3 using env vairables下载，就像INPUT1_STAGING_DIR一样。虽然他们的文档没有提到他们的实现或性能改进，但我相信它正在使用S3的多部分API进行并行拉取。
2. 使用EMR + s3distcp并将其放入硬盘文件系统中，然后使用getMerge

将其从硬盘文件系统中获取到本地磁盘

您是否需要所有这些数据都存在于Windows计算机上？或者你打算断断续续地访问它？

您可以尝试挂载您的S3存储桶。

它仍然是远程的，但在Windows中的行为将像普通的挂载驱动器。如果您需要进行一些数据处理，则只需将此时所需的文件复制到本地磁盘。您可以使用S3browser、Cloudberry或上百个其他S3客户端挂载S3。