首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >S3云存储传输服务卡住“本次传输正在启动”

S3云存储传输服务卡住“本次传输正在启动”
EN

Stack Overflow用户
提问于 2016-03-16 01:00:22
回答 4查看 1.2K关注 0票数 3

我们应用程序的一部分通过存储传输服务API启动从亚马逊S3到Google Cloud Storage的传输。我们已经成功启动并运行了几个月,直到昨天我们的传输停止工作。我们可以看到在控制台中启动了一个传输,但它无限期地挂起,只有一个历史记录项表明:“此传输正在开始...”。我们有一个后台进程轮询传输状态,我们看到它返回状态"transfer_calculating“

在尝试调试此问题时,我们通过storage console设置了一个传输。我们使用与我们的应用程序相同的AWS访问密钥id/secret访问密钥,并且传输成功完成。这使我们相信问题是与传输服务API或启动API调用的代码隔离的。

转移职务代码:

代码语言:javascript
复制
TransferJob tjob = new TransferJob()
    .setDescription(description)
    .setStatus('ENABLED')
    .setProjectId(transferGoogleProject)
    .setTransferSpec(
    new TransferSpec()
        .setGcsDataSink(new GcsData().setBucketName(googleStorageBucket))
        .setAwsS3DataSource(
        new AwsS3Data()
            .setBucketName(s3Bucket)
            .setAwsAccessKey(new AwsAccessKey().setAccessKeyId(transferAwsKey).setSecretAccessKey(transferAwsSecret)))
        .setObjectConditions(new ObjectConditions().setIncludePrefixes(s3Keys))
        .setTransferOptions(
        new TransferOptions()
            .setDeleteObjectsFromSourceAfterTransfer(false)
            .setOverwriteObjectsAlreadyExistingInSink(true)
            .setDeleteObjectsUniqueInSink(false)))
    .setSchedule(
    new Schedule()
        .setScheduleStartDate(date)
        .setScheduleEndDate(date)
        .setStartTimeOfDay(time))

tjob = storagetransfer.transferJobs().create(tjob).execute()

库配置:

代码语言:javascript
复制
<dependency>
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-bigquery</artifactId>
    <version>v2-rev191-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-storage</artifactId>
    <version>v1-rev26-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.apis</groupId>
    <artifactId>google-api-services-storagetransfer</artifactId>
    <version>v1-rev3-1.19.1</version>
</dependency>
<dependency>
    <groupId>com.google.oauth-client</groupId>
    <artifactId>google-oauth-client</artifactId>
    <version>1.19.0</version>
</dependency>
<dependency>
    <groupId>com.google.http-client</groupId>
    <artifactId>google-http-client</artifactId>
    <version>1.19.0</version>
</dependency>
<dependency>
    <groupId>com.google.http-client</groupId>
    <artifactId>google-http-client-jackson2</artifactId>
    <version>1.19.0</version>
</dependency>

我们已经在开发环境中将版本提升到了1.21.0,但是传输仍然停留在"This transfer is starting...“

在这一点上,我们被困住了,还有谁遇到了这个问题?

EN

回答 4

Stack Overflow用户

发布于 2016-03-17 00:55:50

从谷歌的@mayur-deshpande提供的反馈中(谢谢!),我们的问题源于传递给setStartTimeOfDay()的时间值需要使用协调世界时。到目前为止,我们已经使用了美国/太平洋,这是来自creating transfers development guide的以下片段中规定的

代码语言:javascript
复制
/**
 * Specify times below using US Pacific Time Zone.
 */
private static final String START_DATE = "YYYY-MM-DD";
private static final String START_TIME = "HH:MM:SS";

由于时差,我们发送请求的时间已经过去了,因此传输处于开始状态,直到第二天到达我们的时间。当请求最终完成时,我们看到了这种情况。

setStartTime()的javadoc确实指出了使用UTC的必要性:

代码语言:javascript
复制
/**
 * The time in UTC at which the transfer will be scheduled to start in a day. Transfers may start
 * later than this time. If not specified, transfers are scheduled to start at midnight UTC.
 * @param startTimeOfDay startTimeOfDay or {@code null} for none
 */
public Schedule setStartTimeOfDay(TimeOfDay startTimeOfDay)

上面引用的示例代码应该反映了这一要求,所以我将在github代码库中提交一个问题。

此外,由于我们只进行一次时间传输,因此我们确保将开始时间设置为未来的一分钟,以考虑服务器之间的细微时间差:

代码语言:javascript
复制
DateTime now = new DateTime().plusMinutes(1)
Date date = new Date().setDay(now.dayOfMonth).setMonth(now.monthOfYear).setYear(now.year)
TimeOfDay time = new TimeOfDay().setHours(now.hourOfDay).setMinutes(now.minuteOfHour).setSeconds(0)
票数 3
EN

Stack Overflow用户

发布于 2016-03-17 02:20:44

需要注意的是,接口中的StartTimeOfDay引用的是UTC (请参考接口参考:https://cloud.google.com/storage/transfer/reference/rest/v1/transferJobs#Schedule)。您通过电子邮件发送给我们的请求指定了过去基于UTC的一个小时。请以UTC格式指定StartTimeOfDay。如果您只想立即启动一次性作业运行,只需将StartTimeOfDay字段保留为空即可。

还请注意,Google Cloud UI允许客户指定本地时区的StartTimeOfDay,这与API不同。

票数 2
EN

Stack Overflow用户

发布于 2016-03-16 02:29:19

我也有这个问题。通过Google Storage网页传输提交文件的工作,但通过api已完全停止工作。

我甚至尝试使用Google Storage Oauth网页尝试提交,但同样以同样的方式失败。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36017575

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档