我们应用程序的一部分通过存储传输服务API启动从亚马逊S3到Google Cloud Storage的传输。我们已经成功启动并运行了几个月,直到昨天我们的传输停止工作。我们可以看到在控制台中启动了一个传输,但它无限期地挂起,只有一个历史记录项表明:“此传输正在开始...”。我们有一个后台进程轮询传输状态,我们看到它返回状态"transfer_calculating“
在尝试调试此问题时,我们通过storage console设置了一个传输。我们使用与我们的应用程序相同的AWS访问密钥id/secret访问密钥,并且传输成功完成。这使我们相信问题是与传输服务API或启动API调用的代码隔离的。
转移职务代码:
TransferJob tjob = new TransferJob()
.setDescription(description)
.setStatus('ENABLED')
.setProjectId(transferGoogleProject)
.setTransferSpec(
new TransferSpec()
.setGcsDataSink(new GcsData().setBucketName(googleStorageBucket))
.setAwsS3DataSource(
new AwsS3Data()
.setBucketName(s3Bucket)
.setAwsAccessKey(new AwsAccessKey().setAccessKeyId(transferAwsKey).setSecretAccessKey(transferAwsSecret)))
.setObjectConditions(new ObjectConditions().setIncludePrefixes(s3Keys))
.setTransferOptions(
new TransferOptions()
.setDeleteObjectsFromSourceAfterTransfer(false)
.setOverwriteObjectsAlreadyExistingInSink(true)
.setDeleteObjectsUniqueInSink(false)))
.setSchedule(
new Schedule()
.setScheduleStartDate(date)
.setScheduleEndDate(date)
.setStartTimeOfDay(time))
tjob = storagetransfer.transferJobs().create(tjob).execute()库配置:
<dependency>
<groupId>com.google.api-client</groupId>
<artifactId>google-api-client</artifactId>
<version>1.19.1</version>
</dependency>
<dependency>
<groupId>com.google.apis</groupId>
<artifactId>google-api-services-bigquery</artifactId>
<version>v2-rev191-1.19.1</version>
</dependency>
<dependency>
<groupId>com.google.apis</groupId>
<artifactId>google-api-services-storage</artifactId>
<version>v1-rev26-1.19.1</version>
</dependency>
<dependency>
<groupId>com.google.apis</groupId>
<artifactId>google-api-services-storagetransfer</artifactId>
<version>v1-rev3-1.19.1</version>
</dependency>
<dependency>
<groupId>com.google.oauth-client</groupId>
<artifactId>google-oauth-client</artifactId>
<version>1.19.0</version>
</dependency>
<dependency>
<groupId>com.google.http-client</groupId>
<artifactId>google-http-client</artifactId>
<version>1.19.0</version>
</dependency>
<dependency>
<groupId>com.google.http-client</groupId>
<artifactId>google-http-client-jackson2</artifactId>
<version>1.19.0</version>
</dependency>我们已经在开发环境中将版本提升到了1.21.0,但是传输仍然停留在"This transfer is starting...“
在这一点上,我们被困住了,还有谁遇到了这个问题?
发布于 2016-03-17 00:55:50
从谷歌的@mayur-deshpande提供的反馈中(谢谢!),我们的问题源于传递给setStartTimeOfDay()的时间值需要使用协调世界时。到目前为止,我们已经使用了美国/太平洋,这是来自creating transfers development guide的以下片段中规定的
/**
* Specify times below using US Pacific Time Zone.
*/
private static final String START_DATE = "YYYY-MM-DD";
private static final String START_TIME = "HH:MM:SS";由于时差,我们发送请求的时间已经过去了,因此传输处于开始状态,直到第二天到达我们的时间。当请求最终完成时,我们看到了这种情况。
setStartTime()的javadoc确实指出了使用UTC的必要性:
/**
* The time in UTC at which the transfer will be scheduled to start in a day. Transfers may start
* later than this time. If not specified, transfers are scheduled to start at midnight UTC.
* @param startTimeOfDay startTimeOfDay or {@code null} for none
*/
public Schedule setStartTimeOfDay(TimeOfDay startTimeOfDay)上面引用的示例代码应该反映了这一要求,所以我将在github代码库中提交一个问题。
此外,由于我们只进行一次时间传输,因此我们确保将开始时间设置为未来的一分钟,以考虑服务器之间的细微时间差:
DateTime now = new DateTime().plusMinutes(1)
Date date = new Date().setDay(now.dayOfMonth).setMonth(now.monthOfYear).setYear(now.year)
TimeOfDay time = new TimeOfDay().setHours(now.hourOfDay).setMinutes(now.minuteOfHour).setSeconds(0)发布于 2016-03-17 02:20:44
需要注意的是,接口中的StartTimeOfDay引用的是UTC (请参考接口参考:https://cloud.google.com/storage/transfer/reference/rest/v1/transferJobs#Schedule)。您通过电子邮件发送给我们的请求指定了过去基于UTC的一个小时。请以UTC格式指定StartTimeOfDay。如果您只想立即启动一次性作业运行,只需将StartTimeOfDay字段保留为空即可。
还请注意,Google Cloud UI允许客户指定本地时区的StartTimeOfDay,这与API不同。
发布于 2016-03-16 02:29:19
我也有这个问题。通过Google Storage网页传输提交文件的工作,但通过api已完全停止工作。
我甚至尝试使用Google Storage Oauth网页尝试提交,但同样以同样的方式失败。
https://stackoverflow.com/questions/36017575
复制相似问题