AWS Glue - boto3 crawler未创建表
AWS Glue - boto3 crawler未创建表
提问于 2019-06-07 23:12:50
我正在尝试通过boto3库创建并运行一个AWS glue爬虫。爬虫针对的是s3文件夹中的JSON文件。爬虫成功完成，当我检查日志时没有错误，但它没有在我的glue数据库中创建任何表
这不是权限问题，因为我可以通过CFT创建相同的爬虫，当我运行它时，它会像预期的那样创建表。我在我的代码中使用与我的CFT相同的角色，我使用boto3来创建它。
我尝试过使用boto3 create_crawler()和run_crawler()。已尝试在从CFT创建的爬网程序上使用boto3 update_crawler()并更新s3目标路径。
response = glue.create_crawler(
Name='my-crawler',
Role='my-role-arn',
DatabaseName='glue_database',
Description='Crawler for generating table from s3 target',
Targets={
'S3Targets': [
{
'Path': s3_target
}
]
},
SchemaChangePolicy={
'UpdateBehavior': 'UPDATE_IN_DATABASE',
'DeleteBehavior': 'LOG'
},
TablePrefix=''
)回答 1
Stack Overflow用户
发布于 2019-06-09 14:35:34
您确定在glue客户端(创建glue对象)中传递了正确的区域。
有一次，我复制了代码，忘记了更改区域，并且花了几个小时来弄清楚为什么它没有在没有错误的情况下创建表。最终，我发现这个表是在另一个区域创建的，因为我在将代码复制到新区域时忘记了更改区域。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56497023
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号