文章/答案/技术大牛

发布

社区首页 >问答首页 >爬虫正在创建一个名称后缀奇怪的表。

问爬虫正在创建一个名称后缀奇怪的表。
EN

Stack Overflow用户

提问于 2020-08-04 04:59:26

回答 1查看 2K关注 0票数 0

我们有一个ETL脚本，它读取数据格式目录，并以s3作为拼图写入。我们还调用了一个爬虫来创建/更新雅典娜中的表。但是，它正在创建表，但在表名中添加了一些奇怪的后缀。

我正在爬行的文件夹中的所有文件都使用相同的模式。而且，只有当我们从ETL脚本调用爬虫时，才会发生这种情况。

我们以前叫爬虫的脚本

glue_client = boto3.client("glue", region_name=args.get("aws_region"))
glue_client.start_crawler(Name=args["crawler_name"])

预期: table_name实际: table_name_31e198c8c61861f127ae06487eb14a3f

回答已采纳

发布于 2020-08-04 08:32:40

当Glue爬虫在Glue数据目录中遇到一个重复的表名时，就会发生这种情况。请参阅此文档，该文档讨论此行为：

如果遇到重复的表名，爬虫将向名称.添加一个散列字符串后缀。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63240509

复制

相似问题

问爬虫正在创建一个名称后缀奇怪的表。EN