有没有可能在上传到S3存储桶中的新文件上触发AWS Glue爬虫,假设爬虫“指向”该存储桶?换句话说:文件上传会生成一个事件,导致AWS胶水爬虫对其进行分析。我知道有基于时间表的爬行,但从来没有发现过基于事件的爬行。
发布于 2018-02-16 22:07:14
不,目前还没有直接调用AWS Glue crawler来响应上传到S3存储桶的方式。S3事件通知只能发送到:
然而,编写一小段Lambda代码来使用相关的语言SDK以编程方式调用Glue爬虫将是微不足道的。
发布于 2018-12-07 07:23:49
作为一个快速入门,这里详细介绍了如何在Python中创建Lambda来实现这一点。这是我第一次创建一个Lambda so YMMV。
"Action": "glue:StartCrawler", "Resource": "*"
from __future__ import print_function
import json
import boto3
print('Loading function')
glue = boto3.client(service_name='glue', region_name='ap-southeast-2',
endpoint_url='https://glue.ap-southeast-2.amazonaws.com')
def lambda_handler(event, context):
#print("Received event: " + json.dumps(event, indent=2))
try:
glue.start_crawler(Name='my-glue-crawler')
except Exception as e:
print(e)
print('Error starting crawler')
raise e最后,假设您选择了在开发时禁用触发器,单击设计器面板中的S3触发器并确保它已启用(您可能需要在进行此更改后保存lambda )
仅此而已,但请注意,如果爬虫程序已经在运行,就会抛出一个异常,所以如果您有频繁的上传或长时间的爬行,您将希望处理这个问题。请参阅:https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-crawling.html#aws-glue-api-crawler-crawling-StartCrawler
编辑:
这有助于我处理异常(来自AWS Glue):https://github.com/boto/boto3/issues/1606#issuecomment-401423567
发布于 2020-04-10 01:24:45

下面是类似架构的分步指南(链接如下)。(架构请参考上图)
https://stackoverflow.com/questions/48828194
复制相似问题