未在aws中加载ETL连接器
未在aws中加载ETL连接器
提问于 2021-11-08 06:42:13
我在我的glue工作中使用bigquery连接器进行aws glue。几天前它还运行得很好，但现在突然出现了下面的错误：
LAUNCH ERROR | Glue ETL Marketplace - failed to download connector.Please refer logs for details.下面是我在cloudwatch上得到的完整错误
2021-11-08T11:33:02.045+05:00 Traceback (most recent call last): File "/usr/lib64/python3.7/runpy.py", line 193, in _run_module_as_main
2021-11-08T11:33:02.070+05:00 "__main__", mod_spec) File "/usr/lib64/python3.7/runpy.py", line 85, in _run_code exec(code, run_globals) File "/tmp/aws_glue_custom_connector_python/docker/unpack_docker_image.py", line 361, in <module>
2021-11-08T11:33:02.070+05:00 main() File "/tmp/aws_glue_custom_connector_python/docker/unpack_docker_image.py", line 351, in main
2021-11-08T11:33:02.070+05:00 res += download_jars_per_connection(conn, region, endpoint, proxy) File "/tmp/aws_glue_custom_connector_python/docker/unpack_docker_image.py", line 304, in download_jars_per_connection
2021-11-08T11:33:02.070+05:00 download_and_unpack_docker_layer(ecr_url, layer["digest"], dir_prefix, http_header) File "/tmp/aws_glue_custom_connector_python/docker/unpack_docker_image.py", line 168, in download_and_unpack_docker_layer
2021-11-08T11:33:02.070+05:00 layer = send_get_request(layer_url, header) File "/tmp/aws_glue_custom_connector_python/docker/unpack_docker_image.py", line 80, in send_get_request
2021-11-08T11:33:02.070+05:00
2021-11-08T11:33:02.070+05:00 response.raise_for_status() File "/home/spark/.local/lib/python3.7/site-packages/requests/models.py", line 765, in raise_for_status
2021-11-08T11:33:02.071+05:00 raise HTTPError(http_error_msg, response=self) requests.exceptions.HTTPError: 400 Client Error: Bad Request
2021-11-08T11:33:02.119+05:00 Glue ETL Marketplace - failed to download connector, activation script exited with code 回答 4
Stack Overflow用户
发布于 2021-11-15 14:24:49
这很可能是权限问题。我遇到了它，并暂时给了它更宽松的权限，这似乎解决了它。
Stack Overflow用户
发布于 2021-11-29 18:21:27
此问题已于2021年11月19日修复。请再试一次。
Stack Overflow用户
发布于 2022-02-21 16:03:30
当胶水作业尝试使用连接器时，它必须以容器的形式下载连接器。连接器的容器可以在amazon public ECR repo中找到。要从AWS public repo中提取容器，我们必须将"AmazonEC2ContainerRegistryFullAccess“策略添加到您的IAM角色中。我们也可以将访问权限限制为只读。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69879490
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号