我正在尝试使用BashOperator通过Airflow向API发出POST请求。
我尝试使用cURL将文件上传到API中。
当我在Postman上测试它时,它是有效的,因为文件在我的本地文件系统中(使用body选项卡上的Select file选项),但在Airflow中,文件是S3存储。
有没有可能直接从S3加载文件?
我已经尝试填写字段--form file=@'s3 path‘,但没有成功。
发布于 2021-10-12 12:17:06
您需要首先从S3拉取文件,然后通过API将其发布。这两种方法都可以通过curl实现(只要您拥有正确的身份验证/授权)。
您甚至可以将第一个CURL的输出通过管道传输到第二个CURL。
您可以在这里找到类似的情况:use pipe for curl data只需替换"cat文件“,以使用将从s3获取文件的正确curl命令。
https://stackoverflow.com/questions/69533255
复制相似问题