文章/答案/技术大牛

发布

社区首页 >问答首页 >气流中任务之间的延迟还是其他选择？

问气流中任务之间的延迟还是其他选择？
EN

Stack Overflow用户

提问于 2021-05-21 16:04:48

回答 2查看 691关注 0票数 2

我们用的是气流2点。我正在尝试实现一个DAG，它做两件事：

通过API触发报告
从源下载报告到目的地。

任务1和任务2之间至少需要2-3个小时的间隔。

两个DAG用于两个任务。排定第二DAG与第一DAG相隔两小时
这里提到的两个任务之间的延迟

这两种选择之间是否有偏好。气流2.0有第三种选择吗？请给我建议。

airflow-2.x

airflow

回答 2

Stack Overflow用户

发布于 2021-05-21 19:56:53

另一种选择是有一个传感器等待报告的出现。您可以使用重新安排模式的传感器，以释放工人插槽。

generate_report = GenerateOperator(...)
wait_for_report = WaitForReportSensor(mode='reschedule', poke_interval=5 * 60, ...)
donwload_report = DonwloadReportOperator(...)

generate_report >> wait_for_report >> donwload_report

票数 1

Stack Overflow用户

发布于 2021-05-21 19:59:00

第三种选择是在等待报表就绪的两个任务之间使用传感器。如果您的源有一个现成的，则为一个自定义源，或者一个自定义的基座传感器子类。

前两个选项是固定等待时间的不同实现。它有两个问题: 1.如果报告在预定义的时间之后仍未准备好怎么办? 2.如果报告提前准备，则不必要地等待。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67640369

复制

相似问题

问气流中任务之间的延迟还是其他选择？
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问气流中任务之间的延迟还是其他选择？EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问气流中任务之间的延迟还是其他选择？
EN