我使用芹菜已经有一段时间了,但由于缺乏windows支持,我正在寻找替代方案。
最大的竞争者似乎是dask和dramatiq。我真正在寻找的是可以将1000个长时间运行的任务分布到10台机器上的东西。每个任务都应该在完成任务后获得下一个任务,并使用更新进行回调(在芹菜中,这可以通过@ task (bind=True)很好地实现,因为任务实例本身可以被访问,我可以将状态发送回发送更新的实例)。
在dramatiq或dask中有没有类似的功能?如有任何建议,我们将不胜感激。
发布于 2019-02-20 08:49:37
在Dask端,您可能正在寻找未来接口:https://docs.dask.org/en/latest/futures.html
期货有一个基本状态,如“已完成”、“待定”或“错误”,您可以随时查看。如果需要更复杂消息,则应该研究任务队列、PubSub或其他任务间通信机制,也可以从文档页面获得这些机制。
https://stackoverflow.com/questions/54774941
复制相似问题