问芹菜不停工

EN

我对你问题的见解。

我需要一个系统来管理自由的工人，并立即分配任务给他们。

--芹菜可以帮你完成这项工作

我想要的系统应该检查空闲和忙碌的工人和数据库post费率，并给工人一个任务。

Celery是一个任务分发系统，它会按照你期望的那样分发任务。

我认为使用rabbitMQ (甚至Redis)可能不太好，因为它们是消息代理，将工作进程分配给队列中的某个任务

使用celery，您肯定需要一个代理，它们只保存您的消息，celery将轮询队列并将它们分发给正确的工作进程(优先级、超时、软处理、重试)

但是在这里，我不想有一个队列；我想在找到一个空闲的工人时立即开始一个任务。排队不好的主要原因是任务应该在作业开始时决定，而不是在那之前。

这是一种连锁反应，或者像是在前一个任务完成后触发一个新任务。如果是这样的话，您甚至不需要芹菜或分布式生产者-消费者系统。

找出问题：

cron

• 你需要在某个时间点执行周期性任务吗？->使用cronjob或celery -

• (基于cron job的Celery节拍你需要执行多个任务，而不会阻塞其他正在运行的任务-你需要一个生产者-消费者系统(Celery(开箱即用的解决方案，Rabbitmq/Redis Native Python消费者))3.如果相同的任务应该触发新任务，则不需要多个workers，如果您的工作只是一个cron- Celery，那么拥有多个workers将实现什么？RabbitMQ和Kubernetes -适用于分布式编排系统或webhook模型或递归python脚本

的好组合

回复您的以下评论@alavi

这样做的一种方法是，使用芹菜节拍编写一个周期性作业(可以每秒钟/分钟或一小时或任何速率运行一次)，它将充当生产者或父任务。它可以迭代数据库中的所有媒体站点，并生成一个新的爬行任务。可以在数据库中维护相同的工作状态，根据该状态可以生成新的任务。首先，我可以说，这个为人父母的任务将检查前一个任务是否仍在运行，或者检查最后一个任务的进度，基于确定的进度，甚至我们可以考虑将爬行作业再次拆分为微任务，并从父作业触发。您可以在开发过程中或在性能方面进一步收集更多x和y。