
## 问题概述

在DolphinScheduler运行过程中，有时会出现任务界面显示"运行中"状态，但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进，需要手动干预。本文将针对不同版本提供安全清理方案。



## 问题原因分析

任务卡在"运行中"状态通常由以下原因造成：

1. **数据库延迟**：当数据库出现延迟时，任务状态更新可能失败，导致界面显示与实际状态不一致
2. **Worker节点异常**：Worker服务意外停止，但Master未及时感知
3. **网络抖动**：ZooKeeper心跳超时导致节点remove事件触发，但任务进程仍在运行
4. **任务实例为空**：日志显示任务实例为null，但状态仍为运行中 



## 旧版本处理方式（1.2.1以下）

对于1.2.1之前的版本，需要手动执行以下步骤：

### 步骤1：清理ZooKeeper任务队列

```bash
# 清空ZooKeeper中的任务队列路径
delete /dolphinscheduler/task_queue
```

这一步确保卡住的任务不会继续阻塞队列。

### 步骤2：修改任务状态为失败

通过数据库直接更新任务实例状态：

```sql
-- 将卡住的任务状态改为失败（状态码6）
UPDATE t_ds_task_instance 
SET state = 6 
WHERE state = 1 AND task_instance_id = <卡住的任务ID>;
```

状态码说明：
- 1: 运行中 (RUNNING_EXECUTION)
- 6: 失败 (FAILURE) 

### 步骤3：从失败节点恢复工作流

在DolphinScheduler UI中：
1. 找到对应的工作流实例
2. 点击"从失败恢复"按钮
3. 系统将从失败节点重新执行



## 新版本处理方式（1.2.1+）

从1.2.1版本开始，系统引入了自动容错机制，大部分情况无需手动干预。

### 自动容错机制

新版本的容错设计基于ZooKeeper的Watcher机制：

![僵尸任务](https://developer.qcloudimg.com/http-save/yehe-11849333/b67c185bd20fe986f4fac334a46ed692.png)


### Worker容错流程

当Worker节点发生remove事件时：
1. Master只容错任务实例（不处理流程实例） 
2. 比较实例开始时间与服务节点启动时间
3. 如果实例在服务启动之后开始，则跳过容错
4. 否则，将任务状态设置为"需要容错"
5. Master Scheduler线程接管并重新提交任务
### 任务状态机处理

新版本使用状态机管理任务生命周期，包括暂停和杀死操作：

```java
// 任务杀死事件处理
public void onKilledEvent(...) {
    releaseTaskInstanceResourcesIfNeeded(taskExecutionRunnable);
    persistentTaskInstanceKilledEventToDB(taskExecutionRunnable, taskInstanceKillEvent);
    taskExecutionRunnable.getWorkflowExecutionGraph()
        .markTaskExecutionRunnableChainKill(taskExecutionRunnable);
    publishWorkflowInstanceTopologyLogicalTransitionEvent(taskExecutionRunnable);
}
```



## 版本对比总结

| 特性 | 1.2.1以下版本 | 1.2.1+版本 |
|------|--------------|------------|
| 容错机制 | 手动处理 | 自动容错 |
| ZooKeeper队列清理 | 需要手动清理 | 自动处理 |
| 任务状态更新 | 需要数据库操作 | 状态机自动管理 |
| Worker故障恢复 | 需要手动干预 | 自动重新提交 |
| 网络抖动处理 | 需要停止服务 | 自动检测并容错 |



## 安全清理最佳实践

### 1. 诊断确认

在执行清理前，先确认任务确实已死：

```bash
# 检查Worker进程
jps | grep WorkerServer

# 检查任务进程
ps -ef | grep <任务相关关键词>

# 查看任务日志
tail -f /path/to/task.log
```

### 2. 优先使用UI操作

对于新版本，优先使用UI提供的操作：
- 点击"停止"按钮终止任务
- 使用"从失败恢复"功能重新执行

### 3. 数据库操作注意事项

如果必须直接操作数据库：
- 先备份数据库
- 确认任务ID准确无误
- 只修改状态字段，不删除记录
- 操作后验证工作流状态

### 4. ZooKeeper操作注意事项

清理ZooKeeper节点时：
- 确认路径正确：`/dolphinscheduler/task_queue`
- 使用ZooKeeper客户端工具操作
- 避免误删其他关键节点

### 5. 监控和预防

为减少此类问题发生：
- 监控数据库延迟
- 设置合理的ZooKeeper会话超时时间
- 定期检查Master和Worker服务状态
- 配置服务监控脚本自动重启异常服务 



## 总结

对于DolphinScheduler中卡在"运行中"的任务，处理方式因版本而异：

- **旧版本（1.2.1以下）**：需要手动清理ZooKeeper队列、更新数据库状态、从失败节点恢复
- **新版本（1.2.1+）**：依赖自动容错机制，大部分情况无需手动干预

建议升级到最新版本以获得更好的容错能力，同时建立完善的监控体系，及时发现和处理异常情况。

## Notes

本文基于DolphinScheduler官方FAQ和架构设计文档编写，相关代码实现可参考`AbstractTaskStateAction.java`中的状态处理逻辑。对于生产环境，建议在测试环境验证操作步骤后再执行。



在DolphinScheduler运行过程中，有时会出现任务界面显示"运行中"状态，但实际进程已经死亡的情况。这种状态不一致会导致工作流无法正常推进，需要手动干预。本文将针对不同版本提供安全清理方案。

Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案

运维

数据库

架构设计

DolphinScheduler任务卡在"运行中"状态时，旧版本需手动清理ZooKeeper队列并更新数据库状态，新版本1.2.1+支持自动容错机制。本文提供详细解决方案，包括诊断方法、安全操作步骤及预防措施，帮助用户快速恢复工作流执行。

备份数据库

代码解释

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案-腾讯云开发者社区-腾讯云

Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案

Apache DolphinScheduler “僵尸任务”怎么处理？新旧版本安全清理方案

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐