
## 一、问题现象

### 1.1 告警信息

凌晨 4 点多，收到一连串调度失败告警：

```
scheduler failed
projectName: 数仓平台
processName: 【ods】同步MySQL「每小时」
taskName: OPTIMIZE table_records
taskType: SQL
taskState: FAILURE
taskEndTime: 2026-03-13 04:34:01
```

### 1.2 页面表现

登录 DolphinScheduler 查看任务实例，发现两个关键异常：

- 任务状态：失败
- 任务实例 Host：为空

![](https://developer.qcloudimg.com/http-save/yehe-11849333/3bc5944b1fc78194fff4b0e78b33201b.jpg)

![](https://developer.qcloudimg.com/http-save/yehe-11849333/488d83fdddf3fcb321ff1118a0441aa7.jpg)

Host 为空意味着什么？**没有任何 Worker 节点愿意接这个任务。** 任务连"被执行"的机会都没有，直接被拒之门外。

## 二、排查过程

### 2.1 先看系统资源

第一反应：是不是机器资源出问题了？

CPU 使用率：很低，不是瓶颈。

![](https://developer.qcloudimg.com/http-save/yehe-11849333/1fb4a3d294f70ae46c154c1d7f3977b8.jpg)

内存使用率：嗯？有点高。

![](https://developer.qcloudimg.com/http-save/yehe-11849333/0bbc4fa008b0032e1cb6dde6f351f550.jpg)

先重启 Worker 恢复业务（线上第一要务是止血）：

```
docker restart dolphinscheduler-worker
```

重启后重跑任务，恢复正常。但重启只是止血，根因还得继续挖。

### 2.2 查看 Worker 日志

```
grep -i "memory\|error\|exception" /data/dolphin/worker/logs/dolphinscheduler-worker.xxx.log | head -20
```

```
[WARN] current cpu load average 0.03 is higher than 1.0
       or available memory 0.295 is lower than 0.3
[WARN] current cpu load average 0.03 is higher than 1.0
       or available memory 0.294 is lower than 0.3
```

Worker 心跳任务每 10 秒检测一次，持续报告：可用内存比例 29.5%，低于阈值 30%。

### 2.3 查看 Master 日志

```
grep -i "overload\|memory\|dispatch" /data/dolphin/master/logs/dolphinscheduler-master.xxx.log | head -20
```

```
[WARN] Current available memory percentage 0.297 is too low, reserved.memory=0.3
[WARN] The current server is overload, cannot consumes commands.
[WARN] worker 10.0.1.100:1234 current cpu load average 0.0 is too high
       or available memory 4.57G is too low
```

Master 这边也很明确：

1. 自身内存不足，拒绝消费调度命令
2. 判定 Worker 负载过高，不往 Worker 分发任务

### 2.4 确认内存状态

```
$ free -h
               total   used    free    shared  buff/cache  available
Mem:           15Gi    8.9Gi   482Mi   1.1Gi   5.9Gi       4.9Gi
```

可用内存 4.9G / 15G ≈ 32%，刚刚踩在 30% 的阈值线上。凌晨跑批任务一多，稍微波动就跌破红线。

### 2.5 看谁在吃内存

```
ps -aux --sort=-%mem | head -n 11
```

结果一目了然：**Master 4G + Worker 4G + API 1G + Alert 1G + Flink + MySQL + ZooKeeper**，15GB 的机器被塞得满满当当。

## 三、原因分析

### 3.1 根因

DolphinScheduler 有一套内存保护机制：
![](https://developer.qcloudimg.com/http-save/yehe-11849333/46eb8d91217279a60e492c29ab403f4c.jpg)

当系统可用内存跌破 30% 时：

```
Master: "内存不够，我不消费命令了"
Worker: "内存不够，别往我这派活了"
任务实例: Host = 空（没人接活）
结果: 任务失败
```

### 3.2 为什么内存不够？

15GB 的机器，光 DolphinScheduler 四个组件就吃掉了 **10GB JVM 堆**：

![](https://developer.qcloudimg.com/http-save/yehe-11849333/0575b5eff0ab85019bfc4e13ec322bf3.jpg)

Master 和 Worker 默认堆配置 4G 严重偏大，实际 RSS 只用了 1~2G，白白占着内存不干活。

## 四、解决方案

有三个方向，按推荐优先级排列：

### 方案一：降低 Master/Worker JVM 堆大小（推荐）

在 `docker-compose.yml` 的 `environment` 中加入：

```
dolphinscheduler-master:
  environment:
    - JAVA_OPTS=-Xms2g -Xmx2g -Xmn1g

dolphinscheduler-worker:
  environment:
    - JAVA_OPTS=-Xms2g -Xmx2g -Xmn1g
```

### 方案二：降低内存保护阈值

默认 `reserved.memory=0.3（30%）`，可以调低到 10%：

```
dolphinscheduler-master:
  environment:
    - MASTER_RESERVED_MEMORY=0.1

dolphinscheduler-worker:
  environment:
    - WORKER_RESERVED_MEMORY=0.1
```

> 这种方式治标不治本，内存真的紧张时任务可能 OOM。

### 方案三：给容器加 `mem_limit` 防止互相挤占

```
dolphinscheduler-master:
  mem_limit: 3g

dolphinscheduler-worker:
  mem_limit: 3g
```

## 五、解决验证

这里采用方案一，将 Master/Worker 堆从 4G 降到 2G，重启后验证：

### 5.1 内存释放效果

```
$ free -h
               total   used    free    shared  buff/cache  available
Mem:           15Gi    6.8Gi   2.6Gi   1.1Gi   5.9Gi       7.1Gi
```

可用内存从 4.9G → 7.1G，占比从 32% 提升到 47%，远超 30% 阈值。

### 5.2 容器实际占用

```
$ docker stats --no-stream dolphinscheduler-master dolphinscheduler-worker
CONTAINER   NAME                     MEM USAGE / LIMIT    MEM %
aec302...   dolphinscheduler-master  1.098GiB / 15.34GiB  7.16%
cd6df5...   dolphinscheduler-worker  1.049GiB / 15.34GiB  6.84%
```

- Master 实际内存 1.1GB，堆上限 2G，充裕
- Worker 实际内存 1.05GB，堆上限 2G，充裕

### 5.3 启动参数确认

```
$ docker exec dolphinscheduler-master ps -ef | grep java | head -1
/opt/java/openjdk/bin/java -Xms2g -Xmx2g -Xmn1g ... MasterServer
```

参数已生效，日志也恢复正常，不再有内存告警。

## 六、总结

![](https://developer.qcloudimg.com/http-save/yehe-11849333/a1cb50612959aebbe6d75ccd644ebc20.jpg)

核心教训：

1. DolphinScheduler 默认 JVM 堆配置偏大，部署到资源有限的机器上一定要按需调整
2. `reserved.memory=0.3` 是一把双刃剑——保护了系统，也可能让你凌晨被叫起来
3. Host 为空 ≠ 网络问题，大概率是**内存保护机制拒绝了任务分发**
4. 线上先止血（重启），再追因（看日志），最后根治（调参数）

原文链接：https://blog.csdn.net/fengquan8866/article/details/159018724



Host 为空意味着什么？没有任何 Worker 节点愿意接这个任务。 任务连"被执行"的机会都没有，直接被拒之门外。

DolphinScheduler 任务实例 Host 为空？一次内存保护机制引发的调度罢工

运维

开发工具

云计算

DolphinScheduler调度失败告警排查与解决方案：凌晨批量任务失败且Host为空，根因是系统可用内存跌破30%触发保护机制。通过调整Master/Worker的JVM堆内存从4G降至2G，可用内存提升至47%，彻底解决调度拒绝问题。

代码解释

容器

Docker

MySQL

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

DolphinScheduler 任务实例 Host 为空？一次内存保护机制引发的调度罢工-腾讯云开发者社区-腾讯云

DolphinScheduler 任务实例 Host 为空？一次内存保护机制引发的调度罢工

DolphinScheduler 任务实例 Host 为空？一次内存保护机制引发的调度罢工

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐