
**qData 数据中台开源版 v1.6.0 对任务调度和数据集成执行架构**进行了调整：
- 新增系统内置 Quartz 调度器；
- 数据集成任务新增 DataX 执行引擎；
- 保留 DolphinScheduler 调度器；
- 保留 Spark 执行引擎；
- Docker 部署方案同步适配轻量运行模式。

>**并不是使用 Quartz 和 DataX 替代 DolphinScheduler 与 Spark，而是将原有相对固定的组件组合调整为两种可选运行模式：**
>
```
轻量模式：Quartz + DataX
完整模式：DolphinScheduler + Spark
```

可以根据任务依赖关系、数据处理规模、基础设施条件和项目阶段，选择更加匹配的底层组件。哪种模式，任务创建、调度配置、运行管理、状态查看和日志定位仍然在 qData 中统一完成。

---

## 一、新增轻量运行模式有什么作用？

在此前的部署方式中，通常需要同时准备 DolphinScheduler、Spark 及其相关运行环境。

这种架构适合复杂工作流、大规模数据处理，但对于以下场景来说，前期准备相对较多：

* 首次安装和产品体验；
* POC 验证；
* 本地开发和接口联调；
* 功能测试和演示；
* 常规数据库批量同步；
* 中小规模数据处理。

快速部署系统，创建一条同步任务，并验证数据能否从来源端写入目标端。如果在这个阶段就必须搭建完整的调度和分布式计算环境，会增加部署、配置和问题排查成本。

>**因此，qData v1.6.0 增加了 Quartz 和 DataX，为基础任务提供更轻量的运行路径。**

![2.1.png](https://developer.qcloudimg.com/http-save/yehe-11809485/4d77afca0a0d23a6ad63362644d33c01.png)

---

## 二、一个qData，两种运行模式

qData v1.6.0 的主要变化可以概括为：

| 升级方向      | v1.6.0 变化                       | 主要作用                                     |
| --------- | ------------------------------- | ---------------------------------------- |
| 调度器       | 新增内置 Quartz，保留 DolphinScheduler | 基础任务可直接完成周期调度，复杂工作流继续使用 DolphinScheduler |
| 执行引擎      | 新增 DataX，保留 Spark               | 常规离线同步可使用更轻量的执行方式                        |
| Docker 部署 | 适配 Quartz 和 DataX               | 轻量模式下减少必须准备的外部组件                         |
| 运行策略      | 完整模式与轻量模式并存                     | 根据项目阶段和任务复杂度选择组件组合                       |

![1.png](https://developer.qcloudimg.com/http-save/yehe-11809485/ecb2615fed6712347f6073eaf29ed803.png)
### 完整模式

完整模式采用：

```text
DolphinScheduler + Spark
```

适合以下场景：

* 存在多任务前后依赖；
* 需要跨任务工作流编排；
* 存在条件分支、失败分支等控制逻辑；
* 需要统一资源管理；
* 涉及大规模或分布式数据处理；
* 已经建立 DolphinScheduler 和 Spark 运行体系；
* 面向正式生产环境持续建设。

完整模式能力覆盖范围更广，但环境准备、资源配置和日常运维项也更多。

### 轻量模式

轻量模式采用：

```text
Quartz + DataX
```

主要适用于：

* 首次体验 qData；
* 产品选型和 POC；
* 本地开发与联调；
* 功能测试和演示环境；
* 常规数据库批量同步；
* 中小规模数据处理；
* 暂时不需要复杂工作流的项目。

轻量模式并不是独立的另一套工具。

仍然要在 qData 中创建任务、配置组件、设置周期、启动运行并查看日志，变化主要发生在底层调度器和执行引擎。

---

## 三、新增系统内置 Quartz 调度器

在任务运行过程中，调度器主要负责两个问题：

```text
任务什么时候运行？
任务以什么周期触发？
```

此前，这部分能力主要由 DolphinScheduler 提供。

>qData v1.6.0 新增系统内置 Quartz 调度器后，单任务定时运行、周期采集和常规同步等场景，可以不再强制依赖 DolphinScheduler。
>

![2.2.png](https://developer.qcloudimg.com/http-save/yehe-11809485/ba679dc8f584e335f9e078f9f4e57cb8.png)
创建任务时，可以选择：

* Quartz；
* DolphinScheduler。

![2.3.png](https://developer.qcloudimg.com/http-save/yehe-11809485/483071c794f87e4e77e718f2e5993aa0.png)
选择 Quartz 后，可以继续配置：

* 调度周期；
* 任务状态；
* 责任人；
* 任务优先级；
* 失败重试次数；
* 重试间隔；
* 延迟执行时间。

### Quartz 可以用于哪些任务？

#### 1. 数据集成任务

数据集成任务可以选择 Quartz 调度，并根据具体同步场景搭配 DataX 执行引擎。

典型组合为：

```text
Quartz 负责周期触发
DataX 负责数据读写
```

#### 2. 数据开发任务

数据开发任务可以通过 Quartz 配置周期运行，同时继续使用原有的脚本编辑、任务属性、运行状态和日志查看能力。
![6.png](https://developer.qcloudimg.com/http-save/yehe-11809485/663022c7e766b4219b48da676c48f000.png)
#### 3. 元数据采集任务

元数据采集任务可以使用 Quartz 配置周期采集计划，并继续维护来源系统、数据连接和采集范围等信息。
![2.png](https://developer.qcloudimg.com/http-save/yehe-11809485/a821ff85d34767198cf7cea8a6c87868.png)

#### 4. 任务运行管理

在任务列表中，可以统一查看：

* 当前调度方式；
* 任务状态；
* 最近执行结果；
* 责任人；
* 相关操作入口。

---

## 四、Quartz 和 DolphinScheduler 的边界

Quartz 主要解决的是基础定时和单任务触发问题，并不等同于完整的工作流调度平台。

当项目存在以下需求时，应优先评估 DolphinScheduler：

* 多任务依赖；
* 跨任务工作流；
* 条件分支和失败分支；
* 多节点统一编排；
* 复杂运行控制；
* 需要延续已有 DolphinScheduler 体系。

两者的关系可以简单理解为：

```text
Quartz：适合基础调度和单任务周期运行

DolphinScheduler：适合复杂工作流和任务依赖编排
```

因此，Quartz 与 DolphinScheduler 不是简单的替代关系，而是分别对应不同复杂度的任务场景。
![2.4.png](https://developer.qcloudimg.com/http-save/yehe-11809485/c9276b1f6f4e16f076d7de92caef6c77.png)

---

## 五、新增 DataX 数据集成执行引擎

如果说调度器决定任务何时运行，那么执行引擎决定的是：

```text
数据任务以什么方式执行？
```

>qData v1.6.0 在数据集成任务中新增 DataX 执行引擎，同时继续保留 Spark。
>

![3.1.png](https://developer.qcloudimg.com/http-save/yehe-11809485/ea966100019dd010033a254fd432a18a.png)
对于符合 DataX 插件能力范围的常规批量同步任务，用户可以选择 DataX，不再强制依赖 Spark 环境。

---

## 六、DataX 适合哪些数据同步场景？

在关系型数据库、数据仓库等离线同步场景中，很多任务的核心流程是：

```text
读取来源数据
    ↓
进行字段处理或简单转换
    ↓
写入目标数据源
```

这类任务不一定需要使用分布式计算框架。

例如，以下场景可以优先评估 DataX：

* MySQL 到 MySQL 的批量同步；
* 关系型数据库到数据仓库；
* 数据仓库之间的数据迁移；
* 周期性全量或增量数据同步；
* 数据规模相对可控的离线采集任务。

可以先通过 DataX 验证真实数据链路，再根据任务规模、执行时长和生产要求，判断是否需要使用 Spark。

---

## 七、选择 DataX 前需要确认什么？

DataX 是否可用，不能只根据数据量判断，还需要综合评估以下条件：

* 来源端是否存在对应 Reader 插件；
* 目标端是否存在对应 Writer 插件；
* 来源和目标字段类型是否兼容；
* 当前读写方式是否满足任务要求；
* 是否涉及 DataX 不适合处理的复杂计算逻辑；
* 数据库账号、网络和权限是否满足要求；
* 当前版本是否已完成对应数据源的适配和验证。

可以将执行引擎选择逻辑简化为：

```text
常规数据搬运、字段映射、离线同步
    → 优先评估 DataX

复杂计算、大规模分布式处理
    → 优先评估 Spark
```

DataX 更偏向数据交换，Spark 更偏向分布式计算，两者的能力定位并不完全相同。

---

## 八、可视化任务构建方式保持不变

新增 DataX 后，不需要离开 qData 单独编写和维护另一套 DataX 配置文件。

数据集成任务仍然可以通过可视化画布完成。
![4.png](https://developer.qcloudimg.com/http-save/yehe-11809485/ae3a23ef724390641d5380b74bd46f77.png)
一条典型的数据同步流程可以表示为：

```text
表输入
  ↓
数据转换
  ↓
表输出
```

例如，用户可以：

1. 使用表输入组件读取来源数据；
2. 使用去重、字段处理等转换组件进行简单加工；
3. 使用表输出组件将数据写入目标端。

配置完成后，仍然按照统一流程操作：

```text
任务检查
  → 保存任务
  → 设置调度
  → 启动运行
  → 查看状态
  → 定位日志
  → 验证目标数据
```

只是增加了底层执行引擎选项，并未改变主要的任务建设和运行管理方式。

---

## 九、一条 DataX 任务如何完成闭环？

### 1. 创建任务

填写任务名称、任务类目、责任人等基础信息。

### 2. 选择运行方式

执行引擎选择 DataX。

调度器可以根据场景选择 Quartz 或 DolphinScheduler。对于基础周期同步，通常可以选择 Quartz。

### 3. 配置任务流程

在数据集成画布中添加输入、转换和输出组件，并建立节点连接关系。

### 4. 配置数据源

分别选择来源端和目标端数据连接，并确认：

* 网络是否可达；
* 数据库账号是否有效；
* 是否具备读写权限；
* 数据库和表结构是否符合预期。

### 5. 配置字段映射

检查来源字段和目标字段之间的对应关系，包括：

* 字段名称；
* 字段类型；
* 是否允许为空；
* 主键或唯一标识；
* 日期、数值等类型转换。

### 6. 检查并保存

检查流程连接、组件参数、字段映射和数据源配置是否完整。

### 7. 启动任务

可以手动启动，也可以等待 Quartz 按照配置周期触发。

### 8. 查看运行状态和日志

通过任务列表和日志页面查看：

* 是否启动成功；
* 任务执行时长；
* 读取数据量；
* 写入数据量；
* 脏数据或异常记录；
* 失败原因。

### 9. 验证同步结果

在目标端检查：

* 数据总量；
* 关键字段；
* 空值和异常值；
* 重复数据；
* 时间字段；
* 增量边界。

只有完成目标端数据验证，才能认为同步链路真正跑通。
![5.1.png](https://developer.qcloudimg.com/http-save/yehe-11809485/0152412d88275c78ebf0ac7797d2e296.png)

---

## 十、任务入口保持统一

轻量模式调整的是底层组件，并不会将任务管理拆分成多套系统。依旧可以在 qData 中统一管理数据集成、数据开发和元数据采集任务。

### 数据集成任务

任务列表可以集中展示：

* 任务名称；
* 调度周期；
* 调度器类型；
* 运行状态；
* 最近执行结果；
* 责任人；
* 操作入口。

轻量模式下，可以通过 Quartz + DataX 建立常规批量同步任务，并在同一入口完成启停和运行跟踪。
![3.png](https://developer.qcloudimg.com/http-save/yehe-11809485/4d47e9705109daef8abb460c705bf97d.png)
### 数据开发任务

数据开发任务继续保留：

* 任务基础信息；
* 执行引擎配置；
* 调度周期；
* 任务脚本；
* 属性参数；
* 执行日志。

对于不需要跨任务复杂依赖的开发任务，可以使用 Quartz 完成周期触发。
![5.png](https://developer.qcloudimg.com/http-save/yehe-11809485/3af7920d326f2ee373d86ba4da132af5.png)
### 元数据采集任务

元数据采集任务可以继续配置：

* 来源系统；
* 数据连接；
* 数据库类型；
* 网络和账号信息；
* 采集范围；
* 调度周期。

![7.png](https://developer.qcloudimg.com/http-save/yehe-11809485/3aa580594e223286517122f75aa2286f.png)![8.png](https://developer.qcloudimg.com/http-save/yehe-11809485/81a56421f4a07524224ba08dbb68aab2.png)![9.png](https://developer.qcloudimg.com/http-save/yehe-11809485/15b920ebe0b9bea076e92cdeebe989df.png)
在轻量模式下，可通过 Quartz 周期性触发采集任务，用于验证从数据源连接、元数据采集到后续治理入口的基础链路。

对外发布系统截图时，应对账号、IP 地址、连接信息、任务名称和责任人等内容进行脱敏处理。

---

## 十一、完整模式和轻量模式如何选择？

两种模式没有绝对优劣，主要区别在于适用阶段和能力边界。

| 对比维度 | 完整模式                     | 轻量模式              |
| ---- | ------------------------ | ----------------- |
| 组件组合 | DolphinScheduler + Spark | Quartz + DataX    |
| 核心定位 | 复杂编排和大规模处理               | 快速部署和常规批量同步       |
| 调度能力 | 支持复杂任务依赖和工作流             | 支持周期触发和基础运行管理     |
| 执行能力 | 适合分布式计算和复杂处理             | 适合插件范围内的数据同步      |
| 部署依赖 | 外部组件和运维项较多               | 轻量场景下依赖更少         |
| 适用阶段 | 企业生产、复杂项目                | 首次体验、POC、开发测试     |
| 选择前提 | 明确需要工作流和 Spark 能力        | 任务适配 DataX，且无复杂依赖 |
| 后续演进 | 在现有架构上持续扩展               | 验证后再评估是否切换完整模式    |

![11.png](https://developer.qcloudimg.com/http-save/yehe-11809485/9274f2d4ff43ca186c8021f3700f319a.png)

---

## 十二、模式选择前先确认四个问题

### 1. 是否存在复杂任务依赖？

如果存在跨任务前后置关系、条件分支、失败分支或复杂工作流，应优先考虑 DolphinScheduler。

### 2. 是否明确需要 Spark？

如果任务依赖分布式处理、大规模计算或 Spark 生态能力，应继续使用完整模式。

### 3. 数据源是否适配 DataX？

需要确认来源端、目标端、字段类型和同步方式是否在当前 DataX 插件能力范围内。

### 4. 当前目标是验证还是生产？

如果当前主要目标是首次体验、POC 或功能测试，可以从轻量模式开始。

如果准备进入正式生产，还需要评估：

* 稳定性；
* 容量和性能；
* 任务监控；
* 权限控制；
* 告警机制；
* 数据补偿；
* 故障恢复；
* 版本升级；
* 回退方案。

---

## 十三、哪些场景适合轻量模式？

以下场景可以优先选择 Quartz + DataX：

* 希望快速完成 qData 部署和功能体验；
* 开展产品选型或 POC；
* 需要跑通真实数据库同步链路；
* 本地开发、接口联调和功能测试；
* 建设培训、演示或临时验证环境；
* 以周期性批量同步为主；
* 数据规模相对可控；
* 暂时没有复杂任务依赖；
* 当前服务器资源有限。

轻量模式的核心价值不是覆盖所有场景，而是减少验证阶段不必要的组件准备。

---

## 十四、哪些场景应继续使用完整模式？

以下情况更适合 DolphinScheduler + Spark：

* 存在复杂任务依赖；
* 需要跨任务工作流；
* 需要分支控制和统一编排；
* 涉及大规模数据处理；
* 依赖分布式计算；
* 明确需要 Spark 相关能力；
* 已有 DolphinScheduler 和 Spark 生产体系；
* 对调度治理、容量规划和运行保障要求较高。

完整模式更适合复杂项目和持续运行的生产环境。

---

## 十五、轻量模式主要解决了什么问题？

### 1. 缩短部署到验证的链路

对于首次体验和 POC不需要先搭建完整的调度和 Spark 运行环境，即可验证基础任务链路。

### 2. 减少非必要外部依赖

基础调度可以由系统内置 Quartz 完成，常规同步可以使用 DataX，从而减少当前阶段不需要的组件。

### 3. 保留统一的产品入口

轻量模式没有拆分任务系统，仍通过 qData 完成配置、运行和日志查看。

### 4. 降低问题定位范围

在开发和测试阶段，组件数量更少，排查网络、配置、调度和执行问题时，定位范围相对集中。

### 5. 提供渐进式演进路径

可以先使用轻量模式完成验证，再根据任务依赖、数据规模和生产要求切换完整模式。

### 6. 便于社区复现和协作

更集中的部署方式有利于：

*快速搭建测试环境；
* 复现运行问题；
* 提交 Issue；
* 验证数据源适配；
* 完善部署文档；
* 分享插件和字段类型兼容经验。

---

## 总结

qData 数据中台开源版 v1.6.0 的主要变化，不是简单减少组件，而是增加了运行模式的可选择性。

可以根据实际场景选择：

```text
Quartz + DataX
适合快速部署、POC、开发测试和常规数据同步

DolphinScheduler + Spark
适合复杂工作流、大规模处理和企业生产环境
```

两种模式继续共享 qData 的任务创建、运行管理、状态查看和日志定位入口。

对于首次体验和常规批量同步，轻量模式减少了前期必须准备的外部组件，缩短了从部署到验证的路径。

对于复杂任务编排和分布式数据处理，原有完整模式继续保留。

在实际选型时，不能只根据“轻量”或“完整”进行判断，而应综合考虑：

* 是否存在复杂任务依赖；
* 是否需要 Spark 分布式处理能力；
* 数据源是否适配 DataX；
* 当前处于验证阶段还是生产阶段；
* 现有基础设施和运维体系；
* 后续任务规模和复杂度。

从固定组件组合转向按需选择运行模式，使 qData 能够覆盖从快速验证到复杂项目建设的不同阶段。


qData 数据中台开源版 v1.6.0 对任务调度和数据集成执行架构进行了调整：

DataX 执行引擎正式加入！qData数据中台开源版 v1.6.0 构建轻量与完整双运行模式！

qData 数据中台开源版 v1.6.0 新增内置 Quartz 调度器与 DataX 执行引擎，与原有 DolphinScheduler + Spark 形成完整/轻量双模式。轻量模式降低部署门槛，完整模式满足复杂生产需求，可以灵活适配不同阶段。

数据库

大数据

开发工具

qData数据中台开源版v1.6.0新增轻量模式(Quartz+DataX)和完整模式(DolphinScheduler+Spark)两种运行架构。轻量模式适合快速部署、POC验证和常规数据同步，减少外部依赖；完整模式保留复杂工作流和大规模数据处理能力。两种模式统一在qData平台管理任务，可根据项目阶段、任务复杂度灵活选择，实现从验证到生产的平滑过渡。

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

qData数据中台开源版v1.6.0新增轻量模式(Quartz+DataX)和完整模式(DolphinScheduler+Spark)两种运行架构。轻量模式适合快速部署、POC验证和常规数据同步，减少外部依赖；完整模式保留复杂工作流和大规模数据处理能力。两种模式统一在qData平台管理任务，可根据项目阶段、任务复杂度灵...

DataX 执行引擎正式加入！qData数据中台开源版 v1.6.0 构建轻量与完整双运行模式！-腾讯云开发者社区-腾讯云

DataX 执行引擎正式加入！qData数据中台开源版 v1.6.0 构建轻量与完整双运行模式！

DataX 执行引擎正式加入！qData数据中台开源版 v1.6.0 构建轻量与完整双运行模式！

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐