> **摘要**：Spark Master 是 Standalone 模式的"集群大脑"。它管理所有 Worker 的注册与心跳，调度 Driver 和 Application 的资源分配，通过 SpreadOutApps 算法确保负载均衡，借助 ZooKeeper 实现主备选举和状态恢复。本文从 Master 内部架构全景、核心数据结构、schedule() 调度引擎源码、Worker 生命周期管理、HA 高可用机制五个维度，配合 1 张原创深色架构图 + 完整源码分析，带你彻底看清 Master 的内部世界。
>
> **关键词**：Spark Master, schedule(), Worker 管理, 资源调度, SpreadOutApps, HA, ZooKeeper, LeaderElection, PersistenceEngine

---

## 一、开篇：Master 是什么？

如果说 Driver 是单个应用的"大脑"，那么 Master 就是整个 Standalone 集群的"指挥中心"。

| 职责 | 说明 |
|------|------|
| **Worker 管理** | 注册、心跳、超时检测、资源登记 |
| **资源调度** | Driver 调度 + Application Executor 资源分配 |
| **应用生命周期** | 注册 → 排队 → 调度 → 完成 → 移除 |
| **HA 高可用** | ZK 主备选举、状态持久化、故障自动切换 |

**一句话定位**：Master 不执行 Task，不做 DAG 解析——它只做一件事：**谁需要资源、谁有资源、把资源分给谁**。

---

## 二、Master 内部架构全景图
![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-2482016/d03113f2d7e1ea0dd837cae0246333f5.png)

### Master 四大核心模块

```
┌────────────────────────────────────────────┐
│                 Spark Master               │
│  ┌──────────────┐  ┌──────────────────┐    │
│  │ 核心数据结构   │  │  schedule() 引擎  │    │
│  │ workers: Set  │  │ SpreadOutApps    │    │
│  │ apps: Set     │  │ FIFO/FAIR 策略   │    │
│  │ drivers: Set  │  │ launchExecutor() │    │
│  └──────────────┘  └──────────────────┘    │
│  ┌──────────────┐  ┌──────────────────┐    │
│  │ RPC Endpoint  │  │   HA 高可用       │    │
│  │ RegisterWorker│  │ LeaderElection   │    │
│  │ RegisterApp   │  │ PersistenceEngine│    │
│  │ Heartbeat     │  │ 状态恢复          │    │
│  └──────────────┘  └──────────────────┘    │
└────────────────────────────────────────────┘
```

---

## 三、核心数据结构

```scala
// 源码：Master.scala
private[master] class Master(
    override val rpcEnv: RpcEnv,
    address: RpcAddress,
    webUiPort: Int,
    val securityMgr: SecurityManager,
    val conf: SparkConf)
  extends ThreadSafeRpcEndpoint {

  // === 核心数据结构 ===
  val workers = new HashSet[WorkerInfo]          // 已注册的 Worker
  val apps = new HashSet[ApplicationInfo]        // 运行中的应用
  val drivers = new HashSet[DriverInfo]          // 已提交的 Driver (Cluster 模式)
  
  // === 等待队列 ===
  val waitingApps = new ArrayBuffer[ApplicationInfo]   // 等待资源分配的应用
  val waitingDrivers = new ArrayBuffer[DriverInfo]     // 等待 Worker 的 Driver
  
  // === 已完成的应用（数量限制，用于 Web UI 展示）===
  private val completedApps = new ArrayBuffer[ApplicationInfo]
  private val completedDrivers = new ArrayBuffer[DriverInfo]
}
```

| 数据结构 | 类型 | 用途 |
|----------|------|------|
| `workers` | HashSet | 所有已注册的 Worker |
| `apps` | HashSet | 运行中的 Application |
| `drivers` | HashSet | Cluster 模式提交的 Driver |
| `waitingApps` | ArrayBuffer | 排队等待资源分配的应用 |
| `waitingDrivers` | ArrayBuffer | 排队等待 Worker 的 Driver |

---

## 四、schedule() 调度引擎 🔥

这是 Master 最核心的方法——**每次状态变更都会触发调用**。

```scala
// 源码：Master.scala - schedule() 核心逻辑
private def schedule(): Unit = {
  // Step 1: 先调度 Driver (Cluster 模式)
  for (driver <- waitingDrivers.toList) {
    val worker = workers.filter(_.state == WorkerState.ALIVE)
      .filter(canLaunchDriver(_, driver.desc)).headOption
    worker.foreach { w =>
      waitingDrivers -= driver
      w.endpoint.send(LaunchDriver(driver.id, driver.desc))
      driver.state = DriverState.RUNNING
    }
  }
  
  // Step 2: 再调度 Application (Executor 分配)
  startExecutorsOnWorkers()
}
```

### 4.1 SpreadOutApps 负载均衡算法

```scala
// 源码：startExecutorsOnWorkers()
private def startExecutorsOnWorkers(): Unit = {
  for (app <- waitingApps if app.coresLeft > 0) {
    val usableWorkers = workers.filter(_.state == WorkerState.ALIVE)
      .filter(canLaunchExecutor(_, app.desc))
    
    // SpreadOut: 尽可能将 Executor 分散到不同 Worker
    // 每个 Worker 分配尽可能少的 cores（最少 1 个 Executor）
    val numWorkers = usableWorkers.length
    var coresPerWorker = app.desc.maxCores.getOrElse(Int.MaxValue) / numWorkers
    if (coresPerWorker < 1) coresPerWorker = 1
    
    for (worker <- usableWorkers if app.coresLeft > 0) {
      val coresToUse = math.min(worker.coresFree, coresPerWorker)
      launchExecutor(worker, app, coresToUse)
    }
  }
}
```

**SpreadOut 策略的优势**：将任务分散到更多节点 → 更高的数据本地性命中率 → 减少 Shuffle 网络开销。

---

## 五、Worker 生命周期管理

```
Worker 启动 → RegisterWorker → Master 登记 → Heartbeat (每 15s)
                                         ↓
                                    超时未心跳?
                                   /         \
                                 NO           YES
                              继续运行     RemoveWorker
                                            ↓
                                        状态标记 DEAD
                                        waitingApps 重新排队
                                        apps 中的 Executor 失联
```

```scala
// Worker 心跳超时检测
case Heartbeat(workerId, worker) =>
  worker.lastHeartbeat = System.currentTimeMillis()
  // 15 秒超时检查在 checkForWorkerTimeOuts() 中
```

**级联效应**：Worker 宕机 → `RemoveWorker` → 释放的资源重新进入 `schedule()` → 其他 Worker 承接任务。

---

## 六、Master HA：ZooKeeper 主备选举

```bash
# 启动 HA Master 集群
# Master 1
./sbin/start-master.sh -h master-1 --webui-port 8080 \
  --conf spark.deploy.recoveryMode=ZOOKEEPER \
  --conf spark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181

# Master 2 (备)
./sbin/start-master.sh -h master-2 --webui-port 8080 \
  --conf spark.deploy.recoveryMode=ZOOKEEPER \
  --conf spark.deploy.zookeeper.url=zk1:2181,zk2:2181,zk3:2181
```

### 6.1 选举机制

```scala
// 源码：ZooKeeperLeaderElectionAgent.scala
class ZooKeeperLeaderElectionAgent(val masterInstance: LeaderElectable,
    conf: SparkConf, securityMgr: SecurityManager, zkUrl: String)
  extends LeaderElectionAgent {
  
  // 在 ZK 创建临时顺序节点 /spark/leader_election/lock-0000000xxx
  // 序号最小的节点成为 Leader
  // Leader 宕机 → 临时节点自动删除 → 下一个最小序号成为新 Leader
}
```

### 6.2 状态持久化与恢复

```scala
// 恢复模式
sealed trait RecoveryMode
case object ZOOKEEPER extends RecoveryMode
case object FILESYSTEM extends RecoveryMode  // 本地文件系统
case object CUSTOM extends RecoveryMode      // 自定义实现
case object NONE extends RecoveryMode        // 无 HA
```

**恢复流程**：新 Leader 从持久化存储读取 → 恢复 workers/apps/drivers 状态 → 执行 `schedule()` 继续调度。

---

## 七、总结

| 要点 | 总结 |
|------|------|
| **定位** | Master = 集群资源调度中心，不执行 Task/DAG |
| **核心方法** | `schedule()`：Driver + Executor 资源分配 |
| **调度策略** | SpreadOutApps 分散负载 + FIFO/FAIR 排队 |
| **数据结构** | workers/apps/drivers/waitingApps/waitingDrivers |
| **HA** | ZK 临时节点选举 + 持久化状态恢复 |

> **金句**：如果 Driver 是单个应用的大脑，Master 就是整个集群的交管中心——它不跑车，但它决定哪辆车走哪条路。

---

<p style="margin-top:20px;padding-top:10px;border-top:1px solid #eee;font-size:14px;color:#999;text-align:center;line-height:2;">
作者：starzy  |  AI Data Engineer / 大数据技术实践者<br/>
博客：blog.starzy.cn  |  GitHub：starzy1990.github.io<br/>
专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践
</p>

摘要：Spark Master 是 Standalone 模式的"集群大脑"。它管理所有 Worker 的注册与心跳，调度 Driver 和 Application 的资源分配，通过 SpreadOutApps 算法确保负载均衡，借助 ZooKeeper 实现主备选举和状态恢复。本文从 Master 内部架构全景、核心数据结构、schedule() 调度引擎源码、Worker 生命周期管理、HA 高可用机制五个维度，配合 1 张原创深色架构图 + 完整源码分析，带你彻底看清 Master 的内部世界。

Spark 核心之 Master 原理剖析

摘要：Spark Master 是 Standalone 模式的"集群大脑"。它管理所有 Worker 的注册与心跳，调度 Driver 和 Application 的资源分配，通过 SpreadOutApps 算法确保负载均衡，借助 ZooKeeper 实现主备选举和状态恢复。本文从 Master 内部架构全景、核心数据结构、schedule() 调度引擎源码、Worker 生命周期管理、HA

人工智能

SparkMaster作为Standalone集群的调度核心，通过schedule()引擎与SpreadOutApps算法实现Worker资源分配和负载均衡，利用ZooKeeper完成主备选举与状态恢复。文章深度剖析Master内部数据结构、Worker生命周期管理及HA高可用机制，配源码级解析，助你快速掌握Spark集群调度原理。

负载均衡

数据架构

数据结构

文件系统

代码解释

大数据

LangGraph

GitHub

Spark 

让每一个 Agent，都跑在云上

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

SparkMaster作为Standalone集群的调度核心，通过schedule()引擎与SpreadOutApps算法实现Worker资源分配和负载均衡，利用ZooKeeper完成主备选举与状态恢复。文章深度剖析Master内部数据结构、Worker生命周期管理及HA高可用机制，配源码级解析，助你快速掌握Spark...

Spark 核心之 Master 原理剖析-腾讯云开发者社区-腾讯云

Spark 核心之 Master 原理剖析

Spark 核心之 Master 原理剖析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐