HDFS & YARN 高质量论文分析报告（2021–2026）

生成日期：2026-06-27 检索范围：近五年（2021–2026） 检索平台：arXiv, Semantic Scholar, USENIX FAST/ATC, ACM DL, IEEE, VLDB, DBLP 筛选标准：Venue 等级（CCF）、引用数、相关度、时效性

目录

• 一、HDFS（Hadoop Distributed File System）领域
  • 🥇 Tier 1 — 顶会论文（CCF-A，必读）
  • 🥈 Tier 2 — 高质量会议/期刊论文（强烈推荐）
  • 🥉 Tier 3 — 优质应用论文（值得关注）
• 二、YARN（Yet Another Resource Negotiator）领域
  • 🥇 Tier 1 — 顶会/顶刊 + 高影响力
  • 🥈 Tier 2 — 优秀论文
• 三、HDFS 研究方向归类与热点分布
• 四、YARN 研究方向归类与热点分布
• 五、🏆 综合推荐优先级
• 六、补充论文列表（2024-2026）
• 七、检索元信息

一、HDFS（Hadoop Distributed File System）领域

🥇 Tier 1 — 顶会论文（CCF-A，必读）

1. λFS: A Scalable and Elastic Distributed File System Metadata Service using Serverless Functions

核心贡献： 首次将 serverless functions 引入分布式文件系统元数据服务。通过 FaaS 优化的混合 RPC 机制（TCP+HTTP）、serverless 内存缓存层和敏捷自动扩缩容策略，实现弹性高吞吐元数据处理。

成果数据：

• ✅ 吞吐量达 HDFS 的 4.13×
• ✅ 延迟降低 90.40%
• ✅ 成本降低 85.99%
• ✅ 最高 3.33× 每 vCPU 吞吐
• ✅ 512 vCPU 集群验证

推荐理由： ⭐ 突破性 serverless 架构，顶会论文，引用增长快。将 FaaS 范式引入分布式文件系统元数据管理，极具前瞻性。

2. CFS: Scaling Metadata Service for Distributed File System via Pruned Scope of Critical Sections

核心贡献： 提出**"精简临界区"**思路：将文件属性和命名空间分层管理——文件属性贴近数据存储（哈希分区防热点），命名空间用分布式数据库（保持局部性消除跨分片事务）。

成果数据：

• ✅ 吞吐量比 HopsFS 高 1.76-75.82×
• ✅ 比 InfiniFS 高 1.22-4.10×
• ✅ 延迟降低 91.71%（vs HopsFS），54.54%（vs InfiniFS）
• ✅ 百度 AI Cloud 生产运行 3 年
• ✅ 50 节点集群验证

推荐理由： ⭐ 百度生产验证的工程级方案，性能数据扎实，分布式元数据管理的标杆工作。

3. InfiniFS: An Efficient Metadata Service for Large-Scale Distributed Filesystems

核心贡献： 提出 访问-内容解耦分区 方法：将目录的访问元数据（名称、ID、权限）与内容元数据（条目列表、时间戳）解耦，在细粒度上分别分区。配合推测性路径解析（并行遍历目录树）和乐观客户端缓存，实现线性可扩展。

成果数据：

• ✅ 线性可扩展至 32 个 MDS
• ✅ 支持数十亿文件规模

推荐理由： ⭐ FAST 顶会，HDFS 元数据扩展方向的经典对比基线。

4. FMCache / Fletch: File-System Metadata Caching in Programmable Switches

核心贡献： 利用**可编程交换机（Tofino）**在数据平面直接缓存 HDFS 文件系统元数据，解决多 Metadata Server 场景下的可扩展性问题。不同于传统客户端缓存方案，FMCache 在交换机层面处理来自多个客户端的元数据请求，同时解决文件系统语义特有的路径依赖问题。

成果数据：

• ✅ 吞吐量提升高达 181.6%（vs 原生 HDFS）
• ✅ 配合客户端缓存可额外提升 139.6%
• ✅ 在 4 个真实生产负载上验证（Alibaba, Training, Thumb, LinkedIn）
• ✅ 延迟低，交换机资源占用有限

推荐理由： ⭐ FAST 2026 正会论文，HDFS 元数据路径的创新性工作，将网络可编程能力引入分布式文件系统，代表未来方向。

5. LESS is More for I/O-Efficient Repairs in Erasure-Coded Storage

核心贡献： 提出 LESS 纠删码族，通过分层扩展子条带（extended sub-stripes）同时降低修复 I/O 量和 I/O 寻道次数，并确保各数据块间平衡减量。LESS 构建在广泛部署的 Reed-Solomon 编码之上，可配置以平衡数据访问量和 I/O 寻道之间的权衡。

成果数据：

• ✅ 单块修复时间比 Clay 码减少 83.3%
• ✅ 全节点恢复时间减少 36.6%
• ✅ 在 Hadoop HDFS 3.3.4 上实现并验证
• ✅ 在 Chameleon 云平台上可复现结果
• ✅ 代码开源

推荐理由： ⭐ HDFS 纠删码方向的最新突破，代码开源可复现，对生产集群存储效率有直接指导意义。

6. NCBlob: Network Coding for Warm Blob Storage

核心贡献： 探索非系统化 MSR 码（基于随机线性网络编码）在 warm blob 存储中的 I/O 效率优势。对 256MB 以下小 blob 场景，非系统化 MSR 码避免大量非连续 I/O，显著提升修复性能。

成果数据：

• ✅ 单块修复时间减少 45.0%
• ✅ 全节点恢复时间减少 38.4%
• ✅ 读吞吐损失仅 2.1%

推荐理由： ⭐ FAST 顶会，将网络编码理论创新应用于实际存储系统。

7. Trident: Task Scheduling over Tiered Storage Systems in Big Data Platforms

核心贡献： 将分层存储感知引入任务调度。传统调度器只基于数据局部性分配任务，忽略 HDFS 多级存储（内存/SSD/HDD）的性能差异。Trident 将调度转化为二分图最小代价最大匹配问题，使用标准求解器寻优。

成果数据：

• ✅ 应用完成时间减少最高 66%（即 3×加速）
• ✅ Hadoop + Spark 双平台实现
• ✅ Facebook 真实负载验证

推荐理由： ⭐ VLDB 顶会，HDFS 分层存储与任务调度交叉方向的代表作。

8. UpFuzz: Detecting Data Format Incompatibility Bugs during Distributed Storage System Upgrade

核心贡献： 针对分布式存储系统（含 HDFS, Cassandra, HBase）升级中的数据格式不兼容 bug 实现自动检测。通过数据格式感知的变异策略在 24 小时内发现比传统方法一年更多的兼容性问题。

成果数据：

• ✅ 在 HDFS 等多个系统上成功发现大量不兼容 bug
• ✅ NSDI '26 Community Award 获奖论文
• ✅ 完整开源代码和数据集

推荐理由： ⭐ NSDI 社区奖论文，对 HDFS 运维升级场景有直接实用价值。

9. AsyncFS: Metadata Updates Made Asynchronous for Distributed Filesystems with In-Network Coordination

核心贡献： 提出异步元数据更新范式，打破传统分布式文件系统同步更新的限制。操作提前返回，将目录更新推迟到相应读取操作前再应用，从而实现延迟隐藏和冲突消解。与可编程交换机协同设计，利用受限的交换机资源在网内以极小开销追踪目录状态。

成果数据：

• ✅ 吞吐量提升 13.34×（vs InfiniFS）
• ✅ 延迟降低 57.3%（vs CFS-KV）
• ✅ 端到端吞吐提升 21.1×（vs Ceph），1.1×（vs IndexFS），30.1%（vs CFS-KV）

推荐理由： ⭐ HDFS 元数据路径的另一个创新方向，异步化 + 网内协调思路极具启发性，与 FMCache 互补。

🥈 Tier 2 — 高质量会议/期刊论文（强烈推荐）

10. FileScale: Fast and Elastic Metadata Management for Distributed File Systems

核心贡献： HDFS 的三层分布式元数据架构——DDBMS（底层）+ 分布式缓存（中间层）+ 路由（顶层）。作为 HDFS 的 drop-in 替代，保持完全相同的客户端 API，单节点性能几乎不变，随元数据扩展呈线性扩展。

成果数据：

• ✅ HDFS 的 drop-in 替代，接口完全兼容
• ✅ 元数据线性扩展

推荐理由： 架构设计优雅，兼顾兼容性和扩展性。

11. Origami: Efficient ML-Driven Metadata Load Balancing for Distributed File Systems

核心贡献： ML 驱动的元数据负载均衡框架。传统方法（子树分区、哈希分区）要么破坏命名空间局部性，要么难以优化作业完成时间。Origami 将元数据操作开销分解并评估对端到端作业完成时间的影响，利用 Meta-OPT 算法寻找负载均衡与命名空间局部性的最优折中。

成果数据：

• ✅ 聚合元数据吞吐提升 1.12–2.51×
• ✅ 端到端文件系统吞吐提升 1.11–2.02×
• ✅ 转发请求仅增加 3.5%
• ✅ 在三个真实工作负载上验证

推荐理由： ⭐ 将机器学习直接用于 HDFS 类系统的元数据调度，方法新颖，效果显著。

12. HyperParaRC: Harnessing Parallelism for Fast Data Repair in MSR-Coded Storage

核心贡献： 基于亲和度启发式，毫秒级找到近似最优修复方案，结合条带内 + 条带间并行调度。在 Hadoop 3.3.4 HDFS 上原型实现，阿里云验证。

成果数据：

• ✅ 单块修复减少 68.2%（vs 集中式 Clay 码）
• ✅ 全节点恢复减少 70.9%（vs HDFS 默认）
• ✅ 代码开源

推荐理由： HDFS 纠删码修复的实用优化，开源可复现。

13. Harmonizing Repair and Maintenance in LRC-Coded Storage

核心贡献： 研究 LRC（Locally Repairable Codes）在数据中心场景下修复与维护操作之间的内在性能权衡，设计可配置的数据放置方案，HDFS 原型验证。

推荐理由： 首次系统分析纠删码修复与节点维护之间的冲突，对生产环境有直接参考价值。

14. Making Wide Stripes Practical: Cascaded Parity LRCs (CP-LRC)

核心贡献： 解决宽条带 LRC 的局部组膨胀、多节点故障全局修复、可靠性退化问题。通过将全局奇偶块分解到所有局部奇偶块上，创建级联奇偶组，在保持 MDS 级容错的同时实现低带宽修复。

成果数据：

• ✅ 单节点修复时间减少 41%
• ✅ 双节点修复时间减少 26%
• ✅ 阿里云验证

推荐理由： 宽条带纠删码的前沿设计思路。

15. TSUE: A Two-Stage Data Update Method for Erasure Coded Cluster File System

核心贡献： 两阶段更新机制：同步阶段记录更新到数据日志，异步阶段实时回收日志。将随机 I/O 转化为顺序 I/O，利用三层日志和时空局部性显著降低回收开销。

成果数据：

• ✅ 写性能提升 7.6×（阿里云 trace），5×（腾讯云 trace）
• ✅ SSD 寿命延长最多 13×

推荐理由： 针对纠删码数据更新开销的实际优化方案，效果显著。

16. Understanding the Performance of Erasure Codes in HDFS

核心贡献： 系统对比 EC vs 复制在 HDFS 中的读写性能。发现：(1) 单客户端写入 EC 不如复制，但高并发下 EC 接近甚至超过复制；(2) 读取时 EC 利用多盘并行可达 4.95× 复制吞吐；(3) EC 的块放置算法对性能影响最大。

推荐理由： HDFS 纠删码入门必读，实验数据全面。

17. Automating Distributed Tiered Storage Management in Cluster Computing

核心贡献： 提出自动化分层数据迁移框架，利用 ML 跟踪和预测文件访问模式，决定何时将哪些文件在 HDFS 的各存储层（内存/SSD/HDD）间迁移。使用增量学习动态适应负载变化。

推荐理由： ML + 分层存储的早期代表性工作。

18. DITIS: An End-to-End System-Level Simulator and Optimizer for Distributed Tiered Storage

核心贡献： 端到端分布式分层存储模拟器，基于 Actor 模型模拟请求在多节点、多层级（缓存 + 分层）中的执行路径。支持 15 种优化目标和可插拔策略，用于 HDFS 等系统的配置调优。

推荐理由： HDFS 分层存储研究和调优的实用工具。

19. A Systematic Overview of Caching Mechanisms to Improve Hadoop Performance

核心贡献： 2010-2024 年的 Hadoop 缓存机制综述，全新分类体系。提出 Hybrid Intelligent Cache (HIC)，融合 SVM 预测 + Q-Learning 调度，平均作业执行时间改善 31.2%。

推荐理由： Hadoop 缓存方向的全面综述，含最新方案。

🥉 Tier 3 — 优质应用论文（值得关注）

20. Efficient Small File Management in HDFS for Enhanced E-Government Services (ESFMA)

核心贡献： ESFMA 算法——分层元数据架构 + 缓存 + 块聚合 + 预取 + 局部性感知数据放置，专门解决 HDFS 海量小文件问题。

成果数据：

• ✅ NameNode 内存节省 10%
• ✅ 元数据请求减少 12%
• ✅ 读延迟降低 15%，写延迟降低 17%
• ✅ 网络流量减少 10%

21. The Cutting-Edge HDFS: Un-leashing Optimal Performance

核心贡献： 针对 HDFS 单管道写操作瓶颈，提出多管道（multi-pipeline）数据块传输 + 动态可靠性评估方案。

22. Evaluating Fault Tolerance and Scalability in Distributed File Systems: GFS, HDFS, and MinIO

核心贡献： 对 GFS / HDFS / MinIO 进行系统性的容错与可扩展性对比评测，涵盖数据冗余策略、故障恢复机制、访问协议及多节点架构下的性能表现。

23. A Trust-Driven Optimization Model for Reliable Authorization in Hadoop Environment

核心贡献： 基于信任的 HDFS 访问控制模型，结合机器学习入侵检测和象群优化算法（Elephant Herding Optimization），实现分布式自适应访问控制。

二、YARN（Yet Another Resource Negotiator）领域

🥇 Tier 1 — 顶会/顶刊 + 高影响力

Y-1. Hadar: Heterogeneity-Aware Scheduling for Deep Learning Clusters

核心贡献： 提出任务级异构感知调度框架：原始-对偶优化 + 双量子程序，刻画 DL 训练作业在异构 GPU 集群上的性能特征，时空维度联合调度。将调度决策建模为在线优化问题。

成果数据：

• ✅ 平均 JCT 比 YARN-CS 降低 3×
• ✅ 比 Gavel 降低 2.5×
• ✅ 排队延迟减少 13%
• ✅ 扩展至 1000+ GPU 集群

推荐理由： ⭐ 异构感知调度新范式，数据扎实，对 YARN 生态的 DL 负载调度有直接参考价值。

Y-2. Rubick: Exploiting Job Reconfigurability for Deep Learning Cluster Scheduling

核心贡献： 突破传统"静态执行计划"假设，允许运行时重配置作业的执行计划和资源分配。建立资源-性能模型预测任意执行计划 + 资源组合的性能，搜索最优配置。

成果数据：

• ✅ 64-GPU 集群 JCT 降低 3.2×（vs Sia, Synergy, AntMan）
• ✅ 性能保证型作业 JCT 降低 1.7×

推荐理由： ⭐ 执行计划重配置的创新思路，MLSys 顶会论文。

Y-3. Deep Learning Workload Scheduling in GPU Datacenters: A Survey

核心贡献： 全面综述 DL 训练 + 推理的 GPU 数据中心调度技术。系统分析 YARN-CS/Tiresias/Gavel 等代表性调度器，从调度目标和资源利用方式两个维度分类。

推荐理由： ⭐ 综述类顶级期刊论文，YARN 及 DL 调度领域的全景入门首选。

Y-4. Deep Reinforcement Learning for Job Scheduling and Resource Management in Cloud Computing: An Algorithm-Level Review

核心贡献： DLR 驱动调度算法全面综述，按值函数、策略梯度、高级变体三分类分析，覆盖 YARN DRF 等传统策略的 DRL 替代方案。

推荐理由： DRL + 资源调度方向的系统参考。

Y-5. An Energy-Aware Resource Management Strategy Based on Spark and YARN in Heterogeneous Environments

核心贡献： 面向 Spark on YARN 的能耗感知 + 截止时间约束调度。基于性能每瓦（PPW）的节点排序、局部性感知执行器分配、启发式任务调度三重优化。

成果数据：

• ✅ 能耗和 SLA 满足率均优于主流算法
• ✅ 支持贪心/随机/Pareto 三种执行器选择策略

推荐理由： YARN 场景下能耗与性能权衡的系统级解决方案。

🥈 Tier 2 — 优秀论文

三、HDFS 研究方向归类与热点分布

四、YARN 研究方向归类与热点分布

五、🏆 综合推荐优先级

六、补充论文列表（2024-2026）

七、检索元信息

本报告由学术搜索系统生成，将 HDFS近两年高质量论文分析报告_2024-2026.md 与 HDFS_YARN_高质量论文推荐_2021-2026.md 合并而成。论文信息以各平台原始数据为准。