HDFS × YARN × AI 交叉领域高质量论文分析（2021–2026）

zeekling

发布于 2026-07-20 09:17:54

780

生成日期：2026-06-27 检索平台：Semantic Scholar, arXiv, USENIX, ACM DL, IEEE, VLDB, MLSys 覆盖维度：AI/ML 优化 HDFS/YARN + HDFS/YARN 支撑 AI 负载

一、AI/ML 优化 HDFS 存储

核心主题：用机器学习/强化学习/深度学习来优化 HDFS 的存储性能、数据放置、参数调优、安全加密

🥇 顶会/顶级期刊

#	论文	年份	Venue	核心贡献
1	A Bring-Your-Own-Model Approach for ML-Driven Storage Placement in Warehouse-Scale Computers	2025	MLSys	Google 实践：每个 workload 自带轻量 ML 模型，指导存储层的 data placement 调度。跨层架构（应用层训练 → 存储层推理），TCO 节省 3.47×
2	Origami: Efficient ML-Driven Metadata Load Balancing for Distributed File Systems	2025	ICPP [CCF-B]	ML 驱动元数据负载均衡，Meta-OPT 算法找迁移策略最优折中，吞吐提升 1.12-2.51×
3	Improving Storage Systems Using Machine Learning (KML)	2023	ACM TOS	通用 ML 框架 KML，轻量 ML 作为 OS/存储的一等公民，动态适配 readahead（2.3×提升）和 NFS rsize（15×提升），CPU 开销 <0.2%
4	Magpie: Automatically Tuning Static Parameters for DFS using DRL	2022	arXiv (ICAC'21)	DRL 调优分布式文件系统静态参数，Lustre 吞吐提升 91.8%

🥈 高质量期刊/会议

#	论文	年份	Venue	核心贡献
5	DeepCAT+: Low-Cost Online Configuration Auto-Tuning for Big Data Frameworks	2024	IEEE TPDS [CCF-A]	TD3 + 优先经验回放 + Twin-Q Optimizer + 渐进式神经网络迁移学习，自动调优 Spark/YARN/HDFS 参数
6	Autonomous Hierarchical Storage Management via Reinforcement Learning	2024	VLDB PhD Workshop	将 HSM 建模为 MDP，RL 驱动 HDFS 分层数据迁移策略，比 LRU/LFU 自适应性强
7	Intelligent Automatic Configuration Parameter Tuning for Big Data Platforms using ML/DL/RL	2023	Sryahwa Publications	SVD + CNN + RL 自动优化 Hadoop/Spark 配置，性能提升 24.2%，推荐时间降低 88.3%
8	SI-CL-SDEO: Swarm Intelligence for HDFS Performance and Data Reliability	2025	Results in Engineering	樽海鞘群+差分进化混合优化 HDFS 副本放置与负载均衡，数据可用性提升 40%，执行时间降低 20%
9	A Distributed Cache Mechanism of HDFS to Improve Learning Performance for DRL	2022	ISPA	针对 DRL 训练小文件场景的 HDFS 分布式缓存架构，优于无缓存和集中缓存方案
10	Efficient Data Encryption for Securing HDFS Using DQN-Enhanced DRL	2025	JCSSP	DQN-DDPG 架构动态优化 HDFS 加密参数，安全性与效率平衡
11	Optimization of Small File Access in HDFS by Integrating VFS Layer	2022	IJACSA	集成学习分类器（Ensemble Classifier）合并小文件到 Bucket，优化小文件访问
12	Constraint-Aware Structured Data Storage Optimization for Hadoop	2025	Int. J. Information Technology (Springer)	多目标进化搜索 + schema profiling，优化 Hadoop 结构化数据存储布局
13	RL Hadoop MapReduce Parameters Optimization	2025	IJISAE	Q-Learning 动态调优 Hadoop 配置参数，110% 速度提升

二、AI/ML 优化 YARN 调度

核心主题：用 DRL/ML 优化 YARN 集群的任务调度、资源分配、参数调优

🥇 顶会/顶刊

#	论文	年份	Venue	核心贡献
14	Sia: Heterogeneity-aware, Goodput-optimized ML-cluster Scheduling	2023	ACM SOSP [CCF-A]	异构 DL 集群调度，44-64 GPU 集群 JCT 降低 30-93%，扩展到 2000 GPU
15	Hadar: Heterogeneity-Aware Optimization-Based Online Scheduling for DL Cluster	2024	IEEE IPDPS [CCF-B]	原始-对偶优化框架，比 YARN-CS JCT 降低 3×，比 Gavel 降低 2.5×
16	Rubick: Exploiting Job Reconfigurability for DL Cluster Scheduling	2025	MLSys	运行时执行计划重配置，64-GPU JCT 降低 3.2×
17	Deep Learning Workload Scheduling in GPU Datacenters: A Survey	2024	ACM Computing Surveys [SCI 1区]	DL 调度全景综述，含 YARN-CS 等系统对比

🥈 高质量期刊/会议

#	论文	年份	Venue	核心贡献
18	DeepHCM: DRL for Job Scheduling on Load-aware Heterogeneous Cluster	2025	Journal of Big Data	DRL 扩展至异构负载感知集群，考虑运行时不确定性
19	Towards Efficient Workflow Scheduling over YARN using DRL	2023	IEEE GLOBECOM	DRL 驱动 YARN workflow 调度，跨队列空闲资源窗口利用
20	Q-scheduler: Optimize Job Scheduling in Hadoop with RL	2024	CSCWD	Q-Table + 相似度分类 + Fair Scheduler 改进，总完成时间降低
21	Hugo: Cluster Scheduler that Learns to Select Complementary Jobs	2021	SoCC [CCF-B]	离线聚类 + 在线 RL 学习 YARN 上作业共置互补性
22	TopDRL: Topology-aware GPU Job Scheduling with DRL	2025	JPDC [CCF-B]	CNN + 启发式 GPU 调度，吞吐量提升 47%
23	RLTune: RL+MILP for DL Scheduling on Heterogeneous GPU Clusters	2025	arXiv	队列延迟降低 81%，JCT 缩短 70%
24	Energy-Aware Resource Management on Spark and YARN	2024	IEEE TGCN	PPW 排序 + 局部性感知 + 启发式调度，能耗与 SLA 双优化
25	YARN Schedulers for Hadoop MapReduce: Design Goals, Issues and Taxonomy	2023	Recent Advances in CS	YARN 调度器综述与分类

三、HDFS/YARN 支撑 AI 负载

核心主题：HDFS 和 YARN 作为基础设施，为 AI/DL 训练和推理提供存储与计算支撑

#	论文	年份	Venue	核心贡献
26	AITURBO: Fast Cloud Storage for AI Jobs via Grouped I/O API	2026	FAST [CCF-A]	AI 负载的云存储加速：利用计算高速网络做 staging buffer + grouped I/O API，华为云生产部署
27	MeLoN: Distributed Deep Learning meets the Big Data Platform	2021	ACSOS-C	在 YARN 上运行分布式 DL，GPU 超分提高资源利用率
28	Xorbits: Decentralized Actor Model for Distributed ML Pipelines	2025	VLDB [CCF-A]	去中心化 actor 模型 + 引用式分布式存储，ML pipeline 加速 3.22×
29	Performance of DFS on Cloud: Small-File Problem with ML Algorithms	2023	arXiv	对比 Lustre vs HDFS 在 ML 小文件场景下的性能

四、交叉方向归类总览

研究方向	代表论文	论文数	热度
A. ML/RL 优化 HDFS 存储	Origami, KML, Magpie, DeepCAT+, SI-CL-SDEO, DQN-Encryption	13	⭐⭐⭐⭐⭐
B. DRL 优化 YARN 调度	Hadar, Rubick, Sia, Q-scheduler, Hugo, DeepHCM, TopDRL	12	⭐⭐⭐⭐⭐
C. HDFS+YARN 支撑 AI	AITURBO, MeLoN, Xorbits	4	⭐⭐⭐
D. 综述/分类	DL Scheduling Survey, YARN Schedulers Taxo, AI Job Scheduling Review	3	⭐⭐

五、🏆 Top 10 精读推荐

排名	论文	方向	推荐理由
🥇	BYO-Model (MLSys 2025)	A → HDFS	Google 跨层架构，生产验证，TCO 3.47×
🥇	DeepCAT+ (TPDS 2024)	A→HDFS/YARN	DRL 全栈自动调优，HDFS+Spark+YARN 全覆盖
🥇	Sia (SOSP 2023)	B → YARN	SOSP 顶会，异构 DL 调度标杆
🥇	AITURBO (FAST 2026)	C → AI	AI 存储最新顶会，华为生产验证
🥈	Hadar (IPDPS 2024)	B → YARN	YARN 对比基线 3× JCT 降低
🥈	Origami (ICPP 2025)	A → HDFS	ML 驱动元数据负载均衡
🥈	KML (ACM TOS 2023)	A → HDFS	通用存储 ML 框架，低开销高收益
🥉	Rubick (MLSys 2025)	B → YARN	执行计划重配置创新
🥉	Magpie (2022)	A → HDFS	DRL 调优 DFS 参数
📖	DL Scheduling Survey (ACM CS 2024)	B → YARN	全景综述

六、检索元信息

项目	内容
检索时间	2026-06-27
检索平台	Semantic Scholar, arXiv, Web Search
关键词	HDFS + machine learning, YARN + deep reinforcement learning, AI + Hadoop, storage + ML + optimization, cluster + scheduling + DRL
时间范围	2021–2026
收录论文数	29 篇（HDFS+AI: 13, YARN+AI: 12, Infra for AI: 4）