摘要：Spark Web UI 是监控、调试和性能调优的核心入口。本文从架构全景出发，逐一详解 7 大核心 Tab（Jobs/Stages/Storage/Ex...

摘要：你有没有好奇过——为什么 --master spark:// 和 --master yarn 切换如此丝滑？这背后是 Spark 设计中最精妙的抽象层之一...

Paimon 做了一件别的湖格式不太敢做的事，它把 RocksDB 那套 LSM 树整个搬进了湖里。

摘要：YARN-Client 是生产环境中使用最广泛的 Spark 部署模式。它的独特之处在于——Driver 运行在提交客户端，而 ApplicationMa...

摘要：Spark 的部署模式是面试和实际生产中最高频的话题之一，而 Standalone-Client 模式更是 90% 的开发者最常用却对其底层一知半解的模式...

Spark 的诞生源于一个朴素的问题：MapReduce 做迭代计算为什么这么慢？

摘要：JDK → Scala → Spark → Maven → IDEA 全链路安装配置，完整 pom.xml 可直接复制使用，WordCount 源码逐行解...

摘要：从 Local 本地调试到 YARN 生产集群、Kubernetes 云原生部署，系统讲解 Spark 五大运行模式的架构原理、配置方法、适用场景和模式选...

摘要：深入 RDD 源码级五大特性（Partitions、Compute、Dependency、Partitioner、PreferredLocations），...

摘要：系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类，逐个剖析语法、依赖...

摘要：系统拆解 Spark 全部 Transformation 算子——按 map/filter 类、聚合类、连接类、分区类、集合类五大分类，逐个剖析语法、依赖...

摘要：系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类，逐个剖析语法、底层原理、Driver/Executor 数据流...

摘要：系统拆解 Spark 全部 Action 算子——按输出类、存储类、聚合类、统计类四大分类，逐个剖析语法、底层原理、Driver/Executor 数据流...

这不是引擎笨，是它的文件布局从出生那天起就冲着顺序扫描去的，一次把一整列从头读到尾的吞吐。

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...

8 月 26 日，AWS 在大数据官方博客上挂了一篇公告，标题起得跟联欢会似的，《AWS and DuckLabs: Building the future o...

　　数据落到对象存储，组织成 Iceberg 表，再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件，Schema、Snapshot、分区和表版...

九月底，Apache Iceberg 的 dev 邮件列表上挂出一个投票，标题是 [VOTE][SPEC] Forbid writing new equalit...