Kimi K3 技术解析：全球首个 3 万亿参数开源模型架构详解

CLOUDMESH RESEARCH

Kimi K3 技术解析

全球首个 3 万亿参数开源模型架构详解

Moonshot AI · 2026-07-16 · WAIC 2026 前夜

2026-07-17 · AI 论文陪读

C

CloudMesh Lab

云与数字化 · 技术研究与论文陪读

模型解析

2026 年 7 月 16 日，月之暗面发布 Kimi K3——全球首个参数量突破 3 万亿的开源模型。消息选在 WAIC 2026 前夜公布，新华社随即将其定性为"目前全球参数最大的开源模型"。然而，K3 的意义远不止"参数最大"这四个字。K3 对深度学习沿用十年的三大组件——注意力机制、残差连接、优化器——全部做了替换或重构。本文不追热点情绪，只拆技术细节。

01

核心规格一览

先给出一张规格总表，后文再逐项拆解：

02

KDA：混合线性注意力

KDA（Kimi Delta Attention）的技术源头是月之暗面 2025 年底发表的 Kimi Linear 研究线（arXiv: 2510.26692）。其核心改进对象是 Gated DeltaNet，改进方式是通道级门控——相比此前 Qwen3-Next 等方案对每个注意力头施加的标量门控，KDA 将门控细化到每个特征维度，从而对有限的递归记忆实现更精细的管理。

3:1 混合布局是 KDA 落地的关键设计：每 4 层中，3 层使用 KDA 线性注意力（计算高效，KV 缓存固定大小），1 层保留全局注意力（Gated MLA，带门控的多头潜在注意力）。

已发表的 Kimi Linear 论文显示，这一配置在质量基准上反超全注意力，同时将 KV 缓存最多削减 75%。K3 官方给出的数字是在 100 万 token 上下文下，解码速度提升最高 6.3 倍。

这直接解释了 K3 为什么敢于给 100 万 token 上下文——传统注意力机制下，KV 缓存随序列长度线性膨胀，是显存杀手；KDA 的固定大小递归状态从根本上规避了这一问题。

一个值得关注的点：K3 发布时，KDA 相关代码和 48B 研究 checkpoint 已经开源，这意味着业界可以提前验证这项技术的基础可行性。

03

AttnRes：残差连接的十年重构

Attention Residuals（AttnRes）是 K3 架构中最新的组件，官方坦承"尚无独立论文完整披露机制细节"，第三方理解依赖技术博客与演讲的零散信息。

核心思想：传统残差连接对每一层输出做固定加法（output = input + F(input)），导致隐藏状态随深度增加而无限增长、深层贡献被稀释；AttnRes 将这一"均匀求和"替换为对前序各层输出的 Softmax 注意力，使每一层都能根据输入内容有选择地跨深度检索表示。

官方数据显示，改进后的 48B 模型训练效率提升约 1.25 倍（以不到 2% 的额外计算成本带来约 25% 的训练效率提升）。

Karpathy 评价："看来我们还没把 Attention is All You Need 这句话按字面意思理解透。" OpenAI 前研究副总裁 Jerry Tworek："这标志着深度学习 2.0的到来。"

04

Stable LatentMoE：896 选 16 的极致稀疏化

K3 将 MoE 稀疏度推进到新量级：896 个专家中每 token 仅激活 16 个（激活率约 1.8%）。在这一稀疏度下，路由与负载均衡成为一阶挑战，K3 引入了一整套配套技术：

特别值得关注的是 Per-Head Muon——Muon 优化器本是 2024 年出现的新优化器，主打"比 Adam 更简单的二阶信息近似"，但此前未见大规模生产部署的公开记录。K3 将其扩展到按注意力头独立优化，是一次有风险但值得关注的技术冒险。

05

基准表现与成本效率

⚠️ 可信度说明：所有数字均来自月之暗面官方发布材料，截至 2026 年 7 月 17 日，尚无第三方机构独立复测。阅读以下数据时请保持批判性眼光。

编程基准：K3 在 Program Bench（77.8）和 SWE Marathon（42.0）两项排名第一。SWE Marathon 尤为值得关注——这是一项区分度极高的长程工程能力测试，K3 领先 Claude Opus 4.8（40.0）与 GPT-5.6 Sol（39.0），而 GPT-5.5（14.0）出现断层式落后。

通用 Agent 基准：K3 在 BrowseComp（91.2）、Automation Bench（30.8）、SpreadsheetBench 2（34.8）三项排名第一。BrowseComp 超过 GPT-5.6 Sol（90.4）与 Fable 5（88.0），是其中最具含金量的数据点。

成本效率：在 Kimi Code Bench V2 上，K3 以约 4 美元/任务达到约 73 分，而 Claude Fable 5 以约 11 美元/任务达到约 76.9 分。K3 定价约为 Fable 5 的 28%，落在帕累托前沿的"高性价比段"。

06

三个值得深入研究的方向

1. AttnRes 的完整机制：目前无独立论文，机制细节依赖技术博客零散披露。7 月 27 日权重与技术报告一同发布后，业界应能给出更完整的还原。

2. Quantile Balancing 的理论依据：专家路由中直接用分位数分配替代启发式超参数，其收敛性保证、与其他负载均衡方法（如 Expert Fairness）的对比，值得在技术报告中寻找答案。

3. MoE 与线性注意力的协同：896 专家在极高稀疏度下，路由与线性注意力的交互效应尚不清楚。这对理解 K3 的 Scaling 路径（继续增大专家数还是扩展总参数）有重要参考价值。

07

总结：K3 的战略坐标

从技术角度，K3 代表了月之暗面一次系统性的架构赌注——三条技术路线（KDA、AttnRes、Per-Head Muon）同时推进，而非在已有组件上做增量优化。如果这些选择在 7 月 27 日权重开放后被社区广泛验证，将为开源社区提供一套可复用的下一代架构模板。

从竞争角度，K3 的出现将开源模型与闭源前沿的差距压缩到"半步"之内，其定价策略（约为 Fable 5 的 28%）对闭源旗舰的定价权构成实质性压力。

对 AI 研究者和工程师而言，K3 最值得关注的地方不是"参数最大"，而是它对三个"古老组件"的同时重构——这代表了一种从底层重新思考大模型架构的技术自信。

后续重点观察：7 月 27 日权重与技术报告的兑现情况、LMArena 正式排名、SWE-bench 第三方复测结果。

相关论文

Kimi Linear（KDA）：arXiv: 2510.26692

LAMB：arXiv: 1904.00962

ZeRO：arXiv: 1910.02054

© CloudMesh Lab · 云与数字化 · 2026