高效MoE的扩展法则

标题：提升杠杆效应

发表日期：2025-07-23

摘要：混合专家（Mixture-of-Experts，MoE）已成为一种主导架构，通过将总参数与计算成本解耦，高效扩展大语言模型（Large Language Models，LLMs）。然而，这种解耦带来了一项关键挑战：预测给定MoE配置（专家激活比和粒度）的模型容量仍是一个未解决的问题。为填补这一空白，我们引入了效率杠杆（Efficiency Leverage，EL），这是一种量化MoE模型相对于等效稠密模型计算优势的指标。我们进行了一项大规模实证研究，训练了300多个模型，参数高达280亿，以系统地研究MoE架构配置与EL之间的关系。我们的研究结果表明，EL主要由专家激活比和总计算预算驱动，两者均遵循可预测的幂律，而专家粒度则作为一个非线性调节器，存在一个清晰的最优范围。我们将这些发现整合到一个统一的扩展律中，该扩展律能够基于MoE架构的配置准确预测其EL。为了验证我们推导出的扩展律，我们设计并训练了Ling-mini-beta，这是Ling-2.0系列的一个试点模型，其活跃参数仅为8.5亿，同时与一个61亿的稠密模型进行对比。在相同的1万亿高质量标记数据集上训练时，Ling-mini-beta的性能与61亿稠密模型相当，但计算资源消耗却减少了7倍以上，从而验证了我们扩展律的准确性。这项工作为高效MoE模型的扩展提供了有原则且基于实证的基础。

论文地址：https://arxiv.org/abs/2507.17702