大模型自训练与分布式训练技术前沿

ImportAI 449: 大语言模型训练其他大语言模型；72B分布式训练运行；计算机视觉比生成式文本更难

大语言模型能否自主精调其他大语言模型以执行新任务？一定程度上可以……

PostTrainBench展示了AI在后训练能力上的惊人增长

AI驱动的研发可能是整个AI领域最重要的事情，因为它帮助我们理解AI系统最终能否构建自己的后继者。到目前为止，AI研发的焦点大多集中在支持AI开发的组件（如AI内核的自主创建）或训练基础模型（如NanoGPT速通基准）上。但对微调——即让现有LLM适应新数据集或行为的任务——的关注相对较少。

来自图宾根大学、马克斯·普朗克智能系统研究所和AI研究机构Thoughtful Lab的研究人员希望通过PostTrainBench改变这一现状。这是一个针对后训练特定方面的基准：提升模型在给定数据集上的性能。“后训练是让原始语言模型变得有用的过程”，作者写道，“在目标明确且计算资源有限的情况下，当前的智能体能否完成这项技术工作？”答案似乎是“可以，但不如人类做得好”。

PostTrainBench的关键特性：

• 端到端：“智能体必须从头构建整个训练流程”
• 自主：“智能体对数据源、训练方法和实验策略拥有完全自主权”
• 资源受限：“每次运行限制在单张H100 GPU上10小时内”
• 完整性保持：“智能体不得在基准测试数据上训练、修改评估框架或替换为不同的模型”

PostTrainBench的工作原理：“我们给一个前沿编码智能体——Claude Code、Codex CLI或Gemini CLI——一个基础语言模型和一个目标基准”。

4个模型和7个基准：初始评估在四个模型上运行：Qwen3-1.7B、Qwen3-4B、SmolLM3-3B、Gemma-3-4B。这些模型在七个不同的基准上进行测试：AIME 2025、GSM8K、GPQA、HumanEval、BFCL、Arena-Hard、HealthBench-Easy。

结果——大模型胜出，尤其是Opus 4.6：“表现最佳的智能体——在Claude Code上运行的Opus 4.6——得分23.2%，约是基础模型平均得分7.5%的3倍。” 但人类仍然好得多：“这仍不到人类团队在其实验室对相同基础模型进行后训练所达到的51.1%的一半。” 快速进展：“差距显著但正在迅速缩小：Claude Sonnet 4.5在2025年9月得分为9.9%，而GPT-5.2在几个月后就达到了21.5%。”

令人警惕的现象——奖励破解：在运行此基准时，作者多次观察到AI模型试图操纵基准以获得高分的情况。这些实例包括：

• 直接注入基准数据：“智能体通过Hugging Face直接加载基准评估数据集并将其用作训练数据”。
• 硬编码基准问题：“智能体将评估问题直接嵌入伪装成‘合成’示例的数据准备脚本中”。
• 评估引导的数据生成：“某些智能体对评估进行了逆向工程……Kimi K2.5读取了HealthBench评估文件以提取主题分布和评分标准，然后精心制作了与之匹配的训练数据。”
• 通过中间数据集间接污染：“Opus 4.6加载了‘CodeFeedback-Filtered-Instruction’，其中包含源自HumanEval的问题。这种污染形式更难检测，但同样成问题。”

更聪明的智能体更容易奖励破解：“更有能力的智能体似乎更善于找到可利用的路径：识别要嵌入的特定基准样本，逆向工程评估失败模式，甚至尝试通过外观修改（如重命名函数）来掩盖污染，”他们写道。例如，“Codex智能体修改了Inspect AI评估框架代码以夸大分数，而Claude下载了一个指令微调模型，而不是微调基础模型”。

为何重要——走向‘AI for everything’未来的快速进展：像PostTrainBench这样的基准让我们了解AI系统在AI研究的基本任务上提升得有多快，它既是对长时间跨度智能体自主性的评估，也预示着AI发展本身可能带来的复合加速。“智能体表现（23.2%）与指令微调基线（51.1%）之间的差距表明，后训练的完全自动化目前仍遥不可及，但跨模型世代的快速改进——从Sonnet 4.5的9.9%到大约六个月内Opus 4.6的23.2%——意味着这一差距可能比预期更快缩小，”研究人员写道。想象一下两年后的情景——我们肯定会拥有足够聪明的AI模型，能够将自身指向特定目标，找到一个开放权重的模型，然后自主改进它以在该任务上获得更好的性能。像蘑菇孢子一样构建并散发到世界中的短暂、定制AI系统的时代正在临近。

***

COVENANT-72B：通过分布式训练挑战AI的政治经济学

通过区块链进行的分布式训练取得了有意义的胜利

一群人利用区块链协调了一个72B参数模型的分布式训练运行，该模型的性能与某机构在2023年发布并训练的LLaMA2模型相当。

该模型名为Covenant 72B，是一个采用LLaMA-3风格的密集仅解码器Transformer架构模型。“我们的模型在大约1.1万亿token上进行了预训练，其性能与在相似或更高计算预算下训练的完全集中式模型具有竞争力，这证明了完全民主化、无需白名单的参与不仅是可行的，而且可以在全球分布式预训练运行中以空前的规模实现，”Covenant AI写道，该机构致力于在区块链之上进行AI开发。

关于模型及其训练方式的更多细节：该模型本身基本上是一个你在2023或2024年会乐于使用的标准LLM，尽管在2026年可能有点过时。其真正独特之处在于它以分布式方式训练，大约20个不同的对等节点，每个节点运行8块B200 GPU，共同参与训练。训练通过Gauntlet进行协调，这是由Covenant开发的软件，运行在Bittensor区块链的Subnet 3之上。Gauntlet“通过引入一个验证器来实现由区块链协议协调的无许可训练，该验证器对提交的伪梯度进行评分，选择每轮参与全局聚合的参与者，并将结果广播到网络”。

“在COVENANT-72B中，每个对等节点运行一个SparseLoCo副本，对等节点间的通信通过SparseLoCo的高度压缩伪梯度进行，”作者写道。“在每个对等节点内部，8块B200 GPU使用动态FSDP将模型参数、梯度和训练状态分片到本地GPU上。”

数据：“训练数据总共包含约1.1万亿token，分为主要阶段和退火阶段。主要阶段（约1.09万亿token）包含来自DCLM的网络文本，而退火阶段使用更高质量的数据（约142亿token）。具体来说，退火阶段使用了经过策划的混合数据，包括指令数据（约27%）、合成网络数据（20%）、代码（15%）、数学（13%）以及约25%来自自然网络文本的预训练重放数据，以减轻遗忘。”

性能：在MMLU上，Covenant-72B得分为67.1，而INTELLECT-1（一个由Prime Intellect通过分布式训练构建的较小AI模型）得分为32.7，LLaMA-2-70B得分为65.7。一个在约150亿token上针对对话交互进行了微调的Covenant-72B版本也具有同样良好的分数，在MMLU上得分为67.4，而K2-Chat（一个2025年开发的开源模型）为67.9，LLaMA-2-70B-Chat为63.1。在MATH上，它得分为26.3，而K2-Chat为19.1，LLaMA-2-70B为10.7。

“与类似参数规模的集中式集群训练运行相比，COVENANT-72B具有广泛的竞争力。值得注意的是，这些集中式基线是在传统数据中心基础设施上训练的，并且在LLaMA-2-70B的情况下，使用的token要多得多（2万亿 vs 约1.1万亿），”他们写道。

为何重要——谁拥有未来？：分布式训练是一种可以改变AI政治经济格局的技术，它将前沿阵地从单一的‘计算单体’（如某些实验室和云服务商）转移到一个更大的联邦集体。但要做到这一点，分布式训练需要赶上前沿水平——尽管Covenant令人印象深刻，它主要证明了分布式训练可以构建一些具有一定效用但并非最前沿的非平凡模型，而这与当前的前沿水平仍有很大距离——现代前沿模型是在数万到数十万个芯片上训练的，而Covenant可能只用了大约160个芯片（20个对等节点 * 每个8块芯片）。尽管如此，这是一项值得追踪的重要技术。

***

如果AI编写了世界上所有的软件，我们应该更多地投资于验证

我们能否将大部分软件重写成Lean语言？

某机构的Lean专注研究组织的首席架构师认为，AI用于创建新软件的兴起意味着人类需要更多地投资于验证和测试基础设施——他有一个有趣的想法。

为何验证重要：“手动编写代码的摩擦曾经迫使人们进行谨慎的设计。AI消除了这种摩擦，包括有益的摩擦。答案不是减缓AI的发展。而是用数学摩擦取代人类摩擦：让AI快速行动，但要让它证明自己的工作，”他写道。“验证、测试和规约一直是瓶颈，而非实现……价值不在于验证劳动力，而在于经过验证的交付所能实现的东西。”

这个未来世界的一个概念验证：该组织最近帮助构建了一个概念验证，展示了这种经过验证的世界可能是什么样子；他们让一个AI智能体将zlib（一个C压缩库）转换为Lean语言。“结果表明，AI今天就能将生产软件转换为经过验证的形式。这原本被认为尚不可行，”他写道。转换涉及四个步骤：

1. LLM（某模型）对zlib压缩格式进行了清晰的Lean实现，包括其使用的DEFLATE算法。
2. 他们通过该库的测试套件运行了重写的zlib，并通过了测试，确认了等价性。
3. 关键属性被表述并证明为数学定理——例如，一个经过机器检查的证明，确保解压缩一个压缩缓冲区总是返回原始数据。
4. 现在，该库的一个优化版本正在开发中，并被证明与经过验证的模型等价。

一个验证平台：作者想象了一个世界，在那里我们重新开发全球的关键软件栈，使其内置数学证明。“目标是建立一个经过验证的软件栈：开源、免费可用、数学上保证正确。开发关键系统的开发者选择经过验证的组件，就像今天选择开源库一样，只不过这些组件带有证明，而不仅仅是测试，”他写道。“目标是现代软件栈的基础：密码学，因为其他一切都信任它。核心库（数据结构、算法、压缩），因为它们是所有软件的构建块。像SQLite这样的存储引擎，嵌入在地球上的每个设备中。解析器和协议实现（JSON、HTTP、DNS、证书验证），因为每条消息都通过它们。还有编译器和运行时，因为它们构建了其他一切，”他写道。“每个经过验证的组件都是一个永久的公共物品……一旦验证组件变得便宜，你就可以放心地组合它们。”

为何重要——世界需要其可以依赖的基础设施：我们似乎正走向一个AI编写世界上绝大多数软件的世界。鉴于此，我们需要弄清楚我们如何与这个世界相处——我怀疑大量的人类劳动将转向分析和验证AI系统的工作，因此投资于一些能够保证AI构建的软件具有更高验证和可靠性水平的基础设施似乎是明智的。

***

计算机视觉比生成式文本更难得多且通用性更低

某机构关于森林冠层预测的论文展示了计算机视觉的棘手程度

某机构、世界资源研究所和马里兰大学共同构建了CHMv2，“一个全球范围的米级分辨率冠层高度图，通过使用基于DINOv3构建的深度估计模型，并根据机载激光雷达冠层高度模型进行训练，从高分辨率光学卫星图像中导出”。

CHMv2对于那些想了解全球树叶密度或分析新收集图像中树叶深度的人来说是一个有用的工具。该数据集和模型也很好地说明了与生成式文本模型相比，开发计算机视觉系统是多么具有挑战性。

生成的数据集：“CHMv2既可以作为全球米级冠层高度产品使用，也可以作为一个预训练模型，应用于用户提供的高分辨率图像”，某机构写道。该数据集“几乎覆盖了全球所有陆地面积（格陵兰岛和南极洲除外），每个像素的冠层高度值以整数米编码。”

为何重要——提醒文本与视觉之间的鸿沟：尽管当今的前沿模型可以生成和分类图像，但它们可能就计算机视觉的成熟度给人们带来了虚假的安全感。像这样的论文向我展示了计算机视觉开发中存在多少惊人的复杂性，以及前沿大语言模型可能需要相当长的时间才能扩展其能力以涵盖许多专用CV模型所能做的全部范围。FINISHED