从ARC-AGI-3看Agent能力跃迁，以及架构师该怎么重新设计系统

ARCHITECT'S NOTE

1.5%的含金量

从ARC-AGI-3看Agent能力跃迁，以及架构师该怎么重新设计系统

你设计的Agent系统，是不是也这样——每一步看起来都对，但拼不出一个大的对？

ARC-AGI-3的排行榜更新了，Opus 4.8以1.5%登顶。第一反应可能是——才1.5%？但上一代Opus 4.7是0.2%，GPT-5.5是0.4%。从0.2%到1.5%，7.5倍。这不是涨了点分，是从"完全懵"到"开始有感觉"的质变。

但话说回来，1.5%就是1.5%。人类的基线得分是100%。

所以真正有意思的问题不是"Agent变强了吗"——变强了，毫无疑问。真正有意思的问题是：这1.5%到底暴露了什么？剩下的98.5%卡在哪了？

先说ARC-AGI-3在考什么。跟前两代完全不一样。ARC-AGI-1和2是填空题——给你几张图，找规律，填答案。有标准答案，考的是模式识别。ARC-AGI-3是互动游戏——把模型扔进一个从未见过的游戏环境，没有玩法说明，没有操作提示，没有任何人告诉你"目标是什么"。你得自己探索界面，从稀疏的反馈里猜规则，提出假设，验证假设，错了还得能自己拐回来，然后把经验迁移到下一关。

135个全新环境，1000多个关卡。人类玩家参与测试，基线得分100%。

评分方式也很狠：单关得分 =（人类基线步数 ÷ AI所用步数）²。人类用10步通关，你用了100步，得分是(10/100)² = 1%。不是线性扣分，是平方衰减。磨叽的惩罚极重。换句话说，ARC-AGI-3不只考你能不能到，还考你能不能不绕路——对Agent系统的启示是：效率不是优化项，是及格线。

所以这考的不是"能不能做对"，而是"能不能又快又对地自己搞明白"。用Chollet的话说，考的是流体智力——用最少的经验解决全新问题的能力。

评分公式

单关得分 = (人类基线步数 ÷ AI所用步数)²

平方衰减——磨叽的惩罚极重。效率不是优化项，是及格线。

ARC Prize官方分析了GPT-5.5和Opus 4.7的160组完整运行轨迹，总结出三个失效模式——注意，这是4.7和5.5的，4.8是否已经部分解决了这些问题，目前没有公开的轨迹分析。但这三个模式太典型了，大概率在你自己的系统里也能对号入座：

01

真实的局部反馈，虚假的世界模型

模型能识别某一步动作确实改变了环境状态，但没法把局部的因果关系上升成全局的、可迁移的规则。每一步看起来都对，但拼不成一幅地图。

02

推理-行动耦合断裂

不是某一步走错了，而是局部推理到全局策略之间缺了根线。模型知道"这一步应该往右"，但不知道"往右是为了什么"，所以下一步就偏了。一系列小对的决策，拼不出一个大的对。

03

错了不回头

假设错了，模型不会停下来反思，而是在错误的道路上越跑越远，直到步数耗尽，得分归零。

你发现没有，这三个失效模式，本质上说的是同一件事：Agent不是能力不够，是推理和行动之间缺了耦合。它能做，但不知道为什么做；它能改，但不知道什么时候该改。

这对架构师意味着什么？意味着推理-行动耦合断裂，在架构上对应的是编排层的设计缺位。你的系统把任务丢给Agent，Agent自己推理、自己行动，但中间没有东西在问"你为什么这么走""方向对不对"。你缺的不是更强的模型，是一个持续校准推理方向的结构——让Agent每走几步就回头看看，自己的行动是不是还在推理的射程里。

如果还停留在"给Agent一个目标，让它跑"的模式，那不管底层模型多强，你都会撞上同样的问题。

PART II

Opus 4.8到底变了什么

先看一组对比。传统benchmark上，Opus 4.8涨得不多——SWE-bench Verified从87.6%到88.6%，一个百分点；GPQA Diamond 93.6%，基本持平。Anthropic自己的定调是"modest but tangible improvement"，温和但确实存在的提升。

但Agent相关的评测完全是另一回事。SWE-bench Pro从64.3%跳到69.2%，涨了将近5个百分点；GDPval-AA的Elo分从1753拉到1890。这些不是"做同一件事做得更好"的涨分，是"做以前做不到的事"的涨分。

所以关键不是Opus 4.8变强了多少，而是它变强的方向。

我看到的最重要的变化有三点。

传统benchmark vs Agent评测

变化一

它开始知道自己不知道什么了

这是Anthropic官方最强调的改进，也是Bridgewater的评价里最扎心的一句——Opus 4.8最大的区别在于会主动标记分析和输出中的问题，而其他模型经常遗漏这些，留给用户自己去发现。

代码缺陷"悄悄过关"的概率降到了前代的1/4。面对不确定的信息，它不再硬编一个答案出来，而是主动标疑。发现计划不合理，它会提出异议。

你想想这意味着什么。以前的Agent系统，架构师要花大量精力做"兜底"——校验输出、拦截幻觉、处理Agent自信满满地交出一份错得离谱的结果。现在Agent自己开始做这件事了。不是外部加一层校验，是模型内部长出了判断力。

对架构来说，这不是"多了一个功能"，这是范式转移。你设计的系统，重心可以从"怎么拦住Agent的错误"转向"怎么让Agent自己拦住自己"。

变化二

它有了控制投入程度的能力

Effort Control——新增的投入控制。简单任务省token，复杂任务拉满推理，多个档位可选。

听起来没什么？但换个角度想：以前你的Agent系统，每个请求的推理成本是固定的。不管任务简单还是复杂，模型都按同一个强度跑。现在模型自己能区分"这个任务值得我多想"和"这个任务差不多就行了"。

这对架构的含义是：你的成本模型从"固定单价"变成了"弹性定价"。以前你算Agent系统的成本，是请求数 × 单价。现在你得想——什么任务值得拉到max档？什么任务high就够了？谁来做这个判断？模型自己，还是你的编排层？

变化三

Dynamic Workflows——状态管理从上下文窗口搬到了脚本变量

这个变化可能最容易被忽略，但对架构师的影响最深。

以前Agent跑复杂任务，状态全塞在上下文窗口里。任务越复杂，上下文越长，token消耗线性膨胀，到最后要么截断丢信息，要么成本爆炸。

Dynamic Workflows的做法是：Claude自己写JavaScript编排脚本，把任务拆成子代理分发出去，中间结果存在脚本变量里，上下文窗口只持有最终答案。主会话的token占用近乎恒定，不随任务规模膨胀。并发上限16个子代理，单次总量上限1000个。

这是典型的架构思维——把状态管理和计算执行解耦。跟微服务把状态外置到Redis是一个道理，只不过这次是Agent自己在做。

Bun项目用这套东西，75万行代码从Zig迁移到Rust，11天完成合并，测试通过率99.8%。这个数字说明一件事：单次对话的Agent，能力受上下文窗口限制；能编排子代理的Agent，能力只受任务分解粒度限制。这是从"单核"到"分布式"的架构跃迁。

所以回到那个问题：Opus 4.8最大的突破是什么？

不是能力。能力涨了，但涨得有限，Anthropic自己都说是"modest improvement"。

是判断力。它开始知道自己做不了什么了。它开始控制自己的投入了。它开始把状态外置、把任务分发了。而这三个变化，指向同一个架构含义：Agent系统设计的重心，该从"能力优先"转向"可靠性优先"了。

PART III

那系统到底该怎么改

我没有什么银弹，但有几个方向是我最近在想的。

感知层要分级

不是所有任务都需要ARC-AGI-3级别的抽象能力。大部分Agent场景——查个数据、改个配置、跑个流程——high档够了，甚至fast模式都够了。但有些任务确实需要模型拉满推理：第一次面对的架构决策、跨系统的级联故障排查、没见过的数据模式。

问题是你怎么判断哪个任务该拉满？Effort Control给了你多个档位，但判断用哪个档的，不该是模型自己，也不该是用户手动选——应该是你的编排层。编排层根据任务特征自动选档。

一个可带走的判断逻辑：

有历史模式可匹配 + 有明确的成功标准 → high档

没历史模式但有成功标准 → xhigh档，设检查点

都没 → max档，但必须人介入确认

档位越高，不确定性越大，人介入的时机要越早。换句话说，感知层的设计不是"喂什么给Agent"，而是"Agent在什么粒度上理解任务"。粒度选对了，成本和效果都能优化一个数量级。

可靠性优先的架构长什么样？

传统Agent架构是能力驱动的：给Agent最大的能力，然后在外围加校验、加护栏、加兜底。Opus 4.8的判断力升级暗示了另一条路——让Agent自己成为系统可靠性的第一道防线。

这条路走到底，是一个三层防线结构：

第一层

不确定信号——Agent自己说"我不确定"

以前Agent自信满满地交出一份错得离谱的结果，你在下游拦截，成本已经花了。现在Opus 4.8的判断力升级让这件事变得可行——面对不确定的信息，它主动标疑；发现计划不合理，它提出异议。你设计的系统要做的，是把这个"不确定"变成一个显式信号，而不是等输出错了再发现。这是地基——没有这一层，后面两层都是事后补救。

第二层

验证执行分离——系统替Agent查一遍

Dynamic Workflows已经在做这件事：子代理执行，子代理之间互相验证、反驳弱结论、反复迭代直到收敛。你的系统也可以这样设计：执行Agent和验证Agent是两个独立角色，不是同一个Agent自己跑自己查。这一层最重，但收益最大——它把"Agent能不能做对"从概率问题变成了工程问题。

第三层

人介入——最后一道

1.5%的ARC-AGI-3得分说明，Agent能自主探索规则了，但距离"可靠地自主"还有数量级的路。所以人介入不是兜底方案，是架构的一等公民。但时机很讲究：太早——Agent退化成自动化脚本；太晚——Agent已经在错误方向上跑了100步。我想到的设计是检查点机制：不是每一步都等人确认，而是让Agent在关键分叉点主动停下来——"我现在的假设是X，我打算往Y方向走"。Opus 4.8的判断力升级让这件事变得可行，因为它比以前的模型更清楚自己什么时候"不太确定"。

三层防线，从内到外：Agent自己拦→系统拦→人拦。每一层拦截的成本递增，但覆盖的盲区也在递增。你要做的不是三层全开，而是根据任务的不确定性决定激活到哪一层。

弹性成本编排

1万美元一次的Opus 4.8 (High)，和fast模式相比，成本差了几个数量级。你的系统不可能每个请求都走最贵的模型。

但更重要的不是"贵不贵"，而是最贵的Agent不是用来做最难的任务的——是用来判断"这个任务该不该交给Agent"的。

想想看。一个复杂任务进来，你不知道Agent能不能搞定。你用max档跑一遍，它可能完成了，也可能判断"这个我做不了"。前一种情况你花了1万美元得到了一个高质量结果；后一种情况你花了1万美元得到的是——一个判断。但这个判断本身就值1万美元，因为它避免了你花10万美元在错误的方向上跑100次。

所以弹性成本编排的核心逻辑不是"简单任务用便宜模型，复杂任务用贵模型"——而是先用贵模型判断，再用便宜模型执行。判断是一次性的，执行是批量的。判断的ROI不在于判断本身产出了什么，在于它帮你省了多少。这跟三层防线是一回事：max档做判断，是第一层"不确定信号"的触发器；high档做执行，是第二层"验证执行分离"的执行侧；人介入，是第三层。成本编排不是独立的设计，是三层防线的经济基础。

回到开头那个问题：1.5%的含金量到底在哪？

不在1.5%本身。在于从0.2%到1.5%之间，Agent变强的方向变了——它不再只是"做得更多"，而是开始"知道自己做不了什么"。这个方向的转变，比分数的跃迁重要得多。

Opus 4.8最大的启示不是让Agent做更多。

是让Agent更清楚自己做不了什么， 然后围绕这个认知来设计系统。