迈向可信AI科学家！厦大提出SAGE：让实验失败变成结构化的“病历本”

从“拍脑袋修 Bug”到“多假设因果诊断”，完全自动科研的容错能力换一个视角被重新设计。

近年来，大模型驱动的“全自动科研（AI Scientists）”进展飞快：写假设、跑代码、出论文，全流程都能自动完成。但在真实科研里，实验失败才是常态, 而现有智能体一旦失败，往往就慌了。

问题出在哪？大多数系统还在用单一反思机制（Monolithic Reflection）：把一段包含指标、日志、设计选择的完整失败轨迹，“有损压缩”成一句文本反馈，然后让模型自己猜该修哪里。结果不是陷入局部的盲目试错（比如对根本有缺陷的设计反复调学习率），就是一言不合直接重启放弃、丢掉全部上下文。

为了打破这个瓶颈，厦门大学、Hello Inc. 与小红书联合提出了 SAGE（Self-correcting, Autonomous, Grounded Experimenter）。它不再让模型“自由发挥式反思”，而是把科研出现故障恢复重构为结构化的因果诊断过程，并配上极其严格的数据溯源机制，为可信的 AI 科学家提供了一套新范式。

📄 论文链接： http://arxiv.org/abs/2606.31478

🩺 核心挑战：失败不能只归因到一个点

开放域科研的失败高度模糊。一个表层问题：指标平缓、指标异常、甚至沙盒代码运行时报错，根本原因可能分布在完全不同的抽象层级：

• 假设层（Hypothesis）：核心想法本身就错了；
• 设计层（Design）：评估协议、指标选择、实验设计有缺陷；
• 实现层（Implementation）：代码有 Bug、入口缺失、流水线跑不通。

单一反思机制会提前把多种可能的因果后验“坍缩”成一个最显眼的解释，导致智能体只修表面、漏掉深层的方法论问题。SAGE 把这个问题称为结构化归功分配（Structural Credit Assignment）, 仿照人类研究员研究根因回溯，通过不同角度假设猜想具体原因，并将自我矫正进化的科研能力附加至问题探索过程中；

🔧 解决方案：MHFA，把恢复变成“发散—收敛—路由”

受到科学研究中“多重工作假设”与“强推理（Strong Inference）”的启发，SAGE 的核心模块 MHFA（Multi-Hypothesis Failure Attribution） 将恢复过程拆成三个阶段：

1️⃣ 发散式因果生成

诊断器不急着下结论，而是结合运行轨迹特征 TrajPivot（包括指标斜率、衰减率、震荡幅度等连续数学特征），同时提出多个基于证据的失败假设：是假设错了？设计偏了？还是代码挂了？

2️⃣ 独立严重性评判

引入独立的 Critic Agent，对每个假设的严重程度和证据支持度打分，避免生成器“自己给自己背书”。

3️⃣ 层次感知确定性路由

不依赖大模型的随意“幻觉式修复”，而是用固定规则把得分最高的核心病因映射到对应的干预层级：

• 实现 Bug → 修代码；
• 设计缺陷 → 重构协议；
• 假设致命 → 果断 Pivot，重新生成方向。

此外，数据充分性 能防止系统误伤“有效但效果微弱”的负面结果——真实科研里，诚实的阴性结果同样值得保留。

🔒 两阶段数据防伪：

大模型写论文时很容易“捏造”未测量的数据（伪造均值、方差或对比项）。SAGE 用双层约束守住学术诚信底线：

• 主动溯源声明（Proactive Manifest）：起草阶段就白名单化“可报告的指标与对比项”，未测量的东西不能写成数字。
• 独立审查器（Sanitizer）：生成后交叉比对表格数值与底层执行记录。任何未经日志验证的数值，都会被强制替换为占位符。

📊 实验结果：5 大领域、12 个课题的端到端验证

SAGE 在机器学习、统计、量子计算、生物、高能物理 5 个领域的 12 个课题上做了完整评估，效果非常显著：

核心优势集中在代码开发和实验执行稳定性：SAGE 更常把失败的实验救回到“可运行、可测量、可报告”的状态。

🚀 未来方向

1. 外挂知识，扩大诊断空间：引入 RAG，让智能体自动去 GitHub Issues、arXiv 检索罕见报错和相似失败案例。
2. 多模型协同的科研闭环：把擅长代码生成、因果推理、长文本写作的模型组合起来，构建更鲁棒的多智能体系统。
3. 打破算力边界：随着推理成本下降，未来有望取消人为的试错预算上限，让系统无限次诊断、迭代，直到探明真正新颖的科学结论。

💡 一句话总结

SAGE 证明：让 AI 科学家靠谱的，不是更聪明的“灵光一闪”，而是结构化的归因、确定性的路由，以及对每个数字的严格溯源。当实验失败不再意味着研究内容其本身的“崩盘”，而是对当前topic的经验积累进一步夯实研究内容，促使自动科研真正迈出了从“Demo”到“可信任工具”的关键一步。

本文系学术转载，如有侵权，请联系CVer小助手删文