设想你有一个企业 Agent，负责读取业务数据、调用工具，再生成分析报告。

团队希望它能自己发现问题、修改工作方法。于是，每次任务完成后，系统都会分析失败记录，调整提示词、补充 Skill，或者增加检查步骤。

一段时间后，它在那批熟悉的任务上得分越来越高，工作流程也越来越复杂。

但换一批任务，效果却没有明显改善。它依然可能漏读文件、理解错口径，调用模型的费用反而增加了。

这就涉及 AI 自我改进中的一个关键问题：不断修改工作方法，究竟积累了多少能用到新任务上的能力？

谷歌研究团队开源的 RRSI，正是围绕这个问题展开。

RRSI 的全称是 Regularized Recursive Self-Improvement of Agent Harnesses，可以译为“智能体运行框架的正则化递归自我改进”。

其中，RSI 表示递归自我改进：系统根据执行反馈形成持续性的修改，再让修改后的系统参与后续工作。

RRSI 保持基座模型参数不变，主要修改围绕模型的 Harness，包括提示词、工具说明、记忆、Skills、上下文管理和执行流程。

可以把模型理解为一名员工，把 Harness 理解为他的工作手册、工具箱和协作流程。RRSI 尝试根据工作反馈改进这套系统，并检查哪些改动值得保留下来。

机器学习中有一个常见问题叫“过拟合”：系统在熟悉的数据上表现很好，换到新数据后，效果却变差。

Agent 的自我改进也可能遇到类似问题。

反复用同一批任务评价这些配置，系统可能逐渐学会迎合某种题型、报告结构或评分方式。

用一个假设的数据分析任务说明。

一项改动要求 Agent 在关联两张表之前，核对字段、数据粒度和无法匹配的记录。这种方法有机会用于后续任务。

另一项改动则让 Agent 一旦看到某个特定文件名，就套用固定处理分支。它可能提高熟悉任务上的得分，换了文件就失去作用。

还有一种情况更隐蔽：系统没有记住任何答案，却不断添加某类评分器偏好的表述和检查清单。报告看起来越来越完整，实际处理问题的能力未必同步提高。

RRSI 要减少的，正是这些难以迁移的改动。

“正则化”可以先理解为：给优化过程增加约束，减少复杂度和对熟悉任务的过度适应。

它把约束放在两个环节：怎样提出修改，以及哪些修改能够留下来。

它的主要做法，可以归纳为五件事。

一是逐渐收紧每次改动的范围。

前期可以尝试组合较多的独立改动，后期逐渐收紧预算。

如果一次同时修改工具、提示词、记忆和控制流程，最终得分即使提高，也很难判断哪部分起了作用。缩小改动范围，有助于观察收益和副作用。

二是记录证据，停滞时尝试其他方向。

每项改动需要留下针对的问题、修改内容、分数变化、Token 成本和是否采用等记录。

如果一直修改提示词却没有进展，系统会给尚未尝试过的组件保留探索位置，例如工具或上下文管理机制。

三是在正式评价前检查投机行为。

Critic，也就是审查环节，会检查候选代码的实际差异，寻找特定题目逻辑、答案记忆、评分器投机等问题。

它结合规则检查和模型审查工作，能够降低风险，判断本身仍可能出错。

四是把分数波动和成本一起考虑。

Agent 的执行具有随机性，一次涨分可能只是碰巧。因此，候选配置需要经过分数下界、噪声范围和成本规则的共同判断。

分数没有明显上涨时，更省 Token 或具有探索价值的候选也可能被保留，但仍须满足性能底线和领域约束。

五是考虑删除不再产生收益的组件。

自我改进很容易不断做加法：多一段提示词，多一个评审 Agent，多一轮检查。

RRSI 会根据历史记录提出剪枝建议，把近期缺少收益的组件交给提案者考虑删除。删除后的候选仍需重新检验。

这里值得借鉴的，是把“保留修改”本身也当成需要证据的决定。

一次完整的改进，会先分析当前版本的失败记录，再生成候选配置。候选经过审查和基本可运行性检查后，才进入任务评估。

随后，系统结合分数、成本和领域约束选择版本。合格的候选会成为下一轮的起点，修改原因和结果也会记入历史；如果没有合格候选，就保持当前版本。

这让每次修改都有可以检查的过程，也为后续保留、调整或删除组件提供依据。

作者在工作空间任务上的消融实验，最能解释 RRSI 的价值。

实验使用 Claude Opus 4.8 作为冻结的策略模型。研究者让不同方法在同一批任务上演化，再到没有参与优化的其他基准上检验效果。

“演化集”就是系统反复用来修改工作方法的任务。“分布外”则表示换到了其他任务分布，相关基准没有参与修改选择。

可以看到，无正则化版本在熟悉任务上得分最高，从 89.4 升到 92.8；换到其他基准后，平均分只从 39.7 升到 40.3。

RRSI 在演化集上的涨幅较小，分布外平均分却达到 43.6。

在这组实验中，约束修改过程，换来了更好的迁移效果。

按表中数值计算，RRSI 比无正则化演化少用约 36.3% 的策略 Token；相对原始配置，仍多用约 55.1%。

这说明它减少了无约束演化带来的成本膨胀。表中衡量的是最终配置执行任务的策略模型 Token，完整演化期间的候选试跑和修改费用，还需要另行计算。

对于企业 Agent 平台，RRSI 提供了一个务实的思路：每次持续性的配置修改，都应该留下可检查的依据。

以问数 Agent 为例，改进时可以分别观察字段映射、查询构建、工具错误和答案校验。一次修改解决了其中哪个问题，应该能从执行记录中看出来。

再以排班 Agent 为例，即使平均指标提高，违反硬约束的结果仍然不可用。此类条件需要单独检查，不能被其他分数抵消。

这些是可以借鉴的应用方式，仍需在具体业务中验证。

评估时还应留出一批没有参与优化的任务，尽量保持模型、工具权限和总预算一致，再比较原始配置、多次尝试与自动演化的效果。已有研究指出，缺少预算匹配和留出评价，容易把额外计算带来的收益误认为方法本身的进步。

RRSI 本身也有边界：演化集仍然有限，审查模型可能误判，组件之间会相互影响，较短周期的结果不能保证长期持续提升。

下一次 Agent 修改自己的提示词、Skill 或执行流程时，除了展示熟悉任务上的涨分，还应该留下改动原因、成本变化，以及新任务上的验证结果。

一项改动能否成为可靠能力，要看它在后续工作中是否继续有效。

Agent过拟合 谷歌 RRSI 的自我改进实验

人工智能

RRSI通过正则化约束智能体自我改进，防止过拟合训练任务。实验显示，RRSI在分布外任务得分43.6，优于无正则化的40.3，同时Token成本降低36.3%。它强调每项修改需留证据、控范围、查投机，并考虑删除无效组件，确保改动真正可迁移至新场景。

机器学习

数据分析

智能体

Agent

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

Agent过拟合谷歌 RRSI 的自我改进实验

Agent过拟合谷歌 RRSI 的自我改进实验

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

Agent过拟合 谷歌 RRSI 的自我改进实验

Agent过拟合 谷歌 RRSI 的自我改进实验

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

Agent过拟合谷歌 RRSI 的自我改进实验

Agent过拟合谷歌 RRSI 的自我改进实验