# pi-autoresearch：让 AI 自动跑优化实验，直到榨不出油水

---

**pi-autoresearch** 是 pi 终端编程 Agent 的扩展，实现自主优化循环。核心逻辑一句话：

> 试一个想法，测一下，有用的留下，没用的丢弃，永远重复。

灵感来自 karpathy 的 autoresearch 设想。任何可度量的优化目标都适用：测试速度、打包体积、构建时间、LLM 训练、Lighthouse 分数。

---

## 一、循环长什么样

```text
编辑代码 → commit → run_experiment（计时跑基准）
    → log_experiment（记录结果）
    → 有提升？保留；倒退？回滚
    → 换个想法，继续
```

Agent 全自动跑，除非你打断它。三个扩展工具支撑循环：

| 工具 | 做什么 |
|------|--------|
| `init_experiment` | 一次性会话配置：名字、指标、单位、优化方向 |
| `run_experiment` | 跑任意命令，计墙钟时间，捕获输出 |
| `log_experiment` | 记录结果，自动 commit，更新面板 |

---

## 二、会话状态：重启和上下文重置都杀不死它

循环状态存在项目里的 `.auto/` 目录：

| 文件 | 作用 |
|------|------|
| `.auto/prompt.md` | 会话文档——目标、指标、范围文件、试过什么。新 Agent 只读这个就能接手 |
| `.auto/measure.sh` | 基准脚本，输出 `METRIC name=number` 行 |
| `.auto/log.jsonl` | append-only 运行日志，一行一次实验 |
| `.auto/checks.sh` | 可选：正确性检查（测试/类型/lint） |

**一个没有记忆的新 Agent，读这两个文件就能从上次中断处继续。**这解决了长循环最大的问题——上下文压缩后怎么续跑。pi 的 auto-compaction 触发后，autoresearch 检测到空闲，重新提示 Agent 读 `.auto/prompt.md` 和日志尾部，从 source of truth 恢复状态。

---

## 三、置信度评分：区分真提升和噪声

跑 3 次以上实验后，autoresearch 计算置信度——**最好提升 vs 会话噪声底**：

- 用 **MAD（中位数绝对偏差）**做鲁棒噪声估计
- 置信度 = |最好提升| / MAD
- 2.0×（绿）= 可能是真提升；1.0-2.0×（黄）= 高于噪声但边缘；<1.0×（红）= 在噪声内，建议重跑确认

这个设计针对的痛点是噪声基准——ML 训练、Lighthouse 分数这类波动大的指标，Agent 容易把抖动当提升。置信度只做参考，从不自动丢弃结果，最终 keep/discard 决定权留给 Agent。

---

## 四、正确性护栏

优化不能跑坏东西。`.auto/checks.sh` 在每次基准通过后自动跑：

```bash
#!/bin/bash
set -euo pipefail
pnpm test --run
pnpm typecheck
```

检查失败 → 实验记为 `checks_failed`（等同崩溃处理：不 commit，回滚）。检查耗时不影响主指标。面板里 `checks_failed` 和基准崩溃分开显示。

---

## 五、Hooks：循环边界的扩展点

`.auto/hooks/` 下放可执行脚本，在迭代边界自动触发：

- `before.sh`：每轮迭代前——拉研究资料、为下次尝试预热上下文
- `after.sh`：每次 log_experiment 后——写学习笔记、发通知

Hooks 对 Agent 透明：Agent 照常调用工具，hooks 在旁路运行，stdout 作为 steer 消息送进 Agent。仓库自带十个参考脚本：外部搜索、学习日志、原生通知、防抖动、想法轮换。

---

## 六、结束：把实验分支收拾干净

`/skill:autoresearch-finalize` 读取 `.auto/log.jsonl`，把保留的实验按逻辑变更分组，从 merge-base 建独立分支——每个 commit message 带指标提升数据。分组间不共享文件，所以每个分支可以独立审查、独立合并。

---

## 七、安装

```bash
pi install npm:pi-autoresearch
```

启动：

```text
/skill:autoresearch-create
```

Agent 问你要优化什么、命令是什么、指标是什么——或者从上下文推断，然后建分支、写会话文件、跑基线、开始循环。

---

## 结语

优化类工作是 Agent 的天然战场——目标明确（指标）、反馈即时（基准）、动作空间大（改代码）。pi-autoresearch 把这套循环做成了有状态的基础设施：日志可续跑、噪声可度量、正确性有护栏、结果能收拾成可审查的分支。

它把「性能优化」从工程师的事变成了一条可持续运转的流水线。


pi-autoresearch 是 pi 终端编程 Agent 的扩展，实现自主优化循环。核心逻辑一句话：

pi-autoresearch：让 AI 自动跑优化实验

软件研发

人工智能

开发工具

后端

pi-autoresearch扩展让AI自动跑优化实验，直至性能无提升空间。核心是试错循环：测量、保留有效、丢弃无效，适用于测试速度、构建时间等可量化目标。具备状态持久化、置信度评分防噪声干扰、正确性检查和Hooks扩展，最终自动生成可审查分支。

代码解释

Agent

4核4G3M云服务器 新用户低至38元/年！

lighthouse

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

pi-autoresearch：让 AI 自动跑优化实验-腾讯云开发者社区-腾讯云

pi-autoresearch：让 AI 自动跑优化实验

pi-autoresearch：让 AI 自动跑优化实验

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐