Agent 评估中常用的轨迹质量指标有哪些?
修改于 2026-10-13 17:50:03
17
1. 结构类指标
- 步数(Steps):完成任务所需动作数,过多往往意味着规划低效
- 重试与循环(Retries / Loops):不必要的重复调用、原地打转是可靠性隐患
2. 资源类指标
- 工具调用次数、Token 消耗、端到端延迟,通常报告 p50 与 p95 分位,并区分成功与失败运行的分布
3. 质量类指标
- 计划质量:任务分解是否正确、完整
- 计划遵循度:执行是否忠实于初始规划
- 证据利用:是否基于观测结果而非臆测推进,是否在恰当节点停止