Agent 开发常用的评估指标与评估方法有哪些？

1. 评估应覆盖的三个层次

评估应覆盖三个层次：最终答案（Final-answer，是否正确）、轨迹（Trajectory，步骤与工具调用是否合理）、逐轮（Per-turn，单步是否越权或偏离策略）。仅看最终答案会遗漏过程风险，例如在多智能体场景中，只评最终输出无法发现子 Agent 选择错误、工具顺序颠倒或多余调用。

2. 关键评估指标

关键指标包括：任务完成率 / 成功率（并核验系统真实状态，而非仅文本）、工具调用准确率、步数与循环次数、轨迹匹配度、成本与延迟、以及基于检索的忠实度（Groundedness）。

3. 评估方法与评分手段

评估方法按数据来源分为离线（固定数据集、CI 门禁）与在线（生产流量、实时打分）两类；评分手段包括代码化规则评分、LLM 评委（LLM-as-Judge）、Agent 评委与人工抽检。LLM 评委须先做校准——人工标注真实追踪、运行评委、找出分歧、迭代评委提示词，否则分数看似严谨实则无意义。

4. 常用工具与代表性基准

常用工具可跨框架使用且兼容 OpenTelemetry：LangSmith、Langfuse、Arize Phoenix、Braintrust、DeepEval、OpenAI Evals 等；代表性基准有 GAIA、Tau-bench（会校验数据库真实状态而非仅答案）、SWE-bench、BFCL、OSWorld 等，用于横向衡量不同 Agent 的能力边界。