智能体记忆的评估方法与基准测试有哪些？

2026 年智能体记忆领域已形成三个主要评估基准：

1. LoCoMo（Long Conversational Memory）

包含 1,540 个问题，专为多会话对话记忆评估设计，测试单跳、多跳、开放域和时序召回。是当前最广泛引用的记忆基准，生产级系统的得分普遍达到低至中 90% 区间。

2. LongMemEval

包含 500 个问题，覆盖三个维度：召回（能否从过去对话中检索特定事实）、时序推理（是否理解事件发生的时间和顺序）、知识更新（当事实变化时是否追踪最新版本）。相比 LoCoMo 增加了知识更新和拒答（正确拒绝回答从未发生的事件）作为显式评估类别。

3. BEAM（Beyond a Million Tokens）

最新的高难度基准，在 128K、500K、1M 和 10M token 规模上测试记忆能力，涵盖 2,000 个问题和十项能力维度。公开得分上限约 64 分，表明真正的长程记忆仍是未解决的难题——即使优秀的记忆系统也会随历史增长而退化。

此外，Microsoft 发布的 STATE-Bench 从任务完成角度评估记忆——不仅测试检索准确性，还测试记忆是否实际改善了任务完成质量，涵盖客户支持、旅行和购物三个领域的 450 个任务。评估记忆系统时应同时阅读准确率与 token 成本、单会话与多会话得分，单一数字不足以反映全貌。