将稳定的系统提示与工具定义等前缀缓存复用,缓存读取的计费通常显著低于标准输入价格(Anthropic 各模型约为标准输入价格的 10%,OpenAI 约为 50%),企业级场景下可明显降低开销。由于 Agent 在长时间运行中会反复读取系统提示、工具定义与历史上下文,缓存读取往往占据 Token 消耗的很大比例。
通过滑动窗口、分段摘要、丢弃陈旧历史来削减输入 Token。研究表明轨迹裁剪可在保持任务表现的同时减少 39.9%~59.7% 的输入 Token。
将分类、抽取、摘要等简单步骤交给小模型,仅将规划、复杂推理交给前沿大模型,整体 Token 成本常可下降 40%~60%。
设置每任务、每 Agent、每部门的多层预算与熔断,阻断无效循环与扇出激增;Gartner 2026 年 3 月分析指出,Agent 类模型的单任务 Token 消耗可达标准聊天机器人的 5~30 倍,故预算治理不可或缺。
非 Token 成本同样需计入:向量数据库查询、网页 / 浏览器 API、代码执行沙箱、长期状态存储与可观测管道等,均应在成本核算中按"每次完成任务"而非"每次请求"归因(业界常见的成本归因口径)。