首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7% 而精度还涨了 1.7 分

agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7% 而精度还涨了 1.7 分

作者头像
用户12833090
发布于 2026-10-22 11:07:34
发布于 2026-10-22 11:07:34
710
举报
概述
做 agent 基建的人,大概都见过这样一块监控面板:一个搜索型 agent 跑到第 60 轮,输入长度爬到 90k,每一轮请求里「cache read」那一栏的金额都比上一轮更高,而「output」那一栏几乎没动。你以为是模型在思考,其实是系统在反复把一份越来越长的缓存从显存里搬进搬出。 《Cache Engineering for Agents》把这件事算成了一张账单。作者统计的一份成本构成里

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档