用户12833090
agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7% 而精度还涨了 1.7 分
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12833090
社区首页
>
专栏
>
agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7% 而精度还涨了 1.7 分
agent 账单里 82% 花在读缓存:把 KV 变成可编程对象,成本降 27.7% 而精度还涨了 1.7 分
用户12833090
关注
发布于 2026-10-22 11:07:34
发布于 2026-10-22 11:07:34
71
0
举报
概述
做 agent 基建的人,大概都见过这样一块监控面板:一个搜索型 agent 跑到第 60 轮,输入长度爬到 90k,每一轮请求里「cache read」那一栏的金额都比上一轮更高,而「output」那一栏几乎没动。你以为是模型在思考,其实是系统在反复把一份越来越长的缓存从显存里搬进搬出。 《Cache Engineering for Agents》把这件事算成了一张账单。作者统计的一份成本构成里
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
AIGC
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档