温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
先看一个具体场景,团队把客服工单交给智能体模型调用,一次只要几分钱,看起来比原来便宜很多。在一张工单可能调用搜索数据库和工单系统失败,还要从事超时后转人工,最后账单里不只有token,还有工具试数,重试和人工接管。所以第一个问题不是单价降了多少,而是成功完成一个可验收任务总共花了多少?把这件事精彩拆开,有6个核心部件可验收任务模型调用,工具调用,从事与超时人工接管总成本表任务触发模型,模型请求工具,工具失败会触发重试,从事超时会转人工,人工和token工具次数1。
01:00
你记住成本表,这里的关系是能量和信号怎么流动,不是谁替代谁。动态看降价会改变使用频率和编排方式,这就是二阶思维。调用便宜了团队可能让智能体多查几次,多叫几个工具,甚至把原来人工确认的步骤也交给模型,双方报告推理速度接近3倍,Agent任务使用成本约向其成,但这是其公布的测评口径。在你的工作流里,工具调用从事超时和人工监管可能改变结算结果法。竞赛结构和动态过程合起来,选型指标就清楚了。用同一批真实工单比较M3.1与现有模型系物总投N工具次数、从事率、人工接管率以成功任务成本和。
02:00
PU是总耗时选型,而股市只看DPS,同时设置预算上限、超时熔断与灰度回滚,让成本异常时能停下来。现在改变一个条件,关闭预算上限与超时熔断保护任务,继续进入模型调用不再受预算限制,工具可以重复调用,重次于超时累积人工接管持续增加总成本表可能超过预算,这时能看到降价并没有自动带类业务降本保护条件,预测端到端成本就会被放大。复盘一句话,便宜的是调用,省钱必须由端到端任务证明。自测题是如果只比是如果只比较每百万N单价。
03:00
会漏掉什么?答案是工具要用,从事超时和人工接管。正确动作是用真实工单跑,对照进入4项指标,设好预算、熔断和回滚,再决定是否切换。
我来说两句