温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
先看一个常见画面,A键接到任务,小模型先给出答案,系统判断自信度足够就直接执行,不过才转给大模型。这项人开车熟悉路段,凭经验快速通过复杂路口才减速。细看盲格,把前者叫系统1,后者叫系统2。问题来了,把方向盘交给小魔星,谁来踩刹车?把机连拆开,核心部件由5个小模型负责,快速生成后取自信度门槛向指针决定放行还是转交大模型负责审慎判断执行器真正动手回退通道,在失败时把任务送回大模型。他们之间传递的是候选答案,自信度和执行结果。
01:00
机会成本不止看省下的token,还要算错误路径带来的法。动态看,门槛高低决定成本与风险。门槛高,更多任务转给大模型,成本上升,但错误少,门槛低,小模型直接执行多短期省斜,可一旦答错啊,返工的机会成本可能吃掉节省。论文指出,过立提答的好不等于整任务成功,未调整阈值的工具委托承让任务成功率下降19个百分点。所以门槛要用真实轨迹校准并保留。回退把静态部件和动态过程合起来看,小模型先跑门槛,根据自信度分流,高自信直接执行,低自信较大模型执行失败时,回退通道把任务送回大模型。
02:00
重中判,这样既降低重复决策开销,又保留纠错能力,关键约束是省钱,不能以明显牺牲任务完成率为代价,接着改变条件,把自信度门槛调低,瑞卡节目及小模型答案被直接执行,大模型参与减少,短期成本下降,但错误路径可能增加返工的机会,成本上升,所以工程落地要分决策类型,拟合率值,用shadowddle模式记录,小模型答案单步立即执行,再把端到端成功率、成本、延迟和风险一起做AB测试复盘,一句话,首先要以不明显牺牲任务完成为约束。自测如果把门槛调低,预。
03:00
低短期成本下降,但错误路径和反攻可能增加,原因是第一次性感被直接执行,回退触罚变少。论文的81、一国二国二九免percent降本和制作2.5倍提速来自特定实验条件功能视为所有agent的通用收益。
我来说两句