传统大语言模型在 Agent 中承担了两类性质截然不同的任务:一类是理解目标、制定计划、生成内容;另一类是工具路由、意图分类、风险分级等结构化决策。后者答案空间有限,却仍然要走完整的自回归生成链,再由代码从自由文本中解析答案。JEV 的工程意义不在于“更小的模型”,而在于把第二类任务从生成范式中彻底剥离,变成一种有界、可校准、可被代码直接消费的类型化接口。
JEV 不逐 Token 解码,而是读取一次状态,对每个预先声明的问题,在固定的候选 Token 集合上直接打分。APUS 的独立复现将其核心逻辑描述为“跳过自回归解码、隐状态直接打分”,并实现了单 Token Logits 快速决策与 KV-Cache 广播的并发批量评估机制。用伪代码表达其判定流程:
def jev_decide(backbone, state: str, questions: list[Question]):
hidden = backbone.encode(state) # 状态只编码一次
answers = {}
for q in questions:
slots = q.answer_slots() # 合法输出空间调用前枚举
logits = decision_head(slots, hidden) # 单次前向,不生成文本
probs = softmax(logits / q.temperature) # 按原语类型独立校准
answers[q.id] = TypedAnswer(
choice=q.options[argmax(probs)],
probs=probs,
)
return answers # 并行返回,问题数不线性增加延迟关键不在于决策头的具体结构,而在于合法输出空间在调用前就已经封闭。自回归模型输出“是”也要跑完整条解码链,而 JEV 把答案空间提前枚举,一次前向计算并行给出所有答案。三个原语——Noul(是非)、Choice(多选一)、Score(分级打分)——共同的特征是答案有界,代码不需要解析自由文本,可以直接用阈值或分支消费结果。
类型化输出让代码免于解析,但让阈值路由可靠的是概率校准。这里有一个必须精确区分的工程事实:JEV 的三种原语校准表现并不一致。独立审计显示,Noul 的概率与真实命中率的偏差保持在 0.014–0.029 的窄带内,而 Choice 在缺乏证据时对公平硬币给出 0.83–0.93 的过度自信判断;当证据本身包含概率信息时,Choice 的行为更像一个开关,而非忠实的概率读者。审计的结论是:Choice 的概率更适合当作“决策分数”而非“概率”来使用。
这意味着生产部署中,原始输出不能直接喂给业务阈值。标准做法是引入独立校准层,用业务标注数据拟合温度参数(开源复现中拟合温度约为 Noul 1.002、Choice 0.984、Score 1.012),将“模型分数”与“业务可信度”分开存储,阈值登记在校准后的尺度上。
class CalibratedRouter:
def __init__(self, temps: dict, auto: float, review: float):
self.temps, self.auto, self.review = temps, auto, review
def route(self, ans: TypedAnswer):
p = softmax(ans.logits / self.temps[ans.kind])[ans.choice_index]
if p >= self.auto: return "auto", ans.choice
if p >= self.review: return "review", ans.choice
return "abstain", Noneauto 和 review 由业务根据误执行代价设定,而不是模型给出。校准只改变分数的尺度,不改变排序,因此可以在不牺牲区分能力的前提下,让阈值获得可比较的语义。
JEV 解决的是“语义判断的接口问题”,不是“判断必然正确”的问题。一个 Choice 任务即使在概率上高度自信,仍然可能把支付渠道故障分给错误的技术团队——类型正确不等于语义正确。同样,Noul 的校准是群体统计性质,单个 0.95 不能被解释为“这一条判断 95% 正确”。因此生产链路中,JEV 的输出之后必须保留代码层的业务校验:模型判了“执行”,guard_ok 仍然可以拦下不符合业务条件的动作。支付、删除、权限变更等不可逆操作,不应仅凭模型置信度直接放行。
JEV 最准确的位置是 Agent 执行层的高频、原子化判定:工具路由、意图分类、风险预筛。规划与开放式生成仍然留给自回归模型。判断交给有界接口,验证留在代码层,这种分工才是 JEV 作为“决策模型”的真正工程含义。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。