大模型 API 网关的确定性行为保障：从请求进入、缓存命中到流式完成的工程约束

大模型 API 的“不确定性”不只来自模型输出本身。请求在进入推理之前和之后，要经过网关的脱敏、缓存、路由、重试、流式传输和用量归因，每一个环节都可能引入额外的方差：一次 PII 脱敏不彻底，敏感数据就出了网；一次缓存指纹归一化失败，命中率被网关层打碎；一次流式超时配置不当，长上下文 Agent 在传输中途断连；一次重试没有幂等约束，同一请求被上游扣费两次。这些不是模型能力问题，而是网关的确定性行