Agent 部署的模型策略应该如何制定
修改于 2026-10-10 10:22:07
14
1. 单一模型策略
- 全流程使用同一个大模型,架构简单、行为一致性强、便于评估
- 适用于任务类型单一、对时延与成本不敏感的场景
2. 多模型策略
- 为不同子任务选用不同模型,例如以速度快、成本低的模型处理简单步骤,以推理更强的模型处理复杂判断
- 在准确率、时延与运营成本之间取得平衡,但需要额外的路由与一致性管理
3. 策略约束
- 模型策略应与评估体系联动,用线上数据验证选型是否达成质量与成本目标
- 对模型版本变更建立受控流程,避免无感知地改变生产表现