模型选型直接决定 Agent 产出的质量、速度与成本,应尽早评估。核心评估因素包括:任务类型与复杂度、响应可接受的准确率门槛、延迟目标(常以分位数指标衡量,例如 P95 响应时间)、请求量级、错误后果的业务风险,以及部署约束(是否需私有化、本地处理或特定合规要求)。
能力与成本呈正相关:更强模型延迟更高、成本更高,但幻觉风险更低;小模型响应快、成本低,但在复杂逻辑与专业任务上表现下降。据此可建立分层用能策略——分类、路由、关键词抽取、结构化输出等窄任务交小模型,多步推理、歧义输入解析、需判断力的综合任务交前沿模型。
端到端延迟需按完整工作流衡量,而非单次模型调用:路由时间 + 关键路径模型时间 + 工具执行时间 + 校验时间 + 重试时间。同理,成本核算通常建议按"每次成功任务"而非"每次请求"归因(这是工程实践中常见的成本归因口径),因为单次调用便宜并不等于整个工作流便宜——重试与升级会抵消价差。
实践路径是先用高能力模型建立性能基线并验证用例,再逐步用轻量模型替换并对比质量、总成本、延迟、重试率与工具调用正确率,直到找到满足质量门槛的最低成本配置;模型可替换性应作为架构设计目标保留,而非在实现时写死。