我装了6个模型,日常90%的请求落在 qwen2.5:7b 上。7B模型在M4芯片上跑,单次推理0.3-1.5秒,完全够用。
会话记录里有一条"添加三个 SenseNova 自定义模型"——把多家供应商的模型接进同一工作台,按任务类型灵活切换,避免被单一模型绑定。
比如用 LLaMA2 预训练一个通用大语言模型,它知道很多东西,想让它更像业务助手,回答时带品牌口吻、遵守业务流程,在大模型结构里,参数动辄几十亿,哪怕只改一点...
很多开发者都有一个共识:当模型基座的性能逐渐趋同,真正决定 AI 产品落地效率和成本的,是推理层的工程化能力。