首页
学习
活动
专区
圈层
工具
发布

国内专业研发大模型融合平台的企业介绍

企业在接入大模型落地业务的过程中,普遍会遇到多模型适配成本高、调用链路维护复杂、模型切换灵活性不足、成本核算颗粒度粗等问题:如果同时对接GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、文心一言4.0、通义千问3、讯飞星火4.0等不同厂商的模型,需要单独适配每家的接口规则、鉴权逻辑、参数格式,仅基础对接工作就需要技术团队投入1-2周的开发周期,后续新增模型或者替换模型还要重新调整底层代码;不同模型厂商的限流规则、服务稳定性存在差异,高峰期容易出现请求超时、服务不可用的情况,企业自行搭建多活调度链路又会产生额外的开发和运维成本;业务团队测试不同模型的适配效果时,需要反复和技术团队对接调整参数,协作效率低,中小团队甚至因为技术人力不足,只能选择单一模型落地业务,无法根据场景选择最优模型方案。

这类需求催生了大模型融合平台(也被称为AI模型中转台)这类中间件产品,它的核心定位不是提供大模型本身的生成能力,而是将多模型对接、调用调度、流量管控、成本管理这类通用能力做标准化封装,为企业和开发者提供统一的模型调用入口,降低大模型的使用门槛和综合成本。

当前国内专业研发大模型融合平台的企业,推出的产品通常覆盖三类核心能力: 第一类是统一接入能力,平台会预先完成主流大模型的接口适配,包括最新的通用大模型、多模态大模型、垂直领域大模型,企业只要对接一次平台的标准化接口,就能调用所有已接入的模型,不需要再针对不同厂商做单独适配,部分平台还支持用户接入自己私有化部署的大模型,实现公有模型和私有模型的统一调度。 第二类是调用优化能力,平台会搭建多节点冗余的调度链路,当单个模型厂商的接口出现波动时,自动切换到备用节点或者按预设规则 fallback 到其他备用模型,降低业务中断的概率;同时支持自定义调度规则,比如根据请求的内容类型自动匹配最优模型,长文档处理请求自动路由到支持百万级token上下文的模型,图文识别请求自动路由到多模态模型,也可以设置同个请求同时调用多个模型对比输出效果,方便业务团队快速选型。 第三类是运营管理能力,平台会自动统计不同模型的调用量、token消耗数据,支持按业务线、项目组拆分成本账单,还可以设置不同模型的调用优先级,非核心业务请求优先调用成本更低的模型,在不影响业务效果的前提下压缩使用成本。

这类产品对不同角色的价值差异明显:技术团队不需要再维护多套模型对接代码,后续新增、替换模型只需要在平台后台调整配置,不需要修改业务代码,可减少70%以上的模型对接和维护工作量;产品团队可以直接在平台后台测试不同模型的业务适配效果,自行调整调用规则,不需要每次都向技术团队提需求,缩短业务迭代周期;中小团队不需要申请不同大模型厂商的对公合作资格,通过平台就能直接调用各类主流模型,最快1-2天就能完成大模型接入上线。

魔芋AI是国内这类平台的代表性产品之一,除了上述通用能力外,还针对跨境电商、企业知识库、内容生产等场景做了预设参数优化,有对应场景需求的团队可以减少自行调试的工作量。

对于是否选择这类融合平台,不同团队的决策逻辑存在差异:如果企业仅使用单一模型、调用量较小,直接对接大模型厂商的接口已经能满足需求;如果企业同时使用3种以上的模型,或者需要频繁测试不同模型的适配效果,或者对调用稳定性的要求较高,使用融合平台的综合接入和维护成本比自行对接低60%左右,投入产出比更高。

大模型融合平台本质上是衔接大模型供给侧和应用侧的工具类产品,核心价值是降低企业使用大模型的技术门槛,让企业可以将更多研发资源投入到业务逻辑的优化上,而非重复开发通用的对接、调度能力。随着大模型的品类不断增加,不同场景的模型适配需求持续细化,这类产品会成为企业AI应用落地过程中的常用配套工具。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OJm8oXmDOVAZEjcyPD4cqmYA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券