首页
学习
活动
专区
圈层
工具
发布

OpenAI推Ultrafast层:GPT-5.6 Sol速度或飙升14倍

OpenAI正致力于让其最强大的模型同时成为最快的模型。该公司日前预览了API新层级“Ultrafast”,该层级在Cerebras制造的晶圆级芯片上运行旗舰模型GPT-5.6 Sol,输出速度可达常规水平的14倍,每秒约处理750个token。

Ultrafast并非全新模型,而是一种服务现有模型的新架构。它利用Cerebras的大尺寸芯片消除长期困扰前沿AI的延迟问题。8月13日,OpenAI已向少数客户开放有限预览,并计划随产能提升扩大访问范围。

打破速度与智能的权衡

此前,追求实时响应的用户往往被迫降级使用能力较弱的小模型,以牺牲智能换取速度。Ultrafast旨在打破这一权衡,同时提供前沿级的推理能力和近乎即时的响应。

这种组合对AI智能体软件至关重要。若AI在每步操作前需思考数十秒,仅能作为演示;若能在此对话节奏内完成响应,则具备产品化形态。换言之,速度已成为与原始智力同等重要的特性。

OpenAI将该层级定位为处理时间敏感任务,包括事件响应、调试、金融研究、欺诈检测、实时客服、语音交互及电子商务等。Jane Street、Podium、Basis和Rogo等早期测试者表示,这是质的飞跃。有公司称,其彻底改变了复杂工作的通话体验,解锁了此前受限于智能水平的同步用户体验。

Cerebras的关键背书

对Cerebras而言,这是一次关键背书。作为今年大型IPO案例之一,该公司亟需证明其晶圆级野心能转化为持久利润。支持OpenAI最快层级,为其提供了急需的市场认可,也表明曾被视为科学项目的异类芯片架构,如今已在顶尖AI企业中承担实质工作。

速度优势源于独特工程设计。Cerebras制造盘碟大小的处理器,由整块硅晶圆切割而成,使整个模型可驻留于单颗芯片,无需像Nvidia GPU集群那样在不同芯片间频繁传输数据。消除内部数据传输延迟,正是缩短提示与回复间隔的关键,也印证了其设计比通用训练芯片更适配推理任务的主张。

行业转向低延迟竞赛

此举契合行业广泛转变。随着模型能力逼近天花板,竞争焦点转向以更快速度、更低成本运行模型。这场竞赛提升了Groq等推理专家的地位,使低延迟成为核心卖点。SambaNova及专业云服务商也在追逐同一目标,市场奖励那些能让模型最快给出答案的企业,而非仅关注模型规模。

对OpenAI而言,依赖Cerebras也是逐步摆脱对Nvidia完全依赖的一步,与其开发自有定制芯片的战略一致。

目前OpenAI尚未公布定价。鉴于在专用硬件上以14倍速度运行顶级模型成本不菲,Ultrafast可能仍是针对极度关注延迟场景的高端选项,而非默认设置。尽管仅为面向少数客户的预览版,信号已十分明确:在AI竞赛的下个阶段,若速度滞后,聪明才智将不值一提。

【星途科讯 图文丨略略 首发于ZAKER科技,转载请注明出处】

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OOw6RPEPdcACvpGUY8Z__G1Q0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券