近期,光羽芯辰与燧原科技正式签署战略合作协议,双方将围绕云端推理、端云协作、PD分离和AF分离等方向开展深度技术合作与业务合作,并在市场、生态、技术协作等维度形成深度协同,充分发挥各自在端侧AI和3D存算芯片以及云端 AI 算力芯片领域的技术优势,共建端云协作推理生态,满足头部互联网客户日益增长的推理算力需求。此次合作,也标志着光羽芯辰正式推出打磨已久的云端推理和端云协作新范式,向云边端一体化布局迈出重要一步。
1 能力互补:端侧芯片创新×云端算力底座
光羽芯辰是一家专注于3D堆叠存算AI推理芯片的创业公司,拥有高算力、高能效比、可编程的 3D 堆叠架构 AI 推理产品,以及领先的 3D 堆叠近存算/存算技术与 LPU 流式处理架构,致力于为大模型的端侧部署与微调提供普惠高性能的基础芯片方案,并率先推出4层堆叠的3D存算芯片产品,是3D堆叠存算芯片领域的龙头企业。
燧原科技是国内云端AI芯片领域的领军企业之一,拥有包括AI芯片、AI加速卡及模组、智算系统及集群和AI计算及编程软件平台的完整产品体系。公司持续推动国产AI算力在泛互联网场景中的规模化商业应用,已经在互联网客户及各地智算中心实现大规模部署,以高稳定性、灵活性和低延迟的推理能力,为各类大模型及传统AI场景提供可靠的算力支撑。
一方是端侧流式与近存算架构的创新力量,一方是云端算力的成熟底座,双方能力天然互补。光羽芯辰领先的 3D 堆叠近存算/存算技术及 LPU 流式处理架构与燧原科技成熟的云端算力平台深度融合,通过AF分离和PD分离两大推理优化工程架构,构建兼具更高性能、更优能效与更低成本的新一代云端推理算力平台,并通过互相高度适配的软硬件协同生态,大幅降低头部互联网大厂客户和数据中心客户的推理成本,赋能中国AI应用的经济性和竞争力
与此同时,该项合作也标志着光羽芯辰在其首颗3D多层堆叠芯片TC1000开始量产部署后,以云端推理和端云协作推理这一新的业务范式,向AI应用生态和推理生态交出的新答卷,开启云边端一体化业务布局新篇章。
2 两大合作方向:
云端推理新范式、端云协作推理新范式
【云端推理新范式】:
1、PD分离。将大模型推理中的prefilling与decoding两个阶段解耦,prefilling阶段计算密集、对并行度敏感,更适合通用并行算力;decoding阶段访存密集、对流式响应敏感,更契合流式处理架构。分离后,可针对两类任务不同的算力与访存特征,分别匹配最合适的算力单元进行优化,从而显著提升资源利用率、降低单 token 成本。
2、AF分离。在更细粒度上,将 decoding 中的attention计算与FFN计算拆分解耦,依托光羽芯辰 LPU 流式处理架构与 3D 堆叠高带宽特性,进一步提升整体推理效率,为推理功耗、推理成本打开新的优化空间。
【端云协作推理新范式】:
探索光羽芯辰端侧芯片与燧原科技云端芯片的端云协同架构,定义从终端到云端的全链路 AI 推理新范式。端侧承接低时延、隐私敏感与轻量负载,云端承载大规模、高算力任务,二者通过统一架构实现协同调度,让算力在端与云之间按需流动;上层则通过统一的推理调度与模型适配层,向客户屏蔽底层异构细节,提供一致的接口与体验。
围绕上述方向,双方将共同打造自主可控的异构算力集群联合解决方案,构建从端侧智能到云端算力的完整商业闭环。特别地,随着光羽TC1000的成功部署以及对3D堆叠高带宽架构和LPU架构的成功落地,可以基于光羽现有量产的芯片实现和燧原的AI芯片形成AFD 分离的协作系统,大幅优化数据中心云端推理的成本。
3 共同打造市场生态,服务头部客户需求
本次合作以客户价值为牵引。双方将以核心云端客户云端推理需求为锚点,推动异构算力集群在超大规模推理场景中落地,实现推理成本的大幅下降,建立行业标杆。对于以互联网大厂为代表的数据中心而言,这意味着在保障推理质量与响应体验的前提下,能够以更可控的成本持续扩展推理规模,把更强的AI 能力真正推到生产环境。
在此基础上,双方将把经过核心客户验证的异构集群联合解决方案,规模化复制至更广泛的云端数据中心市场,构建中国 AI 推理基础设施的「第二平面」,共同拓展行业增量客户与潜在市场机会,实现商业价值的双向增长。
4 光羽芯辰的立体化业务矩阵:
云端推理、端云协作新范式与云边端一体化
对光羽芯辰而言,本次合作的意义不止于一次战略合作签约,更是一次业务平面的扩展和新型推理范式的提出。通过本次战略合作,光羽芯辰将自身领先的端侧芯片、3D堆叠、存储分层与存算一体能力与云端算力平台深度对接,从单一的端侧芯片方案商,向「端云协作」的整体解决方案提供方演进,打造端云协作推理的业务新范式。
这一布局,使光羽芯辰在端侧 AI 的基础上,进一步补全了云端协同能力,实现云边端一体化的业务布局:端侧芯片提供就近的实时智能,边缘实现低时延的就近计算,云端提供规模化的算力支撑,三者协同,为客户提供覆盖全链路的 AI 推理能力,也为后续拓展更多行业场景打开空间,大幅拉开和同类竞争者的领先身位。
图1 光羽芯辰云边端一体化业务布局示意
5 展望
本次合作是双方建立双向赋能、互为优先战略伙伴关系的起点。通过此次战略合作,光羽芯辰将进一步拓展其业务版图,深化云边端一体化协同,显著提升其在端云协作推理生态中的战略价值;燧原科技也将进一步强化其云端算力平台的异构适配能力,持续降低并优化推理成本,巩固其在云端AI芯片市场的领先优势。未来,双方将持续深化在云端推理芯片协同适配与优化、存储分层架构设计与实现、推理软件栈联合调优等核心方向的技术合作,并协同整合各自的技术产品矩阵与市场渠道资源,共同为 AI 推理基础设施建设贡献力量。
关于光羽芯辰
光羽芯辰由创始人周强博士联合知名AI独角兽和存储龙头企业创立,专注端侧大模型 AI 芯片与3D 存算/近存算一体化架构研发及云端高性能推理,率先打通流片订单量产闭环,实现商业化全面领跑,获产业与资本双重加持。周强博士作为燧原科技和摩尔线程前核心高管,拥有丰富产业经验和技术积累,带领团队自研 EdgeAIon全栈软硬件体系,实现带宽及算力利用率超70%和80%,超行业均值2倍,牵头制定行业官方标准,累计近百余项发明专利,从技术到规则全面构筑壁垒。产品矩阵覆盖80%以上的端侧AI芯片场景,致力打造普惠高性能国产 AI 算力解决方案。
关于燧原科技
燧原科技是我国云端AI芯片领域的领军企业之一,致力于打造通用人工智能核心算力基础设施。公司坚持原始创新、自主研发的技术路线,构筑长期可持续发展的核心竞争力和护城河。成立8年来,公司自研迭代了四代架构5款云端AI芯片,构建了覆盖AI芯片、AI加速卡及模组、智算系统及集群和AI计算及编程软件平台的完整产品体系。