OpenAI与博通合作推出Jalapeño LLM推理加速器

OpenAI与博通（Broadcom）发布了合作开发的Jalapeño，这是一款专为现代大语言模型和AI智能体工作负载定制的推理处理器，据称其每瓦性能优于当今最先进的硬件。OpenAI将其硬件项目视为战略性项目，并设想Jalapeño将成为其推理硬件的第一代产品。

该芯片集成了固定功能和可编程计算硬件，用于加速OpenAI LLM技术栈的推理工作，该技术栈为ChatGPT、Codex、OpenAI API以及公司未来的AI智能体产品提供动力。它在概念上类似于谷歌的TPU，但专为OpenAI的技术栈设计。TPU同时用于训练和推理，而Jalapeño似乎仅限于推理，训练工作可能仍由GPU完成。

OpenAI表示，在与博通的合作下，该芯片从设计到完成制造流片仅用了9个月，成为先进半导体领域最快的ASIC开发周期。Jalapeño是一个计算平台的一部分，该平台将跨越多代芯片。该平台预计于2026年底开始部署。关于芯片本身的技术细节尚未公布，仅知其采用当代多芯片模块设计，带有中介层，中央是一块大型逻辑芯片，两侧各配备8颗HBM3E高带宽内存堆栈。

OpenAI强调，Jalapeño是一款专用推理ASIC，而非重新利用的训练加速器或通用AI处理器。OpenAI表示，Jalapeño的架构基于其对大语言模型行为的理解而设计，旨在解决大规模推理中实际存在的瓶颈问题，包括昂贵的数据搬运、计算与内存资源之间的平衡、网络效率以及整体表现。该处理器的设计旨在实现高吞吐量与低延迟的结合（这也是它采用大型计算芯粒和HBM内存，而非像许多其他推理加速器那样使用更便宜的DRAM类型的原因），这对于推理和智能体工作负载将尤为有用。

此外，OpenAI和博通声称，该处理器比传统AI加速器具有更高的有效利用率，性能接近理论最大值，这意味着在成本和功耗两方面都具有极高的效率。不过，两家公司并未披露Jalapeño ASIC的具体性能目标。

两家公司还声称，早期内部测试表明Jalapeño的每瓦性能显著优于"当前最先进的硬件"，但未公布任何具体数字、基准测试、内存配置或其他细节。