听OpenAI在Hot Chips上介绍，Jalapeño为什么这么辣

在英伟达发布财报前，OpenAI端出了自研AI芯片Jalapeño（墨西哥辣椒）。真够辣的。

如果只看单芯片参数，它似乎也没那么强。无论是HBM容量还是峰值算力，Jalapeño都没有压过当前的英伟达旗舰GB300，更不用说即将量产的Rubin。但OpenAI显然没有把竞争的赌注押在这里。

但它足够省电。对于正在遭遇电力瓶颈的美国AI产业来说，能效的意义远不只是降低每个token的成本。在电力总量有限的情况下，就可以承载更多推理请求。这也意味着更快的产能扩张与市场覆盖，将用户“抢过来”。

从纸面指标看，Jalapeño的单位能耗算力约为19.1 FLOPS/W，接近GB300的2倍；单位能耗带宽约22 GB/s/W，则达到后者的约4倍。在实测中，低并发运行DeepSeek R1时，Jalapeño可以做到约700 token/s/用户，比当前最佳水平快约4倍。

但单纯的快，也不是OpenAI的赌注；在并发拉高后，它的每千瓦吞吐量也高于当前水平的1.7倍。这相当于，把AI推理经济的帕累托前沿，整体向外移动了。

更激进地看，它其实瞄准的是英伟达所在的通用GPU的市场，而不是极限交互速度的Groq、Cerebras或Taalas这样特定场景的市场。未来，可能会形成Jalapeño+Cerebras与Rubin+LPU竞争OpenAI内部算力结构的趋势。

在Hot Chips 2026现场，OpenAI还特别强调，Jalapeño显然不是专门针对DeepSeek或Kimi的某个模型进行特调。但它也不是一颗脱离AI模型、只在纸面上设计出来的通用芯片。

事实上，从底层设计（RTL）到最终流片（Tape out），Jalapeño短短9个月的研发过程，以及目前实际跑起来，展示了AI与芯片之间至少存在三重关系：AI工作负载决定芯片架构方向、AI参与芯片本身电路设计、AI帮助芯片更好地适配软件与部署模型。

最值得关注的，是第一层关系：真实的AI工作负载，直接进入芯片设计与验证迭代的闭环。

模型公司进入芯片行业之后，它真正拥有的优势不是AI辅助设计芯片的经验，而是对真实AI工作负荷的第一手控制权，以及能够用AI自己优化整个软硬件系统的能力：模型产生工作负载 ，工作负载塑造芯片，芯片运行模型，AI分析运行结果，再反过来修改软件和硬件。而它的短板，在于缺乏长期积累的供应链地位。

OpenAI在“重新”设计芯片，针对一个请求从开始到结束的完整生命周期，而不是针对某一个阶段的峰值算力做优化。

在它看来，传统的预填充（Prefill，处理输入提示词）与解码（Decode）的阶段划分，已经不够细致了。预填充仍然是计算密集型的阶段，但是，这一环节之后的解码，事实上包括网络延迟敏感的草图（Draft，推测性解码）阶段，与带宽敏感且偶尔伴随突发性MOE通信需求的验证（Verify，验证草图的正确性）阶段。

这三种完全不同的工作负荷，在不同的应用场景下，占比事实上一直在变化。这意味着，如果针对三个阶段分别采用专用的异构算力硬件，固定配比的计算集群很容易出现资源错配：当工作负荷比例发生变化时，总会有一部分硬件处于闲置或低利用率状态。即使这些芯片没有承担有效计算，它们仍然需要消耗基础功耗。

而且，数据一旦跨硬件移动，就会同时带来额外的网络带宽消耗、同步、排队和故障域，而且上下文越长，KV缓存越大，这笔成本就越高。通信开销反而会吃掉高效解码节省的时间。

OpenAI选择是，不拆分这些环节。但是，它不是重新走向通用，而是把“专用化”从芯片之间的固定分工，变成芯片内部可以动态调整的资源组合。

这背后其实是一个“移动数据，还是移动算力”的选择。传统的异构推理架构，让请求在不同专用芯片之间流动，KV缓存也往往需要随着请求在不同系统之间转移。但是，既然KV缓存如此重要，为什么不把它留在本地，让算力去适应数据？Jalapeño给出的答案，可以概括为“本地为王”。让计算、内存和网络单元的活跃组合，根据不同阶段的需求，在同一颗芯片内部采用“门控”动态调整。

大致来看，它首先把Core和HBM划分成多个slice，让负责计算的Core和负责存储的HBM在物理上彼此靠近。每个Core slice都能以低延迟访问自己对应的HBM，也就是本地视图（Local View）。当多个Core需要张量并行等跨核心协作时，数据才进入高带宽、低延迟的Collective Network；其他普通数据流走通用通信网络（General NoC）；跨机架的纵向扩展，则通过以太网桥接。就这样，Jalapeño芯片在本地机架内实现128芯片纵向扩展，跨机架实现2048芯片的全局纵向扩展。

在SemiAnalysis的分析博客中，还提到Jalapeño采用了带L1 Cache的乱序执行（OoO）Core。它的目的，是减少计算单元因为等待数据而产生的“空转”。如果一批数据还没回来，OoO核心可以先执行其他已经准备好的工作；L1 Cache则可以把近期需要重复访问的数据保留在Core附近，减少访问更远内存的次数。

但这也带来了一个新的问题。传统加速器通常把数据什么时候搬、搬到哪里、什么时候同步，更多交给软件和编译器显式安排；Jalapeño把其中一部分交给了硬件。那么，谁来告诉硬件下一步需要什么数据，并把它及时准备好？

这恰恰是OpenAI可以用AI来补上的地方。SemiAnalysis认为，OpenAI可以利用Codex和完善的Harness来解决这个问题：让AI读取芯片运行产生的详细Trace，找出数据等待和缓存未命中等性能瓶颈，再不断调整Kernel和预取策略。这相当于把过去依赖工程师经验的性能调优，变成一个可以由AI反复试错和优化的过程。

OpenAI一直都在强调AI如何辅助芯片设计，但真正值得关注的范式转移，可能并不在于AI替工程师完成多少布线，而在于AI开始参与决定一颗芯片应该“长什么样”。真实工作负载可以进入设计闭环，让芯片架构在不断测量、验证和试错中逐渐“长出来”。这才是OpenAI这种模型公司进入芯片设计后，真正可能让英伟达等传统芯片厂商需要重新思考的地方。

不过，到目前为止，Jalapeño公开展示的性能，还无法证明自己能够在所有AI工作负载上击败英伟达的GPU。尤其是长上下文、复杂智能体工作流，才是真正的压力测试。

但这恰恰也是它最值得观察的地方。Jalapeño究竟有多辣，第一代的性能或许还不足以回答；但如果这个闭环真的成立，它肯定会越来越辣。OpenAI计划在2026年底开始部署Jalapeño，而公司已经明确表示，第二代正在深入开发，第三代也已经开始成形。