OpenAI的Jalapeño推理芯片

Jalapeno是从头设计的专用推理ASIC，而非由训练芯片改造而来。OpenAI明确表示：“我们设计Jalapeno的目标是最大限度减少数据移动和通信延迟。”^[1]其核心理念是统一的预填充-解码架构——与大多数GPU推理堆栈将生成响应的两个阶段分配到不同硬件池不同，Jalapeno在同一块芯片上处理这两个阶段，并将HBM内存就近布置在所需计算单元旁。每个封装包含六个HBM4堆栈，总计216 GiB内存和15.4 TB/s带宽，该设计可从128加速器机架扩展至2,048芯片的集群，提供约27 EFLOP/s的总计算能力。^[2]快速实现同样重要：OpenAI使用自身模型（包括Codex）协助编写和调优芯片的Gluon语言内核——部分内核经手动优化至约3,000行，并辅以自定义正确性检查器——据报道这使SIMD面积减少8%，矩阵引擎面积减少10%，这也是团队能在约九个月内完成从RTL冻结到流片的关键因素之一。^[3]

构建定制推理芯片的最大理由并非原始算力，而在于推理不同于训练，它是一项随每次用户查询而持续发生的运营成本，因此能效才是最终体现在账单上的关键指标。^[4]Jalapeno的700W封装TDP（测试中持续功耗通常更低）相比Nvidia GB200的1,200W、GB300的1,400W以及AMD MI355X的1,400W，正是这一差异带来了报告中1.5至1.9倍的每千瓦时吞吐量提升。Broadcom首席执行官Hock Tan更进一步声称，Jalapeno的推理运行成本约为典型AI GPU的一半——这一说法来自Broadcom自身，并非经过独立审计的数据。^[5]然而，这一成本优势是否能在OpenAI选定的测试条件之外成立，正是当前整个行业争论的核心问题。

OpenAI在其发布的Jalapeno数据中使用了SemiAnalysis公开的InferenceX套件，测试了其GPT-OSS-120B模型，并与DeepSeek R1和月之暗面AI的Kimi K2.5模型一起对比Nvidia的GB200和GB300系统。^[6]这也正是质疑的核心所在：尽管SemiAnalysis自身的分析结论认为Jalapeno在几乎所有测试场景中均优于Blackwell，但其明确指出所有基准数据均由OpenAI自行提供，且Blackwell可能并非合适的比较对象——Jalapeno基于HBM4的设计更直接对标的是Nvidia更新的Rubin芯片，而后者完全未被纳入测试。Reddit社区的反应大致相同：评论者普遍认可能效数据是一项真正的工程成就，但也指出这实质上是一场厂商演示，由OpenAI工程师现场操作、使用其选定的模型，在单轮次、固定长度的工作负载下运行，可能无法代表更复杂的真实世界代理式应用场景。还有多人指出，该发布时间恰逢Nvidia财报发布前一周，时间点令人怀疑。在X平台上，半导体分析师Dylan Patel表示自己曾直接进入实验室拆解该芯片，称结果为“重大新闻”，并认为对于第一代芯片而言实属罕见，即便底层数据仍由OpenAI提供，这也赋予了一定程度的独立可信度。

社交媒体上的叙事明显聚焦于竞争故事——OpenAI自身的公告帖获得超过14,000个赞，一篇广泛传播的帖子甚至声称Nvidia的黄仁勋已公开回应此对比（该说法未获其他独立证实），这本身就表明此事被解读为OpenAI与Nvidia之间的对决，而非一次单纯的硬件升级。CNBC援引的分析师指出，Jalapeno可能在快速增长的推理市场中挤压Nvidia的利润率，并降低OpenAI对Nvidia硬件在部分工作负载上的依赖。^[7]但更低调的事实是，OpenAI并未放弃Nvidia：它仅计划在2026年底前在其自有基础设施中以极小规模部署Jalapeno，有意义的部署要到2027年才会开始，同时将继续并行采购Nvidia硬件。^[8]因此，Jalapeno首先是增量产能和议价筹码，全面替代仍是更遥远且不确定的故事。

即使Jalapeno的数据经得起独立审查，其短期内的影响也受限于实际供应瓶颈。TSMC用于Jalapeno HBM4堆栈（据称来自三星）的先进封装产能已排满至2026年，这一瓶颈是OpenAI与Google和Meta自身定制芯片项目共同面临的。^[9]这与Google的TPU项目如出一辙，后者历经约十年迭代才推出专用于推理的Ironwood芯片——Jalapeno凭借异常快速的九个月设计周期，起点明显更高，但它仍是一款第一代产品，进入一个首代芯片通常难以立即具备竞争力的行业。OpenAI表示，其已在开发Jalapeno的第二代和第三代产品，暗示真正的回报（如果存在）将在数个芯片周期后显现，而非此次小规模初期部署中。^[10]