OpenAI的Jalapeño推理芯片与Nvidia Blackwell的基准测试对比

2026年8月25日，OpenAI在Hot Chips 2026大会上发布了Jalapeño的首个公开基准测试结果，使用的是SemiAnalysis的InferenceX测试套件，而非其自研基准 ^[1]。该芯片是基于台积电N3P工艺的700瓦TDP ASIC，单芯片提供13.4 petaFLOPS的MXFP4矩阵计算能力，配备216 GB HBM4内存，带宽达15.4 TB/s；单机架容纳128颗芯片，OpenAI的完整参考系统可扩展至2,048颗芯片，提供27 exaFLOP/s算力和432 TiB共享内存 ^[2]。在OpenAI公布的两个旗舰工作负载GPT-OSS 120B和DeepSeek R1 670B上，Jalapeño的峰值混合tokens/秒/千瓦性能分别比Nvidia GB200高出1.9倍和1.7倍，端到端延迟则分别降低1.7倍和3.6倍 ^[2]。

效率差距源于一项特定的架构设计：OpenAI设计该芯片以最小化数据移动，使模型状态（包括在响应流式输出时生成的KV缓存）能够显式地放置并保持本地化，而非在系统间频繁传输 ^[3]。这使得OpenAI能够宣称实现了GPU传统上难以同时实现的目标——在同一硬件上实现高吞吐量和低延迟，OpenAI硬件负责人Richard Ho将此描述为对现有技术水平的重大性能突破 ^[1]。据报道，后续的B0版硅片比早期的A0版在每瓦性能上又提升了约25% ^[4]。

Jalapeño自身披露的时间线几乎与其基准测试成绩一样引人注目：架构概念工作始于2024年底，2025年完成RTL冻结，2025年底完成流片，到2026年初，OpenAI的Codex模型已在早期硅片上运行 ^[2]。对于一款从零开始的推理ASIC而言，这一周期异常紧凑，也符合OpenAI首次公布与Broadcom合作时所确立的定位：OpenAI不再仅仅是一家模型公司，而是正在构建其产品底层的基础设施，涵盖芯片架构、内核、内存系统、网络和调度 ^[5]。

围绕Hot Chips演讲的社交讨论将这种速度本身视为故事的一部分，工程师们描述了一种AI辅助的协同设计循环，以及AI生成的内核代码在某些关键模块上优于人工调优的实现。无论这是否完全解释了紧凑的时间表，它都与OpenAI构建Jalapeño的明确理由一致：为单一公司高度明确且可重复的推理工作负载进行设计，使更小的团队能够比服务于所有客户的通用GPU路线图更快地推进。

‘击败Nvidia’这一标题式说法存在真实但重要的保留意见，SemiAnalysis——其InferenceX基准测试被用于此次测试——谨慎地指出了这些。所有公布的数据均来自OpenAI；SemiAnalysis表示，其在OpenAI实验室现场验证了InferenceX的运行，但并未独立执行完整的基准测试套件 ^[6]。更关键的是，SemiAnalysis指出，与Blackwell的比较在某种程度上是不完整且不公平的，因为Jalapeño真正的竞争对手是Nvidia即将推出的Rubin平台 ^[6]。然而，SemiAnalysis自己的解读仍是，Jalapeño在几乎所有场景下的每瓦性能均优于Blackwell，且未针对任何特定点进行调优 ^[6]。

这种张力——真实的效率提升，却与跳过实际下一代竞争对手的基准测试对比——也体现在社区反应中，该芯片被视为厂商演示，直到有独立方复现结果；人们反复质疑，排除Rubin是否使比较对OpenAI有利。另一条讨论线质疑，为当前基于Transformer的推理量身定制的ASIC是否会随着模型架构的演变而迅速过时，而OpenAI自身的定位则隐含地回应了这一担忧：其目标是将通用的Transformer风格推理视为稳定的工作负载，而非押注于某一特定模型家族。

Jalapeño背后的战略逻辑早于基准测试两个月：2026年6月24日，OpenAI与Broadcom首次公布合作，目标是为千兆瓦级数据中心部署定制芯片，容量约为10吉瓦 ^[7]。其根本动机在于成本与议价能力——历史上，Nvidia等芯片制造商在AI硬件上的利润率高达75%，即使少量自研推理芯片也能增强OpenAI对供应商的谈判地位 ^[8]。推理也比训练更适合定制芯片：在OpenAI的规模下，推理工作负载庞大、稳定且可重复，这正是Jalapeño明确不设计用于训练模型的原因 ^[9]。

分析师普遍认为这些结果对Nvidia的经济模式具有重要意义；Yole Group的一位分析师认为，结果表明超大规模企业设计的芯片现在可以在推理效率上匹敌甚至超越Nvidia的Blackwell级GPU，尽管Nvidia仍占据大部分AI计算份额和CUDA生态锁定，但这对其快速增长的推理利润率构成了真正威胁 ^[8]。Nvidia首席执行官Jensen Huang公开淡化了这一威胁，指出许多项目启动后最终被取消，并以Nvidia自身不断增长的市场份额和加速的收入作为其地位未受威胁的证据 ^[10]。目前，实际影响有限：Jalapeño的初始生产计划于2026年底小批量进行，未来约18个月内，OpenAI的大部分推理流量仍将依赖Nvidia硬件 ^[8]。