OpenAI推理芯片Jalapeño首份基准测试全面超越英伟达

2026年8月25日星期二,OpenAI借Hot Chips大会之机,首次较为详细地展示了其自主研发的推理芯片Jalapeño,并公布了这款新系统的第一批基准测试结果。在SemiAnalysis的InferenceX基准测试中,Jalapeño在每用户处理的令牌数量和每千瓦吞吐量两项指标上,均超过了目前市面上最好的推理处理器——这是OpenAI首次用公开数据支撑其自研芯片战略。

总的来说,这些结果表明,与当前最先进水平相比,性能实现了非常、非常显著的提升。Jalapeño能够以更少的能耗处理更多的AI工作量,同时更快地返回响应。它既能高效服务大量客户,也能实现非常低的延迟。

Jalapeño与英伟达Blackwell的对比

OpenAI公布的对比对象,是基于英伟达Blackwell架构构建的系统——目前该架构是大规模AI推理领域的行业标杆。OpenAI硬件副总裁理查德·霍对记者表示,Jalapeño实现了他所说的“两全其美”:同时具备更低的延迟和更高的吞吐量,而AI系统通常只能在两者之间做取舍。OpenAI自己也承认,这一对比只是某一时刻的快照:等到Jalapeño全面部署时,竞争对手的硬件很可能也会取得显著进步。

• 在GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T等模型上,每瓦特处理的AI工作量是作为对比的英伟达GB200和GB300系统的1.5至1.9倍
• 在同样这三款模型上,端到端延迟降低1.7至3.6倍
• 基准测试使用InferenceX平台,该平台由SemiAnalysis开发,用于衡量AI系统处理推理工作负载的能力
• 对比对象是测试当时公开记录的最佳成绩,使用的是英伟达的GB200和GB300超级芯片

与博通合作开发,并用上了OpenAI自家模型

Jalapeño由OpenAI与博通(Broadcom)密切合作开发,OpenAI表示其自研模型也参与了芯片的开发过程。OpenAI将Jalapeño定位为一个跨多代产品的平台的起点,在这个平台上,AI产品、模型、芯片和内存被一同设计,而不是事后再让芯片去适配某个模型。OpenAI表示,这种“全栈”方式让工程师能够针对推理过程中经常产生摩擦的特定阶段进行优化——首先是“预填充”(prefill)阶段,即系统处理和理解用户发送的全部内容的阶段;其次是紧随其后的通信环节,随着工作负载扩大,这一环节往往会成为瓶颈。

我们设计Jalapeño的目的,是最大限度减少数据移动和通信延迟。这意味着模型状态——包括生成响应过程中使用的KV缓存——可以被明确地放置并保留在本地,同时系统会针对每个推理阶段激活计算、内存和网络的合适组合。

首批小规模部署,而非全面弃用英伟达

霍表示,预计到2026年底,Jalapeño将“以非常小的规模”投入部署,更大规模的落地将在2027年展开;OpenAI没有透露明年计划部署多少芯片。尽管基准测试结果亮眼,霍明确表示OpenAI并不打算用Jalapeño取代其全部计算集群。他说,公司整体的计算战略仍将包括“非常优秀的合作伙伴”,其中就包括英伟达,OpenAI打算继续开发新芯片的第二代和第三代产品,同时继续向现有供应商采购。

Jalapeño本身早在今年早些时候就已公开亮相——关于具体时间,不同报道说法不一,有的将首次公布定在2025年10月,有的则定在2026年6月——直到本周二的活动,才首次给出了支撑最初设想的实打实的性能数据。OpenAI希望这一平台能够代代演进,硬件、内存和网络协同调优,而不是各自独立采购。

这对中国企业运营中的AI业务意味着什么

对于依赖租用AI推理算力来运营产品的中国企业而言,Jalapeño的意义与其说是一款可以购买的芯片——OpenAI并不向外部客户出售这款芯片——不如说是一个信号,预示着未来两到三年推理成本和延迟可能的走向。在压低单个令牌服务成本上相互竞争的云服务商和AI实验室,通常会随着时间推移,通过更低的API价格或同价位下更快的响应速度,把效率提升的红利传导给客户。目前为基于GPU的推理算力付费、并在权衡是否与以英伟达为基础的云服务商签订长期合约的中国企业,如今又多了一项具体证据,表明当前的价格和延迟水平并非固定上限——而对单一推理硬件供应商的依赖程度,到2027年可能会呈现不同的局面。