OpenAI推論晶片Jalapeño首份基準測試全面超越輝達

2026年8月25日星期二,OpenAI藉由Hot Chips大會,首度較為詳細地展示了自主研發的推論晶片Jalapeño,並公布了這款新系統的第一批基準測試結果。在SemiAnalysis的InferenceX基準測試中,Jalapeño在每位使用者處理的權杖(token)數量與每千瓦吞吐量兩項指標上,都超越了目前市面上最好的推論處理器——這是OpenAI首次以公開數據支持其自研晶片策略。

總的來說,這些結果顯示,相較於目前最先進的水準,效能實現了非常、非常顯著的提升。Jalapeño能以更少的能耗處理更多AI工作量,同時更快傳回回應。它既能高效服務大量客戶,也能提供非常低的延遲。

Jalapeño與輝達Blackwell的比較

OpenAI公布的比較對象,是以輝達Blackwell架構打造的系統——目前該架構是大規模AI推論領域的業界標竿。OpenAI硬體副總裁理查德・霍向記者表示,Jalapeño實現了他所稱的「魚與熊掌兼得」:同時具備較低延遲與較高吞吐量,而AI系統通常只能在兩者之間取捨。OpenAI自己也承認,這項比較只是某一時間點的快照:等到Jalapeño全面部署時,競爭對手的硬體很可能也已大幅進步。

• 在GPT-OSS 120B、DeepSeek R1與Kimi K2.5 1T等模型上,每瓦特處理的AI工作量是作為比較對象的輝達GB200與GB300系統的1.5至1.9倍
• 在同樣這三款模型上,端到端延遲降低1.7至3.6倍
• 基準測試使用InferenceX平台,該平台由SemiAnalysis開發,用於衡量AI系統處理推論工作負載的能力
• 比較對象為測試當下公開記錄的最佳成績,使用輝達的GB200與GB300超級晶片

與博通合作開發,並運用了OpenAI自家模型

Jalapeño由OpenAI與博通(Broadcom)密切合作開發,OpenAI表示其自研模型也參與了晶片的開發過程。OpenAI將Jalapeño定位為跨多世代平台的起點,在這個平台上,AI產品、模型、晶片與記憶體會一併設計,而非事後再讓晶片去配合某個模型。OpenAI表示,這種「全端」做法讓工程師得以針對推論過程中經常產生摩擦的特定階段進行優化——首先是「預填充」(prefill)階段,也就是系統處理並解讀使用者傳來所有內容的階段;其次是隨之而來的通訊環節,隨著工作負載擴大,這個環節往往會成為瓶頸。

我們設計Jalapeño的目的,是盡可能減少資料搬移與通訊延遲。這代表模型狀態——包括產生回應過程中使用的KV快取——可以被明確安置並保留在本地端,同時系統會針對每個推論階段啟動運算、記憶體與網路的合適組合。

首批小規模部署,而非全面棄用輝達

霍表示,預計到2026年底,Jalapeño將「以非常小的規模」投入部署,更具規模的落地將在2027年展開;OpenAI並未透露明年計劃部署多少晶片。儘管基準測試結果亮眼,霍明確表示OpenAI並不打算以Jalapeño取代整個運算叢集。他說,公司整體的運算策略仍會包含「非常優秀的合作夥伴」,其中包括輝達,OpenAI打算持續開發新晶片的第二代與第三代,同時也會繼續向既有供應商採購。

Jalapeño本身早在今年稍早就已公開亮相——關於確切時間,不同報導說法不一,有的將首次公布定在2025年10月,有的則定在2026年6月——直到本週二的活動,才首度提出支持最初構想的具體效能數據。OpenAI希望這個平台能夠世代演進,硬體、記憶體與網路協同調校,而非各自獨立採購。

這對台灣企業導入AI實際運作有何影響

對於仰賴租用AI推論算力來營運產品的台灣企業而言,Jalapeño的意義與其說是一款可購買的晶片——OpenAI並未向外部客戶出售這款晶片——不如說是一項訊號,預示未來兩到三年推論成本與延遲可能的走向。在壓低單一權杖服務成本上相互競爭的雲端服務商與AI實驗室,通常會隨著時間推移,透過更低的API價格或相同價位下更快的回應速度,把效率提升的紅利轉嫁給客戶。台灣身為全球半導體供應鏈的關鍵一環,不少企業目前正為採用GPU的推論算力付費,並在評估是否與以輝達為基礎的雲端服務商簽訂長期合約,如今又多了一項具體證據,顯示當前的價格與延遲水準並非固定上限——而對單一推論硬體供應商的依賴程度,到2027年可能會呈現不同的局面。