OpenAIs Jalapeño-Chip schlägt Nvidia in ersten Benchmarks

OpenAI nutzte die Hot-Chips-Konferenz am Dienstag, den 25. August 2026, um den bisher detailliertesten Einblick in Jalapeño zu geben, den Inferenz-Chip, den das Unternehmen intern entwickelt, und veröffentlichte die erste Runde von Benchmark-Ergebnissen für das neue System. Getestet mit dem InferenceX-Benchmark von SemiAnalysis, erzielte Jalapeño sowohl mehr Tokens pro Nutzer als auch einen höheren Durchsatz pro Kilowatt als die derzeit besten verfügbaren Inferenz-Prozessoren — das erste Mal, dass OpenAI seine Chip-Strategie mit öffentlichen Zahlen untermauert.

Unterm Strich zeigen die Ergebnisse einen sehr, sehr deutlichen Leistungsfortschritt gegenüber dem Stand der Technik. Jalapeño kann mehr KI-Arbeit pro Energieeinheit leisten und gleichzeitig schneller antworten. Das ist sehr effizient, um viele Kunden zu bedienen, kann aber auch eine sehr niedrige Latenz bieten.

Wie Jalapeño im Vergleich zu Nvidias Blackwell abschneidet

Der von OpenAI veröffentlichte Vergleich wurde gegen ein System auf Basis von Nvidias Blackwell-Architektur durchgeführt, die derzeit als Branchenreferenz für groß angelegte KI-Inferenz gilt. Richard Ho, OpenAIs Vice President für Hardware, sagte gegenüber Journalisten, Jalapeño biete das, was er "das Beste aus beiden Welten" nannte — niedrigere Latenz und höheren Durchsatz gleichzeitig —, während KI-Systeme normalerweise zwischen beidem abwägen müssen. OpenAI selbst räumt ein, dass der Vergleich nur eine Momentaufnahme ist: Bis Jalapeño vollständig eingesetzt wird, dürfte auch die Konkurrenzhardware deutlich weiterentwickelt sein.

• 1,5- bis 1,9-mal mehr KI-Arbeit pro Watt als die zum Vergleich herangezogenen Nvidia-Systeme GB200 und GB300, gemessen an den Modellen GPT-OSS 120B, DeepSeek R1 und Kimi K2.5 1T
• 1,7- bis 3,6-mal niedrigere End-to-End-Latenz bei denselben drei Modellen
• Getestet mit InferenceX, einer von SemiAnalysis entwickelten Testplattform, die misst, wie KI-Systeme mit Inferenz-Workloads umgehen
• Verglichen mit den zum Testzeitpunkt besten öffentlich verzeichneten Ergebnissen, erzielt mit Nvidias Superchips GB200 und GB300

Entwickelt mit Broadcom, und mit OpenAIs eigenen Modellen

Jalapeño wurde von OpenAI in enger Zusammenarbeit mit Broadcom entwickelt, und das Unternehmen erklärt, dass seine eigenen Modelle am Entwicklungsprozess des Chips beteiligt waren. OpenAI stellt Jalapeño als Beginn einer mehrgenerationalen Plattform dar, bei der KI-Produkte, Modelle, Chips und Speicher gemeinsam entworfen werden, statt den Chip nachträglich an das jeweilige Modell anzupassen. Dieser "Full-Stack"-Ansatz habe es den Ingenieuren erlaubt, gezielt Phasen des Inferenzprozesses anzugehen, die häufig Reibung erzeugen — allen voran das "Prefill", die Phase, in der das System alles verarbeitet und interpretiert, was ein Nutzer gesendet hat, sowie den darauffolgenden Kommunikationsschritt, der mit zunehmender Auslastung oft zum Engpass wird.

Wir haben Jalapeño so entwickelt, dass Datenbewegungen und Kommunikationsverzögerungen minimiert werden. Das bedeutet, dass der Modellzustand, einschließlich des beim Generieren einer Antwort verwendeten KV-Caches, gezielt platziert und lokal gehalten werden kann, während das System für jede Inferenzphase die richtige Kombination aus Rechenleistung, Speicher und Netzwerk aktiviert.

Ein kleiner erster Einsatz, keine vollständige Abkehr von Nvidia

Ho sagte, Jalapeño solle bis Ende 2026 "in sehr kleinen Stückzahlen" zum Einsatz kommen, ein umfangreicherer Rollout sei für 2027 geplant; wie viele Chips OpenAI im kommenden Jahr einsetzen will, wurde nicht genannt. Trotz der Benchmark-Ergebnisse stellte Ho klar, dass OpenAI nicht plant, seine gesamte Rechenflotte durch Jalapeño zu ersetzen. Die übergreifende Rechenstrategie des Unternehmens umfasse weiterhin "sehr gute Partner", darunter Nvidia, und OpenAI wolle die zweite und dritte Generation des neuen Chips weiterentwickeln, während es zugleich weiter bei etablierten Lieferanten einkauft.

Jalapeño selbst war bereits früher im Jahr öffentlich bekannt gegeben worden — die Angaben zum genauen Datum gehen auseinander, manche nennen Oktober 2025 als ersten Ankündigungstermin, andere Juni 2026 —, bevor die Veranstaltung am Dienstag die ersten belastbaren Leistungszahlen zur Untermauerung des ursprünglichen Versprechens lieferte. OpenAI will die Plattform Generation für Generation weiterentwickeln, wobei Hardware, Speicher und Netzwerk gemeinsam abgestimmt statt getrennt beschafft werden.

Was das für deutsche Unternehmen ändert, die KI im Produktivbetrieb einsetzen

Für jedes deutsche Unternehmen, dessen Produkt auf gemieteter KI-Inferenzkapazität läuft, zählt Jalapeño weniger als Chip zum Kauf — OpenAI verkauft ihn nicht an externe Kunden — sondern mehr als Signal dafür, wohin sich Inferenzkosten und Latenz in den nächsten zwei bis drei Jahren entwickeln. Cloud-Anbieter und KI-Labore, die im Wettlauf um niedrigere Kosten pro Token stehen, geben Effizienzgewinne mit der Zeit meist an Kunden weiter, etwa durch günstigere API-Preise oder schnellere Antworten zum gleichen Preis. Deutsche Unternehmen, die derzeit für GPU-basierte Inferenzkapazität zahlen und abwägen, ob sie sich langfristig an Nvidia-basierte Cloud-Anbieter binden sollen, haben nun einen weiteren konkreten Hinweis darauf, dass die heutigen Preise und Latenzen keine feste Untergrenze darstellen — und dass die Abhängigkeit von einem einzigen Anbieter für Inferenz-Hardware bis 2027 anders aussehen könnte.