OpenAI veröffentlicht Benchmark-Daten zu Jalapeño und zeigt Effizienzgewinne gegenüber Nvidia GB300

Benchmark-Ergebnisse und Inferenzleistung

Auf der Hot Chips-Konferenz am Dienstag präsentierte OpenAI die ersten Leistungsbenchmarks für Jalapeño, seinen maßgeschneiderten KI-Inferenzprozessor. Tests, die mit dem SemiAnalysis InferenceX-Benchmark durchgeführt wurden, verglichen den Prozessor mit Nvidia-GB200- und GB300-Systemen anhand von drei großen Sprachmodellen: GPT-OSS 120B, DeepSeek R1 und der 1-Billionen-Parameter-Version von Kimi K2.5. Jalapeño lieferte zwischen 1.5- und 1.9-mal mehr KI-Arbeit pro Watt als die Vergleichshardware bei Spitzenleistung. Die Antwortlatenz verringerte sich um einen Faktor zwischen 1.7 und 3.6 bei den bewerteten Modellen, wobei der größte Leistungsunterschied bei Kimi K2.5 beobachtet wurde. Richard Ho, Vizepräsident für Hardware bei OpenAI, erklärte, dass der Chip sowohl einen höheren Durchsatz als auch eine geringere Latenz gleichzeitig erreichte.

Unterm Strich zeigen die Ergebnisse einen sehr, sehr bedeutenden Leistungsfortschritt gegenüber dem Stand der Technik.

Architektur und Leistungsaufnahme

Jalapeño ist ein anwendungsspezifischer integrierter Schaltkreis, der in Zusammenarbeit mit Broadcom und Celestica entwickelt wurde. OpenAI verwendete während der Entwicklung seine eigenen KI-Modelle und schloss den Designprozess vom ersten Konzept bis zum endgültigen Silizium in neun Monaten ab. Der Prozessor hat eine nominale Leistungsaufnahme von 700 Watt, während die Dauerleistung während der Benchmark-Tests unter 550 Watt blieb. Im Vergleich dazu verbrauchen Nvidia-GB200-Systeme 1.200 Watt und GB300-Systeme 1.400 Watt. Jalapeño ist ausschließlich für Inferenzaufgaben und nicht für das Modelltraining ausgelegt, optimiert die Speicherverwaltung und das lokale Key-Value-Caching, um Datenübertragungsverzögerungen während der Prefill- und Kommunikationsphasen zu reduzieren. Die unabhängige Analysefirma SemiAnalysis stellte fest, dass Tests gegen Hardware der Blackwell-Generation vor Vergleichen mit Nvidias neuerer Rubin-Architektur erfolgen.

Bereitstellungsplan und generationsübergreifende Roadmap

OpenAI plant, Jalapeño in begrenzten Stückzahlen in seiner internen Rechenzentrumsinfrastruktur vor Ende 2026 einzusetzen, gefolgt von einer erweiterten Stückzahl im Jahr 2027 und einer Großserienproduktion im vierten Quartal 2027. Das Unternehmen entwickelt derzeit einen Chip der zweiten Generation, der in den kommenden Monaten Tape-out haben soll, während sich eine dritte Iteration in der Konzeptphase befindet. OpenAI bestätigte, dass es keine Pläne gibt, Jalapeño-Chips an externe Kunden zu verkaufen, und reserviert die gesamte Produktion für den Betrieb von Diensten wie ChatGPT, Codex, der öffentlichen API und Agentenprodukten. Die multi-generationale Plattform ermöglicht es OpenAI, Algorithmen, Speichersysteme und physische Prozessoren gemeinsam zu entwickeln, um zukünftige Modellanforderungen zu erfüllen.

Lieferantenbeziehungen und Branchenkontext

Da Jalapeño keine neuen Modelle trainieren kann, bleibt OpenAI für seine breitere Recheninfrastruktur auf externe Halbleiterlieferanten angewiesen. Die Unternehmensführung bekräftigte, dass kommerzielle Beschleuniger anderer Anbieter weiterhin die Trainings-Workloads neben dem proprietären Inferenz-Silizium antreiben werden.

Wir werden eine Menge Rechenleistung brauchen. Und Jalapeño ist ein Teil davon. Cerberus ist ein Teil davon. Nvidia ist ein Teil davon. AMD ist ein Teil davon.

Der kundenspezifische Hardware-Ansatz folgt ähnlichen Entwicklungen in der Branche, wobei Anthropic eigene Siliziumchips entwickelt, Google mit Marvell über kundenspezifische Inferenzchips verhandelt und Amazon sowie Microsoft proprietäre Prozessoren betreiben. In der Zwischenzeit hat die Europäische Union 20 Milliarden Euro für KI-Gigafabriken bereitgestellt, die kommerzielle Hardware auf dem freien Markt kaufen, zeitgleich mit Serverpreiserhöhungen von mehr als 15 %, die von Nvidia angekündigt wurden.