OpenAI prezentuje dane z testów procesora Jalapeño, wskazujące na wyższą wydajność niż w systemach Nvidia GB300

Wyniki testów i wydajność wnioskowania

Podczas wtorkowej konferencji Hot Chips firma OpenAI zaprezentowała pierwsze testy wydajnościowe Jalapeño, swojego autorskiego procesora do wnioskowania w dziedzinie sztucznej inteligencji. Badania przeprowadzone w oparciu o benchmark SemiAnalysis InferenceX oceniły procesor w zestawieniu z systemami Nvidia GB200 i GB300 przy użyciu trzech dużych modeli językowych: GPT-OSS 120B, DeepSeek R1 oraz wersji modelu Kimi K2.5 z 1 bilionem parametrów. Jalapeño dostarczył od 1,5 do 1,9 razy więcej pracy AI na wat niż porównywany sprzęt przy szczytowej wydajności. Opóźnienia odpowiedzi spadły od 1,7 do 3,6 raza w zależności od modelu, przy czym największą przewagę odnotowano w przypadku Kimi K2.5. Richard Ho, wiceprezes ds. sprzętu w OpenAI, stwierdził, że układ osiągnął jednocześnie wyższą przepustowość i niższe opóźnienia.

Wniosek jest taki, że wyniki pokazują bardzo, bardzo znaczący postęp wydajnościowy względem obecnego stanu techniki.

Architektura i specyfikacja zasilania

Jalapeño to układ scalony typu ASIC opracowany we współpracy z firmami Broadcom i Celestica. OpenAI wykorzystało własne modele sztucznej inteligencji podczas prac rozwojowych, kończąc proces projektowania od wstępnej koncepcji do finalnego krzemu w dziewięć miesięcy. Procesor pracuje przy nominalnym poborze mocy 700 watów, podczas gdy w testach wydajnościowych utrzymywał pobór poniżej 550 watów. Dla porównania, systemy Nvidia GB200 zużywają 1200 watów, a systemy GB300 pobierają 1400 watów. Jalapeño został zaprojektowany wyłącznie do zadań wnioskowania, a nie trenowania modeli, optymalizując zarządzanie pamięcią i lokalne buforowanie klucz-wartość w celu ograniczenia opóźnień transmisji danych podczas faz prefillu i komunikacji. Niezależna firma analityczna SemiAnalysis zauważyła, że testy przeciwko sprzętowi generacji Blackwell poprzedzają porównania z nowszą architekturą Rubin firmy Nvidia.

Harmonogram wdrożenia i plan rozwoju

OpenAI planuje wdrożyć Jalapeño w ograniczonej skali w swojej wewnętrznej infrastrukturze centrów danych przed końcem 2026 roku, a następnie zwiększyć skalę w 2027 roku i uruchomić produkcję masową w czwartym kwartale 2027 roku. Firma pracuje obecnie nad drugą generacją układu, której projekt ma zostać przekazany do produkcji w najbliższych miesiącach, podczas gdy trzecia iteracja znajduje się w fazie koncepcyjnej. OpenAI potwierdziło, że nie planuje sprzedaży układów Jalapeño klientom zewnętrznym, rezerwując całą produkcję na potrzeby obsługi usług takich jak ChatGPT, Codex, publiczne API oraz produkty agentowe. Platforma wielogeneracyjna pozwala OpenAI na wspólne rozwijanie algorytmów, systemów pamięci i fizycznych procesorów w celu dopasowania do wymagań przyszłych modeli.

Relacje z dostawcami i kontekst branżowy

Ponieważ Jalapeño nie może trenować nowych modeli, OpenAI pozostaje zależne od zewnętrznych dostawców półprzewodników w zakresie szerszej infrastruktury obliczeniowej. Kierownictwo firmy potwierdziło, że komercyjne akceleratory innych producentów będą nadal zasilać zadania treningowe obok autorskiego krzemu do wnioskowania.

Będziemy potrzebować dużej mocy obliczeniowej. Jalapeño jest jej częścią. Cerberus jest jej częścią. Nvidia jest jej częścią. AMD jest jej częścią.

Prace nad własnym sprzętem wpisują się w podobne działania w całej branży. Anthropic projektuje własne układy, Google negocjuje z Marvell w sprawie niestandardowych procesorów wnioskowania, a Amazon i Microsoft obsługują własne procesory. Jednocześnie Unia Europejska przeznaczyła 20 mld euro na fabryki AI, które kupują sprzęt komercyjny na otwartym rynku, co zbiega się w czasie z ogłoszonymi przez Nvidię podwyżkami cen serwerów o ponad 15%.