SpaceX wynajmuje Colossus 1 firmie Anthropic po tym, jak opóźnienia i niedopasowanie sprzętu storpedowały plany dotyczące Grok

Przeszkody techniczne

SpaceX planował szkolić swoje najbardziej zaawansowane modele AI Grok, wykorzystując klaster trzech kampusów centrów danych. Firma napotkała problemy z opóźnieniami przy łączeniu swojego obiektu Colossus 1 w Memphis z dwiema innymi lokalizacjami oddalonymi o ponad 16 km, poinformowali Bloomberg osoby zaznajomione ze sprawą. Problem pogłębiła starzejąca się infrastruktura sieciowa. Szkolenie dużych modeli AI wymaga ultraszybkich połączeń między lokalizacjami, a starsze łącza o niższej przepustowości powodowały opóźnienia spowalniające cały klaster. SpaceX ustalił, że obiekt wygeneruje większą wartość jako wynajmowana nieruchomość niż pozostając niewykorzystanym.

Niedopasowanie sprzętu

Konfiguracja układów scalonych wewnątrz Colossus 1 pogorszyła sytuację. Centrum danych mieści mieszankę generacji układów Nvidii, w tym systemy Hopper i Blackwell obok starszych akceleratorów. Colossus 2 i 3 zostały zbudowane bardziej jednolicie wokół układów Blackwell Nvidii. W rozproszonym klastrze treningowym obciążenia muszą pozostawać zsynchronizowane, więc starsze procesory tworzą wąskie gardła, zmuszając szybsze akceleratory do czekania. Klaster działa z prędkością swojego najwolniejszego komponentu.

Komercyjny zastrzyk gotówki

Anthropic płaci teraz 1,25 mld USD miesięcznie za korzystanie z obiektu, którego inżynierowie SpaceX nie mogli w pełni wykorzystać. W połączeniu z oddzielną umową z Google na 920 mln USD miesięcznie za moc obliczeniową, SpaceX zbiera około 2,17 mld USD miesięcznie z infrastruktury pierwotnie zbudowanej na własny użytek. Musk opisał umowę z Anthropic jako 180-dniową dzierżawę z 90-dniowym wzajemnym prawem do odstąpienia, zachowując opcję odzyskania mocy obliczeniowej.

Jeśli moc obliczeniowa stanie się bardzo ograniczona, powiedziałem, że możemy jej w pewnym momencie potrzebować z powrotem.

Kwestionowanie narracji IPO

Ujawnienie to komplikuje historię, którą SpaceX przedstawił podczas swojej prezentacji w ramach IPO. Firma wielokrotnie podkreślała, że Colossus 1 został zbudowany w zaledwie 122 dni, przewyższając średnie branżowe. Szybkość była atutem. Raport Bloomberga sugeruje, że szybkość miała swoją cenę: obiekt nie został zbudowany wystarczająco jednolicie, aby mógł służyć jako część większego klastra treningowego.

Przyszłość Grok

Dyrektor finansowy SpaceX Bret Johnsen powiedział, że firma nie zrezygnowała z wewnętrznych usług AI, w tym Grok. Drzwi pozostają otwarte, aby SpaceX mogło odzyskać moc obliczeniową, jeśli zajdzie taka potrzeba, choć trajektoria Grok sprawia, że jest to niepewne. SpaceX kontynuuje plany dotyczące satelitarnych serwerów AI, niezależnych od problemów z klastrami naziemnymi.