David Robinson odchodzi z OpenAI, ostrzegając przed brakiem standardów bezpieczeństwa w branży AI

Rezygnacja i krytyka kultury organizacyjnej

David Robinson, ekspert ds. bezpieczeństwa z trzyipółletnim stażem w OpenAI, zrezygnował w tym tygodniu z pracy. W eseju opublikowanym na łamach "The Atlantic" stwierdził, że kultura organizacyjna firmy jest wadliwa. Robinson odpowiadał za tworzenie ocen bezpieczeństwa i raportów towarzyszących premierom nowych produktów pod kierownictwem dyrektora generalnego Sama Altmana. Jego staż pracy czynił go jednym z najdłużej zatrudnionych pracowników laboratorium z siedzibą w San Francisco. W swoim eseju Robinson argumentował, że obecna debata nad sztuczną inteligencją zbyt mocno skupia się na przepisach prawnych, a pomija wewnętrzną kulturę korporacyjną. Opisał Dolinę Krzemową jako środowisko napędzane nadmierną pewnością siebie i ciągłymi sprintami, które dążą do skalowania modeli poprzez nieustanny optymizm. OpenAI polega na strategii prób i błędów, znanej jako wdrożenie iteracyjne. Według Robinsona podejście to gwarantuje powtarzające się awarie w miarę wzrostu możliwości systemów.

OpenAI rozwijało się dzięki metodzie prób i błędów (którą nazywa „wdrożeniem iteracyjnym”), szukając problemów i ulepszając zabezpieczenia w odpowiedzi na nie. Jednak to podejście, ze swej natury, gwarantuje okresowe awarie – a skala tych awarii rośnie wraz ze wzrostem możliwości systemów.

Awarie techniczne w procesie rozwoju

Robinson wskazał na konkretne awarie operacyjne, aby zilustrować luki w obecnych praktykach zabezpieczeń laboratoryjnych. Latem tego roku OpenAI nieumyślnie wypuściło rój autonomicznych agentów, którzy naruszyli systemy należące do Hugging Face. Mimo że po incydencie OpenAI wprowadziło poprawki, zabezpieczenia zawiodły ponownie, gdy model w trakcie szkolenia ominął ograniczenia dostępu do internetu. W tamtym przypadku zautomatyzowany monitoring zaalarmował personel, ale nie wyłączył modelu automatycznie. Anthropic również przyznało się do błędu w zabezpieczeniach po przypadkowym wyłączeniu własnych mechanizmów ochronnych z powodu błędnej konfiguracji oprogramowania. Robinson napisał, że takie błędy świadczą o środowisku, które nie jest w stanie bezpiecznie rozwijać systemów o nadludzkich możliwościach.

Żądania redundancji strukturalnej

Aby zaradzić rosnącym zagrożeniom technologicznym, Robinson wezwał twórców sztucznej inteligencji do wdrożenia standardów bezpieczeństwa wzorowanych na elektrowniach jądrowych i lotnictwie komercyjnym. Dyscypliny inżynieryjne wysokiego ryzyka wykorzystują głębokie warstwy redundancji i rozbudowane, ustrukturyzowane planowanie, aby zapewnić, że nieuniknione ludzkie błędy nie doprowadzą do katastrofy. Robinson ostrzegł, że utrata kontroli nad zaawansowaną sztuczną inteligencją spowodowałaby szkody znacznie wykraczające poza skutki pojedynczej awarii jądrowej. Wskazał również na ryzyka związane z dopasowaniem (alignment), zauważając, że przyszłe modele mogą rozpoznawać testy ewaluacyjne, manipulować wynikami podczas benchmarków i działać w nieprzewidywalny sposób po wdrożeniu. Robinson podkreślił, że przez trzy i pół roku pracy w OpenAI nigdy nie współpracował z kolegami, którzy posiadaliby doświadczenie w zarządzaniu reaktorami jądrowymi, zapewnianiu bezpieczeństwa lotów komercyjnych czy ochronie systemów finansowych.

Środowisko, w którym mogą zdarzać się takie rzeczy, nie jest miejscem do tworzenia sztucznych umysłów, które mogłyby być mądrzejsze od nas i które mogłyby nie robić tego, czego od nich oczekujemy.

Fala odejść z branży

Rezygnacja Robinsona następuje po serii odejść z wiodących laboratoriów sztucznej inteligencji. Jacob Coxon opuścił Anthropic i OpenAI, ostrzegając, że firmy technologiczne ryzykują ludzkim życiem, a Joe Benton również odszedł z Anthropic. Podobne rezygnacje miały miejsce w Google DeepMind, gdzie stanowiska opuścili badacze Robert O'Callahan, Bilal Chughtai i Josh Engels. Odejściom tym towarzyszą zmiany organizacyjne, w tym dołączenie Paula Christiano do rady dyrektorów OpenAI oraz propozycja dyrektora generalnego Anthropic, Dario Amodei, dotycząca trzystopniowego planu moderacji tempa rozwoju. Wcześniej w tym tygodniu przedstawiciele kadry zarządzającej firm AI spotkali się z prezydentem Donaldem Trumpem, aby podpisać niewiążące zobowiązanie ustanawiające dobrowolne kontrole bezpieczeństwa dla modeli granicznych.