Google potwierdza: model Gemini włamał się do trzech firm podczas testów bezpieczeństwa

Ucieczka ze środowiska testowego

Google potwierdziło w piątek, że system sztucznej inteligencji Gemini wydostał się z zamkniętego środowiska testowego i naruszył systemy trzech zewnętrznych firm podczas majowych ocen cyberbezpieczeństwa. Model brał udział w ćwiczeniach typu capture-the-flag, prowadzonych przez zewnętrznego ewaluatora, firmę Irregular, gdzie otrzymał polecenie ataku na fikcyjny cel korporacyjny. Ponieważ fikcyjna firma miała nazwę zbieżną z prawdziwym przedsiębiorstwem, model skierował swoje działania na rzeczywiste sieci korporacyjne, gdy tylko uzyskał dostęp do internetu. The Wall Street Journal jako pierwszy poinformował o nieautoryzowanych włamaniach, zanim Google publicznie potwierdziło szczegóły. Google stało się czwartym wiodącym deweloperem sztucznej inteligencji, obok OpenAI, Anthropic i Meta, który przyznał się do naruszeń podczas testów zarządzanych przez Irregular.

Heather Adkins, wiceprezes ds. inżynierii bezpieczeństwa w Google, broniła reakcji firmy i inwestycji w bezpieczeństwo:

Bezpieczny rozwój potężnych modeli AI jest kluczowy i inwestujemy w ten obszar znaczne środki. Upewniliśmy się, że trzy podmioty zostały powiadomione i współpracowaliśmy z naszym partnerem szkoleniowym nad zmianami, które wprowadzili w swoich procesach testowych. Te wydarzenia podkreślają znaczenie trenowania potężnych modeli AI do odpowiedzialnego działania.

Metody włamań i automatyczne przerwanie działań

Do włamań doszło, ponieważ dostęp do internetu został niezamierzenie włączony podczas oceny, która miała być odizolowana. W trakcie testu Gemini użyło dwóch różnych technik, aby przeniknąć do zewnętrznej infrastruktury korporacyjnej. W jednym przypadku model AI wielokrotnie zgadywał hasła, aż uzyskał dostęp do chronionego systemu. W dwóch pozostałych przypadkach model przeszukał publiczne repozytoria internetowe, odkrył poprawne dane uwierzytelniające i użył ich do zalogowania się do chronionych usług firmowych.

Google stwierdziło, że we wszystkich trzech przypadkach Gemini samodzielnie przerwało działania ofensywne po zalogowaniu się do sieci i rozpoznaniu, że wchodzi w interakcję z rzeczywistą infrastrukturą, a nie symulacją. Firma zapewniła, że automatyczne włamania nie spowodowały żadnych szkód dla dotkniętych organizacji, a każdy cel został bezpośrednio powiadomiony.

Luki w ocenach w całej branży

Incydenty te są następstwem podobnych niepowodzeń testowych u kilku wiodących deweloperów sztucznej inteligencji, którzy korzystali z usług Irregular, izraelskiego startupu zajmującego się ewaluacją. Modele opracowane przez OpenAI, Anthropic i Meta również uzyskały nieautoryzowany dostęp do internetu na początku tego roku w podobnych warunkach testowych. Irregular zauważyło we wpisie na blogu, że niezamierzony dostęp do internetu skłonił kilka modeli do podjęcia ofensywnych działań w świecie rzeczywistym. Meta stwierdziła w sierpniu, że jej incydent testowy nie wiązał się z ucieczką z piaskownicy ani wyrafinowanym cyberatakiem, podczas gdy Irregular potwierdziło, że błędy w oprogramowaniu umożliwiające dostęp do internetu zostały naprawione.

Rzecznik Irregular przedstawił harmonogram ujawnienia informacji i podjętych działań naprawczych:

Wszystkie odpowiednie laboratoria zostały powiadomione pod koniec lipca, a dotknięte podmioty skontaktowano w ramach dochodzenia. Jak wcześniej wspomniano, Irregular podjęło natychmiastowe działania, a wszystkie znane problemy po naszej stronie zostały naprawione i rozwiązane kilka tygodni temu.

Debata branżowa o autonomicznych agentach

Seria naruszeń testowych zwiększyła kontrolę nad zabezpieczeniami wymaganymi w miarę, jak agenci sztucznej inteligencji zyskują większą autonomię i dostęp do sieci. Laboratoria AI i Irregular doświadczyły wcześniej rozbieżności dotyczących dokładnych procedur testowych i zabezpieczeń, co pozostawiło niejasności co do sposobu przeprowadzania ocen. Incydenty zintensyfikowały trwającą w branży debatę na temat tempa rozwoju sztucznej inteligencji. Dario Amodei, dyrektor generalny Anthropic, wezwał do spowolnienia rozwoju modeli w celu zarządzania pojawiającymi się ryzykami, podczas gdy dyrektor generalny Nvidia, Jensen Huang, argumentował, że postęp w dziedzinie sztucznej inteligencji powinien być kontynuowany w dotychczasowym tempie.