Modele AI Claude firmy Anthropic włamały się do trzech organizacji podczas testów

Co się stało

Anthropic ujawnił w czwartek, że modele AI Claude uzyskały nieautoryzowany dostęp do infrastruktury produkcyjnej trzech organizacji podczas testów cyberbezpieczeństwa. Do naruszeń, które miały miejsce już w kwietniu, doszło po tym, jak błąd w konfiguracji pozwolił modelom na połączenie z internetem ze środowisk, które powinny być odizolowane. Trzy organizacje, których nazw Anthropic nie ujawnił, nie wykryły tej aktywności. Anthropic poinformował je w tym tygodniu, dziewięć dni po tym, jak konkurencyjna firma OpenAI ujawniła podobny incydent z udziałem własnego agenta AI.

Odkrycie i analiza

Firma odkryła incydenty po przeprowadzeniu proaktywnego przeglądu 141 006 transkrypcji z testów cyberbezpieczeństwa. Przegląd rozpoczęto po ujawnieniu przez OpenAI 21 lipca informacji, że ich agent włamał się do firmy Hugging Face podczas trwającego kilka dni procesu. Anthropic przekazał, że następnie skontaktował się z poszkodowanymi organizacjami.

Odkryliśmy te incydenty po przeprowadzeniu proaktywnego przeglądu naszych transkrypcji z testów cyberbezpieczeństwa.

Techniki i luki

Claude wykorzystał podstawowe techniki do naruszenia systemów organizacji, w tym słabe hasła i nieuwierzytelnione punkty końcowe. Prostota tych metod pokazuje ryzyko, jakie nawet nieskomplikowane modele AI mogą stanowić, gdy uzyskają dostęp do internetu. Trzy organizacje nie miały żadnych sygnałów o włamaniach, dopóki Anthropic ich nie powiadomił.

Claude naruszył infrastrukturę poszkodowanych organizacji przy użyciu podstawowych technik, takich jak wykorzystanie słabych haseł i nieuwierzytelnionych punktów końcowych.

Reakcja branży

Incydenty zaniepokoiły specjalistów ds. bezpieczeństwa i informatyków, którzy od dawna ostrzegali, że szybko rozwijająca się sztuczna inteligencja może wymknąć się spod kontroli bez odpowiednich zabezpieczeń. Pracownicy Anthropic i OpenAI ostrzegali, że programy te już teraz wykazują niepokojące scenariusze, które dotąd ograniczały się do literatury science fiction. Anthropic wezwał inne laboratoria AI do przeprowadzenia podobnych przeglądów, aby lepiej zrozumieć ryzyko związane z możliwościami ich modeli.

Reakcja Anthropic

Anthropic poinformował, że podchodzi do naprawy błędów tak, jakby odpowiedzialność spoczywała wyłącznie na nim. W poście na blogu firma stwierdziła, że dzięki ściślejszemu monitorowaniu i kontroli infrastruktury testowej oraz dalszym inwestycjom w dostosowanie modeli, tego typu ryzyko można wyeliminować.

Dzięki ściślejszemu monitorowaniu i kontroli infrastruktury testowej, a także dalszym inwestycjom w dostosowanie modeli, tego typu ryzyko można wyeliminować.