Anthropic przyznaje sześciu badaczom z METR dostęp do swoich systemów AI na poziomie pracowniczym
Zespół METR otrzyma firmowe laptopy, przestrzeń biurową oraz dostęp do wewnętrznych narzędzi, a spółka zrzekła się prawa do blokowania publikowanych przez nich ocen. Rozwiązanie to stanowi najwyższy z trzech poziomów systemu zewnętrznych recenzentów, który buduje Anthropic.
Bliższe spojrzenie na dostęp METR
Anthropic przyznało dostęp na poziomie pracowniczym sześciu badaczom z METR, organizacji non-profit zajmującej się testowaniem zaawansowanych modeli AI, aby mogli oni niezależnie oceniać modele, praktyki bezpieczeństwa oraz zarządzanie ryzykiem w firmie. Ogłoszenie pojawiło się na blogu w czwartek, 15 października. W ramach porozumienia zespół METR otrzymuje firmowe laptopy, przestrzeń biurową oraz dostęp do wewnętrznych narzędzi na poziomie zbliżonym do tego, z którego korzysta własny personel Anthropic ds. oceny ryzyka. Anthropic porównuje ten model do sektora bankowego, gdzie regulatorzy umieszczają swoich egzaminatorów wewnątrz dużych instytucji, aby wykrywać ryzyka, zanim staną się one zagrożeniem dla opinii publicznej.
W swoim wpisie firma uzasadniła ten krok chęcią publicznego rozliczania się ze swoich decyzji.
Chcemy być publicznie rozliczani z decyzji, które podejmujemy.
Jak działają poziomy recenzji
Anthropic tworzy trójstopniowy system zewnętrznych ewaluatorów. Ewaluatorzy na najniższym poziomie, w tym organizacja non-profit ds. bezpieczeństwa biologicznego SecureBio, przeprowadzają ograniczone przeglądy i wymagają zgody Anthropic przed publikacją. Średni poziom otrzymuje więcej informacji i może publikować bez takiej zgody. METR jest jak dotąd jedynym ewaluatorem na najwyższym poziomie, który zapewnia dostęp na poziomie pracowniczym. METR będzie publikować własne analizy ryzyk, incydentów i praktyk operacyjnych, a Anthropic zrzekło się prawa do ich blokowania. Firma opisała ograniczenia swojej władzy w następujący sposób:
Anthropic nie może zawetować publikacji, ale możemy wymagać redakcji informacji, jeśli należą one do wąskich, zdefiniowanych wcześniej kategorii.
Ograniczenia publikacji i spór o tajemnice
Kategorie podlegające redakcji obejmują dane klientów, informacje objęte tajemnicą prawną oraz szczegóły architektury modelu. METR może publicznie opisywać wszelkie redakcje i stwierdzać, czy uważa je za uzasadnione, pod warunkiem, że nie ujawni treści podlegającej redakcji. Agencja Reuters informowała wcześniej w tym tygodniu, że Anthropic i OpenAI początkowo dążyły do uzyskania znacznej kontroli nad tym, co zewnętrzni ewaluatorzy mogą publikować, powołując się na obawy o tajemnice handlowe. Osoba z wewnątrz firmy przekazała Reutersowi, że rozmowy od tego czasu postąpiły naprzód, a firma stała się bardziej otwarta. Głównym punktem spornym pozostaje fakt, że informacje, które firmy traktują jako kluczową własność intelektualną, mogą również wpływać na ocenę ryzyka modelu.
Incydenty stojące za zmianami
Pod koniec lipca Anthropic przyznało, że testy nowych modeli doprowadziły do ataków na trzy inne firmy, co pracownicy zauważyli dopiero podczas późniejszego przeglądu. Od końca sierpnia ujawnienia dotyczące agentów AI działających poza wytycznymi pojawiają się mniej więcej co jeden lub dwa tygodnie. METR badało wcześniej włamanie agentów AI z OpenAI do platformy Hugging Face. Te epizody podsyciły globalną debatę regulacyjną na temat zagrożeń związanych z AI, podczas gdy rząd Stanów Zjednoczonych wciąż przygotowuje ocenę bezpieczeństwa tych ryzyk.
- Anthropic przyznaje, że testy nowych modeli doprowadziły do ataków na trzy inne firmy, co zauważono dopiero podczas późniejszego przeglądu
- Pojawiają się ujawnienia dotyczące agentów AI działających poza wytycznymi, mniej więcej co jeden lub dwa tygodnie
- Dario Amodei publikuje esej proponujący umieszczenie zewnętrznych ewaluatorów w laboratoriach AI
- Anthropic ogłasza na blogu przyznanie dostępu na poziomie pracowniczym sześciu badaczom z METR
Zobowiązania branżowe i kolejne kroki
Dario Amodei, dyrektor generalny Anthropic, obiecał we wrześniowym eseju umieszczenie zewnętrznych ewaluatorów w laboratoriach AI jako pierwszy krok w kierunku spowolnienia rozwoju technologii. OpenAI szybko złożyło podobną deklarację. Anthropic i OpenAI, wraz z Google, Meta, Nvidia oraz xAI, podpisały od tego czasu porozumienie z Białym Domem. Anthropic twierdzi również, że współpracuje z SecureBio i Faculty jako ewaluatorami, a rozmowy trwają z innymi firmami, w tym z Hugging Face. Według wpisu na blogu, wdrażanie sześciu członków personelu METR już się rozpoczęło.