Google, Microsoft, OpenAI i Anthropic wprowadzą wspólny mechanizm rezygnacji z trenowania AI

Jedna zasada dla czterech robotów AI

Google, Microsoft, OpenAI i Anthropic zobowiązały się do honorowania jednego mechanizmu rezygnacji z trenowania generatywnej sztucznej inteligencji, wpisywanego do pliku robots.txt na stronie internetowej. Do tej pory wydawca chcący odmówić dostępu musiał tworzyć oddzielną regułę dla robota każdej z firm. Propozycja jest projektem IETF autorstwa Kevina Kelleya, lidera technicznego ds. standardów w Anthropic, opublikowanym w piątek 30 października 2026 r. Google, OpenAI i Microsoft ogłosiły swoje poparcie tego samego dnia, a Anthropic już rozpoczęło wdrażanie tego sygnału. Krishna Madhavan, główny menedżer produktu w Microsoft Bing, napisał:

„Wydawcy nie powinni musieć wybierać między byciem widocznymi w wyszukiwarce Bing a decydowaniem o tym, jak modele generatywne wykorzystują ich pracę.”

Jak działa sygnał

Wspólny sygnał znajduje się w pliku robots.txt, czyli pliku tekstowym, który już teraz informuje roboty, co mogą pobierać. Strona dodaje grupę dla nowego tokena polityki, __usage_ai-training, a następnie wymienia ścieżki, które chce wykluczyć z trenowania. Przykład z projektu zamyka całą witrynę, pozostawiając otwarty jedynie zestaw prasowy. Strony mogą zatem udostępniać wybrane sekcje, odmawiając dostępu do reszty. Token dotyczy wyłącznie trenowania AI, a według Microsoftu, pobieranie danych do trenowania pozostaje domyślnie dozwolone wszędzie tam, gdzie nie określono preferencji. Google będzie odczytywać token jako blokadę dla Google-Extended, własnego mechanizmu kontroli trenowania AI, chyba że strona wskaże bezpośrednio Google-Extended.

Harmonogram wdrażania

Anthropic już rozpoczęło prace nad sygnałem i twierdzi, że będzie on uzupełnieniem istniejących mechanizmów kontroli robotów, a nie ich zastąpieniem. Kevin Kelley napisał, że dodanie wsparcia w usługach firmy zajmie trochę czasu:

„Zajmie nam trochę czasu dodanie wsparcia w naszych usługach i uporanie się z nieuniknionymi komplikacjami oraz przypadkami brzegowymi, które z pewnością odkryjemy.”

OpenAI zamierza wdrożyć sygnał w nadchodzących miesiącach, a jego obecne mechanizmy kontroli robotów, w tym GPTBot, nadal będą obowiązywać. Google planuje wsparcie dla sygnału w 2027 roku, a dokumentacja jego robotów wskazuje na początek 2027 roku. Microsoft będzie honorować nowe preferencje od 1 lutego 2027 roku, zastępując tagi NoArchive i NoCache, których używał od 2023 roku. Firma dodaje również ustawienie na poziomie strony dotyczące tzw. groundingu, które ma zastosowanie, gdy odpowiedź AI opiera się na żywej stronie internetowej: jedna opcja pozwala na korzystanie z produktów Microsoftu, takich jak Copilot, podczas gdy druga blokuje usługi groundingu sprzedawane innym firmom.

Czego rezygnacja nie obejmuje

Sygnał nie może cofnąć wcześniejszego pobierania danych, ponieważ firmy już posiadają treści, które zindeksowały wcześniej. Nie zatrzymuje on całkowicie indeksowania, a Microsoft i Google twierdzą, że nie usunie to stron z wyników wyszukiwania. Microsoft podaje, że strony internetowe nadal będą pojawiać się w wynikach wyszukiwania Bing niezależnie od swoich preferencji. Rzecznik Google Search, John Mueller, napisał, że strony zezwalające na Google-Extended mogą pojawiać się w odpowiedziach aplikacji Gemini i otrzymywać kliknięcia. Microsoft ostrzegł, że odmowa opcji groundingu zmniejszy widoczność strony w odpowiedziach asystentów takich jak Copilot. Meta, spółka matka Facebooka, za pośrednictwem swojego szefa komunikacji Andy'ego Stone'a nazwała ten ruch ważnym krokiem, ale nie poinformowała, czy będzie respektować sygnał.

Spór o prawa autorskie w tle

Ogłoszenie pojawia się w czasie, gdy wydawcy mierzą się z ciągłym napływem botów zbierających ich artykuły w celu zasilania modeli AI, a niektórzy z nich już trafili do sądu. The New York Times od grudnia 2023 roku oskarża OpenAI i Microsoft o wykorzystywanie milionów jego artykułów bez zgody i zapłaty do trenowania ChatGPT. Obie firmy powołują się na wyjątek dotyczący praw autorskich. Cloudflare od lipca 2025 roku domyślnie blokuje boty AI na stronach nowych klientów, a standard Really Simple Licensing pozwala wydawcom pobierać opłaty od robotów odwiedzających ich strony. Microsoft twierdzi, że nowe rozwiązanie nie tworzy żadnych umów licencyjnych ani płatności.