Google, Microsoft, OpenAI und Anthropic wollen ein gemeinsames Opt-out vom KI-Training respektieren

Eine Regel für vier KI-Crawler

Google, Microsoft, OpenAI und Anthropic haben sich verpflichtet, ein einziges Opt-out vom Training generativer KI zu respektieren, das in der robots.txt-Datei einer Website hinterlegt wird. Bislang musste ein Verlag, der ablehnen wollte, für den Crawler jedes einzelnen Unternehmens eine eigene Regel schreiben. Der Vorschlag ist ein IETF-Draft von Kevin Kelley, einem Technical Lead für Standards bei Anthropic, veröffentlicht am Freitag, 30. Oktober 2026. Google, OpenAI und Microsoft kündigten ihre Unterstützung am selben Tag an, und Anthropic hat bereits damit begonnen, das Signal einzubauen. Krishna Madhavan, Principal Product Manager für Microsoft Bing, schrieb:

„Verlage sollten nicht zwischen der Auffindbarkeit bei Bing und der Entscheidung darüber wählen müssen, wie generative Modelle ihre Arbeit nutzen.“

So funktioniert das Signal

Das gemeinsame Signal liegt in der robots.txt, jener Klartextdatei, die Crawlern bereits mitteilt, was sie abrufen dürfen. Eine Website fügt eine Gruppe für ein neues Policy-Token hinzu, __usage_ai-training, und listet dann die Pfade auf, die vom Training ausgenommen bleiben sollen. Das Beispiel im Entwurf sperrt eine gesamte Website und lässt zugleich ein Pressekit offen. Websites können damit einzelne Bereiche verfügbar halten und den Rest verweigern. Das Token deckt nur das KI-Training ab, und laut Microsoft bleibt das Scraping für Trainingszwecke überall dort standardmäßig erlaubt, wo keine Präferenz hinterlegt ist. Google wird das Token als Sperre für Google-Extended lesen, seine eigene Steuerung für KI-Training – es sei denn, eine Website nennt Google-Extended direkt.

Wer wann startet

Anthropic hat bereits mit der Arbeit am Signal begonnen und erklärt, es solle die bestehenden Crawler-Steuerungen ergänzen und nicht ersetzen. Kevin Kelley schrieb, die Unterstützung in allen Diensten des Unternehmens einzubauen, werde Zeit brauchen:

„Es wird einige Zeit dauern, bis wir die Unterstützung in unseren Diensten eingebaut und die unvermeidlichen Komplikationen und Sonderfälle durchgearbeitet haben, die uns sicher begegnen werden.“

OpenAI will das Signal in den kommenden Monaten umsetzen, seine bestehenden Crawler-Steuerungen einschließlich GPTBot gelten weiterhin. Google will das Signal 2027 unterstützen, die eigene Crawler-Dokumentation nennt Anfang 2027. Microsoft will die neuen Präferenzen ab dem 1. Februar 2027 respektieren und damit die NoArchive- und NoCache-Tags ersetzen, die das Unternehmen seit 2023 verwendet. Außerdem führt Microsoft eine Einstellung auf Seitenebene für Grounding ein, die greift, wenn eine KI-Antwort auf eine Live-Webseite zurückgreift: Eine Option erlaubt Microsofts eigene Produkte wie Copilot, eine andere blockiert die Grounding-Dienste, die das Unternehmen an andere Firmen verkauft.

Was das Opt-out unberührt lässt

Das Signal kann vergangenes Scraping nicht rückgängig machen, denn die Unternehmen besitzen bereits alle Inhalte, die sie zuvor gecrawlt haben. Es stoppt das Crawling nicht vollständig, und Microsoft und Google erklären, es werde Websites nicht aus ihren Suchergebnissen entfernen. Microsoft teilt mit, Websites würden unabhängig von ihren Präferenzen weiterhin in den Bing-Suchergebnissen erscheinen. Google-Search-Advocate John Mueller schrieb, Websites, die Google-Extended erlauben, könnten in Antworten der Gemini-App erscheinen und Klicks erhalten. Microsoft hat gewarnt, die Verweigerung der Grounding-Option werde die Sichtbarkeit einer Website in Antworten von Assistenten wie Copilot verringern. Meta, die Muttergesellschaft von Facebook, nannte den Schritt über ihren Kommunikationschef Andy Stone einen wichtigen Schritt, sagte aber nicht, ob das Unternehmen das Signal respektieren werde.

Der Urheberrechtsstreit im Hintergrund

Die Ankündigung fällt in eine Zeit, in der Verlage einen stetigen Strom von Bots erleben, die ihre Artikel sammeln, um KI-Modelle zu füttern, und einige sind bereits vor Gericht gezogen. Die New York Times wirft OpenAI und Microsoft seit Dezember 2023 vor, Millionen ihrer Artikel ohne Erlaubnis oder Bezahlung zum Training von ChatGPT verwendet zu haben. Beide Unternehmen berufen sich auf eine Urheberrechtsausnahme. Cloudflare blockiert seit Juli 2025 KI-Bots auf den Websites neuer Kunden standardmäßig, und der Standard Really Simple Licensing erlaubt es Verlagen, von den Robotern, die ihre Seiten besuchen, Geld zu verlangen. Microsoft erklärt, die neue Regelung schaffe keine Lizenz- oder Zahlungsvereinbarungen.