KPMG zieht KI-Report zurück, nachdem Ermittlungen ergeben, dass er voller KI-Halluzinationen und erfundener Zitate steckt
Ein viel beachteter KPMG-Report, der den Einsatz von KI-Agenten propagierte, wurde von einigen Websites zurückgezogen, nachdem Ermittler von GPTZero entdeckten, dass die Hälfte seiner Behauptungen falsch oder falsch zugeordnet war und nur fünf der 45 Zitate auf reale Quellen verwiesen.
Was KPMG veröffentlichte
Im Oktober letzten Jahres veröffentlichte KPMG einen Report mit dem Titel Total Experience: Redefining Excellence in the Age of Agentic AI, der detailliert beschrieb, wie Unternehmen künstliche Intelligenz zur Kundenbetreuung einsetzen. Die Beratungsfirma, eines der Big Four-Wirtschaftsprüfungsunternehmen neben Deloitte, PricewaterhouseCoopers und Ernst & Young, positionierte das Papier als vertrauenswürdige Branchenumfrage. Laut der Financial Times wurde der Report später von einigen Websites zurückgezogen, nachdem KPMG auf die Probleme hingewiesen worden war.
Was die Untersuchung ergab
Ermittler von GPTZero, einem Hersteller von KI-Inhaltserkennungstools, untersuchten den Report und stellten fest, dass Ungenauigkeiten und erfundene Fußnoten allgegenwärtig waren. Von den 45 Zitaten im Dokument verwiesen nur fünf korrekt auf reale Quellen. 28 Zitate paraphrasierten Titel oder fügten echten Referenzen erfundene Bestandteile hinzu, während zwölf zu vage formuliert waren, um festzustellen, ob sie überhaupt existieren. GPTZero prägte den Begriff „Vibe Citing“ für das Phänomen, dass KI-Modelle plausibel wirkende, aber erfundene Referenzen generieren. Das Team kam außerdem zu dem Schluss, dass etwa die Hälfte der substanziellen Behauptungen des Reports entweder falsch oder falsch zugeordnet waren, wahrscheinlich als Folge eines KI-Recherchetools, das eine Aufforderung, Beispiele für KI-Agenten zu finden, übererfüllte.
- Korrekt
- 5 Zitate
- Paraphrasiert oder teilweise erfunden
- 28 Zitate
- Zu vage für Überprüfung
- 12 Zitate
Drei bestrittene Fallstudien
Mehrere im Report erwähnte Organisationen haben die Darstellung öffentlich korrigiert. KPMG behauptete, Emirates habe einen mobilen Chatbot namens Sara eingeführt, der mit Passagieren sprechen und deren Flüge ändern könne. In Wirklichkeit war Sara ein 2023 eingeführter mobiler Assistent, kein KI-gestützter Chatbot, und er hatte nie die Fähigkeit, Buchungen zu ändern. KPMG schrieb zudem, dass UBS KI-Agenten in seine Anlageberatung, sein Risikomanagement und seine Compliance-Überwachungsfunktionen integriert habe. Ein UBS-Sprecher sagte der Financial Times, die Information sei „sachlich falsch“. Von den Schweizerischen Bundesbahnen (SBB) hieß es, sie setzten KI-Agenten ein, die Passagieren helfen, Reisen auf der Grundlage von Präferenzen, Echtzeitbedingungen und CO2-Auswirkungen zu planen, zu buchen und zu optimieren; ein SBB-Sprecher sagte, die Behauptung sei „nicht zutreffend“. Die Irish Times fügte hinzu, der Report habe auch eine falsche Fallstudie über den britischen National Health Service enthalten.
Weite Konsequenzen
Edward Tian, CEO von GPTZero, warnte davor, dass fehlerhafte Papiere der Big Four den „Informationsbrunnen vergiften“ könnten. Da Reports von Firmen wie KPMG als hochvertrauenswürdige Quellen gelten, werden sie routinemäßig in anderen Forschungsarbeiten, Nachrichtenartikeln und Blogbeiträgen zitiert. Die jüngste Untersuchung von GPTZero ergab ebenfalls, dass einige der diskreditierten Inhalte bereits von großen Sprachmodellen aufgenommen wurden, was eine weitere Verbreitung riskiert. Die Episode folgt auf eine ähnliche Enthüllung aus dem Jahr 2025, bei der eine Studie der US-Präsidialkommission „Make America Healthy Again“ verstümmelte oder erfundene Fußnoten enthielt.
Vibes haben Konsequenzen.
Die Irish Times merkte an, der Vorfall weise auf ein strukturelles Problem hin: KI ermögliche es Beratungsfirmen, Reports schnell zu erstellen, aber wenn niemand die Fakten überprüfe, könnten die resultierenden Dokumente Fehlinformationen im gesamten Wissensökosystem verbreiten.
