KPMG retire un rapport sur l'IA après qu'une enquête a révélé qu'il était truffé d'hallucinations d'IA et de fausses citations

Ce que KPMG a publié

En octobre dernier, KPMG a publié un rapport intitulé Total Experience: Redefining Excellence in the Age of Agentic AI, qui détaillait comment les entreprises utilisaient l'intelligence artificielle pour servir leurs clients. Le cabinet de conseil, l'un des quatre grands (Big Four) aux côtés de Deloitte, PricewaterhouseCoopers et Ernst & Young, présentait ce document comme une enquête sectorielle de confiance. Selon le Financial Times, le rapport a ensuite été retiré de certains sites Web après que KPMG a été informé des problèmes.

Ce que l'enquête a révélé

Les enquêteurs de GPTZero, un fabricant d'outils de détection de contenu généré par IA, ont examiné le rapport et ont découvert que les inexactitudes et les fausses notes de bas de page étaient omniprésentes. Sur les 45 citations du document, seulement cinq pointaient avec exactitude vers des sources réelles. Vingt-huit citations paraphrasaient des titres ou ajoutaient des composants fabriqués à des références authentiques, tandis que douze étaient formulées de manière trop vague pour déterminer si elles existaient réellement. GPTZero a inventé le terme « vibe citing » pour désigner le phénomène par lequel les modèles d'IA génèrent des références d'apparence plausible mais fausses. L'équipe a également conclu qu'environ la moitié des affirmations substantielles du rapport étaient soit fausses, soit mal attribuées, probablement en raison d'un outil de recherche IA ayant trop bien obéi à une consigne demandant des exemples d'IA agentive.

Trois études de cas contestées

Plusieurs organisations mentionnées dans le rapport ont publiquement rectifié les faits. KPMG affirmait qu'Emirates avait lancé un chatbot mobile nommé Sara capable de parler aux passagers et de modifier leurs vols. En réalité, Sara était un assistant mobile introduit en 2023, et non un chatbot alimenté par l'IA, et il n'a jamais eu la capacité de modifier les réservations. KPMG écrivait également qu'UBS avait intégré l'IA agentive dans ses fonctions de conseil en investissement, de gestion des risques et de contrôle de la conformité. Un porte-parole d'UBS a déclaré au Financial Times que cette information était « factuellement incorrecte ». Les Chemins de fer fédéraux suisses (CFF) étaient censés utiliser des agents d'IA qui aident les passagers à planifier, réserver et optimiser leurs trajets en fonction de leurs préférences, des conditions en temps réel et de l'impact carbone ; un porte-parole des CFF a déclaré que cette affirmation était « inexacte ». The Irish Times a ajouté que le rapport contenait également une fausse étude de cas concernant le National Health Service du Royaume-Uni.

Conséquences plus larges

Edward Tian, directeur général de GPTZero, a averti que des documents truffés d'erreurs publiés par les Big Four pourraient « empoisonner le puits d'information ». Les rapports de cabinets comme KPMG étant considérés comme des sources hautement fiables, ils sont régulièrement cités dans d'autres articles de recherche, articles de presse et billets de blog. La dernière enquête de GPTZero a également révélé que certains des contenus discrédités étaient déjà ingérés par de grands modèles de langage, risquant une propagation encore plus large. Cet épisode fait suite à une révélation similaire en 2025, dans laquelle une étude de la Commission présidentielle américaine pour rendre l'Amérique en bonne santé contenait des notes de bas de page brouillées ou fabriquées.

Les vibes ont des conséquences.

The Irish Times a noté que l'incident pointe vers un problème structurel : l'IA permet aux cabinets de conseil de produire rapidement des rapports, mais lorsque personne ne vérifie les faits, les documents résultants peuvent amplifier la désinformation dans tout l'écosystème du savoir.