Quand KPMG vend l'IA avec des études de cas… générées par IA
Quand KPMG vend l'IA avec des études de cas… générées par IA
Le cabinet d'audit aux 273 000 employés a dû retirer un rapport censé convaincre ses clients de sauter dans le grand bain de l'IA. Motif : les exemples brillamment cités impliquant UBS et le NHS n'ont jamais existé. C'est ballot.
Il y a une certaine poésie dans l'histoire. KPMG, l'un des Big Four de l'audit, ces gens dont le métier consiste précisément à vérifier que les chiffres des autres ne sont pas inventés, vient de publier un rapport bourré d'études de cas… inventées. Le document, intitulé sobrement quelque chose comme un guide stratégique pour l'adoption de l'IA en entreprise, devait servir de carte de visite à l'offre conseil du cabinet sur le sujet. Il a été discrètement retiré après qu'un curieux y a regardé d'un peu plus près.
Ce curieux, c'est Edward Tian, le fondateur de GPTZero, l'un des outils les plus connus pour détecter les textes générés par modèle de langage. Autant dire qu'il a le nez pour ce genre de chose. En épluchant le rapport, il s'est aperçu que plusieurs cas clients mis en avant comme preuves concrètes du retour sur investissement de l'IA — notamment chez la banque suisse UBS et au sein du National Health Service britannique — ne correspondaient à aucun déploiement réel. Des chiffres précis, des contextes détaillés, des résultats chiffrés. Tout sonnait vrai. Tout était faux.
L'art consommé de l'hallucination en costume cravate
Ce qui rend l'affaire savoureuse, ce n'est pas tant la fabrication elle-même que sa mise en scène. Un cabinet de cette envergure facture ses missions à des tarifs qui justifient théoriquement un minimum de relecture. Or, manifestement, quelqu'un a demandé à un modèle de langage de produire des cas d'usage convaincants, et personne ne s'est levé pour vérifier si UBS avait vraiment économisé X millions grâce à tel agent conversationnel, ou si le NHS avait déployé telle solution prédictive dans tel service. Le modèle a halluciné, comme ils savent si bien le faire, en produisant ce mélange caractéristique de plausibilité statistique et de pure fiction. Et le rapport est parti à l'impression, virtuellement parlant, avec le logo KPMG dessus.
Tian a forgé une expression pour décrire ce qui se passe ensuite : les hallucinations secondaires. L'idée est simple et un peu glaçante. Quand une IA invente une information, c'est ennuyeux mais relativement contenu. Quand un cabinet de conseil réputé reprend cette invention sans vérifier et la publie sous son nom, l'invention change de statut. Elle devient citable. Elle devient source. Un journaliste pressé, un consultant junior qui prépare une slide, un dirigeant qui cherche un argument pour son comité, tous peuvent désormais écrire en toute bonne foi : « selon KPMG, UBS a obtenu tel résultat ». Et hop, le mensonge entre dans le circuit comme s'il avait toujours été là.
Le vrai problème n'est plus la machine
On a beaucoup glosé sur les hallucinations des modèles de langage comme s'il s'agissait d'un défaut technique à corriger, une sorte de bug de jeunesse qui finira par disparaître avec la prochaine version. Cette affaire suggère que le problème s'est déplacé ailleurs. Les IA continueront probablement à halluciner pendant longtemps, parce que c'est consubstantiel à leur manière de fonctionner. Ce qui change, c'est la chaîne humaine qui devrait les rattraper et qui ne le fait plus.
Un consultant qui prépare un rapport il y a dix ans devait aller chercher ses cas dans des bases de données, des entretiens, des publications. Le coût d'invention était élevé, le coût de vérification raisonnable. Aujourd'hui, le coût d'invention est nul, et le coût de vérification est devenu, paradoxalement, le poste le plus lourd du processus. Résultat : on saute l'étape. On fait confiance au texte qui sort, parce qu'il est bien écrit, parce qu'il sonne juste, parce que le deadline approche.
KPMG s'en sortira. Le rapport a été retiré, il y aura sans doute une note interne sévère, peut-être un ou deux départs discrets. Mais l'épisode pose une question plus large à toute l'industrie du conseil, et au-delà à toute organisation qui produit du savoir : si même les cabinets dont le métier est la rigueur se mettent à publier des fictions générées en série, qu'est-ce qui distingue encore un livre blanc d'un post LinkedIn écrit à la va-vite ? La marque, peut-être. Pour combien de temps encore, c'est moins sûr.
Et vous, vous lisez encore les rapports des grands cabinets autrement qu'en diagonale ?
