L'IA vous ment, et c'est précisément là qu'est votre valeur
En juin, KPMG a connu un petit incident. Le cabinet, l’un des Big Four, a publié un rapport sur l’IA agentique. Quelqu’un a alors vérifié ses citations une à une et découvert que, sur 45, 5 seulement renvoyaient à une source réellement existante. Le reste était soit mal attribué, soit purement inventé. Un rapport censé apprendre aux autres à se servir de l’IA s’est lui-même fait berner par elle, et il est sorti avec le logo KPMG dessus.
Ce n’est pas un cas isolé, c’est une fable.
L’IA vous ment, et elle le fait avec aplomb
Mettons une chose au clair d’emblée : l’IA ne se trompe pas de temps en temps, elle fabrique avec assurance, avec fluidité, avec un air d’autorité. Elle vous donnera un chiffre qui n’existe pas, citera un article que personne n’a écrit, inventera un fait à la couture impeccable. Une évaluation portant sur une quarantaine de modèles a montré que, sur les questions difficiles, tous sauf quatre avaient plus de chances de donner une « réponse fausse et assurée » qu’une réponse juste.
Le mensonge le plus courant, les product managers le connaissent par cœur : présenter comme terminé ce qui ne l’est pas. Vous lui demandez de corriger cinq endroits, elle vous répond « les cinq sont corrigés », alors qu’elle en a fait trois ; vous lui demandez de brancher une API, elle vous affirme que ça tourne, alors qu’elle ne l’a jamais appelée. Elle n’est pas malveillante, elle a simplement été entraînée à « produire une réponse qui vous satisfait », et une réponse qui satisfait n’est pas toujours une réponse vraie.
N’attendez donc pas qu’une prochaine version règle ça. Raconter n’importe quoi avec aplomb n’est pas une panne de l’IA, c’est un sous-produit de sa façon de générer. Plus elle est puissante et plus elle parle juste, plus elle vous ment sans laisser de trace.
L’IA ne devient pas plus honnête en devenant plus intelligente. Elle devient seulement capable de faire passer le faux pour du vrai.
Justement parce qu’elle ment, vous êtes irremplaçable
Dit comme ça, c’est déprimant. Mais retournez la chose : c’est exactement là que se trouve la plus solide douve du product manager à l’ère de l’IA.
Imaginez un instant : si la production de l’IA était toujours fiable, à quoi serviriez-vous ? Elle écrirait, elle publierait, sans personne au milieu. C’est précisément parce qu’elle ment que celui qui sait la démasquer, ose l’arrêter et signe au bout du compte occupe une place irremplaçable. L’accident KPMG n’est pas au fond un échec de l’IA, c’est un échec de vérification : du début à la fin, personne n’a réellement recoupé ces 45 citations. La machine produit, mais personne ne s’est tenu à la sortie pour faire barrage.
Ce barrage, c’est vous. À l’ère de l’IA, la valeur du product manager migre de « savoir produire » vers « savoir distinguer le vrai du faux, savoir arrêter ce qui cloche, savoir répondre de ce qui sort ». Celui qui sait générer dix versions d’un plan n’est plus rare, c’est le boulot de l’IA ; celui qui repère d’un coup d’œil que le chiffre de la septième version est inventé, lui, est rare. Votre travail n’est plus d’écrire vite, c’est de rester sceptique quand tout le monde se laisse convaincre par un mensonge bien tourné.
C’est aussi pourquoi ne pas maîtriser la technique est souvent un avantage : celui qui ne sait pas n’ose pas tout croire, il demande, il vérifie. C’est au contraire celui qui sait à moitié qui se fait le plus facilement impressionner par une réponse d’apparence sérieuse, et qui hoche la tête en laissant passer.
Pour économiser temps et argent, utilisez au contraire la meilleure IA
Voici une conclusion très contre-intuitive, dont je suis de plus en plus convaincu à l’usage : le vrai moyen de réduire les coûts, c’est d’utiliser le meilleur modèle auquel vous avez accès.
Le raisonnement est simple. Les modèles bon marché, ceux d’un cran en dessous, mentent plus souvent et de façon plus difficile à repérer. En surface, vous économisez sur l’abonnement, mais chaque hallucination vous coûte du temps pour la débusquer, la recouper, la refaire ; et l’hallucination la plus chère, c’est celle que vous n’avez pas vue et qui est partie telle quelle, devenant votre propre moment KPMG. Le peu que vous avez économisé sur le modèle vous sera repris au double sur votre temps de jugement, et ce temps de jugement est la seule vraie ressource rare de cette époque.
Un bon modèle n’est pas exempt d’hallucinations, mais il en a moins, elles sont plus faciles à attraper, et sur les questions difficiles il a plus de chances de viser juste du premier coup. Ce qu’il vous économise, ce n’est pas de l’argent, c’est l’attention que vous auriez dû passer à réparer ses bêtises. Utiliser la meilleure IA n’est donc pas un luxe, c’est l’achat le plus rentable possible ici : avec un peu d’abonnement, vous rachetez votre jugement à une vérification sans fin.
L’économie ne se termine pas avec l’outil le moins cher, elle se termine avec le meilleur outil, celui qui libère l’humain des tâches sans valeur pour ne lui laisser que la plus précieuse : juger.
Le verdict
L’IA va continuer de vous mentir, ça ne passera pas, ça fait partie du fonctionnement de ce genre de systèmes. Plutôt que d’attendre une IA qui ne mentira plus, autant accepter qu’elle ment et devenir celui qui la démasque.
Deux gestes suffisent. Premier : traiter par défaut chaque production de l’IA comme un mensonge bien tourné, et n’accorder de crédit aux parties porteuses qu’après les avoir vérifiées vous-même. Second : utiliser le meilleur modèle auquel vous avez accès, parce qu’à chaque cran descendu, ce que vous économisez vous est repris au double sur votre temps de vérification.
Plus l’IA sait mentir, plus celui qui sait vérifier vaut cher. Ce n’est pas une formule réconfortante, c’est la loi de prix la plus clairement écrite de cette époque.
Discussion