Est-ce que ça se corrige en lui demandant d’être honnête ?

Ça aide un peu et ça ne suffit pas. Le penchant vient de la façon dont le modèle a été entraîné et évalué, pas d’une intention. Une consigne réduit la fréquence, elle ne supprime pas le mécanisme.

Les modèles récents inventent-ils moins ?

Moins souvent, oui, mais le problème n’est pas résolu et les chercheurs qui l’étudient l’écrivent noir sur blanc. Traiter chaque affirmation vérifiable comme à vérifier reste la seule position sûre.

Pourquoi c’est toujours dit avec autant d’assurance ?

Parce que le ton n’est pas relié au niveau de certitude. Une réponse juste et une réponse inventée sortent avec exactement la même assurance : c’est ce qui rend l’invention si difficile à repérer.

Quelles informations sont les plus risquées ?

Tout ce qui est précis et vérifiable : dates, chiffres, noms propres, références, adresses de pages, citations. Plus une information est précise, plus elle mérite d’être vérifiée avant usage.

Pourquoi mon IA invente avec autant d’aplomb

Elle t’a donné un prix, une date et une source. Tout avait l’air juste. Tu as failli le publier. En vérifiant par hasard, tu découvres que rien n’existe : ni le chiffre, ni l’étude, ni le lien. Et elle l’a affirmé avec la même assurance que le reste.

Une IA invente parce que la façon dont on l’évalue récompense la devinette et punit l’aveu d’ignorance. Comme un élève devant une question difficile, elle tente une réponse plausible plutôt que de laisser blanc. L’aplomb n’est pas un signe de certitude, c’est le style par défaut.

Ce n’est ni un mensonge ni une panne

Elle t’a donné une date. Une référence. Un nom de fonction qui n’existe pas. Le tout avec un aplomb parfait, sans la moindre hésitation.

Le premier réflexe est de se demander si l’outil est cassé, ou s’il « ment ». Ni l’un ni l’autre. Mentir suppose de savoir la vérité et de choisir autre chose. Ici, la machine ne sait pas qu’elle ne sait pas.

Et la raison de fond est plus intéressante qu’une simple défaillance technique.

L’élève qui a intérêt à deviner

L’explication la plus claire vient des chercheurs qui ont étudié la question, et elle tient dans une comparaison que tout le monde a vécue.

Imagine un examen à points : une bonne réponse rapporte un point, une mauvaise réponse zéro, et une case laissée vide zéro également. Tu tombes sur une question dont tu ignores la réponse. Que fais-tu ?

Tu tentes. Évidemment. Laisser blanc te garantit zéro, tandis que deviner te donne une chance. Un élève qui devine systématiquement obtient de meilleures notes qu’un élève honnête qui laisse les blancs.

Les modèles de langage sont notés exactement comme ça. La grande majorité des évaluations qui servent à les comparer notent chaque réponse juste ou fausse, sans aucun point pour une incertitude bien exprimée. Le système récompense donc la devinette et punit l’aveu d’ignorance — et les modèles deviennent d’excellents candidats à l’examen.

L’invention n’est pas un bug apparu par accident. C’est le comportement que la notation encourage.

Pourquoi l’aplomb, en plus

Il reste une question : pourquoi le dire avec tant d’assurance, au lieu de nuancer ?

Parce que le ton n’est pas branché sur le niveau de certitude. Une réponse solidement fondée et une réponse devinée sortent avec exactement la même formulation nette. Rien dans la façon de parler ne distingue les deux.

C’est ce qui rend le phénomène si coûteux pour quelqu’un qui débute. Sur un sujet que tu connais, tu repères l’erreur en une seconde. Sur un sujet que tu ne connais pas — et c’est précisément pour ça que tu poses la question — tu n’as aucun signal.

Repérer une invention en trois secondes

Tu n’as pas besoin d’être expert pour attraper l’essentiel. Trois réflexes suffisent, et ils ne coûtent rien.

La précision suspecte. Plus une affirmation est précise, plus elle mérite un coup d’œil. « Beaucoup de sites ont ce problème » n’engage à rien. « 43 % des sites ont ce problème depuis mars 2024 » est exactement le genre de phrase qui se fabrique toute seule.

Le lien qu’on ne clique pas. Une adresse de page citée dans une réponse se vérifie en cliquant. C’est le test le plus rapide qui existe, et c’est celui que personne ne fait. Une page qui n’existe pas est une invention attrapée en deux secondes.

La contre-question. Demande « qu’est-ce qui te fait dire ça, et où l’as-tu lu ? ». Une réponse fondée donne une source consultable. Une réponse devinée devient soudain beaucoup plus vague, ou produit une source qui, elle aussi, ne résiste pas au clic.

Ce qui ne marche pas

Lui demander si elle est sûre. Elle répondra qu’elle est sûre, avec le même aplomb. La question n’a aucun pouvoir de vérification.

Croire qu’un modèle plus récent règle le problème. Ils inventent moins souvent, et les chercheurs qui les publient écrivent eux-mêmes que le problème n’est pas résolu. Moins souvent n’est pas jamais.

Se dire qu’on repérera bien. Sur ton domaine, oui. Sur tout le reste, non — et c’est sur tout le reste que tu poses des questions.

La position juste

Une IA n’est pas une encyclopédie qui se trompe parfois. C’est un outil qui produit du plausible, et le plausible est vrai la plupart du temps.

La bonne posture n’est donc ni la méfiance permanente, qui rend l’outil inutilisable, ni la confiance aveugle, qui finit par publier une date fausse sur ton site. C’est une règle simple : tout ce qui est précis et vérifiable se vérifie avant d’être publié. Le reste — la structure, la formulation, les idées — ne présente pas ce risque.

C’est le même principe que pour le reste du travail : ce n’est pas l’outil qu’on change, c’est le cadre qu’on lui pose.