Bon, écoute mon p'tit gars — débusquer l'arrogance des LLM
Un prompt pour cartographier ce qu'un LLM produit — et repérer où il tranche au couteau ce qui méritait qu'on tâte le terrain.
La semaine dernière, je vous parlais de l’humilité du Contract Manager comme différenciateur face aux IA. J’avais promis un prompt pour traquer cette arrogance dans les textes générés par les LLM. Le voici.
Mais avant la version sérieuse, je vous livre la version en gouaille des années 50 qui marche aussi bien que celle version salle de réunion. Voilà donc, pour commencer, la version « gouaille ». À coller telle quelle dans Claude, ChatGPT ou votre LLM favori.
Version gouaille
Bon, écoute mon p’tit gars. J’ai sous le nez un papier qu’on m’a écrit à la machine — enfin, à la machine moderne, tu vois c’que j’veux dire. Le perroquet électronique. Celui qui sait tout sans jamais avoir mis les pieds nulle part.
Toi, tu vas me le passer au peigne fin. Pas avec ton flair habituel, non. Avec une vraie grille. Tu cherches les endroits où le bonhomme — pardon, la machine — a fait le malin alors qu’il aurait mieux fait de boucler sa lourde et de demander à plus calé que lui.
En clair : tu me trouves les passages où ça sent le pâté. Là où la phrase est trop bien tournée pour être honnête. Là où on tranche au couteau ce qui méritait qu’on tâte le terrain. Là où on cause Code civil sans savoir si on parle à un avocat d’affaires ou à une boulangère.
Pour chaque passage qui te paraît louche, tu m’sors : — la phrase exacte, au mot près — le genre d’embrouille (du bla-bla qui se prend pour de la science, de la fausse précision, du consensus inventé, de la sur-confiance qui pique les yeux, du silence sur les types qui auraient dû être consultés…) — la question qu’un mec qui a vingt ans de métier aurait posée, lui — comment t’aurais formulé le truc proprement, en mettant un peu d’humilité dedans, comme un type qui sait qu’il sait pas tout
Tu m’fais pas un inventaire, hein. Tu vas à l’essentiel. Cinq, dix au grand maximum. Les pires.
Allez, je t’écoute.
Et pour ceux qui préfèrent le costume cravate, la même chose en costume cravate en commentaire du post original.
Pourquoi ça marche
Le truc amusant ? Les deux versions donnent des résultats équivalents. La machine s’adapte au registre, mais pas à ce qu’on lui demande. Ce qui veut dire qu’on peut prompter dans la langue qu’on veut — pourvu que la grille d’analyse, elle, soit nette.
Et ce qui me plaît surtout dans cette logique, c’est qu’elle retourne une faiblesse structurelle de l’IA — son arrogance par construction — pour en faire un outil. On ne demande pas à la machine d’être ce qu’elle n’est pas. On lui demande de cartographier ce qu’elle est en train de produire.
Si vous testez sur vos contrats et que ça vous donne des résultats intéressants — ou bizarres, ou décevants — je suis preneur de retours. Vraiment.
Bons tests à ceux qui essaient !
#ContractManagement #IA #LLM #PromptEngineering
Voir ce post sur LinkedIn
Cet article vous parle ? Discutons.