Qualité des évaluations avec l’AI : comment contrôler les hallucinations, les biais et le niveau de difficulté dans une banque de questions ?

Dans une question à choix multiple, un seul mot (« le plus approprié », « en premier », « lequel n’est pas ») peut changer ce que vous mesurez ; l’évaluation est parfois plus une affaire de grammaire que de contenu. Dans Les Villes invisibles de Calvino, les villes sont construites avec les mêmes matériaux mais fonctionnent selon des règles totalement différentes — mes banques de questions sont pareilles : même sujet, même comportement cible ; mais quand la formulation (stem) et les distracteurs (distractors) changent, une autre « ville » apparaît (Calvino, Le città invisibili, 1972).

Générer des questions avec l’AI est donc à la fois formidable et dangereux. Formidable, parce que la vitesse de production augmente. Dangereux, parce que la qualité se dégrade souvent en silence : personne ne déclenche d’alarme en disant « on a mesuré faux » ; les scores deviennent juste bizarres, les gens disent « cet examen était absurde », puis on passe à autre chose.

Dans cet article, je propose un cadre pratique d’assurance qualité (QA) pour garder la banque de questions fiable, équitable et nivelée : production de questions → portes qualité → validation de publication. Côté Nextrain, vous pouvez voir cela comme un modèle mental du type « AI Gates » : un contenu qui ne passe pas une porte n’avance pas à l’étape suivante ; il revient, est corrigé, puis retenté.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
Je le traduis ainsi pour les examens : vous pouvez tout noter ; mais toute note n’est pas une mesure.

1) Que signifie la « qualité » dans une banque de questions ? (Trois axes : exactitude, équité, niveau)

Je vois des équipes essayer de piloter la qualité des questions avec une seule étiquette « bon/mauvais ». C’est une simplification que l’esprit humain adore. Mais le problème de qualité d’une banque de questions se joue sur trois axes distincts :

1. Exactitude (validity + exactitude technique) :

   • Y a-t-il une seule bonne réponse ?
   • La bonne réponse est-elle réellement correcte ?
   • La formulation de la question est-elle ambiguë ?
   • Exige-t-elle des connaissances hors contexte ?

2. Équité (bias + inclusivité) :

   • Le niveau de langue est-il adapté au rôle ?
   • Les références culturelles avantagent-elles un groupe ?
   • Les choses supposées « connues de tous » le sont-elles vraiment ?

3. Niveau (difficulté + pouvoir discriminant) :

   • Trop facile / trop difficile ?
   • Distingue-t-elle ceux qui savent bien de ceux qui savent peu ?
   • Les distracteurs sont-ils réalistes, ou plutôt des « erreurs comiques » ?

Ce qui est intéressant : les gens discutent généralement du point 1 (« vrai ou faux ? »), parlent du point 2 avec prudence (le mot « biais » tend les réunions), et ne mesurent presque jamais le point 3 (« on a déjà fait un test à la fin de la formation »). Or, une dégradation sur l’axe 3 finit par pourrir invisiblement les axes 1 et 2.

2) Classes d’erreurs typiques dans les questions générées par l’AI (et diagnostic rapide)

Les erreurs que fait l’AI en générant des questions ne sont pas « aléatoires » ; il existe des classes récurrentes. Dans une banque de questions, je vois le plus souvent ces quatre erreurs :

A) Formulation ambiguë (ambiguous stem)

Symptôme : deux interprétations possibles, donc deux réponses possibles.

• Mauvais exemple : « Dans le cadre du RGPD, quelle est l’approche appropriée pour le traitement des données ? »
  « Appropriée » selon quoi ? Consentement, contrat, intérêt légitime ? Il n’y a pas de contexte.

• Standard de correction rapide :

  • La formulation doit donner un seul contexte : rôle, situation, contrainte.
  • Un seul verbe : « choisir », « identifier », « appliquer » (pas tout à la fois).

B) Plusieurs bonnes réponses (multiple correct)

Symptôme : deux options sont correctes ; l’examen ne mesure pas la « connaissance », mais « l’intention de l’auteur ».

• Question de diagnostic : « Puis-je écrire la bonne réponse sans voir les options ? »
  Si vous ne le pouvez pas, la formulation est probablement incomplète ; si vous le pouvez mais que deux options conviennent, ce sont les options qui posent problème.

C) Connaissances hors contexte (out-of-context knowledge)

Symptôme : on interroge un détail absent du contenu de formation, absent de la politique interne, voire différent selon la réglementation du pays.

C’est ce que fait l’AI quand elle essaie d’aider avec sa « connaissance générale du monde ». Comme l’océan dans Solaris de Lem : il vous donne ce que vous voulez, mais pas depuis votre contexte (Lem, Solaris, 1961). Dans un examen, cela s’appelle : hallucination.

• Standard de correction rapide :
  • Obligation de « rattachement à une preuve » pour chaque question (j’y reviens plus bas).

D) Distracteur trompeur (misleading distractor)

Symptôme : le distracteur n’est pas réaliste ; soit il est trop évidemment faux, soit il joue la « ruse ».

• Distracteur évidemment faux : ne discrimine pas les apprenants, il mesure seulement la vitesse.
• Distracteur « rusé » : pénalise l’apprenant de bonne foi, ça ressemble à une blague.

Ma petite règle : un distracteur doit être écrit dans le langage d’une erreur fréquente sur le terrain. Il doit être « faux mais compréhensible », pas « faux et étrange ».

3) La façon la plus ennuyeuse mais la plus efficace de réduire les hallucinations : le standard de « rattachement à une preuve »

Éliminer totalement les hallucinations de l’AI… c’est beau en théorie, coûteux en pratique. Une meilleure stratégie : empêcher les hallucinations de casser l’examen.

Pour cela, j’impose à chaque question un mini standard de « paquet de preuves ». Chaque item publié contient ces trois éléments :

• Justification de la bonne réponse (1–2 phrases) : « Pourquoi est-ce correct ? »
• Justification des erreurs (au moins pour 1 distracteur critique) : « Pourquoi c’est tentant mais faux ? »
• Référence (document interne / section de formation / intitulé réglementaire) : « Sur quoi cela s’appuie ? »

Quand on écrit ce paquet, deux choses se produisent :

1. L’auteur (moi compris) repère le moment « en fait je ne suis pas sûr ».
2. En cas d’audit (RGPD/SST, etc.), la banque de questions devient défendable.

Vous pouvez utiliser un modèle comme celui-ci :

Soru ID: KVKK-ONB-014
Hedef davranış: Veri minimizasyonu ilkesini uygulama
Kök: (senaryo + rol + kısıt)
Doğru seçenek: B
Gerekçe (doğru): ...
Çeldirici notu (A): ... (neden yanlış ama cazip)
Referans: KVKK farkındalık eğitimi / Bölüm 2.3 + kurum politikası madde X
Dil seviyesi: Operasyon
Risk etiketi: KVKK

Je fais ici une petite correction : j’ai dit « au moins 1 distracteur critique » ; en réalité, dans les domaines à haut risque (RGPD, SST, éthique), j’exige une justification courte pour toutes les options. Parce que dans ces domaines, une « information fausse » ne casse pas seulement la mesure ; elle peut aussi casser le comportement.

4) Biais et inclusivité : langue, culture, rôle… et seuils invisibles

Dans beaucoup d’équipes, le biais est perçu comme une « mauvaise intention ». Ce que je vois plus souvent, c’est : la paresse de langue et de contexte.

Trois types de risques :

1) Biais linguistique (seuil de littératie)

La même connaissance peut être demandée avec une charge linguistique différente.

• Mauvais exemple (charge linguistique élevée) :
  « Parmi les propositions suivantes, laquelle constitue une représentation holistique des éléments minimaux que le responsable du traitement doit fournir à la personne concernée au titre de l’obligation d’information ? »

Cette phrase n’est pas une question d’évaluation ; c’est un test d’apnée.

• Version plus inclusive :
  « Dans un texte d’information RGPD, quelle information doit obligatoirement figurer ? »

Même sujet, barrière linguistique plus faible.

2) Biais culturel (barrière de référence)

Les exemples que vous pensez « connus de tous » peuvent être étrangers à certains groupes : certaines villes, certaines pratiques sociales, certains rôles familiaux.

Ma règle : les exemples doivent venir du contexte de travail. Si c’est la vente, la vente ; si c’est l’entrepôt, l’entrepôt ; si c’est un centre d’appels, un centre d’appels. Une banque de questions n’est pas un club de littérature. (C’est ironique, puisque je viens de citer Calvino. Mais j’utilise la référence pour moi, pas pour le lecteur ; pas dans les questions.)

3) Biais de rôle (barrière de réalité métier)

Tout le monde n’applique pas un concept avec le même niveau d’autorité.

• Mauvais exemple : « L’employé doit arrêter l’activité de traitement des données. »
  Quel employé ? Avec quelle autorité ?

• Corrigé : « Avant d’approuver une demande suspecte de partage de données, vers quel service l’employé doit-il escalader la demande ? »
  Cela mesure une action que le rôle peut réellement effectuer.

Un comportement utilisateur continue de me surprendre : dans la même entreprise, la même semaine, on entend à la fois « les questions sont trop faciles, personne ne prend ça au sérieux » et « l’équipe opérationnelle ne comprend pas le texte ». Les deux peuvent être vrais en même temps — mais la solution n’est pas de « rendre plus difficile » ; c’est de réduire la charge linguistique et clarifier l’objectif cognitif.

5) Difficulté et pouvoir discriminant : liste de contrôle rapide avec une analyse d’items simple

Quand la banque de questions grandit, l’« instinct » ne suffit plus. Je recommande une liste de contrôle rapide d’analyse d’items. Ne vous laissez pas intimider par la partie statistique ; les signaux de base sont simples.

Le tableau ci-dessous propose des seuils pratiques (à ajuster selon l’organisation) :

Comme je sais que, côté Nextrain, il existe un suivi au niveau événement (event-level) pour des signaux comme « Réponse » et « Durée », j’aime particulièrement ces deux indicateurs : le taux de bonnes réponses seul peut être trompeur ; combiné à la durée, vous commencez à distinguer une question « difficile » d’une question « incompréhensible ».

Il y a un petit piège : les questions très difficiles ne sont pas toujours mauvaises. Si le comportement cible est de « distinguer les experts », p=0.25 peut être très bien. Ce qui est mauvais, c’est l’inadéquation entre la question et le niveau cible.

6) Conception du flux : production de questions → portes qualité → validation de publication (mentalité AI Gates)

La qualité d’une banque de questions est moins une affaire de correction question par question que de conception de processus. Je la construis comme un flux à trois portes. J’aime le terme « AI Gates » parce qu’il est mécanique : si ça ne passe pas, ça ne passe pas.

Porte 1 — Validation structurelle (format + unicité de la bonne réponse)

Objectif : attraper les erreurs les moins coûteuses le plus tôt possible.

Liste de contrôle :

• La formulation demande-t-elle une seule action ?
• Y a-t-il une seule bonne réponse ?
• Les options sont-elles grammaticalement compatibles avec la formulation ?
• Les options du type « toutes / aucune » sont-elles absentes sauf nécessité ?

Porte 2 — Preuve et contexte (hallucination + alignement organisationnel)

Objectif : rattacher le « pourquoi c’est correct ».

Liste de contrôle :

• Y a-t-il une référence ? (section de formation / politique / réglementation)
• Une justification est-elle écrite ?
• Y a-t-il un risque d’information erronée dans des domaines comme RGPD/SST ?
• Le scénario correspond-il à la réalité de l’organisation ?

À ce stade, Saadet, notre « We’ll Handle It » Specialist, pose généralement la meilleure question : « Quand quelqu’un lit ça sur le terrain, est-ce qu’il se dit ‘ok, mais concrètement je fais quoi ?’ » Son réflexe repère tôt les biais et les inadéquations de rôle, parce que le problème client est souvent moins « l’info est fausse » que « l’action est floue ».

Porte 3 — Santé statistique (difficulté + pouvoir discriminant)

Objectif : garder la banque vivante ; détecter la dégradation tôt.

Liste de contrôle :

• La valeur p est-elle dans la plage cible ?
• Le pouvoir discriminant est-il négatif ?
• Un distracteur n’est-il jamais choisi ?
• Y a-t-il une anomalie de durée ?

Cette porte n’a pas besoin d’être « avant publication ». Souvent, je publie, puis j’active cette porte avec les données réelles des utilisateurs. Parce que certaines questions paraissent parfaites sur le papier et s’effondrent sur le terrain. Les gens se trompent de manière créative.

7) Exemple pratique : améliorer la même question quatre fois (ambiguïté → preuve → biais → niveau)

Prenons un exemple. Sujet : comportement de base en SST (exemple général ; adaptez à votre organisation).

Version 0 (production rapide de l’AI)

Question : « Quel est le bon comportement du point de vue SST ? »
A) Être prudent
B) Respecter les règles
C) Réduire les risques
D) Suivre une formation

Ce n’est pas une question ; c’est une affiche de motivation.

Version 1 (corriger l’ambiguïté)

Question : « Dans l’atelier, vous voyez un déversement de liquide au sol. Quelle est la première chose à faire ? »
A) Enjamber et continuer
B) Signaler la zone et informer la personne concernée
C) Prendre une photo et l’envoyer au groupe
D) Nettoyer à la fin du poste

Il y a maintenant un comportement, et une notion de « première étape ».

Version 2 (rattacher une preuve)

• Bonne réponse : B
• Justification : Le risque de glissade/chute est immédiat ; sécuriser la zone et faire un signalement est prioritaire.
• Référence : Formation SST de base / section « Signalement des dangers et sécurisation de zone »

Ici, le risque d’hallucination diminue : « prendre une photo et l’envoyer au groupe » peut être encouragé dans certaines organisations ; mais pas comme « première étape ». La référence fixe ce point.

Version 3 (réduire le biais : rôle et autorité)

Supposons que vous constatiez que certains employés ne savent pas qui est la « personne concernée ».

Formulation révisée : « ... Quelle est la première chose à faire ? »
B) « Signaler la zone et informer le responsable de poste / le représentant SST »

Cela ramène l’action à la réalité du rôle.

Version 4 (ajuster le niveau : rendre les distracteurs réalistes)

« Enjamber et continuer » est trop caricatural. En général, les gens font des erreurs plus raisonnables : ils disent « je vais nettoyer moi-même ».

A) « Nettoyer rapidement vous-même pour ne déranger personne »
D) « S’il n’y a pas d’équipement adapté, laisser l’équipe de nettoyage s’en occuper à la fin du poste »

Les erreurs sont désormais « humaines » ; le pouvoir discriminant augmente.

Conclusion : une banque de questions n’est pas un dépôt de contenu, c’est un instrument de mesure

Dans l’histoire de la « carte » de Borges, l’empire fabrique une carte à l’échelle 1:1 du pays, et la carte finit par pourrir et se mêler au désert (Borges, « Del rigor en la ciencia », 1946). Les banques de questions ressemblent parfois à cela : elles grandissent, grandissent, grandissent — puis plus personne ne leur fait confiance, plus personne ne les utilise, elles pourrissent sous leur propre poids.

Le cadre que je propose ne vise pas à garder une banque de questions petite, mais à la garder saine :

• Nommer les classes d’erreurs,
• Mettre en place un standard de rattachement à une preuve,
• Traiter le contrôle des biais comme un sujet de « conception » plutôt que d’« intention »,
• Suivre difficulté et pouvoir discriminant avec des statistiques simples,
• Et faire fonctionner le tout dans un processus à portes.

L’AI a accéléré la production de questions. Préserver la qualité de mesure reste un travail d’ingénierie : contrôles ennuyeux, standards clairs, portes répétées. Les choses ennuyeuses fonctionnent souvent. (En écrivant cette phrase, j’ai utilisé « souvent » un peu trop facilement ; certaines choses ennuyeuses sont juste ennuyeuses. Mais les portes qualité, oui — ça marche.)

Notes

1. Italo Calvino, Le città invisibili (Görünmez Kentler), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, « Not everything that counts can be counted... », 1963 (citation courante).
4. Jorge Luis Borges, « Del rigor en la ciencia » (dans El Hacedor), 1946.