Bewertungsqualität mit AI: Wie man Halluzinationen, Bias und Schwierigkeitsgrad in der Fragenbank kontrolliert

Ein einziges Wort in einer Multiple-Choice-Frage („am besten“, „zuerst“, „welches ist nicht“) kann verändern, was Sie messen; Leistungsbewertung ist manchmal mehr Grammatik als Inhalt. In Calvinos Die unsichtbaren Städte sind die Städte aus demselben Material gebaut und funktionieren doch nach völlig anderen Regeln—so sind auch meine Fragenbanken: gleiches Thema, gleiches Zielverhalten; aber wenn sich Stem und Distraktoren ändern, entsteht eine andere „Stadt“ (Calvino, Le città invisibili, 1972).

Fragen mit AI zu erzeugen ist deshalb zugleich großartig und gefährlich. Großartig, weil die Produktionsgeschwindigkeit steigt. Gefährlich, weil die Qualität oft still erodiert: Niemand schlägt Alarm mit „wir messen falsch“; nur die Scores werden seltsam, Leute sagen „diese Prüfung war unsinnig“, und dann ist das Thema erledigt.

In diesem Beitrag schlage ich ein praktisches QA-Framework vor, um eine Fragenbank zuverlässig, fair und nivelliert zu halten: Fragenproduktion → Qualitäts-Gates → Veröffentlichungsfreigabe. Auf Nextrain-Seite können Sie das mentale Modell als „AI Gates“ verstehen: Inhalte, die ein Gate nicht passieren, kommen nicht in die nächste Phase; sie gehen zurück, werden korrigiert und erneut geprüft.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
Ich übersetze das für Prüfungen so: Man kann alles bepunkt(en); aber nicht jede Punktzahl ist Messung.

1) Was bedeutet „Qualität“ in der Fragenbank? (Drei Achsen: Korrektheit, Fairness, Niveau)

Ich sehe Teams, die Fragenqualität mit einem einzigen „gut/schlecht“-Label steuern wollen. Das ist eine Vereinfachung, die der menschliche Geist liebt. Aber das Qualitätsproblem einer Fragenbank spielt sich auf drei getrennten Achsen ab:

1. Korrektheit (Validity + technische Korrektheit):

   • Gibt es genau eine richtige Antwort?
   • Ist die richtige Antwort wirklich richtig?
   • Ist der Stem mehrdeutig?
   • Verlangt die Frage Wissen außerhalb des Kontexts?

2. Fairness (Bias + Inklusion):

   • Passt das Sprachniveau zur Rolle?
   • Begünstigen kulturelle Referenzen eine Gruppe?
   • Sind Dinge, die als „allgemein bekannt“ vorausgesetzt werden, wirklich allen bekannt?

3. Niveau (Schwierigkeit + Trennschärfe):

   • Zu leicht/zu schwer?
   • Trennt sie gut Wissende von weniger Wissenden?
   • Sind Distraktoren realistisch oder eher „komisch falsch“?

Interessant ist: Menschen diskutieren meist 1 („richtig oder falsch?“), sprechen 2 zögerlich an (das Wort „Bias“ macht Meetings angespannt) und messen 3 fast nie („wir haben doch am Ende des Trainings einen Test gemacht“). Dabei untergräbt eine Verschlechterung in 3 auch 1 und 2 auf unsichtbare Weise.

2) Typische Fehlerklassen bei AI-generierten Fragen (und schnelle Diagnose)

Die Fehler, die AI bei der Fragenerstellung macht, sind nicht „zufällig“; es gibt wiederkehrende Klassen. In Fragenbanken sehe ich am häufigsten diese vier:

A) Mehrdeutiger Stem (ambiguous stem)

Symptom: Zwei Interpretationen sind möglich, zwei richtige Antworten sind möglich.

• Schlechtes Beispiel: „Welcher Ansatz ist im Rahmen der DSGVO für die Datenverarbeitung geeignet?“
  „Geeignet“ wonach? Einwilligung, Vertrag, berechtigtes Interesse? Kein Kontext.

• Schneller Korrekturstandard:

  • Der Stem muss einen einzigen Kontext geben: Rolle, Situation, Einschränkung.
  • Ein einziges Verb: „wählen“, „bestimmen“, „anwenden“ (nicht alles zugleich).

B) Mehrere richtige Antworten (multiple correct)

Symptom: Zwei Optionen sind korrekt; die Prüfung misst nicht „Wissen“, sondern „die Absicht der Autorin/des Autors“.

• Diagnosefrage: „Kann ich die richtige Antwort auch ohne die Optionen hinschreiben?“
  Wenn nicht, ist der Stem wahrscheinlich unvollständig; wenn ja, aber zwei Optionen passen, sind die Optionen das Problem.

C) Wissen außerhalb des Kontexts (out-of-context knowledge)

Symptom: Es wird ein Detail abgefragt, das nicht im Training vorkommt, nicht in der Unternehmensrichtlinie steht und je nach Land sogar rechtlich anders sein kann.

Das passiert, wenn AI mit „allgemeinem Weltwissen“ helfen will. Wie der Ozean in Lems Solaris: Er gibt Ihnen, was Sie wollen—aber nicht aus Ihrem Kontext (Lem, Solaris, 1961). In Prüfungen heißt das: Halluzination.

• Schneller Korrekturstandard:
  • Für jede Frage eine Pflicht zur „Evidenz-Verankerung“ (erkläre ich gleich).

D) Irreführender Distraktor (misleading distractor)

Symptom: Der Distraktor ist nicht realistisch; entweder offensichtlich falsch oder „zu clever“.

• Offensichtlich falscher Distraktor: Trennt Lernende nicht, misst nur Tempo.
• „Cleverer“ Distraktor: Bestraft gutwillige Lernende, wirkt wie ein „Scherz“.

Meine kleine Regel: Ein Distraktor sollte in der Sprache eines häufigen Fehlers aus der Praxis formuliert sein. Er soll „falsch, aber nachvollziehbar“ sein; nicht „falsch und seltsam“.

3) Der langweiligste, aber wirksamste Weg, Halluzinationen zu reduzieren: der Standard „Evidenz-Verankerung“

AI-Halluzinationen vollständig zu eliminieren… klingt theoretisch gut, ist praktisch teuer. Eine bessere Strategie: verhindern, dass Halluzinationen die Prüfung kaputtmachen.

Dafür setze ich pro Frage einen Mini-Standard für ein „Evidenzpaket“. Jede veröffentlichte Item trägt diese drei Elemente:

• Begründung der richtigen Antwort (1–2 Sätze): „Warum ist das richtig?“
• Begründung der falschen Antworten (mind. für 1 kritischen Distraktor): „Warum ist das verlockend, aber falsch?“
• Referenz (internes Dokument / Trainingsabschnitt / Gesetzes- oder Richtlinienüberschrift): „Worauf stützt es sich?“

Wenn man dieses Paket schreibt, passieren zwei Dinge:

1. Die Autorin/der Autor (inkl. mir) merkt den Moment „eigentlich bin ich nicht sicher“.
2. Wenn ein Audit kommt (DSGVO/Arbeitssicherheit usw.), wird die Fragenbank verteidigbar.

Sie können dafür eine Vorlage wie diese nutzen:

Soru ID: KVKK-ONB-014
Hedef davranış: Veri minimizasyonu ilkesini uygulama
Kök: (senaryo + rol + kısıt)
Doğru seçenek: B
Gerekçe (doğru): ...
Çeldirici notu (A): ... (neden yanlış ama cazip)
Referans: KVKK farkındalık eğitimi / Bölüm 2.3 + kurum politikası madde X
Dil seviyesi: Operasyon
Risk etiketi: KVKK

Hier eine kleine Korrektur: Ich sagte eben „mindestens 1 kritischer Distraktor“; in Hochrisikobereichen (DSGVO, Arbeitssicherheit, Ethik) verlange ich für alle Optionen eine kurze Begründung. Denn in diesen Bereichen zerstört „falsche Information“ nicht nur die Messung; sie kann auch Verhalten in die falsche Richtung lenken.

4) Bias und Inklusion: Sprache, Kultur, Rolle… und unsichtbare Schwellen

Bias wird in vielen Teams wie „böse Absicht“ verstanden. Was ich häufiger sehe, ist: Bequemlichkeit bei Sprache und Kontext.

Drei Risikotypen:

1) Sprach-Bias (Literacy-Schwelle)

Dasselbe Wissen kann mit unterschiedlicher Sprachlast abgefragt werden.

• Schlechtes Beispiel (hohe Sprachlast):
  „Welche der folgenden Aussagen ist im Rahmen der Informationspflicht des Verantwortlichen nach DSGVO eine ganzheitliche Repräsentation der Mindestbestandteile, die der betroffenen Person bereitzustellen sind?“

Das ist keine Messfrage; das ist ein Atemtest.

• Inklusivere Version:
  „Welche Information muss in einem DSGVO-Informationshinweis zwingend enthalten sein?“

Gleiches Thema, niedrigere Sprachbarriere.

2) Kultureller Bias (Referenzbarriere)

Beispiele, die Sie für „allgemein bekannt“ halten, können für manche Gruppen fremd sein: bestimmte Städte, bestimmte soziale Praktiken, bestimmte Familienrollen.

Meine Regel: Beispiele sollen aus dem Arbeitskontext kommen. Wenn es Vertrieb ist, dann Vertrieb; wenn Lager, dann Lager; wenn Callcenter, dann Callcenter. Eine Fragenbank ist kein Literaturclub. (Ironisch, weil ich eben Calvino erwähnt habe. Aber ich nutze die Referenz nicht für die Lernenden, sondern für mich; nicht für die Fragen.)

3) Rollen-Bias (Barriere der Arbeitsrealität)

Dasselbe Konzept kann nicht jede Person mit derselben Befugnis umsetzen.

• Schlechtes Beispiel: „Mitarbeitende müssen die Datenverarbeitung stoppen.“
  Welche Mitarbeitenden? Mit welcher Befugnis?

• Korrigiert: „An welche Stelle muss eine Mitarbeiterin/ein Mitarbeiter eine verdächtige Anfrage zur Datenweitergabe eskalieren, bevor sie/er sie freigibt?“
  Das misst eine Handlung, die zur Rolle passt.

Ein Nutzerverhalten überrascht mich immer noch: Dasselbe Unternehmen sagt in derselben Woche sowohl „die Fragen sind zu leicht, niemand nimmt es ernst“ als auch „das Operations-Team versteht den Text nicht“. Beides kann gleichzeitig stimmen—aber die Lösung ist nicht „schwieriger machen“, sondern: Sprachlast senken und das kognitive Ziel schärfen.

5) Schwierigkeit und Trennschärfe: Schnelle Checkliste mit einfacher Itemanalyse

Wenn die Fragenbank wächst, reicht „Bauchgefühl“ nicht. Ich empfehle eine schnelle Checkliste zur Itemanalyse. Lassen Sie sich von Statistik nicht abschrecken; die Basissignale sind einfach.

In der folgenden Tabelle stehen praktische Schwellen (passen Sie sie an Ihr Unternehmen an):

Da ich weiß, dass es bei Nextrain auf der Analytics-Seite event-level Tracking wie „Antwort“ und „Dauer“ gibt, mag ich diese beiden Signale besonders: Die Richtigquote allein kann täuschen; kombiniert mit Zeit beginnen Sie zu unterscheiden, ob eine Frage „schwer“ oder „unverständlich“ ist.

Hier gibt es eine kleine Falle: Sehr schwere Fragen sind nicht immer schlecht. Wenn das Zielverhalten „Expert:innen unterscheiden“ ist, kann p=0.25 völlig gut sein. Schlecht ist, wenn die Frage nicht zum Zielniveau passt.

6) Flow-Design: Fragenproduktion → Qualitäts-Gates → Veröffentlichungsfreigabe (AI-Gates-Mindset)

Fragenbank-Qualität ist weniger das Reparieren einzelner Fragen als Prozessdesign. Ich baue das als Flow mit drei Gates. Ich mag das Wort „AI Gates“, weil es mechanisch ist: Wenn du nicht durchkommst, kommst du nicht durch.

Gate 1 — Strukturelle Validierung (Format + eindeutige Lösung)

Ziel: Die billigsten Fehler so früh wie möglich finden.

Checkliste:

• Verlangt der Stem genau eine Handlung?
• Gibt es genau eine richtige Antwort?
• Passen die Optionen grammatikalisch zum Stem?
• Gibt es keine „alle/keine der genannten“-Optionen, außer wenn wirklich nötig?

Gate 2 — Evidenz und Kontext (Halluzination + Unternehmensfit)

Ziel: Verankern, warum die richtige Antwort richtig ist.

Checkliste:

• Gibt es eine Referenz? (Trainingsabschnitt / Policy / Gesetz/Richtlinie)
• Ist eine Begründung geschrieben?
• Gibt es in Bereichen wie DSGVO/Arbeitssicherheit ein Risiko durch falsche Information?
• Passt das Szenario zur Unternehmensrealität?

An dieser Stelle stellt Saadet, unsere „We’ll Handle It“ Specialist, meist die beste Frage: „Sagt jemand in der Praxis beim Lesen: ‚Okay, aber was soll ich jetzt tun?‘“ Dieser Reflex fängt Bias und Rollen-Mismatch früh ab; denn das Kundenproblem ist oft nicht „Wissen ist falsch“, sondern „Handlung ist unklar“.

Gate 3 — Statistische Gesundheit (Schwierigkeit + Trennschärfe)

Ziel: Die Fragenbank lebendig halten und Verschleiß früh erkennen.

Checkliste:

• Liegt der p-Wert im Zielbereich?
• Ist die Trennschärfe negativ?
• Wird ein Distraktor nicht gewählt?
• Gibt es Zeit-Anomalien?

Dieses Gate muss nicht zwingend „vor Veröffentlichung“ sein. Oft veröffentliche ich und lasse dieses Gate dann mit echten Nutzungsdaten laufen. Denn manche Fragen sehen auf dem Papier perfekt aus und brechen in der Praxis zusammen. Menschen missverstehen auf kreative Weise.

7) Praxisbeispiel: Dieselbe Frage viermal verbessern (Mehrdeutigkeit → Evidenz → Bias → Niveau)

Gehen wir ein Beispiel durch. Thema: Grundverhalten in der Arbeitssicherheit (allgemeines Beispiel; passen Sie es an Ihr Unternehmen an).

Version 0 (schnelle AI-Erzeugung)

Frage: „Welches Verhalten ist aus Sicht der Arbeitssicherheit richtig?“
A) Vorsichtig sein
B) Regeln befolgen
C) Risiken reduzieren
D) Schulung besuchen

Das ist keine Frage; das ist ein Motivationsposter.

Version 1 (mehrdeutigen Stem korrigieren)

Frage: „Sie sehen in der Werkstatt eine Flüssigkeit auf dem Boden. Was ist Ihr erster Schritt?“
A) Darüber springen und weiterarbeiten
B) Bereich markieren und die zuständige Person informieren
C) Ein Foto machen und in die Gruppe posten
D) Am Schichtende reinigen

Jetzt gibt es Verhalten und einen „ersten Schritt“.

Version 2 (Evidenz verankern)

• Richtig: B
• Begründung: Rutsch-/Sturzgefahr ist akut; den Bereich zu sichern und zu melden hat Priorität.
• Referenz: Arbeitssicherheit-Grundschulung / Abschnitt „Gefahrenmeldung und Bereichssicherung“

Hier sinkt das Halluzinationsrisiko: „Foto machen und in die Gruppe posten“ kann in manchen Unternehmen gefördert sein—aber nicht als „erster Schritt“. Die Referenz fixiert das.

Version 3 (Bias reduzieren: Rolle und Befugnis)

Angenommen, Sie merken, dass manche Mitarbeitende nicht wissen, wer „zuständig“ ist.

Überarbeiteter Stem: „… Was ist Ihr erster Schritt?“
B) „Bereich markieren und Schichtleitung / Sicherheitsbeauftragte:n informieren“

Das bringt die Handlung auf Rollenrealität.

Version 4 (Niveau justieren: Distraktoren realistischer machen)

„Darüber springen und weiterarbeiten“ ist zu karikaturhaft. Menschen machen meist plausiblere Fehler: „Ich mach’s schnell selbst sauber.“

A) „Selbst schnell reinigen, um niemanden aufzuhalten“
D) „Wenn keine geeignete Ausrüstung da ist, bis zum Schichtende dem Reinigungsteam überlassen“

Die falschen Optionen sind jetzt „menschlich“; die Trennschärfe steigt.

Schluss: Eine Fragenbank ist kein Content-Depot, sondern ein Messgerät

In Borges’ „Karten“-Geschichte erstellt ein Imperium eine Karte im Maßstab 1:1, und am Ende verrottet die Karte und mischt sich in die Wüste (Borges, „Del rigor en la ciencia“, 1946). Fragenbanken sind manchmal ähnlich: Sie wachsen und wachsen—und dann vertraut niemand mehr, niemand nutzt sie, sie verrotten unter ihrem eigenen Gewicht.

Mein Framework zielt nicht darauf, die Fragenbank klein zu halten, sondern gesund:

• Fehlerklassen benennen,
• einen Standard zur Evidenz-Verankerung setzen,
• Bias-Kontrolle als Design- statt als Intentionsfrage behandeln,
• Schwierigkeit und Trennschärfe mit einfacher Statistik beobachten,
• und alles in einem Gate-Prozess betreiben.

AI hat die Fragenerstellung beschleunigt. Messqualität zu sichern ist aber weiterhin Ingenieursarbeit: langweilige Checks, klare Standards, wiederkehrende Gates. Langweilige Dinge funktionieren oft. (Beim Schreiben dieses Satzes habe ich „oft“ etwas zu locker verwendet; manche langweiligen Dinge sind einfach nur langweilig. Aber Qualitäts-Gates, ja—die funktionieren.)

Notizen

1. Italo Calvino, Le città invisibili (Die unsichtbaren Städte), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, „Not everything that counts can be counted...“, 1963 (weit verbreitetes Zitat).
4. Jorge Luis Borges, „Del rigor en la ciencia“ (in El Hacedor), 1946.