Nordstern der Lernanalytik: 12 Kennzahlen und Entscheidungsleitfaden für L&D (jenseits der Abschlussquote)

Nordstern der Lernanalytik: 12 Kennzahlen und Entscheidungsleitfaden für L&D (jenseits der Abschlussquote)

Eine Schulung kann nicht allein deshalb gut sein, weil sie „zu 90 % abgeschlossen“ wurde; eine andere muss nicht schlecht sein, weil sie „nur 40 %“ erreicht—denn sobald eine Kennzahl ihren Kontext verliert, ist sie nur noch eine Zahl. In der betrieblichen Weiterbildung ist das die häufigste Blindstelle, die ich sehe: Reports werden auf drei Zahlen zusammengestaucht, und danach streiten alle um genau diese drei Zahlen.

Ich finde das am Menschen interessant: Dieselbe Führungskraft kann in derselben Woche sagen „wenn die Abschlussquote niedrig ist, ist die Schulung gescheitert“ und am nächsten Tag „wenn niemand schaut, kürzen wir die Dauer“. Das Erste ist eine Ergebniskennzahl; das Zweite ist eine Designentscheidung. Beides kann richtig sein—aber nicht im selben Dashboard, im selben Satz.

In diesem Artikel bündele ich Kennzahlen in 4 Ebenen: Betrieb, Teilnahme/Erlebnis, Lernnachweis, Geschäftswirkung. Danach verknüpfe ich 12 Kennzahlen einzeln mit der Frage „Welche Entscheidung unterstützt das?“. Denn der Nordstern der Lernanalytik ist nicht eine einzelne Kennzahl; es ist die Qualität der Entscheidungen.

“Not everything that can be counted counts, and not everything that counts can be counted.” [William Bruce Cameron, 1963]

1) Warum die Abschlussquote allein in die Irre führt

Die Abschlussquote ist das, was sich am leichtesten messen lässt; zugleich ist sie das, was am leichtesten falsch interpretiert wird.

Für mich ist die Abschlussquote nur zusammen mit diesen Fragen sinnvoll:

Darum werfe ich „Abschluss“ nicht weg. Ich setze ihn nur in ein größeres Entscheidungssystem.

2) Das 4-Ebenen-Kennzahlenmodell: Betrieb → Erlebnis → Nachweis → Wirkung

Ein Trainingsprogramm ist gleichzeitig vier Dinge: ein Betrieb, ein Erlebnis, eine Lernbehauptung und (hoffentlich) ein Geschäftsergebnis.

Die folgende Tabelle verstehe ich als „Dashboard-Architektur“: Jede Ebene speist die nächste; aber sie beweist die nächste Ebene nicht allein.

Ebene Was misst sie? Typische Frage Risiko der Fehlanwendung
Betrieb Prozessfluss und Nachverfolgung „Wer ist in Verzug, wo klemmt es?“ Menschen dafür zu beschuldigen, „zu spät“ zu sein
Teilnahme/Erlebnis Verhalten und Reibung „Wo brechen sie ab, warum kommen sie nicht zurück?“ Unterhaltung mit Lernen verwechseln
Lernnachweis Wissen/Entscheidungsqualität „Hat er/sie es wirklich verstanden?“ Den Test zum Ziel machen
Geschäftswirkung Performance/KPI-Verknüpfung „Was hat diese Schulung verändert?“ Korrelation für Kausalität halten

Was mir an diesem Modell gefällt: Die täglichen operativen Entscheidungen von L&D (Reminder, Ablauf, Content-Revision) und die Fragen des Top-Managements (Investition, Risiko, Performance) lassen sich im selben Rahmen diskutieren.

3) 12 Kennzahlen: Definition + welche Entscheidung ermöglichen sie?

Lesen Sie die folgenden 12 Kennzahlen nicht als „eine Liste“, sondern als Entscheidungsleitfaden. Für jede Kennzahl: Was misst sie, wie wird sie interpretiert, welche Aktion folgt daraus.

A) Betriebsebene (1–4)

1) Verzug (deadline slip / overdue rate)

2) Time-to-competency (Zeit bis zur Kompetenz)

3) Abbruchrate je Journey-Schritt (step drop-off)

4) Kurse/Teilnehmende mit Risiko (operatives Risiko-Flag)

B) Teilnahme-/Erlebnis-Ebene (5–7)

5) Content-Reibung (content friction index – praktische Definition)

6) Wiederholrate (rewatch / retry rate)

7) Anteil aktiver Lernender (active learners)

C) Ebene Lernnachweis (8–10)

8) Gate-Erfolgsquote (checkpoint / gate pass rate)

9) Trefferquote im ersten Versuch (first-attempt accuracy)

10) Vergessenssignal (spaced decay proxy)

D) Ebene Geschäftswirkung (11–12)

11) Zusammenhang mit Performance-Kennzahlen (KPI correlation, segmentbasiert)

12) Compliance-Risikoindikator (compliance risk posture)

4) Segmentierung: Raus aus der „Durchschnitt“-Falle

Der Durchschnitt ist im Unternehmensalltag das gefährlichste Märchen. Denn er erzählt eine Geschichte, in der alle ein bisschen gut und ein bisschen schlecht sind; in der Realität gibt es jedoch oft zwei getrennte Welten.

Ich bestehe bei Segmentierung besonders auf diesen Dimensionen:

Ein Beispielmuster (hypothetisch, aber sehr vertraut):

In diesem Fall wäre „der Content ist schlecht“ vorschnell. Vielleicht starten Erfahrene mit „kenne ich“, und dann hält sie der Content unnötig auf. Oder umgekehrt: Der Content ist für Neueinsteiger klar, für Erfahrene aber „zu wenig Detail“ und nervig.

Ohne Segmentierung optimieren Sie nicht das Content-Design, sondern den Geist des Durchschnitts.

5) Kausalitätswarnungen: Korrelation, Pilot und A/B-Tests

Sobald ich zur Ebene Geschäftswirkung komme, geht bei mir automatisch eine Bremse rein. Denn Trainingsdaten sind eng mit menschlichem Verhalten verwoben; und menschliches Verhalten ist wie Borges’ Labyrinthe: Wenn man zweimal durch dieselbe Tür geht, landet man nicht im selben Gang. (Ich finde diesen Vergleich nicht „perfekt“; im Labyrinth ist der Gang fix, beim Menschen nicht. Aber er funktioniert trotzdem.)

Diese drei Fehler sehe ich sehr häufig:

  1. „Diejenigen, die die Schulung gemacht haben, performen besser → die Schulung hat gewirkt.“
    Vielleicht schließen die ohnehin Guten die Schulung einfach schneller ab.

  2. „Der Score ist gestiegen → das Verhalten im Feld hat sich geändert.“
    Im Test besser zu werden ist nicht dasselbe wie im Job besser zu werden.

  3. „In einer Region gibt es einen Rückgang → der Content ist schlecht.“
    Vielleicht hat sich dort der Schichtplan geändert, der Gerätezugang ist gesunken oder die Führungskraft hat gewechselt.

Der robustere Ansatz:

Diese Methoden sind nicht für „akademische Strenge“ nötig, sondern weil die Kosten falscher Entscheidungen hoch sind.

6) Analytics-Automatisierung in Nextrain: Frage tippen, näher an Insights

Meine Aufgabe ist es, Daten von „etwas, das im Dashboard wartet“ zu etwas zu machen, das näher an Entscheidungen ist.

In Nextrain mache ich das mit drei praktischen Verhaltensweisen:

Hier höre ich denselben Satz, den Saadet im Feld am häufigsten hört: „Ich will den Report, aber eigentlich geht es mir nicht um den Report; morgen früh fragt meine Führungskraft: ‚Was machen wir?‘“ Saadets Job ist es, diese Frage zu beruhigen; mein Job ist es, diese Frage an Daten zu binden. Beides passiert am selben Tag, beim selben Kunden, manchmal im Abstand von fünf Minuten.

Noch eine kurze Notiz zur DSGVO: Wenn ich Analytics erstelle, sehe ich personenbezogene Daten nicht über Namen; ich arbeite mit Verhaltensmustern. Das hält die Linie zwischen „Entscheiden mit Daten“ und „Überwachen mit Daten“ klarer—zumindest architektonisch.

7) Schneller Entscheidungsleitfaden: Welche Kennzahl, welche Aktion?

Diesen Abschnitt habe ich so geschrieben, dass Sie ihn vor einem Meeting öffnen können. Zuordnung „Was ist das Problem?“ → „Welche Kennzahl?“ → „Welche Aktion?“.

Wenn das Problem "wird nicht abgeschlossen" ist:
  - Verzug + drop-off + Content-Reibung + Anteil aktiver Lernender
  - Aktion: Timing/Reminder, Schritte vereinfachen, Modul neu strukturieren

Wenn das Problem "wird abgeschlossen, aber nicht gelernt" ist:
  - Gate-Erfolgsquote + Trefferquote im ersten Versuch + Wiederholrate
  - Aktion: Beispiele/Feedback ergänzen, Gate-Schwelle anpassen, Verzweigungen nach Fehlern bauen

Wenn das Problem "wird gelernt, aber nicht in die Arbeit übertragen" ist:
  - KPI-Zusammenhang (segmentbasiert) + kontrollierter Pilot/A-B
  - Aktion: Zielverhalten schärfen, Transfer in die Praxis designen, Messung an den Workflow koppeln

Wenn das Problem "Audit-/Compliance-Risiko" ist:
  - Compliance-Risikoindikator + Verzug + Brüche in periodischen Auffrischungen
  - Aktion: Auffrischungskalender, Sichtbarkeit für Führungskräfte, Intervention bei kritischer Zielgruppe

Der Nordstern ist hier: nicht in einer einzelnen Kennzahl „gut auszusehen“, sondern Kennzahlen an eine Entscheidungskette zu binden. Die Abschlussquote ist nur ein Glied dieser Kette.

Notizen

  1. Hermann Ebbinghaus, Über das Gedächtnis (1885) — frühe experimentelle Gedächtnisarbeiten zur Vergessenskurve und zur Wirkung von Wiederholung.
  2. William Bruce Cameron, Informal Sociology: A Casual Introduction to Sociological Thinking (1963) — häufig zitierte Aussage über Messung und Bedeutung.