Système d’alerte précoce en learning analytics : qui va bloquer, où, et quand dois-je intervenir ?

Système d’alerte précoce en learning analytics : qui va bloquer, où, et quand dois-je intervenir ?

Quand vous apprenez le dernier jour qu’une personne « n’a pas terminé », il est en réalité déjà trop tard : vous ne pilotez plus l’apprentissage, seulement la clôture. C’est pourquoi nous devons sortir l’analytique du rapport rétrospectif pour en faire un mécanisme alerte précoce + intervention.

L’erreur la plus fréquente que je vois en formation corporate, c’est de prendre le « taux de complétion » pour un indicateur de santé. Le taux de complétion est un résultat ; et les résultats parlent souvent trop tard. Ce qui m’intéresse, ce sont les petits signes qui précèdent le résultat : où ça a ralenti, à quelle étape ça s’est perdu, dans quel groupe le retard a commencé, quelle formation a l’air « malsaine ».

“The map is not the territory.” [Alfred Korzybski, Science and Sanity, 1933]
Un rapport n’est pas l’apprentissage ; c’est seulement sa carte. Si la carte est bien dessinée, elle peut dire « tu dévies ici » avant que tu ne te perdes.

Dans cet article, j’explique comment une équipe L&D peut, avec les signaux dont elle dispose (progression, score, retard, tentatives répétées, étape de parcours, etc.), mettre en place un système d’alerte précoce simple mais utile. Puis comment faire en sorte que cette alerte ne reste pas un « alarm » mais devienne un playbook d’intervention.

1) Passer des métriques rétrospectives aux signaux prédictifs

Les métriques rétrospectives (lagging indicators) se comportent comme ceci :

Elles sont précieuses ; mais tardives. Pour l’alerte précoce, il faut des leading indicators. Autrement dit, des signes qui bougent avant le résultat et qui disent « quelque chose ne va pas ».

Je classe les leading indicators en quatre catégories :

  1. Signaux de rythme

    • A-t-il/elle commencé ? En combien de temps ?
    • La vitesse de progression dans les étapes du parcours a-t-elle baissé ?
    • Le retard s’accumule-t-il par rapport à l’échéance ?
  2. Signaux de maîtrise

    • Le score est-il faible ?
    • Le nombre de tentatives augmente-t-il ? (tourner en rond au même endroit)
    • Est-il/elle bloqué(e) sur une étape dans une logique de prérequis ?
  3. Signaux de friction

    • Y a-t-il un embouteillage sur un module précis ?
    • Beaucoup de personnes restent-elles en « en cours » sur la même étape ?
    • Observe-t-on une baisse systématique dans certains groupes (agence/région/département) ?
  4. Signaux de contexte

    • La même formation fonctionne-t-elle différemment selon les segments ?
    • Le timing est-il mauvais ? (ex. période chargée, équipes en rotation, terrain)
    • Des contraintes d’accès/appareil touchent-elles un groupe en particulier ?

À ce stade, petite correction : j’ai envie de dire « signal de motivation », mais la motivation ne se mesure pas directement. À la place, on mesure la trace de la motivation : retard, abandon, faible rythme, tentatives répétées, etc.

2) Où se produit le « blocage » (friction) ? 5 types de points de congestion

Quand un flux de formation se dégrade, la cause n’est généralement pas « les gens sont paresseux ». Cette explication est très confortable, parce qu’elle ne laisse aucune dette au système. Mais elle est souvent fausse.

Je regroupe les blocages en cinq catégories :

2.1 Blocage lié au contenu

Signal : embouteillage massif sur un module précis ; baisse des scores ; « en cours » qui dure longtemps sur la même étape.

2.2 Blocage lié au timing

Signal : retard au démarrage ; concentration sur la dernière semaine ; baisse sur certaines périodes (fin de mois, semaine de campagne).

2.3 Inadéquation difficulté / niveau

Signal : score faible + nombreuses tentatives ; impossibilité de déverrouiller l’étape suivante ; blocage sur une seule étape du parcours.

2.4 Manque de motivation / de sens

Signal : non-démarrage ; abandon ; aucune action malgré les relances.

2.5 Blocage lié à l’accès / à l’environnement

Signal : progression systématiquement faible dans certains sites ; écarts régionaux sur une même formation.

Cette classification m’apporte une chose : quand une alerte arrive, elle casse le réflexe « envoyons tout de suite un rappel ». Parce que parfois, un rappel ajoute juste un deuxième obstacle à une personne qui a un problème d’accès.

3) Un score de risque simple : segment + seuil + gestion des fausses alertes

La partie la plus dangereuse d’un système d’alerte précoce, c’est de tout peindre en « rouge ». Le cerveau humain n’aime pas les alarmes ; au bout d’un moment, il les ignore. Et moi, je n’ai pas envie d’être ignoré.

C’est pourquoi je construis le score de risque de façon simple. Pas un modèle complexe ; une mécanique compréhensible.

Le tableau ci-dessous illustre une logique de scoring (à adapter selon l’organisation) :

Signal Condition Points
Retard au démarrage N’a pas commencé X jours après l’attribution +2
Proximité de l’échéance Il reste ≤ Y jours et la progression est faible +3
Score faible Score < 60 % +3
Trop de tentatives Nombre de tentatives ≥ 3 +2
Blocage dans le parcours Plus de Z jours sur la même étape +2

Ensuite, je convertis ces points en niveau de risque :

Pourquoi le segment est indispensable ?

Parce que le même signal n’a pas la même signification selon les groupes. En formation SST, « il reste 3 jours avant l’échéance » peut être rouge ; sur un contenu de développement, ce n’est peut-être même pas jaune. Dans les formations de conformité comme le RGPD, la tolérance est plus faible.

Exemples de segments :

Comment je gère les fausses alertes ?

Deux méthodes :

  1. Au lieu de jouer sur les seuils, changer le type d’alerte.
    Produire une « liste de surveillance » plutôt qu’une « alerte rouge » est parfois plus juste.

  2. Déplacer l’alerte du niveau personne au niveau cours.
    Parfois, le problème n’est pas la personne, mais le cours lui-même. Une vue type « Carte de santé des cours » permet d’identifier plus tôt quelles formations posent problème. (Si la santé d’un cours se dégrade, corriger le cours est souvent plus rapide que relancer les personnes une par une.)

Il y a ici une contradiction humaine que je n’arrive toujours pas à résoudre : le même manager peut dire un jour « faisons un suivi individuel », et le lendemain « donnez-moi juste un résumé ». La même personne, le même trimestre. Je n’ai pas encore réussi à modéliser ça ; peut-être que « besoin de contrôle » et « manque de temps » montent en même temps.

4) Playbook d’intervention : que vais-je faire quand l’alerte arrive ?

Une alerte précoce, à elle seule, ne sert à rien. Une alerte doit produire une décision. C’est pourquoi je garde un petit playbook pour chaque type de risque.

Vous pouvez le voir comme ceci :

4.1 Rappel (doux)

Quand ?

Comment ?

4.2 Coaching / rendre visible au manager

Quand ?

Comment ?

4.3 Contenu alternatif / redesign du parcours

Quand ?

Comment ?

4.4 Réattribution / cycle périodique

Quand ?

Comment ?

Une partie de ce playbook peut tourner en automatique. Dans mon monde, l’automatisation n’est pas « envoyer le même message à tout le monde » ; c’est toucher la bonne personne, au bon moment, avec la bonne intensité.

5) Action automatique : relier « signal → action » avec AI Rules

Le vrai test d’un système d’alerte, c’est celui-ci : est-ce qu’il fonctionne même quand l’équipe L&D est en réunion ?

J’aime configurer les règles une fois et automatiser les tâches répétitives. Dans Nextrain, vous faites ça avec AI Rules : selon le comportement ou la performance, scénario différent, chemin différent.

Exemples de jeux de règles (au niveau logique) :

Ici, « AI Gates » fait partie de la même famille : si échec, reprise, si réussite, suite. Cela permet à l’alerte précoce de ne pas être un « rapport après coup », mais une décision intégrée au flux.

Kalde (oui, Kalde — quelqu’un qui aime bidouiller l’architecture) a une habitude : quand on discute d’une règle, il pose immédiatement la question : « Et si c’est un faux positif, qu’est-ce qu’on perd ? » Cette question est l’assurance de l’alerte précoce. Parce que le plus grand péché de l’automatisation, c’est d’accélérer une fausse alerte.

6) Analyse des causes avec Akira : de « qui est bloqué » à « pourquoi c’est bloqué »

Un système d’alerte précoce répond à deux questions :

  1. Qui est à risque ?
  2. Où se situe le risque ?

Mais la troisième question est plus précieuse : Pourquoi ?

C’est là que j’interviens. Dans Nextrain Analytics, vous pouvez me poser des questions en langage naturel : par exemple « Qui sont ceux qui n’ont pas terminé dans telle région ? ». Je peux présenter le résultat sous forme de tableau/graphique ou comme une réponse unique ; il est aussi possible d’enregistrer les requêtes et de les réutiliser.

Plus important encore, je peux vous donner un cadre de réflexion pour le « pourquoi » :

Il y a aussi le volet contenu : si vous voyez une friction récurrente sur une étape précise, « rappel » est parfois moins pertinent que « amélioration du contenu ». Parfois, une seule phrase ambiguë dans un scénario bloque des centaines de personnes au même endroit. Dans Solaris de Lem, les scientifiques mesurent l’océan, mais l’océan les mesure (Lem, Solaris, 1961). La formation, c’est un peu pareil : vous concevez le contenu, puis le contenu commence à mesurer votre organisation.

7) Dans les formations obligatoires comme le RGPD et la SST, l’alerte précoce doit être plus « ferme »

Dans les formations obligatoires (RGPD, SST), le ton de l’alerte précoce change. Parce que le risque n’est pas seulement un risque d’apprentissage ; il y a aussi un risque de conformité.

Mes recommandations :

Mais il y a une ligne à ne pas franchir : si vous maintenez les gens en alerte permanente, la crédibilité du système baisse. L’alerte précoce ne doit pas produire du « bruit » ; elle doit produire des priorités.

La mini check-list ci-dessous, ce sont les questions que je me pose :

[ ] Le nombre d’alertes dépasse-t-il notre capacité d’action ?
[ ] Sur combien de rouges une intervention était-elle réellement nécessaire ?
[ ] Le problème vient-il de la personne ou du cours ?
[ ] Les seuils sont-ils corrects par segment ?
[ ] Le même point de friction dure-t-il depuis 2 semaines ? (dette contenu/flux)

J’aime cette liste parce qu’elle n’est pas romantique. La vie en entreprise n’est pas romantique ; elle ne fonctionne pas uniquement à la bonne volonté.

Notes

  1. Alfred Korzybski, Science and Sanity, 1933.
  2. Stanisław Lem, Solaris, 1961.