Təlim analitikasında Şimal Ulduzu: L&D üçün 12 metrik və qərar bələdçisi (tamamlanma faizindən o tərəfi)

Bir təlim “%90 tamamlandı” deyə yaxşı olmaya bilər; başqa bir təlim “%40” deyə pis sayılmaya bilər—çünki metrik kontekstini itirəndə sadəcə rəqəm olur. Korporativ öyrənmədə bu, ən çox gördüyüm korluqdur: hesabatlar üç rəqəmə sıxışır, sonra hamı o üç rəqəmin ətrafında dava edir.

Bunu insanlarda maraqlı hesab edirəm: Eyni rəhbər, eyni həftə içində, “tamamlanma aşağıdırsa təlim uğursuzdur” deyib ertəsi gün “heç kim baxmırsa müddəti qısaldaq” deyə bilir. Birincisi nəticə metriyidir; ikincisi dizayn qərarıdır. Hər ikisi də haqlı ola bilər—amma eyni paneldə, eyni cümlədə yox.

Mən bu yazıda metrikləri 4 qatmanda toplayacağam: operasiya, iştirak/təcrübə, öyrənmə sübutu, iş təsiri. Sonra 12 metriyi tək-tək “hansı qərarı dəstəkləyir?” deyə bağlayacağam. Çünki təlim analitikasında Şimal Ulduzu tək bir metrik deyil; qərar keyfiyyətidir.

“Not everything that can be counted counts, and not everything that counts can be counted.” [William Bruce Cameron, 1963]

1) Tamamlanma faizi niyə təkbaşına yanıldır?

Tamamlanma faizi ölçülməsi ən asan şeydir; eyni zamanda ən asan yanlış şərh ediləndir.

• Məcburi Əməyin mühafizəsi/GDPR təlimində yüksək tamamlanma çox vaxt “öyrənmə” deyil, izləmə mexanizminin uğurudur.
• Satış kimi dinamik komandalarda aşağı tamamlanma bəzən “maraqsızlıq” deyil, operasional sürtünmə (yanlış zamanlama, uzun modul, zəif cihaz uyğunluğu) deməkdir.
• Bir təlimdə %95 tamamlanma + aşağı bal varsa, “iştirak var, amma öyrənmə yoxdur” kimi sad-shaped bir mənzərə çıxır.

Mənim üçün tamamlanma faizi yalnız bu suallarla birlikdə mənalıdır:

• Kim tamamladı? (segment)
• Nə qədər müddətdə tamamladı? (sürət/gecikmə)
• Hansı addımda çətinləndi? (klik/cavab/müddət izləri)
• Sonra nə oldu? (davranış/performans)

Ona görə “tamamlanma”nı zibilə atmıram. Sadəcə onu daha böyük bir qərar dəstinin içinə qoyuram.

2) Dörd qatlı metrik modeli: Operasiya → Təcrübə → Sübut → Təsir

Bir təlim proqramı eyni anda dörd şeydir: bir operasiya, bir təcrübə, bir öyrənmə iddiası və (ümidən) iş nəticəsi.

Aşağıdakı cədvəli mən “panel memarlığı” kimi düşünürəm: Hər qat bir üst qatı qidalandırır; amma üst qatı təkbaşına sübut etmir.

Bu modelin xoşuma gələn tərəfi budur: L&D-nin gündəlik operasional qərarları (xatırlatma, axın, məzmun reviziyası) ilə üst rəhbərliyin sualları (investisiya, risk, performans) eyni çərçivədə danışa bilir.

3) 12 metrik: Tərif + hansı qərarı verir?

Aşağıdakı 12 metriyi “tək siyahı” kimi yox, qərar bələdçisi kimi oxuyun. Hər metrik üçün: nəyi ölçür, necə şərh olunur, hansı aksiyona bağlanır.

A) Operasiya qatı (1–4)

1) Gecikmə (deadline slip / overdue rate)

• Tərif: Son tarixdən sonra tamamlayanların faizi və ya orta gecikmə günü.
• Qərar: Xatırlatma zamanlaması, eskalasiya, iş yükü toqquşması.
• İpucu: Əməyin mühafizəsi/GDPR kimi uyğunluq təlimlərində bu metrik “risk radarıdır”. Gecikmə artırsa, məzmun yox, çox vaxt təqvim yanlışdır.

2) Time-to-competency (səriştəyə çatma müddəti)

• Tərif: Bir rol üçün hədəflənən səviyyəyə (məs., müəyyən qiymətləndirmə həddi) çatana qədər keçən müddət.
• Qərar: Onboarding dizaynı, rol əsaslı səyahət uzunluğu, önşərtlər.
• Diqqət: Bu metrik “sürətli olan yaxşıdır” kimi oxunsa, yanlış olar. Bəzi səriştələr yavaş öyrənilməlidir (xüsusən riskli əməliyyatlar).

3) Səyahət addımı düşüş faizi (step drop-off)

• Tərif: Çoxaddımlı proqramda iştirakçının hansı addımda itirildiyi.
• Qərar: Hansı addım yenidən dizayn ediləcək? Hansı addımın önünə hazırlıq qoyulacaq?
• Şərh: Düşüş təkbaşına “pis addım” demək deyil; bəzən o addım təbii ələmə (gate) funksiyası görür.

4) Risk altındakı kurslar / risk altındakı iştirakçılar (operasional risk bayrağı)

• Tərif: Davam edir, amma tamamlamadan uzaq, gecikməyə yaxın, problem siqnalı verən kütlə.
• Qərar: Kimə müdaxilə, hansı kursa müdaxilə?
• Qeyd: Burada “tək-tək izləmə” yerinə sistemli yanaşma lazımdır; yoxsa L&D çağrı mərkəzinə çevrilər.

B) İştirak / təcrübə qatı (5–7)

5) Məzmun sürtünməsi (content friction index – praktik tərif)

• Tərif: İstifadəçilərin modulda lazımsız yerə çətinləndiyini göstərən izlər: həddən artıq müddət, təkrar izləmə, müəyyən ekranda ilişib qalma, çoxlu klik döngüsü.
• Qərar: Məzmunu qısaltmaq yox; çox vaxt yenidən qurmaq (nümunə əlavə etmək, izah, addım sırası).
• Maraqlısı: İnsanlar bəzən “çətin” məzmunu sevir, “bulanıq” məzmunu sevmir. Sürtünmə çətinliklə eyni şey deyil.

6) Təkrar faizi (rewatch / retry rate)

• Tərif: Eyni bölmənin yenidən izlənmə/yenidən cəhd edilmə faizi.
• Qərar: Möhkəmləndirmə ehtiyacı var, yoxsa anlaşılmazlıq?
• Şərh: Yüksək təkrar + yüksək uğur = möhkəmləndirmə. Yüksək təkrar + aşağı uğur = dizayn problemi.

7) Aktiv öyrənən faizi (active learners)

• Tərif: Müəyyən dövrdə platformada həqiqətən öyrənmə fəaliyyəti edən istifadəçilərin faizi.
• Qərar: Kampaniya dizaynı, kommunikasiya kanalı, zamanlama, motivasiya mexanizmləri.
• Diqqət: “Aktiv” olmaq “öyrəndi” demək deyil; amma “aktiv deyilsə” onsuz da öyrənmə iddiası qura bilməzsiniz.

C) Öyrənmə sübutu qatı (8–10)

8) Gate uğur faizi (checkpoint / gate pass rate)

• Tərif: Nəzarət nöqtələrində uğur həddini keçənlərin faizi.
• Qərar: Hədd doğrudurmu, məzmun yetərlidirmi, hansı alt mövzu çökür?
• İncə tənzim: Gate-lər çox asan olsa saxta inam yaradar; çox çətin olsa sistem “cəza maşını” kimi qəbul edilər.

9) İlk cəhddə doğruluq (first-attempt accuracy)

• Tərif: Suallarda/qərar nöqtələrində ilk cəhddə uğur.
• Qərar: Həqiqi bilik səviyyəsidir, yoxsa təxmin?
• Şərh: İlk cəhd doğruluğu aşağıdır, amma təkrardan sonra yüksəlirsə, təlim “öyrədir” ola bilər. Əksi—ilk cəhd yüksək, sonra düşüş—bəzən sual keyfiyyəti problemidir.

10) Unutma siqnalı (spaced decay proxy)

• Tərif: Zaman keçdikcə eyni anlayışda performansın düşməsi (yenidən ölçmə ilə).
• Qərar: Möhkəmləndirmə intervalı, periodik yeniləmə, mikro təkrar.
• Elm qeydi: Unutma əyrisi ideyası yaddaşın zamanla zəiflədiyini deyir (Ebbinghaus, 1885). Qurumlar bunu bilirmiş kimi davranır, amma təqvimlərini buna görə qurmur—bu da kiçik bir ziddiyyətdir.

D) İş təsiri qatı (11–12)

11) Performans göstəricisi ilə əlaqə (KPI correlation, segment əsaslı)

• Tərif: Təlim metrikləri ilə iş metrikləri arasındakı birgə dəyişmə.
• Qərar: Hansı proqramlar “işlə danışır”?
• Xəbərdarlıq: Korelasiya nedensellik deyil. Bunu ayrıca danışacağam; çünki ən çox səhv burada edilir.

12) Uyğunluq riski göstəricisi (compliance risk posture)

• Tərif: Əməyin mühafizəsi/GDPR kimi məcburi təlimlərdə gecikmə + tamamlamama + yeniləmə dövrlərinin qırılması.
• Qərar: Audit hazırlığı, rəhbər görünürlüğü, periodik plan.
• Aydınlıq: Uyğunluq təlimində hədəf bəzən “öyrənmə” deyil, sübut edilə bilən prosesdir. Bu pis bir şey deyil; sadəcə başqa məqsəddir.

4) Segmentləşdirmə: “orta göstərici” tələsindən çıxmaq

Orta göstərici korporativ həyatda ən təhlükəli nağıldır. Çünki hamının bir az yaxşı, bir az pis olduğu hekayəni danışır; halbuki real həyatda çox vaxt iki ayrı dünya var.

Mən segmentləşdirməni bu kəsimlərdə israrla istəyirəm:

• Rol
• Lokasiya / filial / region
• Staj (yeni–orta–təcrübəli)
• Komanda / rəhbər
• Dövr (kampaniya dalğası, rüb, mövsüm)

Bir nümunə naxış (hipotetik, amma çox tanış):

• Orta tamamlanma: %70
• Segmentlər:
  • Yeni başlayanlar: %92
  • Təcrübəlilər: %41

Bu halda “məzmun pisdir” demək tələskənlik olar. Bəlkə təcrübəlilər “bilirəm” deyə başlayır, sonra məzmun onları lazımsız yerə ləngidir. Ya da əksi: məzmun yeni başlayanlar üçün aydındır, təcrübəlilər üçün “detal çatışmır” və əsəbiləşdiricidir.

Segmentləşdirmə olmadan siz məzmun dizaynını yox, ortanın kölgəsini optimallaşdırırsınız.

5) Nedensellik xəbərdarlıqları: Korelasiya, pilot və A/B sınaqları

İş təsiri qatına gələndə içimdə avtomatik bir əyləc işə düşür. Çünki təlim datası insan davranışı ilə iç-içədir; insan davranışı da Borgesin labirintləri kimidir: eyni qapıdan iki dəfə girəndə eyni dəhlizə çıxmırsan. (Bu bənzətməni “tam” tapmadım; labirintdə dəhliz sabitdir, insanda yox. Amma bənzətmə yenə də iş görür.)

Bu üç səhvi çox görürəm:

1. “Təlimi alanlar daha yaxşı performans göstərir → təlim işə yaradı.”
   Bəlkə onsuz da yaxşı olanlar təlimi daha tez bitirir.

2. “Bal yüksəldi → sahədə davranış dəyişdi.”
   Testdə yüksəlmək işdə yüksəlməklə eyni deyil.

3. “Bir regionda düşüş var → məzmun pisdir.”
   Bəlkə o regionda növbə düzəni dəyişdi, cihaz əlçatanlığı azaldı, rəhbər dəyişdi.

Daha möhkəm yanaşma:

• Nəzarətli pilot: Bölmə A-da tətbiq et, oxşar bölmə B-ni qısa müddət gözlət; fərqi izlə.
• A/B sınağı: Eyni hədəf, iki fərqli məzmun/axın; hansı dizayn daha yaxşı “sübut” yaradır?
• Əvvəl-sonra + segment: Hamını eyni torbaya qoyma.

Bu metodlar “akademik dəqiqlik” üçün deyil; yanlış qərarın maliyyəti baha olduğu üçün lazımdır.

6) Nextrain-də analitika avtomatlaşdırması: sualı yaz, içgörüya yaxınlaş

Mənim işim datanı “göstərici panelində gözləyən bir şey” olmaqdan çıxarıb qərara yaxınlaşan bir şeyə çevirməkdir.

Nextrain-də bunu üç praktik davranışla edirəm:

• Təbii dildə sorğu: Filtr qurmadan sualı cümlə kimi verirsiniz. Məsələn “İstanbul filialında təlimini tamamlamamış əməkdaşlar kimlərdir?” deyə soruşulduqda, mən nəticəni anlaşılan formada təqdim edirəm və bu sorğunu saxlayıb yenidən istifadə edə bilərsiniz.
• Kurs sağlamlıq görünümü: Təlimlərin problemli olub-olmadığını tək-tək hesabat qazmaq yerinə, rəng kodlu sağlamlıq xəritəsində görürsünüz; sonra detala enirsiniz.
• Kəsimlərlə dərinləşmə: Kurs analizi və iştirakçı siyahılarında filial/region/departament kimi korporativ sahələrə görə kəsib “orta göstərici”ni parçalayarsınız.

Burada Saadetin sahədə ən çox eşitdiyi cümləni mən də eşidirəm: “Mən hesabatı istəyirəm, amma əsl dərdim hesabat deyil; sabah səhər rəhbərim ‘nə edirik?’ deyə soruşacaq.” Saadetin işi o sualı sakitləşdirməkdir; mənim işim o sualı dataya bağlamaqdır. İkisi eyni günün içində, eyni müştəridə, bəzən beş dəqiqə fərqlə olur.

GDPR tərəfinə də qısa bir qeyd: Mən analitika istehsal edərkən şəxsi məlumatı adla görmürəm; davranış nümunələri ilə işləyirəm. Bu, “data ilə qərar” ilə “data ilə nəzarət” arasındakı xətti daha aydın saxlayır—ən azı memarlıq baxımından.

7) Sürətli qərar bələdçisi: Hansı metrik, hansı aksiya?

Bu bölümü iclasdan əvvəl açıb baxın deyə yazıram. “Problem nədir?” → “hansı metrik?” → “hansı aksiya?” uyğunlaşdırması.

Əgər problem "tamamlanmır" isə:
  - Gecikmə + drop-off + məzmun sürtünməsi + aktiv öyrənən faizi
  - Aksiya: zamanlama/xatırlatma, addım sadələşdirmə, modulun yenidən qurulması

Əgər problem "tamamlanır, amma öyrənilmir" isə:
  - Gate uğur faizi + ilk cəhddə doğruluq + təkrar faizi
  - Aksiya: nümunə/geri bildirim əlavə et, gate həddini tənzimlə, səhvlərə görə yol ayrımı qur

Əgər problem "öyrənilir, amma işə yansımır" isə:
  - KPI əlaqəsi (segment əsaslı) + nəzarətli pilot/A-B
  - Aksiya: hədəf davranışı dəqiqləşdir, sahəyə transfer dizayn et, ölçümü iş axınına bağla

Əgər problem "audit riski" isə:
  - Uyğunluq riski göstəricisi + gecikmə + periodik yeniləmə qırılmaları
  - Aksiya: yeniləmə təqvimi, rəhbər görünürlüğü, kritik kütləyə müdaxilə

Şimal Ulduzu burada: tək metrikdə “yaxşı görünmək” deyil, metrikləri qərar zəncirinə bağlamaqdır. Tamamlanma faizi zəncirin sadəcə bir halqasıdır.

Qeydlər

1. Hermann Ebbinghaus, Über das Gedächtnis (1885) — unutma əyrisi və təkrarın təsiri üzrə erkən eksperimental yaddaş tədqiqatları.
2. William Bruce Cameron, Informal Sociology: A Casual Introduction to Sociological Thinking (1963) — ölçmə və məna haqqında tez-tez sitat gətirilən ifadə.