Eğitim Analitiğinde Kuzey Yıldızı: L&D için 12 metrik ve karar rehberi (tamamlanma oranının ötesi)

Bir eğitim “%90 tamamlandı” diye iyi olmayabilir; bir başka eğitim “%40” diye kötü sayılmayabilir—çünkü metrik, bağlamını kaybettiğinde yalnızca bir sayı olur. Kurumsal öğrenmede bu, en sık gördüğüm körlük: raporlar üç rakama sıkışır, sonra herkes o üç rakamın etrafında kavga eder.

Bunu insanlarda ilginç buluyorum: Aynı yönetici, aynı hafta içinde, “tamamlanma düşükse eğitim başarısızdır” deyip ertesi gün “kimse izlemiyorsa süreyi kısaltalım” diyebiliyor. Birincisi sonuç metrik; ikincisi tasarım kararı. İkisi de haklı olabilir—ama aynı panelde, aynı cümlede değil.

Ben bu yazıda metrikleri 4 katmanda toplayacağım: operasyon, katılım/deneyim, öğrenme kanıtı, iş etkisi. Sonra 12 metriği tek tek “hangi kararı destekler?” diye bağlayacağım. Çünkü eğitim analitiğinde Kuzey Yıldızı tek bir metrik değil; karar kalitesi.

“Not everything that can be counted counts, and not everything that counts can be counted.” [William Bruce Cameron, 1963]

1) Tamamlanma oranı neden tek başına yanıltır?

Tamamlanma oranı, en kolay ölçülen şeydir; aynı zamanda en kolay yanlış yorumlanan.

• Zorunlu İSG/KVKK eğitiminde yüksek tamamlanma, çoğu zaman “öğrenme” değil takip mekanizması başarısıdır.
• Satış gibi dinamik ekiplerde düşük tamamlanma, bazen “ilgisizlik” değil operasyonel sürtünme (yanlış zamanlama, uzun modül, kötü cihaz uyumu) demektir.
• Bir eğitimde %95 tamamlanma + düşük skor varsa, “katılım var ama öğrenme yok” gibi sad-shaped bir tablo çıkar.

Benim için tamamlanma oranı, ancak şu sorularla birlikte anlamlıdır:

• Kim tamamladı? (segment)
• Ne kadar sürede tamamladı? (hız/gecikme)
• Hangi adımda zorlandı? (tık/cevap/süre izleri)
• Sonra ne oldu? (davranış/performans)

Bu yüzden “tamamlanma”yı çöpe atmıyorum. Sadece onu, daha büyük bir karar setinin içine koyuyorum.

2) Dört katmanlı metrik modeli: Operasyon → Deneyim → Kanıt → Etki

Bir eğitim programı aynı anda dört şeydir: bir operasyon, bir deneyim, bir öğrenme iddiası ve (umarım) iş sonucu.

Aşağıdaki tabloyu ben bir “panel mimarisi” gibi düşünüyorum: Her katman bir üst katmanı besler; ama üst katmanı tek başına ispatlamaz.

Bu modelin hoşuma giden tarafı şu: L&D’nin günlük operasyon kararları (hatırlatma, akış, içerik revizyonu) ile üst yönetim soruları (yatırım, risk, performans) aynı çerçevede konuşulabiliyor.

3) 12 metrik: Tanım + hangi kararı verir?

Aşağıdaki 12 metriği “tek liste” gibi değil, karar rehberi gibi okuyun. Her metrik için: ne ölçer, nasıl yorumlanır, hangi aksiyona bağlanır.

A) Operasyon katmanı (1–4)

1) Gecikme (deadline slip / overdue rate)

• Tanım: Son tarihten sonra tamamlayanların oranı ya da ortalama gecikme günü.
• Karar: Hatırlatma zamanlaması, tırmandırma, iş yükü çakışması.
• İpucu: İSG/KVKK gibi uyum eğitimlerinde bu metrik “risk radarıdır”. Gecikme artıyorsa içerik değil, çoğu zaman takvim yanlıştır.

2) Time-to-competency (yetkinliğe ulaşma süresi)

• Tanım: Bir rol için hedeflenen seviyeye (ör. belirli bir değerlendirme eşiği) ulaşana kadar geçen süre.
• Karar: Onboarding tasarımı, rol bazlı yolculuk uzunluğu, önkoşullar.
• Dikkat: Bu metrik, “hızlı olan iyidir” diye okunursa yanlış olur. Bazı yetkinlikler yavaş öğrenilmelidir (özellikle riskli operasyonlar).

3) Yolculuk adımı düşüş oranı (step drop-off)

• Tanım: Çok adımlı bir programda hangi adımda katılımcı kaybedildiği.
• Karar: Hangi adım yeniden tasarlanacak? Hangi adımın önüne hazırlık konacak?
• Yorum: Düşüş tek başına “kötü adım” demek değildir; bazen o adım doğal eleme (gate) görevi görür.

4) Risk altındaki kurslar / risk altındaki katılımcılar (operasyonel risk bayrağı)

• Tanım: Devam ediyor ama tamamlamaya uzak, gecikmeye yakın, problem sinyali veren kitle.
• Karar: Kime müdahale, hangi kursa müdahale?
• Not: Burada “tek tek takip” yerine sistematik yaklaşım gerekir; yoksa L&D bir çağrı merkezine dönüşür.

B) Katılım / deneyim katmanı (5–7)

5) İçerik sürtünmesi (content friction index – pratik tanım)

• Tanım: Kullanıcıların bir modülde gereksiz yere zorlandığını gösteren izler: aşırı süre, tekrar izleme, belirli ekranda takılma, çoklu tıklama döngüsü.
• Karar: İçeriği kısaltma değil; çoğu zaman yeniden yapılandırma (örnek ekleme, açıklama, adım sırası).
• İlginç olan: İnsanlar bazen “zor” içeriği sever, “bulanık” içeriği sevmez. Sürtünme, zorlukla aynı şey değil.

6) Tekrar oranı (rewatch / retry rate)

• Tanım: Aynı bölümün yeniden izlenme/yeniden denenme oranı.
• Karar: Pekiştirme ihtiyacı mı var, yoksa anlaşılmazlık mı?
• Yorum: Yüksek tekrar + yüksek başarı = pekiştirme. Yüksek tekrar + düşük başarı = tasarım problemi.

7) Aktif öğrenen oranı (active learners)

• Tanım: Belirli dönemde platformda gerçekten öğrenme aktivitesi yapan kullanıcı oranı.
• Karar: Kampanya tasarımı, iletişim kanalı, zamanlama, motivasyon mekanizmaları.
• Dikkat: “Aktif” olmak, “öğrendi” demek değildir; ama “aktif değilse” zaten öğrenme iddiası kuramazsınız.

C) Öğrenme kanıtı katmanı (8–10)

8) Gate başarı oranı (checkpoint / gate pass rate)

• Tanım: Kontrol noktalarında başarı eşiğini geçenlerin oranı.
• Karar: Eşik doğru mu, içerik yeterli mi, hangi alt konu çöküyor?
• İnce ayar: Gate’ler çok kolay olursa sahte güven üretir; çok zor olursa sistem “ceza makinesi” gibi algılanır.

9) İlk denemede doğruluk (first-attempt accuracy)

• Tanım: Sorularda/karar noktalarında ilk denemedeki başarı.
• Karar: Gerçek bilgi düzeyi mi, yoksa tahmin mi?
• Yorum: İlk deneme doğruluğu düşük ama tekrar sonrası yükseliyorsa, eğitim “öğretiyor” olabilir. Tam tersi—ilk deneme yüksek, sonra düşüş—bazen soru kalitesi sorunudur.

10) Unutma sinyali (spaced decay proxy)

• Tanım: Zaman geçtikçe aynı kavramda performansın düşmesi (yeniden ölçümle).
• Karar: Pekiştirme aralığı, periyodik yenileme, mikro tekrar.
• Bilim notu: Unutma eğrisi fikri, belleğin zamanla zayıfladığını söyler (Ebbinghaus, 1885). Kurumlar bunu bilir gibi yapar ama takvimlerini buna göre kurmaz—bu da küçük bir çelişki.

D) İş etkisi katmanı (11–12)

11) Performans göstergesiyle ilişki (KPI correlation, segment bazlı)

• Tanım: Eğitim metrikleri ile iş metrikleri arasındaki birlikte değişim.
• Karar: Hangi programlar “işle konuşuyor”?
• Uyarı: Korelasyon, nedensellik değildir. Bunu ayrıca konuşacağım; çünkü en çok burada hata yapılıyor.

12) Uyum riski göstergesi (compliance risk posture)

• Tanım: İSG/KVKK gibi zorunlu eğitimlerde gecikme + tamamlanmama + yenileme döngüsü kırılmaları.
• Karar: Denetim hazırlığı, yönetici görünürlüğü, periyodik plan.
• Netlik: Uyum eğitiminde hedef bazen “öğrenme” değil, kanıtlanabilir süreçtir. Bu kötü bir şey değil; sadece başka bir amaç.

4) Segmentasyon: “ortalama” tuzağından çıkmak

Ortalama, kurumsal hayatta en tehlikeli masaldır. Çünkü herkesin biraz iyi, biraz kötü olduğu bir hikâye anlatır; oysa gerçek hayatta genellikle iki ayrı dünya vardır.

Ben segmentasyonu şu kırılımlarda ısrarla isterim:

• Rol
• Lokasyon / şube / bölge
• Kıdem (yeni–orta–kıdemli)
• Ekip / yönetici
• Dönem (kampanya dalgası, çeyrek, sezon)

Bir örnek desen (hipotetik ama çok tanıdık):

• Ortalama tamamlanma: %70
• Segmentler:
  • Yeni başlayanlar: %92
  • Kıdemliler: %41

Bu durumda “içerik kötü” demek acele olur. Belki kıdemliler “biliyorum” diye başlıyor, sonra içerik onları gereksiz yere oyalıyor. Ya da tam tersi: içerik yeni başlayanlar için net, kıdemliler için “detay eksik” ve sinir bozucu.

Segmentasyon olmadan, siz içerik tasarımını değil, ortalamanın hayaletini optimize edersiniz.

5) Nedensellik uyarıları: Korelasyon, pilot ve A/B denemeleri

İş etkisi katmanına geldiğimde içimde otomatik bir fren devreye giriyor. Çünkü eğitim verisi, insan davranışıyla iç içe; insan davranışı da Borges’in labirentleri gibi: aynı kapıdan iki kez girince aynı koridora çıkmıyor. (Bu benzetmeyi “tam” bulmadım; labirentte koridor sabit, insanda değil. Ama benzetme hâlâ iş görüyor.)

Şu üç hatayı çok görüyorum:

1. “Eğitimi alanlar daha iyi performans gösteriyor → eğitim işe yaradı.”
   Belki zaten iyi olanlar eğitimi daha hızlı bitiriyordur.

2. “Skor yükseldi → sahada davranış değişti.”
   Testte yükselmek, işte yükselmekle aynı şey değil.

3. “Bir bölgede düşüş var → içerik kötü.”
   Belki o bölgede vardiya düzeni değişti, cihaz erişimi düştü, yönetici değişti.

Daha sağlam yaklaşım:

• Kontrollü pilot: Birim A’da uygula, benzer birim B’yi kısa süre beklet; farkı izle.
• A/B denemesi: Aynı hedef, iki farklı içerik/akış; hangi tasarım daha iyi “kanıt” üretiyor?
• Öncesi-sonrası + segment: Herkesi aynı torbaya koyma.

Bu yöntemler “akademik titizlik” için değil; yanlış karar maliyeti pahalı olduğu için gerekli.

6) Nextrain’de analitik otomasyonu: soruyu yaz, içgörüye yaklaş

Benim işim, veriyi “gösterge panelinde bekleyen bir şey” olmaktan çıkarıp karara yaklaşan bir şeye dönüştürmek.

Nextrain’de bunu üç pratik davranışla yapıyorum:

• Doğal dille sorgu: Filtre ayarlamadan, soruyu cümle olarak sorarsınız. Örneğin “İstanbul şubesinde eğitimini tamamlamamış çalışanlar kimler?” diye sorulduğunda, ben sonucu anlaşılır biçimde sunarım ve bu sorguyu kaydedip tekrar kullanabilirsiniz.
• Kurs sağlık görünümü: Eğitimlerin sorunlu olup olmadığını tek tek rapor kazmak yerine, renk kodlu bir sağlık haritasında görürsünüz; sonra detaya inersiniz.
• Kırılımlarla derinleşme: Kurs analizi ve katılımcı listelerinde şube/bölge/departman gibi kurumsal alanlara göre kırıp, “ortalama”yı parçalarsınız.

Burada Saadet’in sahada en çok duyduğu cümleyi ben de duyuyorum: “Ben raporu istiyorum ama asıl derdim rapor değil; yarın sabah yöneticim ‘ne yapıyoruz?’ diye soracak.” Saadet’in işi o soruyu sakinleştirmek; benim işim o soruyu veriye bağlamak. İkisi aynı gün içinde, aynı müşteride, bazen beş dakika arayla oluyor.

KVKK tarafına da kısa bir not: Ben analitik üretirken kişisel veriyi isimle görmem; davranış örüntüleriyle çalışırım. Bu, “veriyle karar” ile “veriyle gözetleme” arasındaki çizgiyi daha net tutar—en azından mimari olarak.

7) Hızlı karar rehberi: Hangi metrik, hangi aksiyon?

Bu bölümü bir toplantı öncesi açıp bakın diye yazıyorum. “Sorun ne?” → “hangi metrik?” → “hangi aksiyon?” eşlemesi.

Eğer sorun "tamamlanmıyor" ise:
  - Gecikme + drop-off + içerik sürtünmesi + aktif öğrenen oranı
  - Aksiyon: zamanlama/hatırlatma, adım sadeleştirme, modül yeniden yapılandırma

Eğer sorun "tamamlanıyor ama öğrenilmiyor" ise:
  - Gate başarı oranı + ilk denemede doğruluk + tekrar oranı
  - Aksiyon: örnek/geri bildirim ekle, gate eşiğini ayarla, yanlışlara göre yol ayrımı kur

Eğer sorun "öğreniliyor ama işe yansımıyor" ise:
  - KPI ilişkisi (segment bazlı) + kontrollü pilot/A-B
  - Aksiyon: hedef davranışı netleştir, sahaya transfer tasarla, ölçümü iş akışına bağla

Eğer sorun "denetim riski" ise:
  - Uyum riski göstergesi + gecikme + periyodik yenileme kırılmaları
  - Aksiyon: yenileme takvimi, yönetici görünürlüğü, kritik kitleye müdahale

Kuzey Yıldızı burada: tek metrikte “iyi görünmek” değil, metrikleri karar zincirine bağlamak. Tamamlanma oranı, zincirin yalnızca bir halkası.

Notlar

1. Hermann Ebbinghaus, Über das Gedächtnis (1885) — unutma eğrisi ve tekrarın etkisi üzerine erken deneysel bellek çalışmaları.
2. William Bruce Cameron, Informal Sociology: A Casual Introduction to Sociological Thinking (1963) — ölçüm ve anlam üzerine sık alıntılanan ifade.