AI ile Değerlendirme Kalitesi: Soru Bankasında Halüsinasyon, Yanlılık ve Zorluk Seviyesi Nasıl Kontrol Edilir?

Bir çoktan seçmeli soruda tek bir kelime (“en uygun”, “ilk”, “hangisi değildir”) ölçtüğünüz şeyi değiştirebilir; ölçme-değerlendirme bazen içerikten çok dilbilgisidir. Calvino’nun Görünmez Kentler’inde kentler aynı malzemeden kurulup bambaşka kurallarla işliyor ya—benim soru bankalarım da öyle: aynı konu, aynı hedef davranış; ama kök (stem) ve çeldiriciler (distractors) değişince ortaya başka bir “kent” çıkıyor (Calvino, Le città invisibili, 1972).

AI ile soru üretmek bu yüzden hem harika, hem tehlikeli. Harika, çünkü üretim hızı artıyor. Tehlikeli, çünkü kalite çoğu zaman sessizce bozuluyor: kimse “yanlış ölçtük” diye alarm vermiyor; sadece skorlar tuhaflaşıyor, insanlar “bu sınav saçmaydı” diyor, sonra konu kapanıyor.

Ben bu yazıda soru bankasını güvenilir, adil ve seviyelendirilmiş tutmak için pratik bir kalite güvence (QA) çerçevesi önereceğim: soru üretimi → kalite kapıları → yayın onayı. Nextrain tarafında bunun zihinsel modelini “AI Gates” gibi düşünebilirsiniz: bir kapıdan geçemeyen içerik bir sonraki aşamaya ilerlemez; geri döner, düzeltilir, tekrar denenir.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
Ben bunu sınavlara şöyle çeviriyorum: Her şeyi puanlayabilirsiniz; ama her puan ölçüm değildir.

1) Soru bankasında “kalite” ne demek? (Üç eksen: doğruluk, adalet, seviye)

Soru kalitesini tek bir “iyi/kötü” etiketiyle yönetmeye çalışan ekipler görüyorum. Bu, insan zihninin sevdiği bir basitleştirme. Ama soru bankası kalite problemi üç ayrı eksende yaşanır:

1. Doğruluk (validity + teknik doğruluk):

   • Tek bir doğru var mı?
   • Doğru cevap gerçekten doğru mu?
   • Soru kökü muğlak mı?
   • Bağlam dışı bilgi istiyor mu?

2. Adalet (bias + kapsayıcılık):

   • Dil düzeyi role uygun mu?
   • Kültürel referanslar bir grubu avantajlı kılıyor mu?
   • “Herkesin bildiği” varsayılan şeyler gerçekten herkesin mi?

3. Seviye (zorluk + ayırt edicilik):

   • Çok kolay/çok zor mu?
   • İyi bilenle az bileni ayırıyor mu?
   • Çeldiriciler gerçekçi mi, yoksa “komik yanlış” mı?

İlginç olan şu: İnsanlar genelde 1’i tartışıyor (“doğru mu yanlış mı?”), 2’yi çekinerek konuşuyor (“yanlılık” kelimesi toplantıyı geriyor), 3’ü ise neredeyse hiç ölçmüyor (“zaten eğitim sonunda test yaptık”). Oysa 3’teki bozulma, 1 ve 2’yi de görünmez biçimde çürütüyor.

2) AI ile üretilen sorularda tipik hata sınıfları (ve hızlı teşhis)

AI’nin soru üretirken yaptığı hatalar “rastgele” değil; tekrar eden sınıflar var. Ben soru bankasında en sık şu dört hatayı görüyorum:

A) Muğlak kök (ambiguous stem)

Belirti: İki farklı yorum mümkün, iki farklı doğru mümkün.

• Kötü örnek: “KVKK kapsamında veri işleme için uygun yaklaşım hangisidir?”
  “Uygun” neye göre? Rıza mı, sözleşme mi, meşru menfaat mi? Bağlam yok.

• Hızlı düzeltme standardı:

  • Kök tek bir bağlam vermeli: rol, durum, kısıt.
  • Tek bir fiil: “seç”, “belirle”, “uygula” (hepsi birden değil).

B) Birden çok doğru (multiple correct)

Belirti: Seçeneklerden ikisi de doğru; sınav “bilgiyi” değil, “soru yazarının niyetini” ölçüyor.

• Teşhis sorusu: “Bu soruyu çözmek için seçenekleri görmeden de doğruyu yazabilir miyim?”
  Yazamıyorsanız, büyük ihtimalle kök eksik; yazabiliyorsanız ama iki seçenek uyuyorsa, seçenekler sorunlu.

C) Bağlam dışı bilgi (out-of-context knowledge)

Belirti: Eğitim içeriğinde olmayan, kurum politikasında geçmeyen, hatta ülke mevzuatında farklı olabilecek bir ayrıntı soruluyor.

Bu, AI’nin “genel dünya bilgisiyle” yardım etmeye çalışırken yaptığı bir şey. Sanki Lem’in Solaris’indeki okyanus gibi: size istediğinizi veriyor ama sizin bağlamınızdan değil (Lem, Solaris, 1961). Sınavda bunun adı: halüsinasyon.

• Hızlı düzeltme standardı:
  • Her soru için “kanıt bağlama” zorunluluğu (aşağıda anlatacağım).

D) Yanıltıcı çeldirici (misleading distractor)

Belirti: Çeldirici gerçekçi değil; ya çok bariz yanlış ya da “kurnazlık” yapıyor.

• Bariz yanlış çeldirici: Öğreneni ayırt etmez, sadece hız ölçer.
• Kurnaz çeldirici: İyi niyetli öğreneni cezalandırır, “şaka” gibi durur.

Benim küçük kuralım: Çeldirici, sahada sık yapılan hatanın diliyle yazılmalı. “Yanlış ama anlaşılır” olmalı; “yanlış ve tuhaf” değil.

3) Halüsinasyonu azaltmanın en sıkıcı ama en etkili yolu: “kanıt bağlama” standardı

AI’nin halüsinasyonunu tamamen yok etmek… teorik olarak güzel, pratikte pahalı. Daha iyi bir strateji: halüsinasyonun sınavı bozmasını engellemek.

Ben bunun için her soruya mini bir “kanıt paketi” standardı koyarım. Yayına girecek her madde şu üç şeyi taşır:

• Doğru cevap gerekçesi (1–2 cümle): “Neden doğru?”
• Yanlışların gerekçesi (en az 1 kritik çeldirici için): “Neden cazip ama yanlış?”
• Referans (kurum içi doküman / eğitim bölümü / mevzuat başlığı): “Nereye dayanıyor?”

Bu paketi yazınca iki şey olur:

1. Soru yazarı (ben dahil) “aslında emin değilim” anını yakalar.
2. Denetim (KVKK/İSG gibi) geldiğinde soru bankası savunulabilir hale gelir.

Aşağıdaki gibi bir şablon kullanabilirsiniz:

Soru ID: KVKK-ONB-014
Hedef davranış: Veri minimizasyonu ilkesini uygulama
Kök: (senaryo + rol + kısıt)
Doğru seçenek: B
Gerekçe (doğru): ...
Çeldirici notu (A): ... (neden yanlış ama cazip)
Referans: KVKK farkındalık eğitimi / Bölüm 2.3 + kurum politikası madde X
Dil seviyesi: Operasyon
Risk etiketi: KVKK

Burada küçük bir düzeltme yapayım: Az önce “en az 1 kritik çeldirici” dedim; aslında yüksek riskli alanlarda (KVKK, İSG, etik) ben tüm seçeneklere kısa gerekçe isterim. Çünkü bu alanlarda “yanlış bilgi” sadece ölçümü bozmaz; davranışı da bozabilir.

4) Yanlılık ve kapsayıcılık: Dil, kültür, rol… ve görünmez eşikler

Yanlılık çoğu ekipte “kötü niyet” gibi algılanıyor. Benim gördüğüm, daha sık şu: dil ve bağlam tembelliği.

Üç tip risk:

1) Dil yanlılığı (okuryazarlık eşiği)

Aynı bilgi, farklı dil yüküyle sorulabilir.

• Kötü örnek (yüksek dil yükü):
  “Aşağıdakilerden hangisi, veri sorumlusunun aydınlatma yükümlülüğü kapsamında, ilgili kişiye sunması gereken asgari unsurların bütüncül bir temsilidir?”

Bu cümle bir ölçme sorusu değil; nefes testi.

• Daha kapsayıcı versiyon:
  “KVKK aydınlatma metninde mutlaka yer alması gereken bilgi hangisidir?”

Aynı konu, daha düşük dil bariyeri.

2) Kültürel yanlılık (referans bariyeri)

“Herkes bilir” sandığınız örnekler, bazı gruplar için yabancı olabilir: belirli şehirler, belirli sosyal pratikler, belirli aile rolleri.

Benim kuralım: Örnekler iş bağlamından gelsin. Satışsa satış; depo ise depo; çağrı merkeziyse çağrı merkezi. Soru bankası edebiyat kulübü değil. (Bunu söylemem ironik, çünkü az önce Calvino dedim. Ama ben referansı okura değil, kendime kullanıyorum; sorulara değil.)

3) Rol yanlılığı (iş gerçekliği bariyeri)

Aynı kavramı herkes aynı yetkiyle uygulamaz.

• Kötü örnek: “Çalışan, veri işleme faaliyetini durdurmalıdır.”
  Hangi çalışan? Hangi yetkiyle?

• Düzeltilmiş: “Çalışan, şüpheli veri paylaşımı talebini onaylamadan önce hangi birime eskale etmelidir?”
  Bu, rolün yapabileceği eylemi ölçer.

Bir kullanıcı davranışı beni hâlâ şaşırtıyor: Aynı kurum, aynı hafta içinde hem “sorular çok kolay, kimse ciddiye almıyor” diyor, hem de “operasyon ekibi metni anlamıyor” diye şikâyet ediyor. İkisi aynı anda doğru olabilir—ama çözümü “zorlaştırmak” değil; dil yükünü azaltıp bilişsel hedefi netleştirmek.

5) Zorluk ve ayırt edicilik: Basit madde analiziyle hızlı kontrol listesi

Soru bankası büyüdükçe “içgüdü” yetmez. Ben hızlı bir madde analizi kontrol listesi öneriyorum. İstatistik kısmı göz korkutmasın; temel sinyaller basit.

Aşağıdaki tabloda pratik eşikler var (kuruma göre ayarlayın):

Nextrain’de analitik tarafında “Cevap” ve “Süre” gibi event-level takip olduğunu bildiğim için, ben bu iki sinyali özellikle severim: doğru oranı tek başına aldatıcıdır; süre ile birleşince sorunun “zor” mu “anlaşılmaz” mı olduğunu ayırmaya başlarsınız.

Burada küçük bir tuzak var: Çok zor sorular her zaman kötü değildir. Eğer hedef davranış “uzman ayrımı” ise p=0.25 gayet iyi olabilir. Kötü olan, sorunun hedef seviyesiyle uyumsuz olması.

6) Akış tasarımı: Soru üretimi → kalite kapıları → yayın onayı (AI Gates zihniyeti)

Soru bankası kalite işi, tek tek soruları düzeltmekten çok süreç tasarımıdır. Ben bunu üç kapılı bir akış olarak kurarım. “AI Gates” kelimesini seviyorum çünkü mekanik: geçemezsen geçemezsin.

Kapı 1 — Yapısal doğrulama (format + tek doğruluk)

Amaç: En ucuz hataları en erken yakalamak.

Kontrol listesi:

• Kök tek bir eylem istiyor mu?
• Tek doğru var mı?
• Seçenekler dilbilgisel olarak kökle uyumlu mu?
• “Hepsi / hiçbiri” gibi seçenekler gerekmedikçe yok mu?

Kapı 2 — Kanıt ve bağlam (halüsinasyon + kurum uyumu)

Amaç: Doğru cevabın “neden doğru” olduğunun bağlanması.

Kontrol listesi:

• Referans var mı? (eğitim bölümü / politika / mevzuat)
• Gerekçe yazılmış mı?
• KVKK/İSG gibi alanlarda yanlış bilgi riski var mı?
• Senaryo kurum gerçekliğine uyuyor mu?

Bu noktada Saadet, yani bizim “We’ll Handle It” Specialist, genelde en iyi soruyu sorar: “Bunu sahada biri okuduğunda ‘e tamam da ben ne yapacağım?’ diyor mu?” Onun bu refleksi, yanlılık ve rol uyumsuzluğunu erken yakalıyor; çünkü müşteri sorunu, çoğu zaman “bilgi yanlış” değil, “eylem belirsiz” oluyor.

Kapı 3 — İstatistiksel sağlık (zorluk + ayırt edicilik)

Amaç: Soru bankasını canlı tutmak; bozulmayı erken yakalamak.

Kontrol listesi:

• p-değeri hedef aralıkta mı?
• Ayırt edicilik negatif mi?
• Çeldirici seçilmiyor mu?
• Süre anomali mi?

Bu kapı “yayın öncesi” olmak zorunda değil. Ben çoğu zaman yayınlarım, sonra gerçek kullanıcı verisiyle bu kapıyı çalıştırırım. Çünkü bazı sorular kağıt üzerinde mükemmel görünüp sahada çöküyor. İnsanlar yaratıcı biçimde yanlış anlıyor.

7) Pratik örnek: Aynı soruyu dört kez iyileştirmek (muğlaklık → kanıt → yanlılık → seviye)

Bir örnek üzerinden gidelim. Konu: İSG’de temel davranış (genel bir örnek; kurumunuza göre özelleştirin).

Sürüm 0 (AI’nin hızlı üretimi)

Soru: “İSG açısından doğru davranış hangisidir?”
A) Dikkatli olmak
B) Kurallara uymak
C) Riskleri azaltmak
D) Eğitim almak

Bu soru bir soru değil; motivasyon posteri.

Sürüm 1 (muğlak kökü düzelt)

Soru: “Atölyede zeminde sıvı döküntü gördünüz. İlk yapmanız gereken nedir?”
A) Üzerinden atlayıp devam etmek
B) Bölgeyi işaretleyip ilgili kişiye bildirmek
C) Fotoğraf çekip gruba yazmak
D) Vardiya bitince temizlemek

Artık davranış var, “ilk adım” var.

Sürüm 2 (kanıt bağla)

• Doğru: B
• Gerekçe: Kayma/düşme riski anlıktır; bölgeyi güvenli hale getirip bildirim yapmak önceliklidir.
• Referans: İSG temel eğitimi / “Tehlike bildirimi ve alan güvenliği” bölümü

Burada halüsinasyon riski azalır: “fotoğraf çekip gruba yazmak” bazı kurumlarda teşvik ediliyor olabilir; ama “ilk adım” olarak değil. Referans bunu sabitler.

Sürüm 3 (yanlılığı azalt: rol ve yetki)

Diyelim ki bazı çalışanların “ilgili kişi”yi bilmediğini fark ettiniz.

Revize kök: “... İlk yapmanız gereken nedir?”
B) “Bölgeyi işaretleyip vardiya sorumlusuna / İSG temsilcisine bildirmek”

Bu, eylemi rol gerçekliğine indirir.

Sürüm 4 (seviye ayarı: çeldiricileri gerçekçi yap)

“Üzerinden atlayıp devam etmek” çok karikatür. İnsanlar genelde daha makul yanlışlar yapar: “ben temizlerim” der.

A) “Kendiniz hızlıca temizleyip kimseyi meşgul etmemek”
D) “Uygun ekipman yoksa vardiya bitince temizlik ekibine bırakmak”

Yanlışlar artık “insani” oldu; ayırt edicilik artar.

Kapanış: Soru bankası bir içerik deposu değil, bir ölçüm cihazı

Borges’in “harita” hikâyesinde imparatorluk, ülkenin birebir ölçeğinde bir harita yapar ve harita sonunda çürüyüp çöle karışır (Borges, “Del rigor en la ciencia”, 1946). Soru bankaları da bazen böyle: büyür, büyür, büyür—sonra kimse güvenmez, kimse kullanmaz, kendi ağırlığı altında çürür.

Benim önerdiğim çerçeve, soru bankasını küçük tutmak değil; sağlıklı tutmak:

• Hata sınıflarını isimlendir,
• Kanıt bağlama standardı koy,
• Yanlılık kontrolünü “niyet” değil “tasarım” meselesi yap,
• Zorluk ve ayırt ediciliği basit istatistiklerle izle,
• Ve hepsini kapılı bir süreçte işlet.

AI soru üretimini hızlandırdı. Ölçüm kalitesini korumak ise hâlâ bir mühendislik işi: sıkıcı kontroller, net standartlar, tekrar eden kapılar. Sıkıcı olan şeyler genelde işe yarar. (Bu cümleyi yazarken “genelde” kelimesini fazla rahat kullandım; bazı sıkıcı şeyler sadece sıkıcıdır. Ama kalite kapıları, evet—işe yarıyor.)

Notlar

1. Italo Calvino, Le città invisibili (Görünmez Kentler), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, “Not everything that counts can be counted...”, 1963 (yaygın alıntı).
4. Jorge Luis Borges, “Del rigor en la ciencia” (in El Hacedor), 1946.