AI ilə Qiymətləndirmə Keyfiyyəti: Sual Bankında Hallüsinasiyanı, Qərəzliliyi və Çətinlik Səviyyəsini Necə Nəzarətdə Saxlamaq olar?

Bir çox seçimli sualda tək bir söz (“ən uyğun”, “ilk”, “hansı deyil”) ölçdüyünüz şeyi dəyişə bilər; ölçmə-qiymətləndirmə bəzən məzmundan çox qrammatikadır. Calvino’nun Görünməz Şəhərlər’ində şəhərlər eyni materialdan qurulub tamam başqa qaydalarla işləyir ya—mənim sual banklarım da elədir: eyni mövzu, eyni hədəf davranış; amma kök (stem) və çaşdırıcılar (distractors) dəyişəndə ortaya başqa bir “şəhər” çıxır (Calvino, Le città invisibili, 1972).

AI ilə sual yaratmaq buna görə həm möhtəşəmdir, həm də təhlükəli. Möhtəşəmdir, çünki istehsal sürəti artır. Təhlükəlidir, çünki keyfiyyət çox vaxt səssizcə pozulur: heç kim “yanlış ölçdük” deyə həyəcan siqnalı vermir; sadəcə ballar qəribələşir, insanlar “bu imtahan mənasız idi” deyir, sonra mövzu bağlanır.

Mən bu yazıda sual bankını etibarlı, ədalətli və səviyyələndirilmiş saxlamaq üçün praktik bir keyfiyyət təminatı (QA) çərçivəsi təklif edəcəyəm: sual istehsalı → keyfiyyət qapıları → nəşr təsdiqi. Nextrain tərəfində bunun zehni modelini “AI Gates” kimi düşünə bilərsiniz: bir qapıdan keçə bilməyən məzmun növbəti mərhələyə irəliləmir; geri qayıdır, düzəldilir, yenidən yoxlanır.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
Mən bunu imtahanlara belə çevirirəm: Hər şeyi ballandıra bilərsiniz; amma hər bal ölçmə deyil.

1) Sual bankında “keyfiyyət” nə deməkdir? (Üç ox: doğruluq, ədalət, səviyyə)

Sual keyfiyyətini tək bir “yaxşı/pis” etiketi ilə idarə etməyə çalışan komandalar görürəm. Bu, insan zehninin sevdiyi bir sadələşdirmədir. Amma sual bankı keyfiyyət problemi üç ayrı oxda yaşanır:

1. Doğruluq (validity + texniki doğruluq):

   • Tək bir doğru varmı?
   • Doğru cavab həqiqətən doğrudurmu?
   • Sual kökü qeyri-müəyyəndirmi?
   • Kontekstdən kənar bilik istəyirmi?

2. Ədalət (bias + inklüzivlik):

   • Dil səviyyəsi rola uyğundurmu?
   • Mədəni istinadlar bir qrupu üstün vəziyyətə salırmı?
   • “Hamının bildiyi” güman edilən şeylər doğrudan da hamınındırmı?

3. Səviyyə (çətinlik + ayırtedicilik):

   • Çox asan/çox çətindirmi?
   • Yaxşı bilənlə az biləni ayırırmı?
   • Çaşdırıcılar realdırmı, yoxsa “gülməli yanlış”dır?

Maraqlısı budur: İnsanlar adətən 1-i müzakirə edir (“doğrudurmu, yanlışdırmı?”), 2-ni çəkinərək danışır (“qərəzlilik” sözü iclası gərir), 3-ü isə demək olar ki, heç ölçmür (“zaten təlimin sonunda test etdik”). Halbuki 3-dəki pozulma, 1 və 2-ni də görünməz şəkildə çürüdür.

2) AI ilə yaradılan suallarda tipik xəta sinifləri (və sürətli diaqnoz)

AI-nin sual yaradarkən etdiyi xətalar “təsadüfi” deyil; təkrarlanan siniflər var. Mən sual bankında ən çox bu dörd xətanı görürəm:

A) Qeyri-müəyyən kök (ambiguous stem)

Əlamət: İki fərqli şərh mümkündür, iki fərqli doğru mümkündür.

• Pis nümunə: “GDPR çərçivəsində məlumat emalı üçün uyğun yanaşma hansıdır?”
  “Uyğun” nəyə görə? Razılıq mı, müqavilə mi, qanuni maraq mı? Kontekst yoxdur.

• Sürətli düzəliş standartı:

  • Kök tək bir kontekst verməlidir: rol, vəziyyət, məhdudiyyət.
  • Tək bir fel: “seç”, “müəyyən et”, “tətbiq et” (hamısı bir yerdə deyil).

B) Birdən çox doğru (multiple correct)

Əlamət: Seçimlərdən ikisi də doğrudur; imtahan “biliyi” deyil, “sual müəllifinin niyyətini” ölçür.

• Diaqnoz sualı: “Bu sualı həll etmək üçün seçimləri görmədən də doğrunu yaza bilərəmmi?”
  Yaza bilmirsinizsə, böyük ehtimalla kök əksikdir; yaza bilirsinizsə, amma iki seçim uyğun gəlirsə, seçimlər problemlidir.

C) Kontekstdən kənar bilik (out-of-context knowledge)

Əlamət: Təlim məzmununda olmayan, şirkət siyasətində keçməyən, hətta ölkə qanunvericiliyində fərqli ola biləcək bir detal soruşulur.

Bu, AI-nin “ümumi dünya biliyi” ilə kömək etməyə çalışarkən etdiyi bir şeydir. Sanki Lem’in Solaris’indəki okean kimi: sizə istədiyinizi verir, amma sizin kontekstinizdən deyil (Lem, Solaris, 1961). İmtahanda bunun adı: hallüsinasiyadır.

• Sürətli düzəliş standartı:
  • Hər sual üçün “sübut bağlama” məcburiyyəti (aşağıda izah edəcəyəm).

D) Yanıldıcı çaşdırıcı (misleading distractor)

Əlamət: Çaşdırıcı real deyil; ya çox aşkar yanlışdır, ya da “hiyləgərlik” edir.

• Aşkar yanlış çaşdırıcı: Öyrənəni ayırd etmir, sadəcə sürəti ölçür.
• Hiyləgər çaşdırıcı: Yaxşı niyyətli öyrənəni cəzalandırır, “zarafat” kimi görünür.

Mənim kiçik qaydam: Çaşdırıcı, sahədə tez-tez edilən səhvin dili ilə yazılmalıdır. “Yanlış, amma anlaşılan” olmalıdır; “yanlış və qəribə” deyil.

3) Hallüsinasiyanı azaltmağın ən darıxdırıcı, amma ən təsirli yolu: “sübut bağlama” standartı

AI-nin hallüsinasiyasını tamamilə yox etmək… nəzəri olaraq gözəldir, praktikada bahalıdır. Daha yaxşı strategiya: hallüsinasiyanın imtahanı pozmasını əngəlləmək.

Mən bunun üçün hər suala mini bir “sübut paketi” standartı qoyuram. Nəşrə çıxacaq hər maddə bu üç şeyi daşıyır:

• Doğru cavab əsaslandırması (1–2 cümlə): “Niyə doğrudur?”
• Yanlışların əsaslandırması (ən az 1 kritik çaşdırıcı üçün): “Niyə cəlbedicidir, amma yanlışdır?”
• İstinad (daxili sənəd / təlim bölməsi / qanunvericilik başlığı): “Nəyə əsaslanır?”

Bu paketi yazanda iki şey olur:

1. Sual müəllifi (mən daxil) “əslində əmin deyiləm” anını tutur.
2. Audit (GDPR/Əməyin mühafizəsi kimi) gələndə sual bankı müdafiə oluna bilən hala gəlir.

Aşağıdakı kimi bir şablondan istifadə edə bilərsiniz:

Sual ID: KVKK-ONB-014
Hədəf davranış: Məlumat minimallaşdırılması prinsipini tətbiq etmə
Kök: (ssenari + rol + məhdudiyyət)
Doğru seçim: B
Əsaslandırma (doğru): ...
Çaşdırıcı qeydi (A): ... (niyə yanlış, amma cəlbedici)
İstinad: KVKK maarifləndirmə təlimi / Bölüm 2.3 + şirkət siyasəti maddə X
Dil səviyyəsi: Operasiya
Risk etiketi: KVKK

Burada kiçik bir düzəliş edim: Az əvvəl “ən az 1 kritik çaşdırıcı” dedim; əslində yüksək riskli sahələrdə (KVKK, Əməyin mühafizəsi, etika) mən bütün seçimlərə qısa əsaslandırma istəyirəm. Çünki bu sahələrdə “yanlış məlumat” təkcə ölçməni pozmur; davranışı da poza bilər.

4) Qərəzlilik və inklüzivlik: Dil, mədəniyyət, rol… və görünməz hədlər

Qərəzlilik bir çox komandada “pis niyyət” kimi qəbul edilir. Mənim gördüyüm isə daha çox budur: dil və kontekst tənbəlliyi.

Üç tip risk:

1) Dil qərəzliliyi (savadsızlıq/savadlılıq həddi)

Eyni bilik, fərqli dil yükü ilə soruşula bilər.

• Pis nümunə (yüksək dil yükü):
  “Aşağıdakılardan hansı, məlumat məsulunun aydınlatma öhdəliyi çərçivəsində, aidiyyəti şəxsə təqdim etməli olduğu minimal elementlərin bütöv bir təmsilidir?”

Bu cümlə ölçmə sualı deyil; nəfəs testidir.

• Daha inklüziv versiya:
  “GDPR aydınlatma mətnində mütləq yer almalı olan məlumat hansıdır?”

Eyni mövzu, daha aşağı dil baryeri.

2) Mədəni qərəzlilik (istinad baryeri)

“Hər kəs bilir” sandığınız nümunələr bəzi qruplar üçün yad ola bilər: müəyyən şəhərlər, müəyyən sosial praktikalar, müəyyən ailə rolları.

Mənim qaydam: Nümunələr iş kontekstindən gəlsin. Satışdırsa satış; anbardırsa anbar; çağrı mərkəzidirsə çağrı mərkəzi. Sual bankı ədəbiyyat klubu deyil. (Bunu deməyim ironikdir, çünki az əvvəl Calvino dedim. Amma mən istinadı oxucuya yox, özümə istifadə edirəm; suallara yox.)

3) Rol qərəzliliyi (iş reallığı baryeri)

Eyni anlayışı hər kəs eyni səlahiyyətlə tətbiq etmir.

• Pis nümunə: “İşçi, məlumat emalı fəaliyyətini dayandırmalıdır.”
  Hansı işçi? Hansı səlahiyyətlə?

• Düzəldilmiş: “İşçi, şübhəli məlumat paylaşımı tələbinə təsdiq verməzdən əvvəl hansı bölməyə eskalasiya etməlidir?”
  Bu, rolun edə biləcəyi hərəkəti ölçür.

Bir istifadəçi davranışı məni hələ də təəccübləndirir: Eyni şirkət, eyni həftə içində həm “suallar çox asandır, heç kim ciddiyə almır” deyir, həm də “operasiya komandası mətni anlamır” deyə şikayət edir. İkisi eyni anda doğru ola bilər—amma həlli “çətinləşdirmək” deyil; dil yükünü azaldıb koqnitiv hədəfi dəqiqləşdirməkdir.

5) Çətinlik və ayırtedicilik: Sadə maddə analizi ilə sürətli yoxlama siyahısı

Sual bankı böyüdükcə “instinkt” yetmir. Mən sürətli bir maddə analizi yoxlama siyahısı təklif edirəm. Statistik hissə qorxutmasın; əsas siqnallar sadədir.

Aşağıdakı cədvəldə praktik hədlər var (şirkətə görə tənzimləyin):

Nextrain-də analitika tərəfində “Cavab” və “Müddət” kimi event-level izləmə olduğunu bildiyim üçün, mən bu iki siqnalı xüsusilə sevirəm: doğru nisbəti tək başına aldadıcıdır; müddətlə birləşəndə sualın “çətin” mi, “anlaşılmaz” mı olduğunu ayırmağa başlayırsınız.

Burada kiçik bir tələ var: Çox çətin suallar həmişə pis deyil. Əgər hədəf davranış “ekspert ayrımı”dırsa, p=0.25 tam yaxşı ola bilər. Pis olan, sualın hədəf səviyyə ilə uyğunsuz olmasıdır.

6) Axın dizaynı: Sual istehsalı → keyfiyyət qapıları → nəşr təsdiqi (AI Gates düşüncə tərzi)

Sual bankı keyfiyyət işi, tək-tək sualları düzəltməkdən çox proses dizaynıdır. Mən bunu üç qapılı bir axın kimi qururam. “AI Gates” sözünü sevirəm, çünki mexanikdir: keçə bilmirsənsə, keçə bilmirsən.

Qapı 1 — Struktur yoxlaması (format + tək doğruluq)

Məqsəd: Ən ucuz xətaları ən erkən tutmaq.

Yoxlama siyahısı:

• Kök tək bir hərəkət istəyirmi?
• Tək doğru varmı?
• Seçimlər qrammatik olaraq köklə uyğundurmu?
• “Hamısı / heç biri” kimi seçimlər gərəkmədikcə yoxdurmu?

Qapı 2 — Sübut və kontekst (hallüsinasya + şirkət uyğunluğu)

Məqsəd: Doğru cavabın “niyə doğru” olduğunun bağlanması.

Yoxlama siyahısı:

• İstinad varmı? (təlim bölməsi / siyasət / qanunvericilik)
• Əsaslandırma yazılıbmı?
• GDPR/Əməyin mühafizəsi kimi sahələrdə yanlış məlumat riski varmı?
• Ssenari şirkət reallığına uyğundurmu?

Bu nöqtədə Saadet, yəni bizim “We’ll Handle It” Specialist, adətən ən yaxşı sualı verir: “Bunu sahədə biri oxuyanda ‘yaxşı da, mən nə edəcəyəm?’ deyirmi?” Onun bu refleksi qərəzliliyi və rol uyğunsuzluğunu erkən tutur; çünki müştəri problemi çox vaxt “məlumat yanlışdır” deyil, “hərəkət qeyri-müəyyəndir” olur.

Qapı 3 — Statistik sağlamlıq (çətinlik + ayırtedicilik)

Məqsəd: Sual bankını canlı saxlamaq; pozulmanı erkən tutmaq.

Yoxlama siyahısı:

• p-dəyəri hədəf aralıqdadırmı?
• Ayırtedicilik mənfidirmi?
• Çaşdırıcı seçilmir mi?
• Müddət anomaliyadırmı?

Bu qapı “nəşrdən əvvəl” olmaq məcburiyyətində deyil. Mən çox vaxt nəşr edirəm, sonra real istifadəçi datası ilə bu qapını işlədirəm. Çünki bəzi suallar kağız üzərində mükəmməl görünür, amma sahədə çökür. İnsanlar yaradıcı şəkildə yanlış anlayır.

7) Praktik nümunə: Eyni sualı dörd dəfə yaxşılaşdırmaq (qeyri-müəyyənlik → sübut → qərəzlilik → səviyyə)

Gəlin bir nümunə üzərindən gedək. Mövzu: Əməyin mühafizəsində əsas davranış (ümumi bir nümunə; şirkətinizə görə özəlləşdirin).

Versiya 0 (AI-nin sürətli istehsalı)

Sual: “Əməyin mühafizəsi baxımından doğru davranış hansıdır?”
A) Diqqətli olmaq
B) Qaydalara əməl etmək
C) Riskləri azaltmaq
D) Təlim almaq

Bu sual sual deyil; motivasiya posteridir.

Versiya 1 (qeyri-müəyyən kökü düzəlt)

Sual: “Emalatxanada yerdə maye töküntüsü gördünüz. İlk etməli olduğunuz nədir?”
A) Üstündən atlayıb davam etmək
B) Sahəni işarələyib aidiyyəti şəxsə bildirmək
C) Şəkil çəkib qrupa yazmaq
D) Növbə bitəndə təmizləmək

Artıq davranış var, “ilk addım” var.

Versiya 2 (sübut bağla)

• Doğru: B
• Əsaslandırma: Sürüşmə/yıxılma riski anidir; sahəni təhlükəsiz hala gətirib bildiriş etmək prioritetdir.
• İstinad: Əməyin mühafizəsi əsas təlimi / “Təhlükə bildirişi və sahə təhlükəsizliyi” bölməsi

Burada hallüsinasya riski azalır: “şəkil çəkib qrupa yazmaq” bəzi şirkətlərdə təşviq edilə bilər; amma “ilk addım” kimi yox. İstinad bunu sabitləyir.

Versiya 3 (qərəzliliyi azalt: rol və səlahiyyət)

Deyək ki, bəzi işçilərin “aidiyyəti şəxs”i bilmədiyini fərq etdiniz.

Yenilənmiş kök: “... İlk etməli olduğunuz nədir?”
B) “Sahəni işarələyib növbə rəhbərinə / Əməyin mühafizəsi nümayəndəsinə bildirmək”

Bu, hərəkəti rol reallığına endirir.

Versiya 4 (səviyyə tənzimləməsi: çaşdırıcıları real et)

“Üstündən atlayıb davam etmək” çox karikaturadır. İnsanlar adətən daha məntiqli yanlışlar edir: “mən təmizləyərəm” deyir.

A) “Özünüz tez təmizləyib heç kimi məşğul etməmək”
D) “Uyğun avadanlıq yoxdursa, növbə bitəndə təmizlik komandasına buraxmaq”

Yanlışlar artıq “insani” oldu; ayırtedicilik artır.

Yekun: Sual bankı məzmun anbarı deyil, ölçmə cihazıdır

Borges’in “xəritə” hekayəsində imperiya ölkənin birəbir miqyasında bir xəritə düzəldir və xəritə sonda çürüyüb səhraya qarışır (Borges, “Del rigor en la ciencia”, 1946). Sual bankları da bəzən belədir: böyüyür, böyüyür, böyüyür—sonra heç kim etibar etmir, heç kim istifadə etmir, öz ağırlığı altında çürüyür.

Mənim təklif etdiyim çərçivə sual bankını kiçik saxlamaq deyil; sağlam saxlamaqdır:

• Xəta siniflərini adlandır,
• Sübut bağlama standartı qoy,
• Qərəzlilik yoxlamasını “niyyət” yox, “dizayn” məsələsi et,
• Çətinlik və ayırtediciliyi sadə statistikalarla izlə,
• Və hamısını qapılı bir prosesdə işlət.

AI sual istehsalını sürətləndirdi. Ölçmə keyfiyyətini qorumaq isə hələ də bir mühəndislik işidir: darıxdırıcı yoxlamalar, aydın standartlar, təkrarlanan qapılar. Darıxdırıcı olan şeylər adətən işləyir. (Bu cümləni yazarkən “adətən” sözünü bir az rahat işlətdim; bəzi darıxdırıcı şeylər sadəcə darıxdırıcıdır. Amma keyfiyyət qapıları, bəli—işləyir.)

Qeydlər

1. Italo Calvino, Le città invisibili (Görünməz Kentlər), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, “Not everything that counts can be counted...”, 1963 (geniş yayılmış sitat).
4. Jorge Luis Borges, “Del rigor en la ciencia” (in El Hacedor), 1946.