جودة التقييم بالذكاء الاصطناعي: كيف نتحكم في الهلاوس والتحيز ومستوى الصعوبة في بنك الأسئلة؟

قد تغيّر كلمة واحدة في سؤال اختيار من متعدد (مثل: «الأكثر ملاءمة»، «الأول»، «أيٌّ مما يلي ليس…») ما الذي تقيسه؛ فالقياس والتقييم أحيانًا يكونان نحوًا أكثر منهما محتوى. في مدن غير مرئية لكالفينو تُبنى المدن من المادة نفسها لكنها تعمل بقواعد مختلفة تمامًا—وهكذا هي بنوك أسئلتي: الموضوع نفسه، والسلوك المستهدف نفسه؛ لكن حين يتغير الجذر (stem) والمشتتات (distractors) تظهر «مدينة» أخرى (Calvino, Le città invisibili, 1972).

لهذا فإن توليد الأسئلة بالذكاء الاصطناعي رائع وخطِر في آنٍ واحد. رائع لأن سرعة الإنتاج ترتفع. وخطِر لأن الجودة غالبًا ما تتدهور بصمت: لا أحد يطلق إنذارًا يقول «قِسنا بشكل خاطئ»؛ فقط تصبح الدرجات غريبة، ويقول الناس «كان هذا الاختبار عبثيًا»، ثم يُغلق الموضوع.

سأقترح في هذا المقال إطار ضمان جودة (QA) عمليًا لإبقاء بنك الأسئلة موثوقًا وعادلًا ومُدرَّج المستويات: توليد الأسئلة → بوابات الجودة → اعتماد النشر. في Nextrain يمكنكم التفكير في النموذج الذهني لهذا على أنه “AI Gates”: المحتوى الذي لا يجتاز بوابة لا ينتقل إلى المرحلة التالية؛ يعود، يُصحَّح، ويُجرَّب من جديد.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
أترجم هذا للاختبارات هكذا: يمكنك أن تمنح نقاطًا لكل شيء؛ لكن ليست كل نقطة قياسًا.

1) ماذا تعني «الجودة» في بنك الأسئلة؟ (ثلاثة محاور: الدقة، العدالة، المستوى)

أرى فرقًا تحاول إدارة جودة السؤال بوسم واحد «جيد/سيئ». هذا تبسيط يحبه العقل البشري. لكن مشكلة جودة بنك الأسئلة تحدث على ثلاثة محاور منفصلة:

1. الدقة (validity + الدقة التقنية):

   • هل توجد إجابة صحيحة واحدة؟
   • هل الإجابة الصحيحة صحيحة فعلًا؟
   • هل جذر السؤال ملتبس؟
   • هل يطلب معرفة خارج السياق؟

2. العدالة (bias + الشمولية):

   • هل مستوى اللغة مناسب للدور؟
   • هل تمنح الإحالات الثقافية مجموعةً ما أفضلية؟
   • هل الأشياء المفترَض أنها «معروفة للجميع» هي فعلًا للجميع؟

3. المستوى (الصعوبة + التمييزية):

   • هل هو سهل جدًا/صعب جدًا؟
   • هل يميّز بين من يعرف جيدًا ومن يعرف قليلًا؟
   • هل المشتتات واقعية أم «أخطاء مضحكة»؟

المثير للاهتمام: الناس عادة يناقشون (1) («صحيح أم خطأ؟»)، ويتحدثون عن (2) بحذر («كلمة التحيز تشدّ الاجتماع»)، أما (3) فلا يقيسونه تقريبًا («لقد أجرينا اختبارًا في نهاية التدريب أصلًا»). بينما تدهور (3) يفسد (1) و(2) أيضًا بشكل غير مرئي.

2) فئات الأخطاء الشائعة في الأسئلة المُولَّدة بالذكاء الاصطناعي (وتشخيص سريع)

أخطاء الذكاء الاصطناعي في توليد الأسئلة ليست «عشوائية»؛ هناك فئات متكررة. في بنك الأسئلة أرى غالبًا هذه الأخطاء الأربعة:

A) جذر ملتبس (ambiguous stem)

العلامة: يمكن تفسيره بطريقتين، وقد توجد إجابتان صحيحتان.

• مثال سيئ: «ما النهج المناسب لمعالجة البيانات ضمن GDPR؟»
  «مناسب» وفق ماذا؟ موافقة؟ عقد؟ مصلحة مشروعة؟ لا يوجد سياق.

• معيار تصحيح سريع:

  • يجب أن يعطي الجذر سياقًا واحدًا: دور، حالة، قيد.
  • فعل واحد: «اختر»، «حدّد»، «طبّق» (لا تجمعها كلها).

B) أكثر من إجابة صحيحة (multiple correct)

العلامة: خياران صحيحان؛ فيقيس الاختبار ليس «المعرفة» بل «نية كاتب السؤال».

• سؤال تشخيص: «هل يمكنني كتابة الإجابة الصحيحة حتى دون رؤية الخيارات؟»
  إن لم تستطع، فالغالب أن الجذر ناقص؛ وإن استطعت لكن خيارين ينطبقان، فالمشكلة في الخيارات.

C) معرفة خارج السياق (out-of-context knowledge)

العلامة: يُسأل عن تفصيل غير موجود في محتوى التدريب، ولا في سياسة المؤسسة، وقد يختلف حتى حسب التشريعات المحلية.

هذا ما يفعله الذكاء الاصطناعي حين يحاول المساعدة بـ«معرفة عامة عن العالم». كأنه محيط Solaris عند لِم: يعطيك ما تريد لكن ليس من سياقك (Lem, Solaris, 1961). في الاختبارات اسم ذلك: هلاوس.

• معيار تصحيح سريع:
  • إلزام «ربط الدليل» لكل سؤال (سأشرحه أدناه).

D) مشتت مُضلِّل (misleading distractor)

العلامة: المشتت غير واقعي؛ إما خطأ فاضح جدًا أو يعتمد «مكرًا».

• مشتت خطؤه فاضح: لا يميّز المتعلم، بل يقيس السرعة فقط.
• مشتت ماكر: يعاقب المتعلم حسن النية، ويبدو كأنه «مزحة».

قاعدتي الصغيرة: يجب أن يُكتب المشتت بلغة الخطأ الشائع في الميدان. يجب أن يكون «خطأ لكنه مفهوم»؛ لا «خطأ وغريب».

3) أكثر طريقة مملة لكنها الأكثر فاعلية لتقليل الهلاوس: معيار «ربط الدليل»

القضاء على هلاوس الذكاء الاصطناعي بالكامل… جميل نظريًا، مكلف عمليًا. استراتيجية أفضل: منع الهلاوس من إفساد الاختبار.

لهذا أضع معيار «حزمة دليل» صغيرة لكل سؤال. كل فقرة ستُنشر تحمل هذه الثلاثة:

• تبرير الإجابة الصحيحة (1–2 جملة): «لماذا هي صحيحة؟»
• تبرير الأخطاء (على الأقل لمشتت حرج واحد): «لماذا هو جذاب لكنه خطأ؟»
• مرجع (وثيقة داخلية/جزء من التدريب/عنوان تشريعي): «على ماذا يستند؟»

عند كتابة هذه الحزمة يحدث أمران:

1. يلتقط كاتب السؤال (وأنا منهم) لحظة «في الحقيقة لست متأكدًا».
2. عند قدوم تدقيق (مثل GDPR/السلامة المهنية) يصبح بنك الأسئلة قابلًا للدفاع.

يمكنكم استخدام قالب مثل التالي:

Soru ID: KVKK-ONB-014
Hedef davranış: Veri minimizasyonu ilkesini uygulama
Kök: (senaryo + rol + kısıt)
Doğru seçenek: B
Gerekçe (doğru): ...
Çeldirici notu (A): ... (neden yanlış ama cazip)
Referans: KVKK farkındalık eğitimi / Bölüm 2.3 + kurum politikası madde X
Dil seviyesi: Operasyon
Risk etiketi: KVKK

هنا تصحيح صغير: قلتُ قبل قليل «على الأقل مشتت حرج واحد»؛ لكن في المجالات عالية المخاطر (GDPR، السلامة المهنية، الأخلاقيات) أطلب تبريرًا قصيرًا لكل الخيارات. لأن «المعلومة الخاطئة» في هذه المجالات لا تفسد القياس فقط؛ بل قد تفسد السلوك أيضًا.

4) التحيز والشمولية: اللغة، الثقافة، الدور… والعتبات غير المرئية

يُفهم التحيز في كثير من الفرق كأنه «سوء نية». ما أراه غالبًا هو: كسل لغوي وسياقي.

ثلاثة أنواع من المخاطر:

1) تحيز لغوي (عتبة الإلمام بالقراءة)

يمكن سؤال المعلومة نفسها بحِمل لغوي مختلف.

• مثال سيئ (حِمل لغوي مرتفع):
  «أيٌّ مما يلي يُعد تمثيلًا شاملًا للعناصر الدنيا التي يجب على مسؤول البيانات تقديمها لصاحب العلاقة ضمن نطاق التزام الإخطار؟»

هذه ليست فقرة قياس؛ إنها اختبار تنفّس.

• نسخة أكثر شمولًا:
  «ما المعلومة التي يجب أن تتضمنها بالضرورة وثيقة الإخطار ضمن GDPR؟»

الموضوع نفسه، حاجز لغوي أقل.

2) تحيز ثقافي (حاجز المرجع)

الأمثلة التي تظن أنها «معروفة للجميع» قد تكون غريبة على بعض الفئات: مدن بعينها، ممارسات اجتماعية بعينها، أدوار عائلية بعينها.

قاعدتي: لتأتِ الأمثلة من سياق العمل. إن كان المجال مبيعات فمبيعات؛ وإن كان مستودعًا فمستودع؛ وإن كان مركز اتصال فمركز اتصال. بنك الأسئلة ليس نادي أدب. (قول هذا فيه مفارقة لأنني ذكرت كالفينو قبل قليل. لكنني أستخدم المرجع لنفسي لا للقارئ؛ وللمقال لا للأسئلة.)

3) تحيز الدور (حاجز واقعية العمل)

ليس الجميع يطبق المفهوم نفسه بالصلاحيات نفسها.

• مثال سيئ: «على الموظف إيقاف نشاط معالجة البيانات.»
  أي موظف؟ وبأي صلاحية؟

• مصحح: «إلى أي جهة يجب على الموظف تصعيد طلب مشاركة بيانات مشبوه قبل الموافقة؟»
  هذا يقيس فعلًا يمكن للدور القيام به.

سلوك مستخدم ما يزال يدهشني: المؤسسة نفسها، في الأسبوع نفسه، تقول «الأسئلة سهلة جدًا ولا أحد يأخذها بجدية»، ثم تشتكي «فريق العمليات لا يفهم النص». يمكن أن يكون الاثنان صحيحين في الوقت نفسه—لكن الحل ليس «زيادة الصعوبة»؛ بل تقليل الحِمل اللغوي وتوضيح الهدف المعرفي.

5) الصعوبة والتمييزية: قائمة تحقق سريعة عبر تحليل فقرات بسيط

كلما كبر بنك الأسئلة لم تعد «الحدس» كافية. أقترح قائمة تحقق سريعة لتحليل الفقرات. لا تدع الجزء الإحصائي يخيفك؛ الإشارات الأساسية بسيطة.

في الجدول التالي عتبات عملية (اضبطها حسب المؤسسة):

في Nextrain أعلم أن جانب التحليلات يتضمن تتبعًا على مستوى الحدث مثل “Cevap” و“Süre”، لذلك أحب هاتين الإشارتين خصوصًا: نسبة الصحيح وحدها قد تكون مضللة؛ وعند دمجها مع الزمن تبدأ بتمييز ما إذا كان السؤال «صعبًا» أم «غير مفهوم».

هناك فخ صغير: الأسئلة الصعبة جدًا ليست سيئة دائمًا. إن كان السلوك المستهدف «تمييز الخبراء» فقد تكون p=0.25 جيدة جدًا. السيئ هو عدم توافق السؤال مع المستوى المستهدف.

6) تصميم التدفق: توليد الأسئلة → بوابات الجودة → اعتماد النشر (عقلية AI Gates)

جودة بنك الأسئلة ليست إصلاح كل سؤال على حدة بقدر ما هي تصميم عملية. أبنيها كتدفق بثلاث بوابات. أحب كلمة “AI Gates” لأنها ميكانيكية: إن لم تجتز، فلن تجتز.

البوابة 1 — تحقق بنيوي (التنسيق + إجابة واحدة)

الهدف: التقاط أرخص الأخطاء في أبكر نقطة.

قائمة تحقق:

• هل يطلب الجذر فعلًا واحدًا؟
• هل توجد إجابة صحيحة واحدة؟
• هل الخيارات متوافقة نحويًا مع الجذر؟
• هل تُتجنب خيارات مثل «كل ما سبق/لا شيء مما سبق» إلا عند الضرورة؟

البوابة 2 — الدليل والسياق (الهلاوس + مواءمة المؤسسة)

الهدف: ربط «لماذا الإجابة الصحيحة صحيحة».

قائمة تحقق:

• هل يوجد مرجع؟ (جزء من التدريب/سياسة/تشريع)
• هل كُتب التبرير؟
• هل يوجد خطر معلومات خاطئة في مجالات مثل GDPR/السلامة المهنية؟
• هل السيناريو مناسب لواقع المؤسسة؟

في هذه النقطة Saadet، أي «We’ll Handle It» Specialist لدينا، غالبًا ما تطرح أفضل سؤال: «عندما يقرأه شخص في الميدان، هل يقول: ‘حسنًا… لكن ماذا أفعل أنا؟’» هذا الانعكاس لديها يلتقط مبكرًا التحيز وعدم توافق الدور؛ لأن مشكلة العميل غالبًا ليست «المعلومة خاطئة» بل «الفعل غير واضح».

البوابة 3 — صحة إحصائية (الصعوبة + التمييزية)

الهدف: إبقاء بنك الأسئلة حيًا؛ والتقاط التدهور مبكرًا.

قائمة تحقق:

• هل قيمة p ضمن النطاق المستهدف؟
• هل التمييزية سلبية؟
• هل هناك مشتت لا يُختار؟
• هل هناك شذوذ في الزمن؟

هذه البوابة ليست مضطرة لأن تكون «قبل النشر». غالبًا أنشر ثم أُشغّل هذه البوابة ببيانات المستخدمين الفعلية. لأن بعض الأسئلة تبدو مثالية على الورق ثم تنهار في الميدان. الناس يسيئون الفهم بطرق إبداعية.

7) مثال عملي: تحسين السؤال نفسه أربع مرات (غموض → دليل → تحيز → مستوى)

لنمضِ عبر مثال. الموضوع: سلوك أساسي في السلامة المهنية (مثال عام؛ خصّصه حسب مؤسستك).

النسخة 0 (إنتاج سريع من AI)

السؤال: «ما السلوك الصحيح من منظور السلامة المهنية؟»
A) الانتباه
B) الالتزام بالقواعد
C) تقليل المخاطر
D) تلقي التدريب

هذا ليس سؤالًا؛ إنه ملصق تحفيزي.

النسخة 1 (تصحيح الجذر الملتبس)

السؤال: «رأيتَ انسكاب سائل على أرضية الورشة. ما أول ما يجب عليك فعله؟»
A) القفز فوقه والمتابعة
B) وضع علامة على المنطقة وإبلاغ الشخص المعني
C) التقاط صورة وكتابتها في المجموعة
D) تنظيفه عند نهاية الوردية

الآن لدينا سلوك و«خطوة أولى».

النسخة 2 (ربط الدليل)

• الصحيح: B
• التبرير: خطر الانزلاق/السقوط فوري؛ تأمين المنطقة ثم الإبلاغ أولوية.
• المرجع: تدريب السلامة المهنية الأساسي / قسم «الإبلاغ عن الخطر وتأمين المنطقة»

هنا تقل مخاطر الهلاوس: «التقاط صورة وكتابتها في المجموعة» قد يكون مشجَّعًا في بعض المؤسسات؛ لكن ليس كـ«خطوة أولى». المرجع يثبّت ذلك.

النسخة 3 (تقليل التحيز: الدور والصلاحية)

لنفترض أنك لاحظت أن بعض الموظفين لا يعرفون من هو «الشخص المعني».

جذر مُراجع: «… ما أول ما يجب عليك فعله؟»
B) «وضع علامة على المنطقة وإبلاغ مسؤول الوردية/ممثل السلامة المهنية»

هذا يُنزل الفعل إلى واقعية الدور.

النسخة 4 (ضبط المستوى: جعل المشتتات واقعية)

«القفز فوقه والمتابعة» كاريكاتوري جدًا. الناس عادة يرتكبون أخطاء أكثر معقولية: يقول «سأنظفه أنا».

A) «تنظيفه بسرعة بنفسك كي لا تُشغل أحدًا»
D) «إن لم تتوفر معدات مناسبة، تركه لفريق النظافة عند نهاية الوردية»

الأخطاء أصبحت «بشرية»؛ فتزداد التمييزية.

الخلاصة: بنك الأسئلة ليس مخزن محتوى، بل جهاز قياس

في حكاية «الخريطة» لدى بورخيس تصنع الإمبراطورية خريطة بمقياس مطابق للبلاد، ثم تتعفن الخريطة في النهاية وتختلط بالصحراء (Borges, “Del rigor en la ciencia”, 1946). وبنوك الأسئلة أحيانًا كذلك: تكبر وتكبر وتكبر—ثم لا يثق بها أحد، ولا يستخدمها أحد، وتتعفن تحت وزنها.

الإطار الذي أقترحه لا يهدف إلى إبقاء بنك الأسئلة صغيرًا؛ بل إبقاؤه صحيًا:

• سمِّ فئات الأخطاء،
• ضع معيار ربط الدليل،
• اجعل فحص التحيز مسألة «تصميم» لا «نية»،
• راقب الصعوبة والتمييزية بإحصاءات بسيطة،
• وشغّل كل ذلك ضمن عملية ذات بوابات.

لقد سرّع AI توليد الأسئلة. أما الحفاظ على جودة القياس فما يزال عملًا هندسيًا: فحوصات مملة، معايير واضحة، وبوابات متكررة. الأشياء المملة غالبًا ما تنجح. (وأنا أكتب هذه الجملة استخدمت كلمة «غالبًا» بسهولة زائدة؛ بعض الأشياء المملة مملة فقط. لكن بوابات الجودة، نعم—تنجح.)

ملاحظات

1. Italo Calvino, Le città invisibili (Görünmez Kentler), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, “Not everything that counts can be counted...”, 1963 (اقتباس شائع).
4. Jorge Luis Borges, “Del rigor en la ciencia” (in El Hacedor), 1946.