Calidad de la evaluación con IA: cómo controlar alucinaciones, sesgos y nivel de dificultad en un banco de preguntas

En una pregunta de opción múltiple, una sola palabra ("la más adecuada", "la primera", "cuál NO") puede cambiar lo que estás midiendo; la evaluación a veces es más gramática que contenido. En Las ciudades invisibles de Calvino, las ciudades se construyen con el mismo material pero funcionan con reglas completamente distintas; mis bancos de preguntas son así: mismo tema, mismo comportamiento objetivo; pero cuando cambian el enunciado (stem) y los distractores (distractors), aparece otra “ciudad” (Calvino, Le città invisibili, 1972).

Por eso, generar preguntas con IA es a la vez maravilloso y peligroso. Maravilloso, porque aumenta la velocidad de producción. Peligroso, porque la calidad a menudo se degrada en silencio: nadie activa una alarma diciendo “medimos mal”; solo se vuelven raras las puntuaciones, la gente dice “este examen era absurdo”, y luego el tema se cierra.

En este artículo propondré un marco práctico de aseguramiento de calidad (QA) para mantener el banco de preguntas fiable, justo y nivelado: generación de preguntas → puertas de calidad → aprobación de publicación. En Nextrain, puedes pensar el modelo mental como “AI Gates”: el contenido que no pasa una puerta no avanza a la siguiente etapa; vuelve atrás, se corrige y se intenta de nuevo.

“Not everything that counts can be counted, and not everything that can be counted counts.” [William Bruce Cameron, 1963]
Yo lo traduzco a exámenes así: Puedes puntuarlo todo; pero no toda puntuación es medición.

1) ¿Qué significa “calidad” en un banco de preguntas? (Tres ejes: exactitud, justicia, nivel)

Veo equipos que intentan gestionar la calidad de las preguntas con una sola etiqueta de “buena/mala”. Es una simplificación que le encanta a la mente humana. Pero el problema de calidad de un banco de preguntas ocurre en tres ejes distintos:

1. Exactitud (validez + exactitud técnica):

   • ¿Hay una única respuesta correcta?
   • ¿La respuesta correcta es realmente correcta?
   • ¿El enunciado es ambiguo?
   • ¿Pide información fuera de contexto?

2. Justicia (bias + inclusividad):

   • ¿El nivel de lenguaje es adecuado al rol?
   • ¿Las referencias culturales favorecen a un grupo?
   • ¿Las cosas que se asumen “de conocimiento común” lo son realmente para todos?

3. Nivel (dificultad + discriminación):

   • ¿Es demasiado fácil/demasiado difícil?
   • ¿Distingue a quien sabe bien de quien sabe poco?
   • ¿Los distractores son realistas o son “errores graciosos”?

Lo interesante es esto: la gente suele debatir el punto 1 (“¿es correcto o incorrecto?”), habla del 2 con cautela (la palabra “sesgo” tensa la reunión) y casi nunca mide el 3 (“ya hicimos un test al final de la formación”). Sin embargo, el deterioro en el 3 también corroe el 1 y el 2 de forma invisible.

2) Clases típicas de errores en preguntas generadas con IA (y diagnóstico rápido)

Los errores que comete la IA al generar preguntas no son “aleatorios”; hay clases recurrentes. En el banco de preguntas, veo con más frecuencia estos cuatro:

A) Enunciado ambiguo (ambiguous stem)

Síntoma: son posibles dos interpretaciones distintas, y por tanto dos respuestas correctas.

• Mal ejemplo: “¿Cuál es el enfoque adecuado para el tratamiento de datos en el marco del RGPD?”
  ¿“Adecuado” según qué? ¿Consentimiento, contrato, interés legítimo? No hay contexto.

• Estándar de corrección rápida:

  • El enunciado debe dar un único contexto: rol, situación, restricción.
  • Un solo verbo: “elige”, “identifica”, “aplica” (no todos a la vez).

B) Más de una correcta (multiple correct)

Síntoma: dos opciones son correctas; el examen no mide “conocimiento”, sino “la intención del autor”.

• Pregunta de diagnóstico: “¿Podría escribir la respuesta correcta sin ver las opciones?”
  Si no puedes, probablemente falta enunciado; si puedes pero dos opciones encajan, el problema son las opciones.

C) Conocimiento fuera de contexto (out-of-context knowledge)

Síntoma: se pregunta un detalle que no está en el contenido formativo, no aparece en la política de la empresa e incluso puede variar según la normativa del país.

Esto ocurre cuando la IA intenta ayudar con “conocimiento general del mundo”. Como el océano en Solaris de Lem: te da lo que quieres, pero no desde tu contexto (Lem, Solaris, 1961). En un examen, esto se llama: alucinación.

• Estándar de corrección rápida:
  • Obligación de “anclaje de evidencia” para cada pregunta (lo explicaré abajo).

D) Distractor engañoso (misleading distractor)

Síntoma: el distractor no es realista; o es demasiado obviamente incorrecto o intenta ser “tramposo”.

• Distractor obviamente incorrecto: no discrimina al aprendiz, solo mide velocidad.
• Distractor tramposo: castiga al aprendiz de buena fe, parece una “broma”.

Mi pequeña regla: el distractor debe escribirse con el lenguaje de un error frecuente en el trabajo real. Debe ser “incorrecto pero comprensible”; no “incorrecto y raro”.

3) La forma más aburrida pero más eficaz de reducir alucinaciones: el estándar de “anclaje de evidencia”

Eliminar por completo las alucinaciones de la IA… suena bien en teoría, es caro en la práctica. Una estrategia mejor: evitar que la alucinación estropee el examen.

Para eso, establezco un estándar de mini “paquete de evidencia” para cada pregunta. Cada ítem que vaya a publicarse incluye estas tres cosas:

• Justificación de la respuesta correcta (1–2 frases): “¿Por qué es correcta?”
• Justificación de los errores (para al menos 1 distractor crítico): “¿Por qué es tentadora pero incorrecta?”
• Referencia (documento interno / sección de la formación / título normativo): “¿En qué se basa?”

Cuando escribes este paquete, pasan dos cosas:

1. El autor de la pregunta (incluyéndome) detecta el momento de “en realidad no estoy seguro”.
2. Cuando llega una auditoría (RGPD/PRL, por ejemplo), el banco de preguntas se vuelve defendible.

Puedes usar una plantilla como esta:

Soru ID: KVKK-ONB-014
Hedef davranış: Veri minimizasyonu ilkesini uygulama
Kök: (senaryo + rol + kısıt)
Doğru seçenek: B
Gerekçe (doğru): ...
Çeldirici notu (A): ... (neden yanlış ama cazip)
Referans: KVKK farkındalık eğitimi / Bölüm 2.3 + kurum politikası madde X
Dil seviyesi: Operasyon
Risk etiketi: KVKK

Aquí hago una pequeña corrección: antes dije “al menos 1 distractor crítico”; en realidad, en áreas de alto riesgo (KVKK, İSG, ética) yo pido una justificación breve para todas las opciones. Porque en estas áreas, la “información incorrecta” no solo estropea la medición; también puede estropear el comportamiento.

4) Sesgo e inclusividad: lenguaje, cultura, rol… y umbrales invisibles

En muchos equipos, el sesgo se percibe como “mala intención”. Lo que yo veo más a menudo es: pereza de lenguaje y de contexto.

Tres tipos de riesgo:

1) Sesgo lingüístico (umbral de alfabetización)

La misma información puede preguntarse con distinta carga lingüística.

• Mal ejemplo (alta carga lingüística):
  “¿Cuál de las siguientes opciones constituye una representación integral de los elementos mínimos que el responsable del tratamiento debe proporcionar al interesado en el marco de la obligación de información?”

Esta frase no es una pregunta de evaluación; es una prueba de respiración.

• Versión más inclusiva:
  “¿Qué información debe aparecer obligatoriamente en el texto de información del RGPD?”

Mismo tema, menor barrera lingüística.

2) Sesgo cultural (barrera de referencia)

Ejemplos que asumes que “todo el mundo conoce” pueden ser ajenos para algunos grupos: ciertas ciudades, ciertas prácticas sociales, ciertos roles familiares.

Mi regla: los ejemplos deben venir del contexto de trabajo. Si es ventas, ventas; si es almacén, almacén; si es call center, call center. Un banco de preguntas no es un club de literatura. (Es irónico que diga esto porque antes cité a Calvino. Pero yo uso la referencia para mí, no para el lector; no para las preguntas.)

3) Sesgo de rol (barrera de realidad laboral)

No todo el mundo aplica el mismo concepto con la misma autoridad.

• Mal ejemplo: “El empleado debe detener la actividad de tratamiento de datos.”
  ¿Qué empleado? ¿Con qué autoridad?

• Corregido: “¿A qué unidad debe escalar el empleado una solicitud sospechosa de compartición de datos antes de aprobarla?”
  Esto mide una acción que el rol sí puede realizar.

Un comportamiento de usuario todavía me sorprende: la misma empresa, en la misma semana, dice “las preguntas son muy fáciles, nadie se lo toma en serio” y también se queja de que “el equipo de operaciones no entiende el texto”. Ambas cosas pueden ser ciertas a la vez, pero la solución no es “hacerlo más difícil”; es reducir la carga lingüística y aclarar el objetivo cognitivo.

5) Dificultad y discriminación: lista rápida con análisis básico de ítems

A medida que el banco de preguntas crece, el “instinto” no basta. Propongo una lista rápida de control con análisis de ítems. Que la parte estadística no asuste; las señales básicas son simples.

En la tabla siguiente hay umbrales prácticos (ajústalos según tu organización):

Como sé que en Nextrain, en la parte analítica, hay seguimiento a nivel de evento como “Respuesta” y “Tiempo”, me gustan especialmente estas dos señales: la tasa de acierto por sí sola puede engañar; combinada con el tiempo, empiezas a separar si la pregunta es “difícil” o “incomprensible”.

Aquí hay una pequeña trampa: las preguntas muy difíciles no siempre son malas. Si el comportamiento objetivo es “distinguir expertos”, p=0.25 puede estar muy bien. Lo malo es que la pregunta no esté alineada con el nivel objetivo.

6) Diseño del flujo: generación de preguntas → puertas de calidad → aprobación de publicación (mentalidad AI Gates)

El trabajo de calidad de un banco de preguntas es más diseño de proceso que corregir preguntas una por una. Yo lo construyo como un flujo de tres puertas. Me gusta la palabra “AI Gates” porque es mecánica: si no pasas, no pasas.

Puerta 1 — Validación estructural (formato + única correcta)

Objetivo: detectar los errores más baratos lo antes posible.

Lista de control:

• ¿El enunciado pide una sola acción?
• ¿Hay una única respuesta correcta?
• ¿Las opciones encajan gramaticalmente con el enunciado?
• ¿Se evitan opciones como “todas / ninguna” salvo que sean necesarias?

Puerta 2 — Evidencia y contexto (alucinación + alineación con la empresa)

Objetivo: anclar el “por qué” de la respuesta correcta.

Lista de control:

• ¿Hay referencia? (sección de formación / política / normativa)
• ¿Está escrita la justificación?
• ¿Hay riesgo de información incorrecta en áreas como KVKK/İSG?
• ¿El escenario encaja con la realidad de la empresa?

En este punto, Saadet, nuestra “We’ll Handle It” Specialist, suele hacer la mejor pregunta: “Cuando alguien lo lea en el terreno, ¿dice ‘vale, pero entonces qué hago yo’?” Ese reflejo detecta pronto sesgos y desajustes de rol; porque el problema del cliente muchas veces no es “la información es incorrecta”, sino “la acción es ambigua”.

Puerta 3 — Salud estadística (dificultad + discriminación)

Objetivo: mantener vivo el banco de preguntas; detectar el deterioro pronto.

Lista de control:

• ¿El valor p está en el rango objetivo?
• ¿La discriminación es negativa?
• ¿No se elige algún distractor?
• ¿Hay anomalías de tiempo?

Esta puerta no tiene por qué ser “antes de publicar”. Muchas veces publico y luego ejecuto esta puerta con datos reales de usuarios. Porque algunas preguntas se ven perfectas en papel y se derrumban en el terreno. La gente entiende mal de formas creativas.

7) Ejemplo práctico: mejorar la misma pregunta cuatro veces (ambigüedad → evidencia → sesgo → nivel)

Vamos con un ejemplo. Tema: comportamiento básico en PRL (un ejemplo general; personalízalo según tu organización).

Versión 0 (producción rápida de la IA)

Pregunta: “¿Cuál es el comportamiento correcto en PRL?”
A) Tener cuidado
B) Cumplir las normas
C) Reducir riesgos
D) Recibir formación

Esto no es una pregunta; es un póster motivacional.

Versión 1 (corregir el enunciado ambiguo)

Pregunta: “En el taller ves un derrame de líquido en el suelo. ¿Qué es lo primero que debes hacer?”
A) Saltarlo y seguir
B) Señalizar la zona y avisar a la persona responsable
C) Hacer una foto y escribir al grupo
D) Limpiarlo cuando termine el turno

Ahora hay comportamiento y hay “primer paso”.

Versión 2 (anclar evidencia)

• Correcta: B
• Justificación: El riesgo de resbalón/caída es inmediato; lo prioritario es asegurar la zona y notificar.
• Referencia: Formación básica de PRL / sección “Notificación de peligro y seguridad del área”

Aquí baja el riesgo de alucinación: “hacer una foto y escribir al grupo” puede estar fomentado en algunas empresas, pero no como “primer paso”. La referencia lo fija.

Versión 3 (reducir sesgo: rol y autoridad)

Supongamos que detectas que algunos empleados no saben quién es la “persona responsable”.

Enunciado revisado: “... ¿Qué es lo primero que debes hacer?”
B) “Señalizar la zona y avisar al responsable de turno / representante de PRL”

Esto aterriza la acción en la realidad del rol.

Versión 4 (ajuste de nivel: hacer realistas los distractores)

“Saltarlo y seguir” es demasiado caricaturesco. La gente suele cometer errores más razonables: dice “ya lo limpio yo”.

A) “Limpiarlo tú rápidamente para no molestar a nadie”
D) “Si no hay equipo adecuado, dejarlo para el equipo de limpieza al final del turno”

Los errores ahora son “humanos”; aumenta la discriminación.

Cierre: un banco de preguntas no es un almacén de contenido, es un instrumento de medición

En el relato de Borges sobre el “mapa”, el imperio crea un mapa a escala 1:1 del país, y el mapa acaba pudriéndose y mezclándose con el desierto (Borges, “Del rigor en la ciencia”, 1946). Los bancos de preguntas a veces son así: crecen, crecen, crecen… y luego nadie confía en ellos, nadie los usa, se pudren bajo su propio peso.

El marco que propongo no busca mantener el banco pequeño, sino mantenerlo sano:

• Nombra las clases de error,
• Establece un estándar de anclaje de evidencia,
• Convierte el control de sesgos en un tema de “diseño”, no de “intención”,
• Monitoriza dificultad y discriminación con estadísticas simples,
• Y opera todo con un proceso por puertas.

La IA aceleró la generación de preguntas. Mantener la calidad de la medición sigue siendo un trabajo de ingeniería: controles aburridos, estándares claros, puertas repetibles. Las cosas aburridas suelen funcionar. (Al escribir esta frase, usé “suelen” con demasiada alegría; algunas cosas aburridas solo son aburridas. Pero las puertas de calidad, sí: funcionan.)

Notas

1. Italo Calvino, Le città invisibili (Görünmez Kentler), 1972.
2. Stanisław Lem, Solaris, 1961.
3. William Bruce Cameron, “Not everything that counts can be counted...”, 1963 (cita popular).
4. Jorge Luis Borges, “Del rigor en la ciencia” (en El Hacedor), 1946.