Fundamentos matemáticos de los sistemas educativos adaptativos bayesianos

1. El problema que resuelve el sistema

Un sistema de evaluación tradicional asigna las mismas preguntas a todos los alumnos en el mismo orden. Esto genera dos ineficiencias:

• Preguntas demasiado fáciles para alumnos avanzados no aportan información útil sobre su nivel real.
• Preguntas demasiado difíciles para alumnos con dificultades generan frustración sin mejorar el diagnóstico.

La evaluación adaptativa resuelve esto seleccionando en cada momento la pregunta más informativa dado lo que ya se sabe del alumno. Para ello necesita tres ingredientes:

1. Una representación del estado de conocimiento del alumno (qué creemos saber de él).
2. Una regla de actualización que cambie esa representación tras cada respuesta.
3. Un criterio de selección que elija qué pregunta formular a continuación.

Este documento describe la matemática detrás de cada uno de esos tres ingredientes.

2. Representación probabilística del estado del alumno

2.1. El espacio de hipótesis

En lugar de asignar al alumno un valor fijo (una nota, una etiqueta), el sistema mantiene una distribución de probabilidades sobre un conjunto de hipótesis. En el caso clásico esas hipótesis son mutuamente excluyentes y exhaustivas; cuando varios errores pueden coexistir, el estado se representa mejor mediante varias dimensiones en paralelo o mediante una distribución sobre perfiles completos.

Sea \(\mathcal{H} = \{H_1, H_2, \ldots, H_n\}\) el conjunto de hipótesis posibles. Por ejemplo:

En cada momento, el sistema mantiene un vector de probabilidades:

con la restricción:

Este vector expresa el grado de creencia del sistema sobre el estado real del alumno, no una certeza.

2.2. Distribución inicial

Si no existe información previa sobre el alumno, el sistema parte de una distribución uniforme:

Esta elección refleja ignorancia máxima: todas las hipótesis son igualmente plausibles antes de observar ninguna respuesta. Si existiera información previa fiable (resultados de cursos anteriores, diagnósticos previos), podría usarse como distribución inicial justificada.

Conviene precisar el alcance de esa neutralidad: la uniforme solo es neutral sobre hipótesis de nivel. Sobre factores de error binarios equivale a afirmar que cada error está presente en la mitad de los alumnos —una afirmación fuerte sobre su prevalencia, no una ausencia de información—, de modo que en ese caso se parte de una probabilidad a priori informativa (§10; §5.1 del protocolo).

2.3. Valor numérico de cada hipótesis

Para poder usar la función logística que genera las verosimilitudes (véase §4), cada hipótesis \(H_i\) necesita un valor numérico \(\theta_i\) que represente su posición en la escala de dominio. La convención recomendada es centrar los valores en cero con intervalos iguales:

Estos valores son fijos y dependen solo del número de hipótesis; las dificultades \(b_q\) se sitúan dentro de esa escala, no al revés. La relación exacta entre θ y b se explica en §8.

2.4. Estado multidimensional

El estado del alumno no tiene por qué ser una única distribución. Cuando interesa saber no solo cuánto domina sino qué componentes falla, conviene mantener varias distribuciones bayesianas en paralelo:

• una distribución por categoría o nivel (qué tipo de tarea domina);
• una distribución por cada dimensión diagnóstica (habilidad, paso del proceso o tipo de error).

Cada distribución \(\mathbf{p}^{(d)}\) sobre las hipótesis de la dimensión \(d\) se actualiza de forma independiente con la maquinaria de §3–§4, pero debe alimentarse con la evidencia que le corresponde: el resultado global puede actualizar la creencia de nivel y cada subcriterio actualiza solo la creencia de su dimensión. Si un único acierto o fallo global depende de varias habilidades a la vez, usarlo para actualizar varias dimensiones independientes duplicaría la evidencia y atribuiría mal la causa del error. Esto permite distinguir qué practicar (nivel por categoría) de qué reforzar (diagnóstico por dimensión).

Cada dimensión puede tener su propio suelo de azar \(c^{(d)}\) (véase §4.6–4.7), por lo que un mismo valor latente \(\theta\) produce porcentajes visibles distintos según la dimensión. Los porcentajes entre dimensiones no son directamente comparables; entre dimensiones ordinales, la referencia común es \(\theta\). En factores nominales de error no existe una \(\theta\) con significado: su resumen son las probabilidades marginales y el estado (presente, ausente, indeterminado), y no debe calcularse una \(\theta\) esperada para ellos (§10.3). Las dimensiones que pueden coexistir no deben forzarse dentro de una sola distribución: se modelan por separado (véase §9 del protocolo).

Conviene situar esto frente al modelo clásico. La TRI y los modelos de Rasch asumen unidimensionalidad (todos los ítems miden un único atributo latente) e independencia local (a un nivel de habilidad dado, la respuesta a un ítem no depende de las respuestas a los demás). Bajo esos supuestos, una sola distribución sobre \(\theta\) describe por completo al alumno. El estado multidimensional descrito aquí extiende ese marco: en lugar de forzar varios atributos dentro de una única dimensión —lo que violaría la independencia local—, mantiene una distribución separada por cada dimensión y conserva la independencia local dentro de cada una. Es una generalización deliberada, no un incumplimiento del modelo.

3. Inferencia bayesiana

3.1. El teorema de Bayes

Cuando el alumno responde una pregunta, esa respuesta es una evidencia que debe modificar nuestra estimación de su estado. El mecanismo de actualización es el teorema de Bayes:

donde:

• \(P(H_i)\) es la probabilidad a priori: lo que creíamos antes de ver la respuesta.
• \(P(R \mid H_i)\) es la verosimilitud: la probabilidad de observar la respuesta \(R\) si el alumno estuviera realmente en el estado \(H_i\).
• \(P(R)\) es la probabilidad marginal de la respuesta, calculada sumando sobre todas las hipótesis:

• \(P(H_i \mid R)\) es la probabilidad a posteriori: la creencia actualizada tras observar \(R\).

3.2. Actualización tras un acierto o un fallo

En la práctica, la respuesta \(R\) es binaria: acierto (A) o fallo (F). La actualización toma la forma:

Nótese que el denominador es simplemente una constante de normalización. En la implementación, basta con calcular los numeradores para todos los \(i\) y dividir por su suma.

3.3. Actualización secuencial

Si el alumno responde varias preguntas, el proceso se aplica de forma secuencial: la probabilidad a posteriori de una pregunta se convierte en la probabilidad a priori de la siguiente (la a priori inmediata, que no debe confundirse con la a priori inicial de referencia \(\pi\) a la que se ancla el olvido de §3.5). Esto es matemáticamente equivalente a actualizar con todas las respuestas a la vez, siempre que las respuestas sean condicionalmente independientes dada la hipótesis verdadera.

3.4. Por qué Bayes y no otros métodos

Bajo los supuestos habituales de coherencia probabilística y actualización por evidencia observada, la regla de Bayes es la forma natural de actualizar las probabilidades. Satisface simultáneamente:

• Consistencia: si se actualizan las probabilidades en dos pasos o en uno, el resultado es el mismo.
• Proporcionalidad: la actualización es proporcional a cuánto predice cada hipótesis la respuesta observada.
• No dogmatismo: ninguna hipótesis queda bloqueada en 0 o 1 siempre que su probabilidad inicial sea estrictamente positiva. Por eso conviene asignar probabilidades iniciales estrictamente positivas a todas las hipótesis plausibles.

Alternativas como las redes de reglas o los sistemas expertos clásicos no tienen estas propiedades y pueden quedar bloqueadas en diagnósticos incorrectos cuando el alumno responde de forma inesperada.

3.5. Actualización con olvido exponencial (estado no estacionario)

La actualización secuencial de §3.3 da el mismo peso a todas las respuestas, la primera y la última. Eso es correcto si el estado del alumno no cambia durante la sesión, pero en recursos de práctica prolongada el alumno aprende mientras practica (véase §11.3): la probabilidad a posteriori arrastra la evidencia antigua y puede converger hacia un estado que ya no existe.

Dos sentidos de «probabilidad a priori» que conviene no confundir. En la actualización secuencial (§3.3), la distribución a posteriori obtenida tras una respuesta pasa a ser la probabilidad a priori inmediata de la respuesta siguiente: es una distribución que cambia en cada paso. El olvido exponencial no se ancla a esa, sino a la probabilidad a priori inicial o de referencia \(\pi\): la distribución fija que se define al construir el modelo (§2.2) y que ya no se modifica durante la sesión. La distinción no es cosmética: anclar el olvido a la a priori inmediata sería atenuar cada distribución hacia sí misma, es decir, no hacer nada.

La corrección mínima es, pues, el olvido exponencial anclado a la probabilidad a priori inicial: antes de incorporar cada nueva respuesta, la distribución acumulada se atenúa ligeramente hacia esa distribución de referencia \(\pi_i\) con una potencia \(\lambda \in (0, 1]\); después se aplica Bayes con la nueva evidencia y se renormaliza:

Cada paso de la sesión recorre, por tanto, esta secuencia:

Donde \(\pi\) es siempre la misma distribución de referencia, la de \(t = 0\), y no la del paso anterior.

Con \(\lambda = 1\) se recupera el Bayes estándar de §3.3, y con \(\pi\) uniforme el factor \(\pi_i^{1-\lambda}\) es constante y la regla coincide con la forma simple \(p_i \leftarrow p_i^{\lambda}\) renormalizada. Con \(\lambda < 1\), cada respuesta entra con peso pleno y va perdiendo influencia a medida que avanza la sesión: al cabo de \(k\) pasos, su verosimilitud queda elevada a \(\lambda^k\), de modo que su peso decae geométricamente. La memoria efectiva del sistema es de aproximadamente \(1/(1-\lambda)\) respuestas. Desenrollando la recursión se comprueba que \(\pi\) conserva peso exactamente 1 en todo momento: el olvido descarta evidencia antigua, nunca la probabilidad a priori inicial. Una regla práctica: \(\lambda = 1 - 1/W\), donde \(W\) es el número de respuestas recientes que deben dominar la estimación. Una variante de efecto similar es mezclar la distribución acumulada con la de referencia, \(p_i \leftarrow (1-\gamma)\,p_i + \gamma\,\pi_i\); ambas devuelven algo de masa a las hipótesis descartadas y mantienen la estimación permeable al cambio.

Por qué el anclaje a la probabilidad a priori inicial no es opcional. La forma simple \(p_i \leftarrow p_i^{\lambda}\) (o la mezcla con la uniforme) tiene la distribución uniforme como punto fijo: sin evidencia nueva, cualquier distribución deriva hacia ella. Con hipótesis de nivel y \(\pi\) uniforme es inocuo, pero destruye cualquier probabilidad a priori inicial informativa. El caso más dañino es el de los factores de error (§10): con \(P(\text{error}) = 0{,}25\) y \(\lambda = 0{,}95\), un factor que no reciba evidencia sube solo hasta \(\approx 0{,}34\) en 10 pasos y \(\approx 0{,}40\) en 20, reapareciendo como «indeterminado» o «probable» sin que el alumno haya hecho nada: el mismo falso positivo que la probabilidad a priori informativa de §5.1 del protocolo evita. Anclada a la probabilidad a priori inicial, una distribución sin evidencia nueva permanece en ella. La atenuación se aplica a cada distribución en cada paso de la sesión —también a las que no reciben evidencia en esa respuesta—, de modo que todas siguen el paso del tiempo sin degradarse hacia la uniforme.

Calibración de \(\lambda\) con varias distribuciones paralelas. Atenuar todas las distribuciones en cada respuesta tiene una consecuencia que conviene hacer explícita: cada distribución envejece una vez por respuesta, pero solo recibe evidencia cuando la respuesta le corresponde. Si la distribución \(d\) se actualiza en una de cada \(K_d\) respuestas, su memoria medida en intentos propios es \(M_d \approx 1/\bigl(K_d\,(1-\lambda)\bigr)\), es decir, \(K_d\) veces menor que la memoria en respuestas. Fijar un \(\lambda\) común para todas ellas no las trata por igual: castiga a las que se actualizan con menos frecuencia. Por eso conviene fijar la memoria objetivo \(M\) en intentos de la propia distribución y derivar un \(\lambda\) por distribución:

Con \(K_d = 1\) (una dimensión evaluada en cada respuesta) se recupera \(\lambda = 1 - 1/M\). Con \(M = 20\) y \(6\) categorías, una dimensión evaluada siempre usa \(\lambda = 0{,}95\) y cada categoría usa \(\lambda = 0{,}95^{1/6} \approx 0{,}9915\); ambas conservan una memoria de unos \(20\) intentos propios, aunque la ventana de la categoría abarque \(1/(1-\lambda) \approx 117\) respuestas. Aplicar el \(0{,}95\) también a las categorías les dejaría \(20/6 \approx 3{,}3\) intentos de memoria, suficiente para borrar un diagnóstico inicial de \(2\) intentos por categoría.

La misma corrección afecta a la ventana de la muestra mínima (§7.6): los intentos se cuentan dentro de las últimas \(1/(1-\lambda_d)\) respuestas de esa distribución, y se cuentan sin ponderar. Un recuento ponderado por \(\lambda^k\) haría que dos intentos consecutivos sumaran \(1 + \lambda = 1{,}95\), incumpliendo un umbral entero de \(2\) y endureciendo la puerta sin decirlo.

Ejemplo. Con \(\pi\) uniforme, la distribución a posteriori acumulada \((0.809,\; 0.180,\; 0.011)\) y \(\lambda = 0.9\), la atenuación produce \((0.782,\; 0.202,\; 0.016)\): la creencia dominante se conserva, pero las alternativas recuperan margen para reaccionar si el comportamiento del alumno cambia.

Cuándo usarlo. En recursos diagnósticos de sesión corta, donde el estado es estable, debe usarse \(\lambda = 1\): el olvido solo añadiría ruido y retrasaría la convergencia. En práctica o refuerzo continuo (§7.6), valores de \(\lambda \approx 0.9\)–\(0.98\) hacen que la estimación siga el estado actual del alumno. Con olvido activo, la confianza mostrada debe interpretarse como confianza sobre el estado reciente; la entropía se mantiene algo más alta y la sesión no se cierra sola, lo que es coherente con el modo sin parada.

El olvido es simétrico: no presupone que el alumno mejora, solo evita que la evidencia antigua bloquee el seguimiento de un estado que cambia. Si se desea modelar explícitamente la dirección del aprendizaje, la extensión natural es un modelo de transición (filtrado bayesiano): antes de cada actualización se aplica una matriz \(T\) con una pequeña probabilidad de ascender de nivel —mayor, por ejemplo, justo después de mostrar una explicación—, de modo que \(\mathbf{p} \leftarrow \text{normalizar}\!\left(L \circ (T^{\top}\mathbf{p})\right)\). Su caso particular de dos estados es el Bayesian Knowledge Tracing (Corbett y Anderson, 1995), el modelo clásico de los tutores inteligentes. A cambio introduce un parámetro más que fijar sin datos —la probabilidad de aprender por paso—, con las cautelas de §11.1.

4. Modelo IRT de tres parámetros

4.1. El problema de las verosimilitudes

Para aplicar Bayes necesitamos \(P(A \mid H_i, q)\): la probabilidad de que un alumno en el estado \(H_i\) acierte la pregunta \(q\). Esta probabilidad es la verosimilitud.

El sistema necesita generarlas automáticamente a partir de los parámetros de cada pregunta, sin que el docente rellene tablas de probabilidades.

4.2. La curva característica del ítem (ICC)

El modelo IRT (Item Response Theory) proporciona una familia de funciones para modelar \(P(A \mid \theta, q)\). El modelo de tres parámetros (3PL) es:

Los tres parámetros son:

La forma logística no es solo una conveniencia de cálculo. Su raíz está en la familia de modelos de Rasch, donde tomar el logaritmo de la razón de probabilidades \(P/(1-P)\) produce una escala aditiva (logit) en la que la probabilidad de acierto depende únicamente de la diferencia \(\theta_i - b_q\). Esa estructura es la que da sentido a situar el nivel del alumno y la dificultad del ítem en una misma escala y compararlos. En el caso estricto de Rasch (discriminación común \(a\) y \(c = 0\)), esta propiedad se conoce como objetividad específica: la comparación entre dos alumnos no depende de qué ítems se usen, ni la comparación entre dos ítems de qué alumnos respondan. El modelo de tres parámetros generaliza la curva (permite \(a\) variable y \(c > 0\)) y relaja esa objetividad estricta, pero conserva la misma justificación de fondo para emplear la función logística.

4.3. Comportamiento de la curva

Cuando \(\theta_i \gg b_q\) (el alumno está muy por encima de la dificultad), el término exponencial \(e^{-a(\theta_i - b_q)} \to 0\) y:

En la implementación, este límite superior no se deja llegar a 1: se acota con el techo de dominio \(P(A) \leq 0{,}95\) (§8.3), que modela el descuido (slip) y evita que un solo fallo en un ítem fácil produzca saltos casi deterministas de la probabilidad a posteriori.

Cuando \(\theta_i \ll b_q\) (el alumno está muy por debajo de la dificultad), el término exponencial \(\to +\infty\) y:

Cuando \(\theta_i = b_q\), el argumento del exponente es cero y:

Este es el punto de inflexión de la curva: donde la pendiente es máxima y, por tanto, donde la pregunta es más discriminante.

4.4. El parámetro de discriminación \(a\)

El parámetro \(a\) controla la pendiente de la curva logística. Su efecto puede verse derivando la ICC respecto a \(\theta\):

La pendiente máxima (en \(\theta = b_q\)) vale:

Un valor alto de \(a\) produce una curva más escarpada: la pregunta discrimina mejor entre alumnos cerca de su dificultad, pero aporta poca información a alumnos claramente por encima o por debajo. Un valor bajo produce una curva más suave: la pregunta es útil en un rango más amplio de niveles, pero discrimina menos.

Los valores habituales en psicometría oscilan entre 0.5 y 2.5. Para sistemas educativos de propósito general, valores en torno a \(1.0\)–\(1.5\) son puntos de partida razonables; en la especificación operativa se recomienda fijar \(a_{\text{ef}} = 1.25\) y derivar \(a\) desde el suelo de azar de cada ítem.

Discriminación efectiva y mezcla de formatos. La pendiente máxima depende del producto \(a\,(1 - c_q)\), no de \(a\) por separado. Conviene por eso distinguir la discriminación efectiva \(a_{\text{ef}} = a\,(1 - c_q)\) —la pendiente máxima expresada sin el factor \(1/4\)— de la discriminación nominal \(a\). Cuando todas las preguntas comparten el mismo número de opciones, y por tanto el mismo \(c_q\), ambas son proporcionales y basta fijar \(a\). Pero si el banco mezcla formatos con distinto \(c_q\) (por ejemplo, verdadero/falso con \(c_q = 0.5\) junto a ítems de 4 opciones con \(c_q = 0.25\)), mantener \(a\) constante hace que la pendiente varíe solo por el formato: una pregunta de verdadero/falso bien construida tendría una pendiente menor que una abierta equivalente, un sesgo puramente mecánico y no didáctico.

Para evitarlo se fija la discriminación efectiva objetivo \(a_{\text{ef}}\) y se despeja la nominal:

Así cada pregunta conserva la misma pendiente en su punto de inflexión con independencia del número de opciones. Tomando \(a_{\text{ef}} = 1.25\) como objetivo común:

De este modo \(a\) no se fija de forma arbitraria: se calcula a partir de una discriminación efectiva objetivo y del pseudoazar de cada pregunta. Conviene aplicar esta regla siempre, no solo cuando un mismo test mezcla formatos. Dos preguntas —o dos recursos distintos— con el mismo \(a\) nominal pero distinto número de opciones tienen pendientes máximas diferentes y no son comparables en ese sentido: con \(a = 1.5\), una pregunta de 3 opciones (\(c_q = 1/3\)) rinde \(a_{\text{ef}} = 1.0\), mientras que una de 4 (\(c_q = 1/4\)) rinde \(a_{\text{ef}} = 1.125\). Fijar \(a_{\text{ef}}\) y derivar \(a\) en cada caso iguala esas pendientes, pero no iguala toda la información esperada del ítem: esa información depende de la curva completa, del suelo de azar y de la probabilidad a posteriori actual. Como objetivo se recomienda \(a_{\text{ef}} = 1.25\): dado que \(c_q \leq 0.5\) en cualquier ítem de dos o más opciones, la \(a\) nominal derivada nunca supera \(2.5\) —el caso extremo, verdadero/falso, da exactamente \(a = 2.5\)— y se mantiene así dentro del rango habitual en psicometría (0.5–2.5). Un objetivo mayor lo desbordaría: \(a_{\text{ef}} = 1.5\) daría \(a = 3.0\) en verdadero/falso. Los ejemplos numéricos de este documento usan \(a = 1.5\) directamente con fines ilustrativos y, por legibilidad, no aplican el techo de dominio de §8.3 (véase la nota de §9.1).

4.5. La probabilidad de fallo

Esta es la verosimilitud que entra en la actualización bayesiana cuando el alumno falla.

4.6. Probabilidad mínima de acierto por azar

En preguntas de opción múltiple con \(m_q\) opciones, puede usarse \(c_q = 1/m_q\) como aproximación inicial en ausencia de datos empíricos:

En un modelo IRT calibrado, \(c_q\) debería estimarse a partir de datos reales, porque el pseudoazar no siempre coincide con el azar puro: los distractores no son igualmente atractivos y algunos alumnos eliminan opciones antes de responder. Esta probabilidad pertenece a cada pregunta, no al test en conjunto. En respuestas numéricas o de texto exacto donde el azar es irrelevante, se usa \(c_q = 0\).

4.7. Ítems compuestos: suelo de azar agregado

Una pregunta no siempre se corrige como un único acierto o fallo. Si la tarea se evalúa por varios componentes \(j\) (pasos, decisiones o subrespuestas), cada uno con su propio número de opciones \(m_j\) y su peso \(w_j\), la media ponderada de los azares de cada componente no es la probabilidad de acertar el ítem completo, sino la puntuación parcial esperada por azar:

Por ejemplo, un ítem con tres componentes de pesos \((0.5,\,0.3,\,0.2)\) y opciones \((2,\,4,\,6)\) tiene una puntuación esperada por azar:

Este \(c_q\) agregado entra en la ICC (§4.2) solo si la curva se interpreta como puntuación esperada del ítem compuesto. Si el ítem se corrige como todo-o-nada, la probabilidad de acierto pleno por azar no es la media sino el producto de los azares de los componentes independientes: \(\tfrac12 \cdot \tfrac14 \cdot \tfrac16 \approx 0.021\). Los pesos \(w_j\) deben ser los mismos que se usan para puntuar el crédito parcial (§4.8).

4.8. Crédito parcial: verosimilitud suave

Cuando la respuesta admite grados —no solo acierto o fallo, sino una puntuación \(s \in [0, 1]\) obtenida de los componentes ponderados— la verosimilitud debe favorecer las hipótesis cuya predicción \(p_i = P(A \mid H_i, q)\) sea compatible con esa puntuación. Si solo se dispone de una puntuación agregada, una aproximación coherente es la verosimilitud geométrica:

Como \(P(F \mid H_i, q) = 1 - P(A \mid H_i, q)\), escribiendo \(p_i = P(A \mid H_i, q)\):

Esta \(L(H_i)\) sustituye a la verosimilitud en la actualización bayesiana de §3.2; el resto del proceso (normalización incluida) no cambia. Casos límite:

• \(s = 1\): \(L(H_i) = P(A \mid H_i, q)\), acierto pleno.
• \(s = 0\): \(L(H_i) = P(F \mid H_i, q)\), fallo pleno.
• \(s = 0.5\): favorece hipótesis con \(p_i\) cercano a \(0.5\); no es una evidencia neutra salvo que el modelo no distinga entre hipótesis.

La puntuación \(s\) debe calcularse de forma explícita y autocorregible, normalmente como suma ponderada de subcriterios con \(\sum_j w_j = 1\). Si el ítem tiene \(J\) componentes aproximadamente independientes y se quiere conservar la fuerza de la evidencia, puede usarse \(L(H_i) \propto p_i^{sJ}(1-p_i)^{(1-s)J}\). Esta forma equivale a tratar la respuesta como \(J\) ensayos de Bernoulli independientes con la misma probabilidad \(p_i\) del ítem completo (el coeficiente binomial no depende de \(H_i\) y se cancela en la normalización), por lo que solo es razonable si los componentes tienen dificultad parecida: si difieren claramente —lo habitual en tareas por pasos, donde los componentes saturados aportan poca discriminación— sobrecuenta la evidencia respecto al modelo por componentes, y conviene usar un \(J\) menor que el número real de componentes (más conservador). Si se conoce el resultado de cada componente, es preferible multiplicar las verosimilitudes componente a componente. La psicometría dispone de modelos politómicos canónicos para respuestas graduadas —el Graded Response Model (Samejima, 1969) y el Partial Credit Model (Masters, 1982)—; la verosimilitud geométrica es una aproximación más simple que se adopta aquí porque esos modelos requieren estimar parámetros por categoría a partir de datos de respuesta de los que esta metodología no dispone (§11.1).

Ejemplo numérico

Tres hipótesis \(\theta \in \{-2, 0, 2\}\), ítem de dificultad media (\(b_q = 0\), \(a = 1.5\), \(c_q \approx 0.36\)), probabilidad a priori uniforme \(\mathbf{p} = (\tfrac13, \tfrac13, \tfrac13)\). Las verosimilitudes de acierto pleno son aproximadamente \(p = (0.40,\, 0.68,\, 0.97)\). Con una respuesta parcial \(s = 0.75\):

Aplicando Bayes y normalizando (\(\sum = \tfrac13(0.443 + 0.563 + 0.407) \approx 0.471\)):

La probabilidad a posteriori se desplaza hacia el nivel medio, porque una puntuación \(s = 0.75\) es más compatible con una predicción \(p_i = 0.68\) que con una predicción casi perfecta \(p_i = 0.97\). Así el crédito parcial aporta evidencia sobre el nivel que mejor predice la puntuación observada, no solo un empuje más suave hacia el dominio alto.

Selección con crédito parcial. La ganancia esperada de información (§6) está definida sobre los resultados que el ítem modele. La versión exacta con respuestas graduadas exigiría promediar sobre la distribución de \(s\), que normalmente no se conoce a priori. En la práctica se puede seguir seleccionando con los escenarios binarios (acierto y fallo plenos) como aproximación, y reservar la verosimilitud geométrica o por componentes para la actualización una vez observada la respuesta.

5. Entropía de Shannon como medida de incertidumbre

5.1. Definición

La entropía de Shannon mide la incertidumbre de una distribución de probabilidades:

Se mide en bits. Por convenio, \(0 \cdot \log_2 0 = 0\).

5.2. Propiedades relevantes

Entropía mínima. Si una hipótesis concentra toda la probabilidad (\(p_k = 1\), \(p_{i \neq k} = 0\)), la entropía es cero: no hay incertidumbre.

Entropía máxima. Si todas las hipótesis son equiprobables (\(p_i = 1/n\)), la entropía es máxima:

Esto corresponde a la ignorancia total sobre el estado del alumno.

Entropía esperada no creciente. La entropía a posteriori puede aumentar o disminuir tras una respuesta concreta, según la evidencia observada (como ilustra el ejemplo de §9, donde el acierto en Q2 sube la entropía respecto al paso anterior). Para cualquier pregunta modelada correctamente, la esperanza de la entropía a posteriori —antes de conocer la respuesta— no supera la entropía actual, porque la ganancia esperada es información mutua y no puede ser negativa. La selección por máxima ganancia no crea esa propiedad: elige la pregunta que más reduce esa entropía esperada.

5.3. Ejemplos numéricos

Con \(n = 3\) hipótesis:

5.4. Por qué la entropía y no la probabilidad máxima

La probabilidad de la hipótesis más probable (\(\max_i p_i\)) es un indicador intuitivo, pero la entropía captura más información: distingue entre \((0.80, 0.15, 0.05)\) y \((0.80, 0.19, 0.01)\), que tienen el mismo máximo pero distinta distribución del resto. La entropía es además la cantidad natural que aparece en la ganancia de información (§6), lo que hace el sistema matemáticamente coherente.

6. Ganancia esperada de información

6.1. El criterio de selección

El sistema elige la siguiente pregunta buscando maximizar la reducción esperada de entropía. Para cada pregunta candidata \(q\), se calcula la ganancia esperada de información:

donde \(\mathbf{p}'\) es la distribución a posteriori tras responder \(q\), y la esperanza es sobre los dos posibles resultados (acierto o fallo).

6.2. Desarrollo completo

Definimos primero la probabilidad marginal de acierto en la pregunta \(q\), usando la ley de la probabilidad total:

Y la probabilidad marginal de fallo:

A continuación calculamos las distribuciones a posteriori condicionales, aplicando Bayes antes de conocer la respuesta real:

Con estas distribuciones calculamos la entropía en cada escenario:

La entropía esperada tras formular la pregunta \(q\) es:

Y la ganancia de información es:

El sistema selecciona la pregunta \(q^*\) con mayor \(IG\):

donde \(\mathcal{Q}\) es el conjunto de preguntas disponibles.

6.3. Conexión con la información mutua

La ganancia esperada de información de la pregunta \(q\) es exactamente la información mutua entre la respuesta \(R_q\) y el estado del alumno \(H\):

donde \(KL\) es la divergencia de Kullback-Leibler. Maximizar \(IG\) equivale a seleccionar la pregunta cuya respuesta, en promedio, más separa la probabilidad a posteriori de la probabilidad a priori.

6.4. Empates y diversidad de contenidos

En la práctica, varias preguntas pueden tener ganancias de información idénticas o muy próximas, especialmente si comparten los mismos parámetros \(a\), \(b_q\) y \(c_q\). Una selección determinista entre empates produce tests sistemáticamente repetitivos entre sesiones distintas.

La solución recomendada es una selección aleatoria ponderada:

1. Calcular \(IG(q)\) para todas las candidatas disponibles.
2. Reunir las candidatas con \(IG \geq IG_{\max} - \varepsilon\). Si solo se quieren empates numéricos exactos, \(\varepsilon = 10^{-9}\) es suficiente; si se quiere diversificar entre ganancias realmente próximas, conviene usar un margen práctico, por ejemplo un 1–2% de \(IG_{\max}\).
3. Asignar a cada candidata un peso inversamente proporcional al número de veces que su categoría o concepto ha aparecido ya en la sesión.
4. Elegir con probabilidad proporcional a esos pesos.

Esto combina máxima utilidad informativa con diversidad temática.

6.5. Comparación con la Función de Información del Ítem

El criterio dominante en los tests adaptativos clásicos (CAT) no es la reducción de entropía, sino la Función de Información del Ítem (FII), basada en la información de Fisher:

donde \(P(\theta)\) es la ICC del ítem (§4.2) y \(P'(\theta)\) su derivada. La FII mide cuánta información aporta el ítem en un punto concreto \(\theta\) del continuo, y el sistema clásico selecciona el ítem que maximiza \(I_q(\hat\theta)\) en la estimación puntual actual de la habilidad.

El criterio de este sistema —máxima reducción esperada de entropía (§6.1)— encaja especialmente bien cuando el estado se representa como una distribución completa, y no como un único valor \(\hat\theta\), por dos razones:

• Usa toda la distribución, no un punto. La FII clásica se aplica en una estimación puntual \(\hat\theta\); si la distribución es ancha o multimodal, ese punto no la representa bien y puede elegir un ítem informativo solo alrededor de un valor que quizá no sea el verdadero. La ganancia de información pondera todas las hipótesis por su probabilidad actual.
• Es coherente con la actualización bayesiana. El sistema ya mantiene y actualiza una distribución por Bayes (§3); medir la utilidad de un ítem por cuánto reduce la entropía de esa misma distribución usa el mismo marco de principio a fin. Existen variantes bayesianas basadas en información de Fisher ponderada por la probabilidad a posteriori, por lo que la contraposición no es entre “Fisher frecuentista” y “Bayes”, sino entre un criterio puntual y uno que usa directamente toda la distribución a posteriori discreta.

Ambos criterios convergen en el caso límite de una distribución muy concentrada: cuando la creencia es casi puntual, maximizar la ganancia de información y maximizar la FII en \(\hat\theta\) seleccionan prácticamente el mismo ítem. La diferencia importa sobre todo en las primeras preguntas, cuando la incertidumbre es alta.

El uso de la información mutua y la divergencia KL (§6.3) para seleccionar ítems está bien establecido en la investigación psicométrica bayesiana, pero su aplicación en herramientas educativas reales es poco habitual: lo común en el aula es la FII o reglas más simples (siguiente ítem del nivel estimado, selección por dificultad). La combinación que usa este sistema —distribución de hipótesis, actualización bayesiana y selección por reducción de entropía de Shannon, integrada en una herramienta para docentes— es, en ese sentido, infrecuente en el ámbito educativo.

6.6. Ganancia de información con crédito parcial

El desarrollo de §6.2 promedia la entropía a posteriori sobre dos resultados, acierto y fallo. Cuando el ítem se puntúa con crédito parcial (§4.8), la pregunta natural es si ese promedio debería extenderse a todas las puntuaciones \(s\) que el ítem puede producir:

La respuesta es que depende de con qué verosimilitud se actualice, y que la elección obvia es la equivocada. La regla correcta es de coherencia: la ganancia debe calcularse con la misma verosimilitud que después se usa para actualizar. La expresión de arriba solo es una ganancia de información legítima —una información mutua— si \(\mathbf{p}'\) es la probabilidad a posteriori bayesiana bajo el modelo que realmente genera \(s\). Si \(\mathbf{p}'\) se calcula con la verosimilitud geométrica, que es un resumen y no el modelo generador, la expresión deja de ser una información mutua y pasa a medir otra cosa: cuánto se concentrará una creencia mal especificada.

Por qué esa distinción importa en la práctica. La verosimilitud geométrica se maximiza en \(p_i = s\) (§4.8): manda toda puntuación intermedia hacia las hipótesis intermedias. Un ítem de dificultad media produce puntuaciones intermedias con cualquier alumno —el que domina falla algún subcriterio, el que no domina acierta alguno por azar—, así que concentra la distribución a posteriori geométrica en la hipótesis del medio con independencia del estado real. Un promedio de \(IG\) tomado sobre la distribución verdadera de \(s\), pero con distribuciones a posteriori geométricas, detecta esa concentración y la premia. El selector acaba prefiriendo justo los ítems que no discriminan.

Medido sobre un recurso real construido con este método (\(J = 7\) subcriterios ponderados, tres hipótesis en \(\theta \in \{-2, 0, 2\}\), banco de 39 ítems por tipo con \(b \in \{-1, 0, +1\}\), \(a_{\text{ef}} = 1.25\), techo 0.95, sesiones de 4 preguntas, 3 semillas, 1200 respondentes por hipótesis):

Refinar la selección manteniendo la actualización geométrica empeora el diagnóstico, y lo empeora más cuanto más «fino» es el promedio. La huella del mecanismo es visible en el banco: la proporción de ítems de dificultad media seleccionados sube del 9 % al 27 %.

La corrección está en la actualización, no en la selección. Si se conocen los componentes de la respuesta, no hay que resumirlos en una \(s\): basta multiplicar sus verosimilitudes, que es lo que §4.8 ya prefiere. Con \(J\) subcriterios de pesos \(w_j\) y suelos de azar \(c_j\), condicionalmente independientes dado \(H_i\), cada subcriterio se acierta con probabilidad \(P_j(\theta_i) = c_j + (1-c_j)\,\sigma\!\left(a_j(\theta_i - b_q)\right)\) y la verosimilitud del ítem es

y la ganancia se promedia sobre las \(2^J\) combinaciones de \(\mathbf{x}\) (o sobre la convolución de las sumas parciales si \(J\) es grande). Selección y actualización comparten entonces el mismo modelo, y la ganancia vuelve a ser una información mutua. Esta variante no solo acierta más: corrige una infra-confianza crónica del resumen geométrico, que asigna \(0.75\) de probabilidad a la hipótesis verdadera mientras acierta el 98 % de las veces —es decir, descarta evidencia que sí tenía—. Con el modelo por componentes, esa probabilidad sube a \(0.99\), en línea con su exactitud.

Robustez frente a la dependencia entre componentes. El producto de verosimilitudes supone independencia condicional, y §4.8 advierte (hallazgo 2.4) de que esa suposición sobrecuenta la evidencia cuando los componentes están correlacionados. Se comprobó simulando un mundo con dependencia fuerte —si el alumno no identifica el tipo de problema, la fórmula y los parámetros caen a nivel de azar—: el modelo por componentes sigue ganando (97.3 % frente a 94.4 %) y su sobreconfianza medida es de \(-0.3\) puntos porcentuales, es decir, no llega a sobrecontar. El riesgo del hallazgo 2.4 sigue siendo real para el atajo del exponente \(J\), que multiplica la evidencia de un ítem por \(J\); no lo es para el producto de verosimilitudes de componentes efectivamente observados por separado.

Resumen operativo. Si los componentes se observan por separado, actualízalos por separado y promedia la ganancia sobre sus combinaciones. Si solo se dispone de la \(s\) agregada, usa la verosimilitud geométrica para actualizar y promedia la ganancia sobre los dos extremos \(s \in \{0, 1\}\): eso es exactamente la fórmula de §6.2, y es la elección coherente con esa verosimilitud. Lo que no debe hacerse es cruzar los dos niveles.

7. Criterio de parada

7.1. Objetivo del umbral

El sistema debe detenerse cuando tenga suficiente confianza en el estado del alumno. El criterio natural es: detener cuando la hipótesis más probable supere un nivel de confianza \(p_{\min}\) (por ejemplo, 0.80).

Sin embargo, comprobar directamente \(\max_i P(H_i) \geq p_{\min}\) puede no ser suficiente, porque no tiene en cuenta cómo se reparte la probabilidad restante. La entropía es un indicador más completo.

7.2. Derivación del umbral \(H_{\text{stop}}\)

Buscamos la entropía de una distribución en la que la hipótesis más probable tiene probabilidad \(p_{\min}\) y la probabilidad restante \(1 - p_{\min}\) se reparte uniformemente entre las otras \(n - 1\) hipótesis:

La entropía de esta distribución es:

7.3. Valores orientativos

Con \(p_{\min} = 0.80\):

7.4. Aproximación y criterio complementario

La fórmula de \(H_{\text{stop}}\) asume que la probabilidad restante se distribuye uniformemente, lo cual es una aproximación. Dos distribuciones con el mismo máximo pueden tener entropías distintas:

• \((0.80,\; 0.10,\; 0.10)\): \(H = 0.92\) bits
• \((0.80,\; 0.19,\; 0.01)\): \(H = 0.78\) bits

La segunda tiene entropía menor aunque el máximo sea el mismo, porque la probabilidad está más concentrada. Una implementación prudente puede comprobar ambas condiciones a la vez:

En realidad, cuando \(H_{\text{stop}}\) se deriva del mismo \(p_{\min}\), la condición de probabilidad máxima implica la de entropía: la distribución que define \(H_{\text{stop}}\) es la de máxima entropía entre las que tienen un máximo igual a \(p_{\min}\), y ese umbral decrece al aumentar el máximo, de modo que \(\max_i P(H_i) \geq p_{\min}\) garantiza por sí sola \(H \leq H_{\text{stop}}\). Comprobar ambas condiciones es inofensivo, pero redundante. Si se desea un control adicional que sí añada exigencia, puede usarse un criterio de separación:

que exige que la hipótesis ganadora vaya suficientemente por delante de la segunda candidata. Conviene precisar cuándo esto añade algo: como \(P(H_{\text{segunda}}) \leq 1 - P(H_{\text{ganadora}})\), la propia condición \(\max_i P(H_i) \geq p_{\min}\) ya garantiza una separación \(\geq 2p_{\min} - 1\). Por tanto el criterio de separación solo añade exigencia si \(\Delta_{\min} > 2p_{\min} - 1\); con \(p_{\min} = 0.80\) eso exige \(\Delta_{\min} > 0.60\), y un \(\Delta_{\min}\) de 0.3–0.4 sería tan redundante como la entropía. Su utilidad real es como alternativa a un \(p_{\min}\) alto: cuando hay muchas hipótesis y exigir \(\max_i P(H_i) \geq 0.80\) es poco práctico, un máximo moderado junto a \(\Delta_{\min} \geq 0.3\) captura la confianza relevante —que la ganadora domine a la segunda— aunque la masa restante esté repartida. Con \(n = 2\), separación y \(p_{\min}\) son equivalentes (\(\text{sep} = 2\max - 1\)).

7.5. Criterios adicionales de parada

Además del criterio de entropía, el sistema debe contemplar:

• Límite máximo de preguntas: evita sesiones infinitas cuando la convergencia es lenta.
• Ganancia mínima útil: si la mejor pregunta disponible tiene \(IG < \varepsilon_{\min}\), el banco de preguntas se ha agotado informativamente y continuar no mejora el diagnóstico.
• Cobertura mínima de conceptos: asegurar que ciertos conceptos obligatorios hayan sido evaluados.

7.6. Refuerzo continuo sin parada

Todo lo anterior asume un objetivo de diagnóstico: estimar el estado del alumno y cerrar. En recursos de práctica o refuerzo abierto ese objetivo cambia: la finalidad no es converger y detenerse, sino sostener la práctica. En ese modo:

• Puede no haber criterio de parada: la sesión continúa mientras el alumno practique.
• La probabilidad a posteriori no se interpreta como un diagnóstico cerrado, sino como una estimación viva que se actualiza con cada respuesta y puede reflejar el aprendizaje ocurrido durante la propia sesión.
• \(H_{\text{stop}}\) y \(p_{\min}\) no se usan para cerrar; a lo sumo, para informar del grado de confianza alcanzado.
• La selección en dos fases (§6.4 del protocolo) se mantiene durante toda la sesión: diagnóstico mínimo por categoría y, después, refuerzo de lo menos dominado.
• Conviene activar el olvido exponencial (§3.5) con \(\lambda \approx 0.9\)–\(0.98\), para que la estimación siga el estado actual del alumno y no quede anclada a la evidencia antigua si aprende durante la práctica.

Cautela por tamaño de muestra. Con pocos intentos, la probabilidad a posteriori puede desplazarse mucho por una sola respuesta. Para no comunicar un dominio infundado, conviene exigir una muestra mínima por categoría o dimensión (por ejemplo, 2–4 intentos) antes de mostrar niveles altos de dominio, y marcar como provisional la estimación mientras la evidencia sea escasa. Esta cautela es una decisión de presentación: no altera la probabilidad a posteriori bayesiana, solo cómo se traduce a la interfaz. Con olvido activo, la muestra mínima debe contarse sobre una ventana reciente (intentos dentro de las últimas \(1/(1-\lambda_d)\) respuestas de esa distribución, sin ponderar; véase §3.5), no sobre toda la sesión: la evidencia caduca con el olvido, pero un contador acumulado no, y una categoría muestreada solo al principio seguiría contando como diagnosticada con su probabilidad a posteriori ya atenuada. Ese contador con caducidad gobierna las puertas de dominio, no lo que se muestra al alumno: el número de ejercicios resueltos que ve es el total real. Y si una categoría se queda sin evidencia dentro de su ventana, su creencia ya ha vuelto a la probabilidad a priori inicial: procede presentarla como sin datos recientes, no como una debilidad.

8. Convención de escala entre θ y b

8.1. El problema del punto de inflexión

La curva logística del IRT 3PL tiene su pendiente máxima en \(\theta_i = b_q\). Esto significa que la pregunta \(q\) es más discriminante para alumnos cuyo nivel es cercano a la dificultad \(b_q\).

Si el nivel extremo \(\theta_{\max}\) coincide con la dificultad extrema \(b_{\max}\), la pregunta más difícil sitúa al nivel avanzado justo en el punto de inflexión. En ese punto la probabilidad de acierto todavía no es alta: con 4 opciones y \(c_q = 0.25\), vale \((1+c_q)/2 = 0.625\). Por tanto, acertar esa pregunta confirma débilmente el nivel avanzado.

Esto puede hacer que el sistema infrautilice las preguntas extremas: no porque sean inútiles, sino porque otras preguntas pueden producir una reducción esperada de incertidumbre mayor.

8.2. La regla del factor 2

Para evitar este problema, el rango de \(\theta\) debe ser estrictamente mayor que el rango de \(b\). En este sistema discreto, se adopta como convención práctica:

El factor 2 es una heurística útil, no una regla universal de IRT estándar. Puede ajustarse según el valor de \(a\), de \(c_q\) y de la probabilidad objetivo de acierto para los niveles extremos. Si se desea que un alumno de nivel extremo tenga una probabilidad objetivo \(P^*\) de acertar una pregunta extrema, puede despejarse:

Así la separación entre escalas queda justificada por una probabilidad deseada, no por un factor fijo.

Ejemplo. Con 3 niveles de dificultad \(b \in \{-1,\; 0,\; +1\}\):

• Escala incorrecta: \(\theta \in \{-1,\; 0,\; +1\}\) → el nivel avanzado y la pregunta difícil tienen el mismo valor; la curva logística da \(P(A) = (1 + c_q)/2 \approx 0.625\) para 4 opciones, un valor mediocre para confirmar el nivel avanzado.
• Escala correcta: \(\theta \in \{-2,\; 0,\; +2\}\) → el nivel avanzado supera con holgura la dificultad extrema; \(P(A) = c_q + (1-c_q) \cdot \sigma(1.5 \cdot (2-1)) \approx 0.86\), un valor suficientemente alto para que la pregunta sea informativa.

donde \(\sigma(x) = 1/(1 + e^{-x})\) es la función sigmoide estándar.

8.3. Escala fija y ubicación de las dificultades

La forma robusta de garantizar la separación no es recalcular \(\theta\) a partir del banco, sino fijar la escala por convención y situar las dificultades dentro de ella. Los valores \(\theta_i\) dependen solo del número de hipótesis:

de modo que \(\theta\) recorre \(\{-(n-1), \ldots, +(n-1)\}\) con espaciado 2 (esta fórmula extiende la tabla de §2.3 a cualquier \(n\)). Las dificultades se sitúan en la mitad central de la escala, \(b_q \in [-\theta_{\max}/2,\; +\theta_{\max}/2]\), lo que mantiene la proporción del factor 2 de §8.2 para los ítems extremos con cualquier \(n\) (con el matiz sobre su dependencia de \(n\) que se explica más abajo). Como \(\theta_{\max}\) depende de \(n\), la conversión de las dificultades cualitativas también debe depender de \(n\): con \(k\) categorías, se reparten uniformemente en el intervalo,

(con \(k = 1\), \(b = 0\)). Así, con \(n = 3\) y \(k = 3\), \(b \in \{-1, 0, +1\}\); con \(n = 3\) y \(k = 5\), \(b \in \{-1, -0.5, 0, +0.5, +1\}\); con \(n = 4\) y \(k = 3\), \(b \in \{-1.5, 0, +1.5\}\). Una tabla de dificultades independiente de \(n\) sería inconsistente: con \(n = 2\) (\(\theta = \pm 1\)) y cinco categorías fijas hasta \(b = \pm 2\), la dificultad extrema duplicaría el nivel extremo y la separación entre escalas se invertiría. Los valores numéricos de \(b_q\) fuera del intervalo se recortan a él.

Matiz: el factor 2 mantiene la forma, no la probabilidad objetivo. Fijar \(b_q \in [-\theta_{\max}/2,\; \theta_{\max}/2]\) conserva la proporción \(\theta_{\max} = 2\,b_{\max}\) para cualquier \(n\), pero el margen absoluto entre el nivel más alto y el ítem más difícil es \(\theta_{\max} - b_{\max} = (n-1)/2\), que depende de \(n\). Por eso la probabilidad de que el nivel máximo acierte el ítem más difícil, \(P = c_q + (1-c_q)\,\sigma\!\big(a\,(n-1)/2\big)\), no es constante (con \(a_{\text{ef}} = 1.25\)):

Con \(n \geq 3\) el margen basta para que los ítems extremos confirmen con holgura, pero con \(n = 2\) (domina / no domina) la confirmación es débil —0.65 en abierta, 0.77 en cuatro opciones—, el mismo valor mediocre que el factor 2 pretende evitar. De aquí dos consecuencias: (i) la comparabilidad de confianzas y velocidades de convergencia entre recursos que promete el invariante \(a_{\text{ef}}\cdot\Delta\theta\) solo es estricta entre recursos con el mismo \(n\); (ii) con \(n = 2\) conviene compensar con más preguntas —o definir la escala desde una probabilidad objetivo \(P^*\) con la fórmula de §8.2— en lugar de confiar en el espaciado fijo de 2.

La regla inversa —estirar \(\theta\) hasta \(2 \cdot \max_q |b_q|\)— tiene dos defectos. Primero, hace que el significado de las hipótesis dependa del banco: dos recursos con la misma pedagogía pero rangos de dificultad distintos producen confianzas y velocidades de convergencia no comparables, porque la fuerza de cada actualización la gobierna el producto \(a \cdot \Delta\theta\) (discriminación por separación entre hipótesis adyacentes), que quedaría sin controlar. Segundo, es frágil ante valores atípicos: una sola pregunta con \(b = 3\) en un banco donde el resto está en \(\pm 1\) estiraría \(\theta\) a \(\pm 6\) y saturaría las verosimilitudes de todas las demás preguntas (probabilidades pegadas a \(c_q\) o a 1), de modo que una única respuesta produciría saltos casi deterministas de la probabilidad a posteriori. Con la escala fija, ese ítem atípico simplemente se recorta al borde del intervalo y el resto del banco conserva su comportamiento. Con \(a_{\text{ef}} = 1.25\) e intervalos de 2, el invariante \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) queda estable entre recursos. Si la mayoría del banco cayera fuera del intervalo, el problema es de diseño (niveles y dificultades mal definidos) y debe resolverse con el docente, no estirando la escala.

Qué iguala el invariante y qué no. El producto \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) iguala la pendiente máxima de la ICC entre formatos, pero no la fuerza máxima de la evidencia de un fallo. Esta la fija la razón de verosimilitudes entre hipótesis adyacentes: en el lado del fallo, \(P(F\mid\theta) = (1-c_q)\,[1-\sigma(a(\theta-b_q))]\), el factor \(1-c_q\) se cancela en el cociente y la razón máxima tiende a \(e^{a\,\Delta\theta}\) con la \(a\) nominal \(= a_{\text{ef}}/(1-c_q)\), no con \(a_{\text{ef}}\). Por eso, con \(\Delta\theta = 2\), un mismo fallo en un ítem fácil aporta razones de verosimilitud muy distintas según el formato: ≈ 12 en abierta (\(c_q=0\)), ≈ 28 en 4 opciones (\(c_q=0.25\)) y ≈ 148 en verdadero/falso (\(c_q=0.5\)). Para que un solo fallo no produzca saltos casi deterministas de la probabilidad a posteriori —y para modelar el descuido (slip) que el 3PL puro ignora—, se aplica también en el caso ordinal el mismo techo de dominio que en el nominal (§10.5): \(P(\text{acierto}) \le 0{,}90\text{–}0{,}95\), nunca 1. Con ese techo, la razón de verosimilitud de un fallo en el verdadero/falso fácil cae de ≈ 148 a ≈ 1 entre los niveles altos, y el caso ordinal recupera la simetría con el nominal.

9. Ejemplo numérico completo

9.1. Configuración

• Hipótesis: \(H_1\) (básico), \(H_2\) (medio), \(H_3\) (avanzado)
• Valores: \(\theta_1 = -2\), \(\theta_2 = 0\), \(\theta_3 = +2\)
• Probabilidad a priori inicial: \(\mathbf{p}^{(0)} = (0.333,\; 0.333,\; 0.333)\)
• Parámetro de discriminación: \(a = 1.5\)
• Criterio de parada: \(p_{\min} = 0.80\), con un mínimo de 2 preguntas antes de poder finalizar
• Simplificación del ejemplo: para no recargar los cálculos, este ejemplo no aplica el techo de dominio \(P(A) \leq 0{,}95\) de §8.3. Una implementación real debe aplicarlo: afectaría a \(P(A \mid H_3, Q1) = 0{,}992 \to 0{,}95\) (con \(P(F) = 0{,}008 \to 0{,}05\)) y a \(P(A \mid H_3, Q2) = 0{,}964 \to 0{,}95\), suavizando las probabilidades a posteriori tras un fallo.
• Banco de preguntas (simplificado):

9.2. Cálculo de verosimilitudes

Para cada par \((\theta_i, b_q)\) calculamos \(P(A \mid \theta_i, q)\) con la fórmula IRT 3PL, \(a = 1.5\), \(c = 0.25\):

Para Q1 (\(b_1 = -1\)):

Para Q2 (\(b_2 = 0\)):

Para Q3 (\(b_3 = +1\)):

9.3. Selección de la primera pregunta

Con probabilidad a priori uniforme \(\mathbf{p} = (0.333, 0.333, 0.333)\), calculamos la ganancia de información para cada pregunta.

Entropía inicial:

Para Q1 (\(b = -1\)):

Probabilidades a posteriori tras acierto:

Entropía a posteriori si acierta:

Probabilidades a posteriori tras fallo:

Entropía a posteriori si falla:

Ganancia de información:

Resumen de ganancias (siguiendo el mismo procedimiento para Q2 y Q3):

Con \(c_q = 0.25\), la probabilidad de acierto por azar rompe la simetría entre preguntas fáciles y difíciles: un fallo en una pregunta fácil es muy diagnóstico, mientras que un acierto en una pregunta difícil todavía puede explicarse parcialmente por azar. En esta configuración, el sistema selecciona Q1, aunque Q2 queda prácticamente empatada.

9.4. Primera respuesta: fallo en Q1

El alumno falla Q1. Actualizamos:

Entropía tras el fallo:

La entropía ha bajado de 1.585 a 0.764 bits. El sistema sospecha con bastante fuerza que el alumno es de nivel básico.

9.5. Segunda pregunta y acierto en Q2

Con \(\mathbf{p}^{(1)} = (0.809, 0.180, 0.011)\), el sistema vuelve a calcular las ganancias para Q2 y Q3 (Q1 ya se ha usado). La duda real está ahora entre \(H_1\) y \(H_2\), porque \(H_3\) ha quedado casi descartado: la pregunta más útil es la que mejor separe esas dos hipótesis. Es Q2 (\(b = 0\)), con \(IG = 0{,}065\) bits, frente a los \(0{,}020\) de Q3, cuya dificultad discrimina sobre todo frente al nivel avanzado, que ya no compite.

El alumno acierta Q2 (media). Actualizamos con \(P(A \mid H_i, Q2) = (0.286, 0.625, 0.964)\):

El acierto en la pregunta media desplaza parte de la probabilidad hacia \(H_2\), pero el fallo inicial en una pregunta fácil sigue pesando mucho. El diagnóstico queda entre básico y medio-bajo.

9.6. Evolución de la sesión

Nótese que el acierto en la pregunta media ha subido la entropía respecto al paso 1: la evidencia ha repartido más la probabilidad entre \(H_1\) y \(H_2\), aumentando la incertidumbre. Esto es correcto: el sistema sigue descartando casi por completo el nivel avanzado, pero ahora duda más entre básico y medio.

Con \(p_{\min} = 0.80\) y \(n = 3\), el umbral es \(H_{\text{stop}} = 0.92\) bits. La entropía actual (1.080 bits) está por encima del umbral, así que el test continúa.

10. Hipótesis no jerárquicas

La función logística IRT 3PL asume que las hipótesis tienen un orden: más θ significa más nivel. Esto es adecuado para evaluar dominio, pero no cuando las hipótesis son categorías alternativas sin relación de orden entre sí. Pueden ser errores conceptuales, estrategias de resolución, distintas causas posibles de un mismo fallo o áreas temáticas sin jerarquía entre ellas. Si esas categorías son realmente alternativas, pueden modelarse como hipótesis mutuamente excluyentes. Si, en cambio, varios errores pueden coexistir, no deben forzarse en una sola lista nominal: conviene pasar a un modelo multifactorial o a una distribución sobre perfiles completos.

Ejemplo. Supongamos tres hipótesis:

• \(H_A\): confunde masa con peso
• \(H_B\): confunde velocidad con aceleración
• \(H_C\): dominio correcto

En este caso no existe una escala única de «más o menos nivel». La función logística no es el modelo apropiado.

Alternativa. Definir las verosimilitudes directamente según el diagnóstico esperado de cada pregunta:

Estas verosimilitudes las define el docente o la IA a partir del conocimiento sobre qué errores produce cada confusión. La actualización bayesiana es idéntica; solo cambia la fuente de las verosimilitudes.

10.1. Estructura de datos

Para operar con hipótesis no jerárquicas excluyentes se sustituye la estructura paramétrica (\(a\), \(b_q\), \(c_q\) por pregunta, §4) por una matriz de verosimilitud explícita. Dado un conjunto de hipótesis \(\{H_1, \ldots, H_n\}\) y un banco de preguntas \(\{q_1, \ldots, q_m\}\), el modelo queda completamente especificado por una matriz \(\mathbf{M}\) de tamaño \(m \times n\) cuyas entradas son la probabilidad de acierto de cada pregunta bajo cada hipótesis:

Cada pregunta aporta así una fila de la tabla del ejemplo anterior. Esta matriz es el equivalente de la ICC (§4.2) del caso ordenado, pero leída de una tabla en lugar de calculada con una función logística. Si se desea aprovechar qué distractor concreto ha elegido el alumno —y no solo acierto/fallo—, cada pregunta define además una distribución \(P(R = r \mid H_i, q)\), con las respuestas sumando 1 para cada par \((q, i)\).

Si los errores pueden coexistir, el mismo principio se aplica sobre perfiles en lugar de hipótesis simples. Con \(k\) factores binarios aparecen hasta \(2^k\) perfiles posibles, y la estructura de datos pasa a ser una matriz \(P(R = r \mid \pi_j, q)\), donde \(\pi_j\) es un perfil completo. En la práctica también puede factorizarse en varias dimensiones paralelas si las interacciones entre errores son débiles. La decisión no requiere que el docente conozca esta distinción: la IA usa factores independientes cuando cada error se evidencia e interpreta por separado, y usa perfiles completos cuando la combinación de errores cambia la respuesta esperada, un error enmascara otro o la intervención pedagógica depende de la combinación. Si \(2^k\) perfiles resulta inmanejable, se agrupan factores relacionados o se diagnostica por fases.

10.2. Sustitución en el resto del procedimiento

El resto de la metodología funciona sin cambios, sustituyendo cada aparición de la verosimilitud paramétrica \(P(A \mid \theta_i, q)\) de la ICC (§4.2) por la entrada correspondiente de la matriz \(M_{qi} = P(A \mid H_i, q)\):

• Actualización bayesiana (§3): idéntica; la regla \(P(H_i \mid R) \propto P(R \mid H_i)\, P(H_i)\) no depende de que las hipótesis estén ordenadas.
• Selección de pregunta (§6): la entropía \(H(\mathbf{p})\) y la ganancia esperada \(IG(q)\) están definidas sobre cualquier distribución discreta; se calcula la predictiva a posteriori de cada pregunta candidata con \(M_{qi}\) o con \(P(R=r \mid \pi_j, q)\). Si el estado se reparte en dimensiones paralelas, la ganancia debe además agregarse entre ellas; eso se detalla debajo.
• Criterio de parada (§7): el umbral \(H_{\text{stop}}\) transfiere directamente, pues opera sobre la entropía de la probabilidad a posteriori sobre \(\{H_i\}\), sea cual sea el significado de las hipótesis.
• Person-fit (§11.7): se sustituye \(p_q = P(A \mid \hat\theta, q)\) por \(p_q = P(A \mid \hat H, q) = M_{q\hat H}\), la fila de la hipótesis más probable. Las expresiones de \(l_0\), \(\mathbb{E}[l_0]\), \(\mathrm{Var}[l_0]\) y \(l_z\) se mantienen.
• Validación Monte Carlo (§11.8): se generan respondentes sintéticos de tipo \(H_i\) o de perfil \(\pi_j\) simulando cada respuesta con la distribución que corresponda al modelo; la matriz de confusión se construye sobre hipótesis exclusivas o sobre perfiles completos, según el diseño.

Agregación de la ganancia con dimensiones paralelas

Suma dentro de cada bloque. La ganancia se calcula por distribución y se agrupa en bloques pedagógicos \(B\) —por ejemplo, nivel, errores y categorías—:

Dentro de cada bloque, esta suma es coherente con la entropía conjunta factorizada. Sobre el alcance y los límites de esa factorización, véase §10.6.

Normalización entre bloques. Entre bloques, en cambio, la suma cruda dejaría que el número de dimensiones dominara la decisión: un bloque de seis categorías acumula más bits que una única dimensión de nivel por el mero hecho de tener más sumandos. Para evitarlo, cada bloque se normaliza por su mejor candidata del momento y se maximiza una utilidad ponderada:

Los pesos. Los \(w_b\) los decide la IA según la finalidad educativa —por defecto, \(0{,}7\) para el bloque central de esa finalidad y \(0{,}3\) repartido entre los demás; iguales por bloque si la finalidad es mixta— y se redistribuyen proporcionalmente desde los bloques ya decididos hacia los aún inciertos. No se le solicitan al docente.

Cuándo un bloque queda decidido. Al alcanzar su criterio de confianza: el de nivel, con \(\max_i p_i \geq p_{\min}\) y el mínimo de preguntas; el de errores, con todos sus factores fuera de la zona indeterminada y con su muestra mínima.

Dos cautelas. La primera: \(U(q)\) no está en bits, porque la normalización lleva a 1 la mejor candidata de cada bloque aunque su \(IG_b\) sea minúscula; por eso el criterio de parada por ganancia mínima debe evaluarse sobre la suma cruda \(\sum_b IG_b(q)\), nunca sobre \(U(q)\). La segunda: un bloque casi agotado puede quedar sobrerrepresentado justo antes de cruzar su criterio de decidido; como alternativas más robustas, puede usarse la media \(IG_b/|b|\) sobre ganancias crudas, o normalizarse por la entropía restante \(H_b\) en lugar de por el máximo.

Parada por distribución. La parada se evalúa por distribución o por factor cuando corresponda: cada uno queda decidido cuando su marginal sale de la zona indeterminada con muestra mínima, y los no decididos se reportan como indeterminados.

10.3. Reporte del diagnóstico

Lo único que no transfiere es el resumen de la probabilidad a posteriori como un punto sobre una escala. Con hipótesis ordenadas se reporta el valor esperado \(\mathbb{E}[\theta] = \sum_i p_i\, \theta_i\) (y un nivel o color derivado de él); con hipótesis nominales ese promedio ponderado carece de sentido.

Si el modelo es nominal excluyente, puede reportarse la hipótesis de máxima probabilidad a posteriori (MAP), \(\hat H = \arg\max_i p_i\), y su probabilidad \(p_{\hat H}\) como confianza. Cuando dos hipótesis compiten, mostrar la distribución a posteriori completa sobre \(\{H_i\}\) informa más que una sola etiqueta.

Si el modelo es multifactorial, el reporte final debe hacerse por factor: para cada error se calcula su probabilidad marginal y se clasifica como presente, ausente o indeterminado según el umbral de confianza elegido. El resumen global pasa entonces a ser un perfil de errores (por ejemplo, «presenta 2 de los 3 errores analizados») y no una sola etiqueta ganadora. Cautela con la probabilidad a priori informativa: con \(P(\text{error}) \approx 0{,}2\)–\(0{,}3\), la clasificación «ausente» arranca ya en 0,7–0,8 sin evidencia alguna, de modo que el umbral de confianza no basta por sí solo. Debe exigirse además una muestra mínima de evidencia sobre ese factor, y el reporte debe distinguir «ausente confirmado» (con evidencia) de «sin evidencia suficiente» (el valor por defecto de la probabilidad a priori).

10.4. Límites de calibración de la matriz

Las entradas \(M_{qi}\) las define a priori el docente o la IA a partir del conocimiento didáctico sobre qué errores produce cada confusión; no están calibradas con datos de respuesta reales. Esto arrastra las mismas cautelas que §11.1 y añade una: a diferencia del caso paramétrico, no hay «valores por defecto contrastados» (\(a_{\text{ef}} = 1{,}25\) con la \(a\) derivada por ítem, \(c_q \approx 1/m_q\)) a los que recurrir —cada celda de la matriz es un juicio específico—. En consecuencia:

• los errores en la matriz se propagan directamente a la probabilidad a posteriori, sin el suavizado que aporta una forma funcional paramétrica;
• la validación Monte Carlo (§11.8) mide la separabilidad interna de esa matriz, no su correspondencia con la realidad (misma circularidad que §11.8);
• si se dispusiera de datos de una muestra de alumnos, las entradas podrían estimarse (por ejemplo, como frecuencias relativas de cada opción de respuesta entre alumnos clasificados de forma independiente en cada error conceptual, o mediante un procedimiento de clases latentes / EM), pero esa estimación queda fuera de esta metodología. De hecho, la distribución sobre perfiles completos de \(2^k\) factores es formalmente un modelo de diagnóstico cognitivo de clases latentes, y la variante en que un error atrae hacia un distractor concreto sigue la lógica de los modelos DINA/DINO (Junker y Sijtsma, 2001; de la Torre, 2009); esa literatura contiene precisamente las técnicas de calibración de la matriz que aquí quedan fuera de alcance.

10.5. Criterio de asignación de las verosimilitudes

Como los valores \(M_{qi}\) no salen de una fórmula (§10.4), conviene fijarlos con un criterio explícito. Cada celda responde a una única pregunta: «si el alumno tuviera \(H_i\), ¿con qué probabilidad acertaría \(q\)?».

1. Relación pedagógica pregunta–hipótesis. El valor depende de si la pregunta activa el error conceptual: si \(q\) ataca justo el concepto que \(H_i\) distorsiona, el alumno tiende a fallar y \(M_{qi}\) es baja; si \(q\) no tiene relación con ese error, este no interfiere y \(M_{qi}\) es alta (parecida a la fila de dominio); en casos intermedios, un valor central. Cada fila \(H_i\) debe mostrar así la firma de ese error —baja donde lo corrompe, alta donde no llega—; una fila plana indica que la pregunta no distingue esa hipótesis.

2. Anclajes. Cada celda queda acotada entre dos límites: un suelo de azar \(M_{qi} \geq 1/m\) cuando el fallo procede de responder al azar (con \(m\) opciones, quien responde al azar no baja de esa probabilidad; es el papel de \(c_q\) en §4.2) —con la única excepción del punto 3— y un techo de descuido para la hipótesis de dominio, \(\approx 0.90\text{–}0.95\), nunca \(1\) exacto.

3. Estructura de distractores. Si la pregunta es de opción múltiple y uno de los distractores es exactamente la respuesta que produce \(H_i\), el alumno no acierta al azar sino que es atraído hacia esa opción equivocada: entonces \(M_{qi}\) cae por debajo del suelo de azar. El criterio no es solo «¿fallará?», sino «¿qué respuesta equivocada genera este error y está entre las opciones?».

4. Tramos gruesos. Para Bayes lo decisivo no es el decimal exacto sino la separación: en una pregunta que discrimina, la hipótesis correcta debe superar claramente a la que el error hace fallar. Basta trabajar por tramos:

En el caso ordenado este mismo juicio está empaquetado dentro de la dificultad \(b_q\) y la logística; el caso nominal solo lo hace explícito celda a celda. Una vez rellena la matriz, la validación Monte Carlo (§11.8) comprueba si el conjunto de juicios separa las hipótesis, sin necesidad de datos reales.

10.6. Factorización del estado y sus límites

Cuando el estado del alumno se representa con varias distribuciones paralelas —una ordinal de nivel y una o más diagnósticas por factor o dimensión (§2.4, §10.1)—, la creencia conjunta que el sistema mantiene es, por construcción, un producto de marginales:

donde \(x_d\) es el estado de la distribución \(d\) (el nivel, o la presencia o ausencia de un factor). Esta representación es una aproximación factorizada (en la literatura de inferencia aproximada, de tipo campo medio; en clasificación, el mismo supuesto que hace naive Bayes): trata como independientes variables que, en la distribución a posteriori conjunta verdadera, pueden estar correlacionadas, precisamente porque se actualizan con evidencia compartida.

Qué es exacto bajo la factorización. La entropía de la creencia mantenida es la suma de las entropías marginales, \(H(B) = \sum_d H(p_d)\), y tras cada actualización la creencia vuelve a ser un producto de marginales. Por tanto, la suma de ganancias dentro de un bloque, \(IG_b(q) = \sum_{d \in b} IG_d(q)\) (§10.2), mide exactamente la reducción de entropía de la creencia que el sistema mantiene. En ese sentido la suma no es un error: es la magnitud correcta para la representación elegida.

Qué no es exacto. La entropía conjunta verdadera satisface la subaditividad,

con igualdad solo si las variables son independientes. Cuando una misma respuesta \(r\) informa sobre varias distribuciones, la información conjunta que aporta se descompone por la regla de la cadena, \(I(r; X_1, \ldots, X_k) = \sum_d I(r; X_d \mid X_1, \ldots, X_{d-1})\), que no coincide en general con la suma de informaciones marginales \(\sum_d I(r; X_d)\): puede ser menor (evidencia redundante entre distribuciones) o mayor (evidencia sinérgica). La suma factorizada ignora ambos efectos. De aquí se derivan tres consecuencias prácticas:

• La suma cruda \(\sum_b IG_b(q)\) usada en el criterio de parada por ganancia mínima (§7.5) es una aproximación de la información conjunta, no su valor exacto. Como indicador de agotamiento del banco sigue siendo válida: si la suma es minúscula, cada ganancia marginal lo es también, y ninguna distribución mantenida puede mejorar de forma apreciable.
• La utilidad combinada \(U(q) = \sum_b w_b\, \widetilde{IG}_b(q)\) (§10.2) debe interpretarse como una función de prioridad pedagógica, no como una ganancia de información conjunta. Sus pesos y su normalización ya la sitúan fuera de la escala de bits; esta subsección hace explícito que tampoco dentro de la escala de bits la suma entre bloques tendría interpretación conjunta rigurosa.
• Las confianzas marginales no componen una probabilidad conjunta: en general \(P(\text{nivel} = H_i,\ \text{error}_j\ \text{presente}) \ne p_i \cdot P(\text{error}_j)\). Por eso el reporte final se hace por factor o por bloque sobre marginales (§10.3), sin afirmar nunca una confianza conjunta, y las combinaciones se presentan como matices coherentes («domina X, aunque persiste el error Y»), no como hallazgos independientes.

Solape de evidencia en el modelo combinado. En el perfil que une nivel y errores, el resultado global (acierto o fallo) alimenta la distribución de nivel y el distractor elegido alimenta los factores de error. Estos dos canales no son independientes: elegir un distractor diagnóstico implica el fallo global. La regla de atribución de evidencia —cada subcriterio alimenta solo su dimensión (§2.4)— elimina la duplicación directa, pero no la dependencia estadística entre canales; parte de la información que la suma \(IG_b\) atribuye por separado a nivel y a errores es compartida. El sesgo resultante en la selección favorece ítems que actualizan varias distribuciones a la vez; las alternativas de ponderación de §10.2 (media por dimensión, normalización por la entropía restante), aunque pensadas contra la sobrerrepresentación del bloque casi agotado, atenúan también este efecto cuando resulta visible.

Remedios. El remedio exacto ya forma parte de la metodología: cuando los factores interactúan de manera fuerte, cuando un error enmascara otro o cuando la intervención depende de la combinación, se sustituyen las distribuciones paralelas por una única distribución sobre perfiles completos (§10.1). Sobre esa distribución, la entropía, la ganancia de información y el criterio de parada operan sobre la distribución a posteriori conjunta real, y el problema descrito desaparece a cambio del coste de mantener \(2^k\) perfiles. El remedio práctico, cuando la factorización se conserva por tractabilidad, consiste en las salvaguardas anteriores: atribución disjunta de la evidencia (§2.4), utilidad combinada tratada como prioridad y no como bits, parada y reporte por marginales, y comprobación de coherencia del resultado.

El comportamiento esperable es el conocido en los modelos de tipo naive Bayes: las decisiones (qué preguntar, qué reforzar) suelen ser adecuadas incluso con correlaciones moderadas, pero las probabilidades marginales pueden resultar sobreconfiadas respecto a la distribución a posteriori conjunta verdadera. Las salvaguardas de §11 cubren este flanco sin datos empíricos: el person-fit (§11.7) detecta patrones incompatibles con la creencia declarada, y la validación Monte Carlo (§11.8), cuando simula desde perfiles completos, revela si la versión factorizada del diseño confunde combinaciones de factores que el modelo conjunto separaría.

11. Límites y validación del modelo

11.1. Calibración inicial

Los parámetros \(a\), \(b_q\) y \(c_q\) se generan automáticamente a partir de valores por defecto y de la estructura de cada pregunta (§4). Son estimaciones a priori, no medidas empíricamente calibradas: un alumno real puede responder de forma diferente a lo que predice el modelo. Si se dispusiera de datos de respuesta de una muestra amplia de alumnos, los parámetros podrían refinarse mediante métodos de estimación IRT, pero eso no forma parte de esta metodología. No obstante, el uso de valores por defecto contrastados está respaldado por la literatura en TRI como punto de partida razonable en ausencia de datos empíricos: en esta metodología no se fija la discriminación directamente como \(a = 1{,}5\), sino que se fija la discriminación efectiva \(a_{\text{ef}} = 1{,}25\) y se deriva la \(a\) de cada ítem con \(a = a_{\text{ef}}/(1 - c_q)\) (§4.4), con \(c_q \approx 1/m_q\) (véase §4.2 y §12).

11.2. Independencia condicional

La actualización bayesiana secuencial asume que las respuestas son condicionalmente independientes dada la hipótesis verdadera: conocer \(H_i\) hace irrelevante la correlación entre respuestas. Esta asunción se viola cuando:

• Las preguntas tratan el mismo concepto muy específico y la respuesta a una da pistas sobre la siguiente.
• El alumno aprende durante el test (la hipótesis verdadera cambia).
• El alumno responde al azar en preguntas que no sabe, con patrones que dependen de la fatiga o del tiempo.

11.3. Estabilidad de las hipótesis

El modelo asume que el estado del alumno no cambia durante la sesión. En sesiones cortas de evaluación diagnóstica esto es razonable. En sesiones largas de aprendizaje adaptativo, el alumno puede mejorar durante la propia interacción, lo que haría que la probabilidad a posteriori converja hacia una hipótesis que ya no refleja el estado actual. Este límite se mitiga con la actualización con olvido exponencial, o con un modelo de transición explícito, descritos en §3.5: ambos evitan que la evidencia antigua bloquee el seguimiento de un estado que cambia.

11.4. Respuestas al azar

Si el alumno responde al azar sistemáticamente, el parámetro \(c_q\) solo protege parcialmente: al incorporar el suelo de azar a las verosimilitudes, evita que un acierto por casualidad se lea como evidencia fuerte de dominio, pero no elimina el ruido. Con suficientes respuestas aleatorias, la probabilidad a posteriori puede converger hacia hipótesis incorrectas.

11.5. Número mínimo de preguntas

Con pocas preguntas, la probabilidad a posteriori puede quedar sesgada por coincidencias (una racha de aciertos o fallos no representativa). Imponer un número mínimo de preguntas antes de activar el criterio de parada reduce este riesgo, a costa de alargar la sesión.

11.6. El modelo no sustituye al criterio docente

El sistema produce una estimación probabilística, no una verdad absoluta. Los resultados deben interpretarse como una ayuda a la decisión educativa, especialmente cuando:

• La sesión fue corta o el banco de preguntas era pequeño.
• La entropía final supera el umbral \(H_{\text{stop}}\) (diagnóstico provisional).
• El alumno mostró un patrón de respuestas inusual.
• Las preguntas no habían sido calibradas con datos reales.

11.7. Validación del ajuste individual (person-fit)

Los límites §11.2–§11.5 describen situaciones en que un alumno concreto puede no ajustarse al modelo. Conviene detectarlas de forma cuantitativa, sin datos empíricos externos, a partir del propio patrón de respuestas de la sesión: esto es lo que mide un estadístico de ajuste de la persona (person-fit).

Sea un alumno que ha respondido \(N\) preguntas, con resultado \(x_q \in \{0, 1\}\) (acierto/fallo) en la pregunta \(q\), y sea \(p_q = P(A \mid \hat\theta, q)\) la probabilidad de acierto que el modelo asigna a esa pregunta bajo el nivel estimado \(\hat\theta\) (la hipótesis más probable de la distribución a posteriori final). La log-verosimilitud observada del patrón es:

Si el alumno fuese realmente del nivel \(\hat\theta\), esta cantidad tendría valor esperado y varianza:

El índice estandarizado \(l_z\) (Drasgow, Levine y Williams, 1985) es:

que, bajo el modelo, se distribuye aproximadamente como \(N(0, 1)\). Valores muy negativos (orientativamente \(l_z < -2\)) señalan un patrón improbable bajo el nivel estimado —típicamente, acertar preguntas difíciles y fallar fáciles, descuidos o respuestas al azar—: el diagnóstico, aunque la probabilidad a posteriori lo dé como seguro, puede no ser fiable para ese alumno. Valores cercanos a \(0\) indican coherencia.

Esto cuantifica la señal cualitativa de §11.6: la entropía mide cuán concentrada está la creencia del modelo, pero no si el patrón observado es compatible con esa creencia; el person-fit cubre ese flanco. Limitación: \(l_z\) es una aproximación asintótica; con pocas preguntas su distribución se aleja de la normal y el umbral es orientativo, una señal de cautela, no una prueba formal. En tests adaptativos la calibración es aún más delicada: la selección tiende a presentar ítems cerca de la zona de máxima incertidumbre y el índice se calcula usando el nivel estimado, no el verdadero. Existen correcciones y procedimientos específicos para esta situación, como \(l_z^*\) y trabajos de person-fit en CAT, pero aquí se mantiene \(l_z\) solo como alerta práctica de baja fiabilidad.

11.8. Validación del diseño por simulación (Monte Carlo)

El person-fit valida el diagnóstico de un alumno concreto; cuestión distinta es si el test en su conjunto —banco y parámetros— separa bien los niveles. Como los parámetros son a priori y no calibrados (§11.1), no puede responderse con datos reales, pero sí examinarse el comportamiento del propio modelo mediante simulación de Monte Carlo. En recursos diagnósticos o que deciden promoción de etapa, esta comprobación debe quedar disponible para el autor del recurso: si la IA puede ejecutar código, la ejecuta al generar el recurso; si trabaja en un chat sin ejecución, deja una utilidad separada o una vista docente/autora para correrla en el navegador y marca el diseño como pendiente de validar.

El procedimiento genera respondentes sintéticos situados en el \(\theta_i\) de cada hipótesis. Para un respondente de nivel \(\theta_i\), cada respuesta se simula como un ensayo de Bernoulli con probabilidad \(P(A \mid \theta_i, q)\) dada por la ICC (§4.2), aplicándole la misma selección adaptativa (§6) y el mismo criterio de parada (§7) que a un alumno real. En modelos nominales o multifactoriales se simula desde la distribución de respuesta de cada hipótesis o perfil. Repitiendo muchas veces por nivel, hipótesis o perfil se estima la matriz de confusión:

La diagonal \(C_{ii}\) es la tasa de acierto por nivel; los elementos fuera de la diagonal, las confusiones. De ella se derivan la exactitud global, la exactitud equilibrada, la tasa de resultados indeterminados y la longitud media del test. Como valor por defecto operativo, conviene usar al menos 500 simulaciones por hipótesis o perfil (1000 si el navegador lo permite con fluidez). Si alguna hipótesis relevante queda por debajo de 0.70 de clasificación correcta bajo el propio modelo, o si dos hipótesis se confunden de forma sistemática, el banco no debe presentarse como bien separado: hay que añadir ítems, revisar dificultades o verosimilitudes, o declarar la limitación.

Límite esencial: los respondentes se generan con el mismo modelo que luego los clasifica, de modo que no es una validación empírica. Mide la coherencia interna y la separabilidad del diseño —si ni siquiera respondentes ideales situados en el \(\theta\) de cada nivel se distinguen bien, el banco no discrimina esos niveles—, pero no garantiza que los \(\theta_i\) y las dificultades \(b_q\) correspondan a la realidad. Es, en términos bayesianos, una comprobación pre-posterior del procedimiento de decisión. Para validez real siguen haciendo falta datos de alumnado (§11.1). Aun así, es un diagnóstico del diseño valioso y barato, calculable antes de aplicar el test a nadie.

Referencias y lecturas adicionales

• Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. En Lord & Novick, Statistical Theories of Mental Test Scores. Addison-Wesley. [Modelo logístico de tres parámetros; referencia fundacional de la TRI.]
• Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Danmarks Paedagogiske Institut. [Reeditado por University of Chicago Press, 1980; modelo de dificultad de ítems.]
• Cover, T. M. & Thomas, J. A. (2006). Elements of Information Theory (2.ª ed.). Wiley. [Entropía de Shannon e información mutua.]
• Corbett, A. T. & Anderson, J. R. (1995). Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 4(4), 253–278. [Modelo de transición de dos estados (Bayesian Knowledge Tracing); seguimiento de un estado que cambia durante la práctica.]
• van der Linden, W. J. & Hambleton, R. K. (Eds.) (1997). Handbook of Modern Item Response Theory. Springer. [Referencia enciclopédica de modelos y aplicaciones de la TRI.]
• van der Linden, W. J. & Glas, C. A. W. (Eds.) (2010). Elements of Adaptive Testing. Springer. [Selección adaptativa de ítems e información.]
• Drasgow, F., Levine, M. V. & Williams, E. A. (1985). Appropriateness measurement with polychotomous item response models and standardized indices. British Journal of Mathematical and Statistical Psychology, 38(1), 67–86. [Índices estandarizados de ajuste de la persona (person-fit), \(l_z\).]
• Snijders, T. A. B. (2001). Asymptotic null distribution of person fit statistics with estimated person parameter. Psychometrika, 66(3), 331–342. DOI: 10.1007/BF02294437. [Corrección del ajuste de persona cuando el parámetro se estima.]
• van Krimpen-Stoop, E. M. L. A. & Meijer, R. R. (2002). Detection of person misfit in computerized adaptive tests with polytomous items. Applied Psychological Measurement, 26(2), 164–180. [Person-fit en tests adaptativos.]
• Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph Supplement, 34(4, Pt. 2). [Graded Response Model (GRM); modelo politómico canónico para respuestas graduadas y crédito parcial, alternativa estándar a la verosimilitud geométrica de §4.8.]
• Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149–174. [Partial Credit Model (PCM); modelo politómico para puntuación por crédito parcial.]
• Junker, B. W. & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25(3), 258–272. [Modelos de diagnóstico cognitivo DINA/DINO; clases latentes sobre atributos, marco del diagnóstico multifactorial de §10.]
• de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34(1), 115–130. [Estimación del modelo DINA; técnicas de calibración de la matriz que §10.4 deja fuera de alcance.]
• López Pina, J. A. (2026). Teoría de la Respuesta al Ítem: Fundamentos y modelos. Editum. Ediciones de la Universidad de Murcia. DOI: 10.6018/editum.3178. [En español; acceso abierto. TRI: fundamentos y modelos.]
• Wainer, H. (Ed.) (2000). Computerized Adaptive Testing: A Primer (2.ª ed.). Lawrence Erlbaum. [Fundamentos de la evaluación adaptativa.]
• Gelman, A. et al. (2013). Bayesian Data Analysis (3.ª ed.). CRC Press. [Inferencia bayesiana general.]

Cómo citar este documento (APA 7): de Haro, J. J. (2026). Fundamentos matemáticos de los sistemas educativos adaptativos bayesianos (versión 2.1). https://jjdeharo.github.io/recursos-adaptativos/matematicas.html