Fonaments matemàtics dels sistemes educatius adaptatius bayesians

1. El problema que resol el sistema

Un sistema d'avaluació tradicional assigna les mateixes preguntes a tots els alumnes en el mateix ordre. Això genera dues ineficiències:

• Preguntes massa fàcils per a alumnes avançats no aporten informació útil sobre el seu nivell real.
• Preguntes massa difícils per a alumnes amb dificultats generen frustració sense millorar-ne el diagnòstic.

L'avaluació adaptativa resol això seleccionant a cada moment la pregunta més informativa atès el que ja se sap de l'alumne. Per això necessita tres ingredients:

1. Una representació de l'estat de coneixement de l'alumne (què en creiem saber).
2. Una regla d'actualització que canviï aquesta representació després de cada resposta.
3. Un criteri de selecció que triï quina pregunta formular a continuació.

Aquest document descriu la matemàtica darrere de cadascun d'aquests tres ingredients.

2. Representació probabilística de l'estat de l'alumne

2.1. L'espai d'hipòtesis

En lloc d'assignar a l'alumne un valor fix (una nota, una etiqueta), el sistema en manté una distribució de probabilitats sobre un conjunt d'hipòtesis. En el cas clàssic aquestes hipòtesis són mútuament excloents i exhaustives; quan diversos errors poden coexistir, l'estat es representa millor mitjançant diverses dimensions en paral·lel o mitjançant una distribució sobre perfils complets.

Sigui \(\mathcal{H} = \{H_1, H_2, \ldots, H_n\}\) el conjunt d'hipòtesis possibles. Per exemple:

A cada moment, el sistema manté un vector de probabilitats:

amb la restricció:

Aquest vector expressa el grau de creença del sistema sobre l'estat real de l'alumne, no una certesa.

2.2. Distribució inicial

Si no hi ha informació prèvia sobre l'alumne, el sistema parteix d'una distribució uniforme:

Aquesta elecció reflecteix una ignorància màxima: totes les hipòtesis són igualment plausibles abans d'observar cap resposta. Si existís informació prèvia fiable (resultats de cursos anteriors, diagnòstics previs), es podria fer servir com a distribució inicial justificada.

Convé precisar l'abast d'aquesta neutralitat: la uniforme només és neutra sobre hipòtesis de nivell. Sobre factors d'error binaris equival a afirmar que cada error és present en la meitat dels alumnes —una afirmació forta sobre la seva prevalença, no una absència d'informació—, de manera que en aquest cas es parteix d'una probabilitat prèvia informativa (§10; §5.1 del protocol).

2.3. Valor numèric de cada hipòtesi

Per poder utilitzar la funció logística que genera les versemblances (vegeu §4), cada hipòtesi \(H_i\) necessita un valor numèric \(\theta_i\) que representi la seva posició a l'escala de domini. La convenció recomanada és centrar els valors en zero amb intervals iguals:

Aquests valors són fixos i depenen només del nombre d'hipòtesis; les dificultats \(b_q\) se situen dins d'aquesta escala, no al revés. La relació exacta entre θ i b s'explica a §8.

2.4. Estat multidimensional

L'estat de l'alumne no ha de ser una única distribució. Quan interessa saber no només quant domina sinó què components falla, convé mantenir diverses distribucions bayesianes en paral·lel:

• una distribució per categoria o nivell (quin tipus de tasca domina);
• una distribució per cada dimensió diagnòstica (habilitat, pas del procés o tipus d'error).

Cada distribució \(\mathbf{p}^{(d)}\) sobre les hipòtesis de la dimensió \(d\) s'actualitza de forma independent amb la maquinària de §3–§4, però s'ha d'alimentar amb l'evidència que li correspon: el resultat global pot actualitzar la creença de nivell i cada subcriteri actualitza només la creença de la seva dimensió. Si un únic encert o error global depèn de diverses habilitats alhora, fer-lo servir per actualitzar diverses dimensions independents duplicaria l'evidència i atribuiria malament la causa de l'error. Això permet distingir què practicar (nivell per categoria) de què reforçar (diagnòstic per dimensió).

Cada dimensió pot tenir el seu propi sòl d'atzar \(c^{(d)}\) (vegeu §4.6–4.7), per la qual cosa un mateix valor latent \(\theta\) produeix percentatges visibles diferents segons la dimensió. Els percentatges entre dimensions no són directament comparables; entre dimensions ordinals, la referència comuna és \(\theta\). En factors nominals d'error no existeix una \(\theta\) amb significat: el seu resum són les probabilitats marginals i l'estat (present, absent, indeterminat), i no s'ha de calcular una \(\theta\) esperada per a ells (§10.3). Les dimensions que poden coexistir no s'han de forçar dins d'una sola distribució: es modelen per separat (vegeu §9 del protocol).

Convé situar això davant del model clàssic. La TRI i els models de Rasch assumeixen unidimensionalitat (tots els ítems mesuren un únic atribut latent) i independència local (a un nivell d'habilitat donat, la resposta a un ítem no depèn de les respostes als altres). Sota aquests supòsits, una sola distribució sobre \(\theta\) descriu completament l'alumne. L'estat multidimensional descrit aquí estén aquest marc: en lloc de forçar diversos atributs dins d'una única dimensió —cosa que violaria la independència local—, manté una distribució separada per cada dimensió i conserva la independència local dins de cadascuna. És una generalització deliberada, no un incompliment del model.

3. Inferència bayesiana

3.1. El teorema de Bayes

Quan l'alumne respon una pregunta, aquesta resposta és una evidència que ha de modificar la nostra estimació del seu estat. El mecanisme d'actualització és el teorema de Bayes:

on:

• \(P(H_i)\) és la probabilitat prèvia: el que crèiem abans de veure la resposta.
• \(P(R \mid H_i)\) és la versemblança: la probabilitat d'observar la resposta \(R\) si l'alumne estigués realment a l'estat \(H_i\).
• \(P(R)\) és la probabilitat marginal de la resposta, calculada sumant sobre totes les hipòtesis:

• \(P(H_i \mid R)\) és la probabilitat posterior: la creença actualitzada després d'observar \(R\).

3.2. Actualització després d'un encert o una fallada

A la pràctica, la resposta \(R\) és binària: encert (A) o fallada (F). L'actualització pren la forma:

Noteu que el denominador és simplement una constant de normalització. En la implementació, només cal calcular els numeradors per a tots els \(i\) i dividir per la seva suma.

3.3. Actualització seqüencial

Si l'alumne respon diverses preguntes, el procés s'aplica de manera seqüencial: la probabilitat posterior d'una pregunta es converteix en la probabilitat prèvia de la següent (la prèvia immediata, que no s'ha de confondre amb la prèvia inicial de referència \(\pi\) a la qual s'ancora l'oblit del §3.5). Això és matemàticament equivalent a actualitzar amb totes les respostes alhora, sempre que les respostes siguin condicionalment independents atesa la hipòtesi veritable.

3.4. Per què Bayes i no altres mètodes

Sota els supòsits habituals de coherència probabilística i actualització per evidència observada, la regla de Bayes és la manera natural d'actualitzar les probabilitats. Satisfà simultàniament:

• Consistència: si s'actualitzen les probabilitats en dues passes o en una, el resultat és el mateix.
• Proporcionalitat: l'actualització és proporcional a quant prediu cada hipòtesi la resposta observada.
• No dogmatisme: cap hipòtesi queda bloquejada en 0 o 1 sempre que la seva probabilitat inicial sigui estrictament positiva. Per això convé assignar probabilitats inicials estrictament positives a totes les hipòtesis plausibles.

Alternatives com les xarxes de regles o els sistemes experts clàssics no tenen aquestes propietats i poden quedar bloquejades en diagnòstics incorrectes quan l'alumne respon de manera inesperada.

3.5. Actualització amb oblit exponencial (estat no estacionari)

L'actualització seqüencial de §3.3 dona el mateix pes a totes les respostes, la primera i l'última. Això és correcte si l'estat de l'alumne no canvia durant la sessió, però en recursos de pràctica prolongada l'alumne aprèn mentre practica (vegeu §11.3): la probabilitat posterior arrossega l'evidència antiga i pot convergir cap a un estat que ja no existeix.

Dos sentits de «probabilitat prèvia» que convé no confondre. En l'actualització seqüencial (§3.3), la distribució posterior obtinguda després d'una resposta passa a ser la probabilitat prèvia immediata de la resposta següent: és una distribució que canvia a cada pas. L'oblit exponencial no s'ancora a aquesta, sinó a la probabilitat prèvia inicial o de referència \(\pi\): la distribució fixa que es defineix en construir el model (§2.2) i que ja no es modifica durant la sessió. La distinció no és cosmètica: ancorar l'oblit a la prèvia immediata seria atenuar cada distribució cap a ella mateixa, és a dir, no fer res.

La correcció mínima és, doncs, l'oblit exponencial ancorat a la probabilitat prèvia inicial: abans d'incorporar cada nova resposta, la distribució acumulada s'atenua lleugerament cap a aquesta distribució de referència \(\pi_i\) amb una potència \(\lambda \in (0, 1]\); després s'aplica Bayes amb la nova evidència i es renormalitza:

Cada pas de la sessió recorre, per tant, aquesta seqüència:

On \(\pi\) és sempre la mateixa distribució de referència, la de \(t = 0\), i no la del pas anterior.

Amb \(\lambda = 1\) es recupera el Bayes estàndard de §3.3, i amb \(\pi\) uniforme el factor \(\pi_i^{1-\lambda}\) és constant i la regla coincideix amb la forma simple \(p_i \leftarrow p_i^{\lambda}\) renormalitzada. Amb \(\lambda < 1\), cada resposta entra amb pes ple i va perdent influència a mesura que avança la sessió: al cap de \(k\) passos, la seva versemblança queda elevada a \(\lambda^k\), de manera que el seu pes decau geomètricament. La memòria efectiva del sistema és d'aproximadament \(1/(1-\lambda)\) respostes. Desenrotllant la recursió es comprova que \(\pi\) conserva pes exactament 1 en tot moment: l'oblit descarta evidència antiga, mai la probabilitat prèvia inicial. Una regla pràctica: \(\lambda = 1 - 1/W\), on \(W\) és el nombre de respostes recents que han de dominar l'estimació. Una variant d'efecte semblant és barrejar la distribució acumulada amb la de referència, \(p_i \leftarrow (1-\gamma)\,p_i + \gamma\,\pi_i\); totes dues retornen una mica de massa a les hipòtesis descartades i mantenen l'estimació permeable al canvi.

Per què l'ancoratge a la probabilitat prèvia inicial no és opcional. La forma simple \(p_i \leftarrow p_i^{\lambda}\) (o la barreja amb la uniforme) té la distribució uniforme com a punt fix: sense evidència nova, qualsevol distribució hi deriva. Amb hipòtesis de nivell i \(\pi\) uniforme és innocu, però destrueix qualsevol probabilitat prèvia inicial informativa. El cas més danyós és el dels factors d'error (§10): amb \(P(\text{error}) = 0{,}25\) i \(\lambda = 0{,}95\), un factor que no rebi evidència puja sol fins a \(\approx 0{,}34\) en 10 passos i \(\approx 0{,}40\) en 20, reapareixent com a «indeterminat» o «probable» sense que l'alumne hagi fet res: el mateix fals positiu que la probabilitat prèvia informativa del §5.1 del protocol evita. Ancorada a la probabilitat prèvia inicial, una distribució sense evidència nova hi roman. L'atenuació s'aplica a cada distribució en cada pas de la sessió —també a les que no reben evidència en aquella resposta—, de manera que totes segueixen el pas del temps sense degradar-se cap a la uniforme.

Calibratge de \(\lambda\) amb diverses distribucions paral·leles. Atenuar totes les distribucions en cada resposta té una conseqüència que convé fer explícita: cada distribució envelleix un cop per resposta, però només rep evidència quan la resposta li correspon. Si la distribució \(d\) s'actualitza en una de cada \(K_d\) respostes, la seva memòria mesurada en intents propis és \(M_d \approx 1/\bigl(K_d\,(1-\lambda)\bigr)\), és a dir, \(K_d\) vegades menor que la memòria en respostes. Fixar un \(\lambda\) comú per a totes no les tracta igual: castiga les que s'actualitzen amb menys freqüència. Per això convé fixar la memòria objectiu \(M\) en intents de la mateixa distribució i derivar un \(\lambda\) per distribució:

Amb \(K_d = 1\) (una dimensió avaluada en cada resposta) es recupera \(\lambda = 1 - 1/M\). Amb \(M = 20\) i \(6\) categories, una dimensió avaluada sempre fa servir \(\lambda = 0{,}95\) i cada categoria fa servir \(\lambda = 0{,}95^{1/6} \approx 0{,}9915\); totes dues conserven una memòria d'uns \(20\) intents propis, encara que la finestra de la categoria abasti \(1/(1-\lambda) \approx 117\) respostes. Aplicar el \(0{,}95\) també a les categories els deixaria \(20/6 \approx 3{,}3\) intents de memòria, prou per esborrar un diagnòstic inicial de \(2\) intents per categoria.

La mateixa correcció afecta la finestra de la mostra mínima (§7.6): els intents es compten dins de les últimes \(1/(1-\lambda_d)\) respostes d'aquella distribució, i es compten sense ponderar. Un recompte ponderat per \(\lambda^k\) faria que dos intents consecutius sumessin \(1 + \lambda = 1{,}95\), incomplint un llindar enter de \(2\) i endurint la porta sense dir-ho.

Exemple. Amb \(\pi\) uniforme, la distribució posterior acumulada \((0.809,\; 0.180,\; 0.011)\) i \(\lambda = 0.9\), l'atenuació produeix \((0.782,\; 0.202,\; 0.016)\): la creença dominant es conserva, però les alternatives recuperen marge per reaccionar si el comportament de l'alumne canvia.

Quan usar-lo. En recursos diagnòstics de sessió curta, on l'estat és estable, s'ha d'usar \(\lambda = 1\): l'oblit només afegiria soroll i endarreriria la convergència. En pràctica o reforç continu (§7.6), valors de \(\lambda \approx 0.9\)–\(0.98\) fan que l'estimació segueixi l'estat actual de l'alumne. Amb oblit actiu, la confiança mostrada s'ha d'interpretar com a confiança sobre l'estat recent; l'entropia es manté una mica més alta i la sessió no es tanca sola, cosa coherent amb el mode sense parada.

L'oblit és simètric: no pressuposa que l'alumne millora, només evita que l'evidència antiga bloquegi el seguiment d'un estat que canvia. Si es vol modelar explícitament la direcció de l'aprenentatge, l'extensió natural és un model de transició (filtratge bayesià): abans de cada actualització s'aplica una matriu \(T\) amb una petita probabilitat d'ascendir de nivell —més gran, per exemple, just després de mostrar una explicació—, de manera que \(\mathbf{p} \leftarrow \text{normalitzar}\!\left(L \circ (T^{\top}\mathbf{p})\right)\). El seu cas particular de dos estats és el Bayesian Knowledge Tracing (Corbett i Anderson, 1995), el model clàssic dels tutors intel·ligents. A canvi introdueix un paràmetre més per fixar sense dades —la probabilitat d'aprendre per pas—, amb les cauteles de §11.1.

4. Model IRT de tres paràmetres

4.1. El problema de les versemblances

Per aplicar Bayes necessitem \(P(A \mid H_i, q)\): la probabilitat que un alumne a l'estat \(H_i\) encerti la pregunta \(q\). Aquesta probabilitat és la versemblança.

El sistema necessita generar-les automàticament a partir dels paràmetres de cada pregunta, sense que el docent empleni taules de probabilitats.

4.2. La corba característica de l'ítem (ICC)

El model IRT (Item Response Theory) proporciona una família de funcions per modelar \(P(A \mid \theta, q)\). El model de tres paràmetres (3PL) és:

Els tres paràmetres són:

La forma logística no és només una conveniència de càlcul. La seva arrel és a la família de models de Rasch, on prendre el logaritme de la raó de probabilitats \(P/(1-P)\) produeix una escala additiva (logit) en què la probabilitat d'encert depèn únicament de la diferència \(\theta_i - b_q\). Aquesta estructura és la que dona sentit a situar el nivell de l'alumne i la dificultat de l'ítem en una mateixa escala i comparar-los. En el cas estricte de Rasch (discriminació comuna \(a\) i \(c = 0\)), aquesta propietat es coneix com a objectivitat específica: la comparació entre dos alumnes no depèn de quins ítems es facin servir, ni la comparació entre dos ítems de quins alumnes els responguin. El model de tres paràmetres generalitza la corba (permet \(a\) variable i \(c > 0\)) i relaxa aquesta objectivitat estricta, però conserva la mateixa justificació de fons per emprar la funció logística.

4.3. Comportament de la corba

Quan \(\theta_i \gg b_q\) (l'alumne està molt per sobre de la dificultat), el terme exponencial \(e^{-a(\theta_i - b_q)} \to 0\) i:

En la implementació, aquest límit superior no es deixa arribar a 1: s'acota amb el sostre de domini \(P(A) \leq 0{,}95\) (§8.3), que modela el descuit (slip) i evita que una sola fallada en un ítem fàcil produeixi salts gairebé deterministes de la probabilitat posterior.

Quan \(\theta_i \ll b_q\) (l'alumne està molt per sota de la dificultat), el terme exponencial \(\to +\infty\) i:

Quan \(\theta_i = b_q\), l'argument de l'exponent és zero i:

Aquest és el punt d'inflexió de la corba: on el pendent és màxim i, per tant, on la pregunta és més discriminant.

4.4. El paràmetre de discriminació \(a\)

El paràmetre \(a\) controla el pendent de la corba logística. El seu efecte es pot veure derivant la ICC respecte a \(\theta\):

El pendent màxim (en \(\theta = b_q\)) val:

Un valor alt de \(a\) produeix una corba més escarpada: la pregunta discrimina millor entre alumnes a prop de la dificultat, però aporta poca informació a alumnes clarament per sobre o per sota. Un valor baix produeix una corba més suau: la pregunta és útil en un rang més ampli de nivells, però discrimina menys.

Els valors habituals en psicometria oscil·len entre 0,5 i 2,5. Per a sistemes educatius de propòsit general, valors al voltant d'\(1.0\)–\(1.5\) són punts de partida raonables; a l'especificació operativa es recomana fixar \(a_{\text{ef}} = 1.25\) i derivar \(a\) des del sòl d'atzar de cada ítem.

Discriminació efectiva i barreja de formats. El pendent màxim depèn del producte \(a\,(1 - c_q)\), no de \(a\) per separat. Convé per això distingir la discriminació efectiva \(a_{\text{ef}} = a\,(1 - c_q)\) —el pendent màxim expressat sense el factor \(1/4\)— de la discriminació nominal \(a\). Quan totes les preguntes comparteixen el mateix nombre d'opcions, i per tant el mateix \(c_q\), totes dues són proporcionals i n'hi ha prou de fixar \(a\). Però si el banc barreja formats amb \(c_q\) diferent (per exemple, vertader/fals amb \(c_q = 0.5\) al costat d'ítems de 4 opcions amb \(c_q = 0.25\)), mantenir \(a\) constant fa que el pendent variï només pel format: una pregunta de vertader/fals ben construïda tindria un pendent menor que una oberta equivalent, un biaix purament mecànic i sense sentit didàctic.

Per evitar-ho es fixa la discriminació efectiva objectiu \(a_{\text{ef}}\) i s'aïlla la nominal:

Així cada pregunta conserva el mateix pendent en el seu punt d'inflexió amb independència del nombre d'opcions. Prenent \(a_{\text{ef}} = 1.25\) com a objectiu comú:

D'aquesta manera \(a\) no es fixa de manera arbitrària: es calcula a partir d'una discriminació efectiva objectiu i del pseudoatzar de cada pregunta. Convé aplicar aquesta regla sempre, no només quan un mateix test barreja formats. Dues preguntes —o dos recursos diferents— amb el mateix \(a\) nominal però diferent nombre d'opcions tenen pendents màxims diferents i no són comparables en aquest sentit: amb \(a = 1.5\), una pregunta de 3 opcions (\(c_q = 1/3\)) rendeix \(a_{\text{ef}} = 1.0\), mentre que una de 4 (\(c_q = 1/4\)) rendeix \(a_{\text{ef}} = 1.125\). Fixar \(a_{\text{ef}}\) i derivar \(a\) en cada cas iguala aquests pendents, però no iguala tota la informació esperada de l'ítem: aquesta informació depèn de la corba completa, del sòl d'atzar i de la probabilitat posterior actual. Com a objectiu es recomana \(a_{\text{ef}} = 1.25\): atès que \(c_q \leq 0.5\) en qualsevol ítem de dues o més opcions, la \(a\) nominal derivada mai no supera \(2.5\) —el cas extrem, vertader/fals, dona exactament \(a = 2.5\)— i es manté així dins del rang habitual en psicometria (0.5–2.5). Un objectiu més gran el desbordaria: \(a_{\text{ef}} = 1.5\) donaria \(a = 3.0\) en vertader/fals. Els exemples numèrics d'aquest document fan servir \(a = 1.5\) directament amb finalitats il·lustratives i, per llegibilitat, no apliquen el sostre de domini de §8.3 (vegeu la nota de §9.1).

4.5. La probabilitat de fallada

Aquesta és la versemblança que entra a l'actualització bayesiana quan l'alumne falla.

4.6. Probabilitat mínima d'encert per atzar

En preguntes d'opció múltiple amb \(m_q\) opcions, es pot utilitzar \(c_q = 1/m_q\) com a aproximació inicial en absència de dades empíriques:

En un model IRT calibrat, \(c_q\) s'hauria d'estimar a partir de dades reals, perquè el pseudoatzar no sempre coincideix amb l'atzar pur: els distractors no són igualment atractius i alguns alumnes eliminen opcions abans de respondre. Aquesta probabilitat pertany a cada pregunta, no al test en conjunt. En respostes numèriques o de text exacte on l'atzar és irrellevant, es fa servir \(c_q = 0\).

4.7. Ítems compostos: terra d'atzar agregat

Una pregunta no sempre es corregeix com un únic encert o error. Si la tasca s'avalua per diversos components \(j\) (passos, decisions o subrespostes), cadascun amb el seu propi nombre d'opcions \(m_j\) i el pes \(w_j\), la mitjana ponderada dels atzars de cada component no és la probabilitat d'encertar l'ítem complet, sinó la puntuació parcial esperada per atzar:

Per exemple, un ítem amb tres components de pesos \((0.5,\,0.3,\,0.2)\) i opcions \((2,\,4,\,6)\) té una puntuació esperada per atzar:

Aquest agregat \(c_q\) entra a la ICC (§4.2) només si la corba s'interpreta com a puntuació esperada de l'ítem compost. Si l'ítem es corregeix com a tot-o-res, la probabilitat d'encert ple per atzar no és la mitjana sinó el producte dels atzars dels components independents: \(\tfrac12 \cdot \tfrac14 \cdot \tfrac16 \approx 0.021\). Els pesos \(w_j\) han de ser els mateixos que es fan servir per puntuar el crèdit parcial (§4.8).

4.8. Crèdit parcial: versemblança suau

Quan la resposta admet graus —no només encert o error, sinó una puntuació \(s \in [0, 1]\) obtinguda dels components ponderats— la versemblança ha d'afavorir les hipòtesis la predicció de les quals \(p_i = P(A \mid H_i, q)\) sigui compatible amb aquesta puntuació. Si només es disposa d'una puntuació agregada, una aproximació coherent és la versemblança geomètrica:

Com \(P(F \mid H_i, q) = 1 - P(A \mid H_i, q)\), escrivint \(p_i = P(A \mid H_i, q)\):

Aquesta \(L(H_i)\) substitueix la versemblança en l'actualització bayesiana de §3.2; la resta del procés (normalització inclosa) no canvia. Casos límit:

• \(s = 1\): \(L(H_i) = P(A \mid H_i, q)\), encert ple.
• \(s = 0\): \(L(H_i) = P(F \mid H_i, q)\), fallada plena.
• \(s = 0.5\): afavoreix hipòtesis amb \(p_i\) proper a \(0.5\); no és una evidència neutra llevat que el model no distingeixi entre hipòtesis.

La puntuació \(s\) s'ha de calcular de manera explícita i autocorregible, normalment com a suma ponderada de subcriteris amb \(\sum_j w_j = 1\). Si l'ítem té \(J\) components aproximadament independents i es vol conservar la força de l'evidència, es pot usar \(L(H_i) \propto p_i^{sJ}(1-p_i)^{(1-s)J}\). Aquesta forma equival a tractar la resposta com a \(J\) assajos de Bernoulli independents amb la mateixa probabilitat \(p_i\) de l'ítem complet (el coeficient binomial no depèn d'\(H_i\) i es cancel·la en la normalització), per la qual cosa només és raonable si els components tenen dificultat semblant: si difereixen clarament —l'habitual en tasques per passos, on els components saturats aporten poca discriminació— sobrecompta l'evidència respecte al model per components, i convé usar un \(J\) menor que el nombre real de components (més conservador). Si es coneix el resultat de cada component, és preferible multiplicar les versemblances component a component. La psicometria disposa de models politòmics canònics per a respostes graduades —el Graded Response Model (Samejima, 1969) i el Partial Credit Model (Masters, 1982)—; la versemblança geomètrica és una aproximació més simple que s'adopta aquí perquè aquells models requereixen estimar paràmetres per categoria a partir de dades de resposta de les quals aquesta metodologia no disposa (§11.1).

Exemple numèric

Tres hipòtesis \(\theta \in \{-2, 0, 2\}\), ítem de dificultat mitjana (\(b_q = 0\), \(a = 1.5\), \(c_q \approx 0.36\)), probabilitat prèvia uniforme \(\mathbf{p} = (\tfrac13, \tfrac13, \tfrac13)\). Les versemblances d'encert ple són aproximadament \(p = (0.40,\, 0.68,\, 0.97)\). Amb una resposta parcial \(s = 0.75\):

Aplicant Bayes i normalitzant (\(\sum = \tfrac13(0.443 + 0.563 + 0.407) \approx 0.471\)):

La probabilitat posterior es desplaça cap al nivell mitjà, perquè una puntuació \(s = 0.75\) és més compatible amb una predicció \(p_i = 0.68\) que amb una predicció gairebé perfecta \(p_i = 0.97\). Així el crèdit parcial aporta evidència sobre el nivell que millor prediu la puntuació observada, no només una empenta més suau cap al domini alt.

Selecció amb crèdit parcial. El guany esperat d'informació (§6) està definit sobre els resultats que l'ítem modeli. La versió exacta amb respostes graduades exigiria fer la mitjana sobre la distribució de \(s\), que normalment no es coneix a priori. A la pràctica es pot continuar seleccionant amb els escenaris binaris (encert i error plens) com a aproximació, i reservar la versemblança geomètrica o per components per a l'actualització un cop observada la resposta.

5. Entropia de Shannon com a mesura d'incertesa

5.1. Definició

L'entropia de Shannon mesura la incertesa d'una distribució de probabilitats:

Es mesura a bits. Per conveni, \(0 \cdot \log_2 0 = 0\).

5.2. Propietats rellevants

Entropia mínima. Si una hipòtesi concentra tota la probabilitat (\(p_k = 1\), \(p_{i \neq k} = 0\)), l'entropia és zero: no hi ha incertesa.

Entropia màxima. Si totes les hipòtesis són equiprobables (\(p_i = 1/n\)), l'entropia és màxima:

Això correspon a la total ignorància sobre l'estat de l'alumne.

Entropia esperada no creixent. L'entropia posterior pot augmentar o disminuir després d'una resposta concreta, segons l'evidència observada (com il·lustra l'exemple de §9, on l'encert a Q2 fa pujar l'entropia respecte al pas anterior). Per a qualsevol pregunta modelada correctament, l'entropia posterior esperada —abans de conèixer la resposta— no supera l'entropia actual, perquè el guany esperat és informació mútua i no pot ser negatiu. La selecció per màxim guany no crea aquesta propietat: tria la pregunta que més redueix aquesta entropia esperada.

5.3. Exemples numèrics

Amb \(n = 3\) hipòtesis:

5.4. Per què l'entropia i no la màxima probabilitat

La probabilitat de la hipòtesi més probable (\(\max_i p_i\)) és un indicador intuïtiu, però l'entropia en captura més informació: distingeix entre \((0.80, 0.15, 0.05)\) i \((0.80, 0.19, 0.01)\), que tenen el mateix màxim però diferent distribució de la resta. L'entropia és, a més, la quantitat natural que apareix en el guany d'informació (§6), cosa que fa el sistema matemàticament coherent.

6. Guany esperat d'informació

6.1. El criteri de selecció

El sistema tria la següent pregunta buscant maximitzar la reducció esperada d'entropia. Per a cada pregunta candidata \(q\), es calcula el guany esperat d'informació:

on \(\mathbf{p}'\) és la distribució posterior després de respondre \(q\), i l'esperança és sobre els dos possibles resultats (encert o error).

6.2. Desenvolupament complet

Definim primer la probabilitat marginal d'encert a la pregunta \(q\), usant la llei de la probabilitat total:

I la probabilitat marginal de fallada:

A continuació calculem les distribucions posteriors condicionals, aplicant Bayes abans de conèixer la resposta real:

Amb aquestes distribucions calculem l'entropia a cada escenari:

L'entropia esperada després de formular la pregunta \(q\) és:

I el guany d'informació és:

El sistema selecciona la pregunta \(q^*\) amb més \(IG\):

on \(\mathcal{Q}\) és el conjunt de preguntes disponibles.

6.3. Connexió amb la informació mútua

El guany esperat d'informació de la pregunta \(q\) és exactament la informació mútua entre la resposta \(R_q\) i l'estat de l'alumne \(H\):

on \(KL\) és la divergència de Kullback-Leibler. Maximitzar \(IG\) equival a seleccionar la pregunta la resposta de la qual, de mitjana, separa més la probabilitat posterior de la probabilitat prèvia.

6.4. Empats i diversitat de continguts

A la pràctica, diverses preguntes poden tenir guanys d'informació idèntics o molt propers, especialment si comparteixen els mateixos paràmetres \(a\), \(b_q\) i \(c_q\). Una selecció determinista entre empats produeix tests sistemàticament repetitius entre sessions diferents.

La solució recomanada és una selecció aleatòria ponderada:

1. Calcular \(IG(q)\) per a totes les candidates disponibles.
2. Reunir les candidates amb \(IG \geq IG_{\max} - \varepsilon\). Si només es volen empats numèrics exactes, \(\varepsilon = 10^{-9}\) és suficient; si es vol diversificar entre guanys realment propers, convé usar un marge pràctic, per exemple un 1–2% d'\(IG_{\max}\).
3. Assignar a cada candidata un pes inversament proporcional al nombre de vegades que la seva categoria o concepte ha aparegut ja a la sessió.
4. Escollir amb probabilitat proporcional a aquests pesos.

Això combina màxima utilitat informativa amb diversitat temàtica.

6.5. Comparació amb la Funció d'Informació de l'Ítem

El criteri dominant en els tests adaptatius clàssics (CAT) no és la reducció d'entropia, sinó la Funció d'Informació de l'Ítem (FII), basada en la informació de Fisher:

on \(P(\theta)\) és la ICC de l'ítem (§4.2) i \(P'(\theta)\) la seva derivada. La FII mesura quanta informació aporta l'ítem en un punt concret \(\theta\) del continu, i el sistema clàssic selecciona l'ítem que maximitza \(I_q(\hat\theta)\) en l'estimació puntual actual de l'habilitat.

El criteri d'aquest sistema —màxima reducció esperada d'entropia (§6.1)— encaixa especialment bé quan l'estat es representa com una distribució completa, i no com un únic valor \(\hat\theta\), per dues raons:

• Usa tota la distribució, no un punt. La FII clàssica s'aplica en una estimació puntual \(\hat\theta\); si la distribució és ampla o multimodal, aquest punt no la representa bé i pot triar un ítem informatiu només al voltant d'un valor que potser no és el veritable. El guany d'informació pondera totes les hipòtesis per la seva probabilitat actual.
• És coherent amb l'actualització bayesiana. El sistema ja manté i actualitza una distribució per Bayes (§3); mesurar la utilitat d'un ítem per quant redueix l'entropia d'aquesta mateixa distribució fa servir el mateix marc de principi a fi. Existeixen variants bayesianes basades en informació de Fisher ponderada per la probabilitat posterior, de manera que la contraposició no és entre “Fisher freqüentista” i “Bayes”, sinó entre un criteri puntual i un criteri que usa directament tota la distribució posterior discreta.

Tots dos criteris convergeixen en el cas límit d'una distribució molt concentrada: quan la creença és gairebé puntual, maximitzar el guany d'informació i maximitzar la FII en \(\hat\theta\) seleccionen pràcticament el mateix ítem. La diferència importa sobretot en les primeres preguntes, quan la incertesa és alta.

L'ús de la informació mútua i la divergència KL (§6.3) per seleccionar ítems està ben establert en la recerca psicomètrica bayesiana, però la seva aplicació en eines educatives reals és poc habitual: el que és comú a l'aula és la FII o regles més simples (següent ítem del nivell estimat, selecció per dificultat). La combinació que fa servir aquest sistema —distribució d'hipòtesis, actualització bayesiana i selecció per reducció d'entropia de Shannon, integrada en una eina per a docents— és, en aquest sentit, infreqüent en l'àmbit educatiu.

6.6. Guany d'informació amb crèdit parcial

El desenvolupament de §6.2 fa la mitjana de l'entropia posterior sobre dos resultats, encert i error. Quan l'ítem es puntua amb crèdit parcial (§4.8), la pregunta natural és si aquesta mitjana s'hauria d'estendre a totes les puntuacions \(s\) que l'ítem pot produir:

La resposta és que depèn de amb quina versemblança s'actualitzi, i que l'elecció òbvia és l'equivocada. La regla correcta és de coherència: el guany s'ha de calcular amb la mateixa versemblança que després es fa servir per actualitzar. L'expressió de dalt només és un guany d'informació legítim —una informació mútua— si \(\mathbf{p}'\) és la probabilitat posterior bayesiana sota el model que realment genera \(s\). Si \(\mathbf{p}'\) es calcula amb la versemblança geomètrica, que és un resum i no el model generador, l'expressió deixa de ser una informació mútua i passa a mesurar una altra cosa: quant es concentrarà una creença mal especificada.

Per què aquesta distinció importa a la pràctica. La versemblança geomètrica es maximitza en \(p_i = s\) (§4.8): envia tota puntuació intermèdia cap a les hipòtesis intermèdies. Un ítem de dificultat mitjana produeix puntuacions intermèdies amb qualsevol alumne —el que domina falla algun subcriteri, el que no domina n'encerta algun per atzar—, de manera que concentra la distribució posterior geomètrica en la hipòtesi del mig amb independència de l'estat real. Una mitjana d'\(IG\) presa sobre la distribució vertadera de \(s\), però amb distribucions posteriors geomètriques, detecta aquesta concentració i la premia. El selector acaba preferint justament els ítems que no discriminen.

Mesurat sobre un recurs real construït amb aquest mètode (\(J = 7\) subcriteris ponderats, tres hipòtesis en \(\theta \in \{-2, 0, 2\}\), banc de 39 ítems per tipus amb \(b \in \{-1, 0, +1\}\), \(a_{\text{ef}} = 1.25\), sostre 0.95, sessions de 4 preguntes, 3 llavors, 1200 respondents per hipòtesi):

Refinar la selecció mantenint l'actualització geomètrica empitjora el diagnòstic, i l'empitjora més com més «fina» és la mitjana. L'empremta del mecanisme és visible al banc: la proporció d'ítems de dificultat mitjana seleccionats puja del 9 % al 27 %.

La correcció és a l'actualització, no a la selecció. Si es coneixen els components de la resposta, no cal resumir-los en una \(s\): n'hi ha prou de multiplicar-ne les versemblances, que és el que §4.8 ja prefereix. Amb \(J\) subcriteris de pesos \(w_j\) i sòls d'atzar \(c_j\), condicionalment independents donat \(H_i\), cada subcriteri s'encerta amb probabilitat \(P_j(\theta_i) = c_j + (1-c_j)\,\sigma\!\left(a_j(\theta_i - b_q)\right)\) i la versemblança de l'ítem és

i el guany es fa la mitjana sobre les \(2^J\) combinacions de \(\mathbf{x}\) (o sobre la convolució de les sumes parcials si \(J\) és gran). Selecció i actualització comparteixen aleshores el mateix model, i el guany torna a ser una informació mútua. Aquesta variant no només encerta més: corregeix una infraconfiança crònica del resum geomètric, que assigna \(0.75\) de probabilitat a la hipòtesi vertadera mentre encerta el 98 % de les vegades —és a dir, descarta evidència que sí que tenia—. Amb el model per components, aquesta probabilitat puja a \(0.99\), en línia amb la seva exactitud.

Robustesa davant la dependència entre components. El producte de versemblances suposa independència condicional, i §4.8 adverteix (troballa 2.4) que aquesta suposició sobrecompta l'evidència quan els components estan correlacionats. Es va comprovar simulant un món amb dependència forta —si l'alumne no identifica el tipus de problema, la fórmula i els paràmetres cauen a nivell d'atzar—: el model per components continua guanyant (97.3 % enfront de 94.4 %) i la seva sobreconfiança mesurada és de \(-0.3\) punts percentuals, és a dir, no arriba a sobrecomptar. El risc de la troballa 2.4 continua sent real per a la drecera de l'exponent \(J\), que multiplica l'evidència d'un ítem per \(J\); no ho és per al producte de versemblances de components efectivament observats per separat.

Resum operatiu. Si els components s'observen per separat, actualitza'ls per separat i fes la mitjana del guany sobre les seves combinacions. Si només es disposa de la \(s\) agregada, fes servir la versemblança geomètrica per actualitzar i fes la mitjana del guany sobre els dos extrems \(s \in \{0, 1\}\): això és exactament la fórmula de §6.2, i és l'elecció coherent amb aquesta versemblança. El que no s'ha de fer és creuar els dos nivells.

7. Criteri de parada

7.1. Objectiu del llindar

El sistema s'ha d'aturar quan tingui confiança en l'estat de l'alumne. El criteri natural és: aturar quan la hipòtesi més probable superi un nivell de confiança \(p_{\min}\) (per exemple, 0,80).

Tot i això, comprovar directament \(\max_i P(H_i) \geq p_{\min}\) pot no ser suficient, perquè no té en compte com es reparteix la probabilitat restant. L'entropia és un indicador més complet.

7.2. Derivació del llindar \(H_{\text{stop}}\)

Busquem l'entropia d'una distribució on la hipòtesi més probable té probabilitat \(p_{\min}\) i la resta de probabilitat \(1 - p_{\min}\) es reparteix uniformement entre les altres \(n - 1\) hipòtesis:

L'entropia d'aquesta distribució és:

7.3. Valors orientatius

Amb \(p_{\min} = 0.80\):

7.4. Aproximació i criteri complementari

La fórmula de \(H_{\text{stop}}\) assumeix que la probabilitat restant es distribueix uniformement, cosa que és una aproximació. Dues distribucions amb el mateix màxim poden tenir entropies diferents:

• \((0.80,\; 0.10,\; 0.10)\): \(H = 0.92\) bits
• \((0.80,\; 0.19,\; 0.01)\): \(H = 0.78\) bits

La segona té entropia menor, encara que el màxim sigui el mateix, perquè la probabilitat està més concentrada. Una implementació prudent pot comprovar ambdues condicions alhora:

En realitat, quan \(H_{\text{stop}}\) es deriva del mateix \(p_{\min}\), la condició de probabilitat màxima implica la d'entropia: la distribució que defineix \(H_{\text{stop}}\) és la de màxima entropia entre les que tenen un màxim igual a \(p_{\min}\), i aquest llindar decreix quan el màxim augmenta, de manera que \(\max_i P(H_i) \geq p_{\min}\) garanteix per si sola \(H \leq H_{\text{stop}}\). Comprovar ambdues condicions és inofensiu, però redundant. Si es vol un control addicional que sí que afegeixi exigència, es pot usar un criteri de separació:

que exigeix que la hipòtesi guanyadora vagi prou per davant de la segona candidata. Convé precisar quan això afegeix alguna cosa: com que \(P(H_{\text{segona}}) \leq 1 - P(H_{\text{guanyadora}})\), la mateixa condició \(\max_i P(H_i) \geq p_{\min}\) ja garanteix una separació \(\geq 2p_{\min} - 1\). Per tant el criteri de separació només afegeix exigència si \(\Delta_{\min} > 2p_{\min} - 1\); amb \(p_{\min} = 0.80\) això exigeix \(\Delta_{\min} > 0.60\), i un \(\Delta_{\min}\) de 0.3–0.4 seria tan redundant com l'entropia. La seva utilitat real és com a alternativa a un \(p_{\min}\) alt: quan hi ha moltes hipòtesis i exigir \(\max_i P(H_i) \geq 0.80\) és poc pràctic, un màxim moderat juntament amb \(\Delta_{\min} \geq 0.3\) captura la confiança rellevant —que la guanyadora domini la segona— encara que la massa restant estigui repartida. Amb \(n = 2\), separació i \(p_{\min}\) són equivalents (\(\text{sep} = 2\max - 1\)).

7.5. Criteris addicionals de parada

A més del criteri d'entropia, el sistema ha de contemplar:

• Límit màxim de preguntes: evita sessions infinites quan la convergència és lenta.
• Guany mínim útil: si la millor pregunta disponible té \(IG < \varepsilon_{\min}\), el banc de preguntes s'ha esgotat informativament i continuar no millora el diagnòstic.
• Cobertura mínima de conceptes: assegurar que certs conceptes obligatoris hagin estat avaluats.

7.6. Reforç continu sense parada

Tot això assumeix un objectiu de diagnòstic: estimar l'estat de l'alumne i tancar-lo. En recursos de pràctica o reforç obert aquest objectiu canvia: la finalitat no és convergir i aturar-se, sinó sostenir la pràctica. En aquesta manera:

• Pot no haver-hi criteri de parada: la sessió continua mentre l'alumne practiqui.
• La probabilitat posterior no s'interpreta com un diagnòstic tancat, sinó com una estimació viva que s'actualitza amb cada resposta i pot reflectir l'aprenentatge ocorregut durant la sessió.
• \(H_{\text{stop}}\) i \(p_{\min}\) no es fan servir per tancar; com a màxim, per informar del grau de confiança assolit.
• La selecció en dues fases (§6.4 del protocol) es manté durant tota la sessió: diagnòstic mínim per categoria i, després, reforç del menys dominat.
• Convé activar l'oblit exponencial (§3.5) amb \(\lambda \approx 0.9\)–\(0.98\), perquè l'estimació segueixi l'estat actual de l'alumne i no quedi ancorada a l'evidència antiga si aprèn durant la pràctica.

Cautela per mida de mostra. Amb pocs intents, la probabilitat posterior es pot desplaçar molt per una sola resposta. Per no comunicar un domini infundat, convé exigir-ne una mostra mínima per categoria o dimensió (per exemple, 2-4 intents) abans de mostrar nivells alts de domini, i marcar com a provisional l'estimació mentre l'evidència sigui escassa. Aquesta cautela és una decisió de presentació: no altera la probabilitat posterior bayesiana, només com es tradueix a la interfície. Amb oblit actiu, la mostra mínima s'ha de comptar sobre una finestra recent (intents dins de les últimes \(1/(1-\lambda_d)\) respostes d'aquella distribució, sense ponderar; vegeu §3.5), no sobre tota la sessió: l'evidència caduca amb l'oblit, però un comptador acumulat no, i una categoria mostrejada només al principi continuaria comptant com a diagnosticada amb la seva probabilitat posterior ja atenuada. Aquest comptador amb caducitat governa les portes de domini, no allò que es mostra a l'alumne: el nombre d'exercicis resolts que veu és el total real. I si una categoria es queda sense evidència dins de la seva finestra, la seva creença ja ha tornat a la probabilitat prèvia inicial: escau presentar-la com a sense dades recents, no com una debilitat.

8. Convenció d'escala entre θ i b

8.1. El problema del punt d'inflexió

La corba logística de l'IRT 3PL té el pendent màxim a \(\theta_i = b_q\). Això significa que la pregunta \(q\) és més discriminant per a alumnes el nivell dels quals és proper a la dificultat \(b_q\).

Si el nivell extrem \(\theta_{\max}\) coincideix amb la dificultat extrema \(b_{\max}\), la pregunta més difícil situa el nivell avançat just al punt d'inflexió. En aquest punt, la probabilitat d'encert encara no és alta: amb 4 opcions i \(c_q = 0.25\), val \((1+c_q)/2 = 0.625\). Per tant, encertar aquesta pregunta confirma feblement el nivell avançat.

Això pot fer que el sistema infrautilitzi les preguntes extremes: no perquè siguin inútils, sinó perquè altres preguntes poden produir una reducció esperada d'incertesa més gran.

8.2. La regla del factor 2

Per evitar aquest problema, el rang de \(\theta\) ha de ser estrictament més gran que el rang de \(b\). En aquest sistema discret, s'adopta com a convenció pràctica:

El factor 2 és una heurística útil, no una regla universal d'IRT estàndard. Es pot ajustar segons el valor de \(a\), de \(c_q\) i de la probabilitat objectiu d'encert per als nivells extrems. Si es vol que un alumne de nivell extrem tingui una probabilitat objectiu \(P^*\) d'encertar una pregunta extrema, es pot aïllar:

Així, la separació entre escales queda justificada per una probabilitat desitjada, no per un factor fix.

Exemple. Amb 3 nivells de dificultat \(b \in \{-1,\; 0,\; +1\}\):

• Escala incorrecta: \(\theta \in \{-1,\; 0,\; +1\}\) → el nivell avançat i la pregunta difícil tenen el mateix valor; la corba logística dóna \(P(A) = (1 + c_q)/2 \approx 0.625\) per a 4 opcions, un valor mediocre per confirmar el nivell avançat.
• Escala correcta: \(\theta \in \{-2,\; 0,\; +2\}\) → el nivell avançat supera amb comoditat la dificultat extrema; \(P(A) = c_q + (1-c_q) \cdot \sigma(1.5 \cdot (2-1)) \approx 0.86\), un valor prou alt perquè la pregunta sigui informativa.

on \(\sigma(x) = 1/(1 + e^{-x})\) és la funció sigmoide estàndard.

8.3. Escala fixa i ubicació de les dificultats

La manera robusta de garantir la separació no és recalcular \(\theta\) a partir del banc, sinó fixar l'escala per convenció i situar les dificultats dins d'ella. Els valors \(\theta_i\) depenen només del nombre d'hipòtesis:

de manera que \(\theta\) recorre \(\{-(n-1), \ldots, +(n-1)\}\) amb espaiat 2 (aquesta fórmula estén la taula de §2.3 a qualsevol \(n\)). Les dificultats se situen a la meitat central de l'escala, \(b_q \in [-\theta_{\max}/2,\; +\theta_{\max}/2]\), cosa que manté la proporció del factor 2 de §8.2 per als ítems extrems amb qualsevol \(n\) (amb el matís sobre la seva dependència de \(n\) que s'explica més avall). Com que \(\theta_{\max}\) depèn de \(n\), la conversió de les dificultats qualitatives també ha de dependre de \(n\): amb \(k\) categories, es reparteixen uniformement en l'interval,

(amb \(k = 1\), \(b = 0\)). Així, amb \(n = 3\) i \(k = 3\), \(b \in \{-1, 0, +1\}\); amb \(n = 3\) i \(k = 5\), \(b \in \{-1, -0.5, 0, +0.5, +1\}\); amb \(n = 4\) i \(k = 3\), \(b \in \{-1.5, 0, +1.5\}\). Una taula de dificultats independent de \(n\) seria inconsistent: amb \(n = 2\) (\(\theta = \pm 1\)) i cinc categories fixes fins a \(b = \pm 2\), la dificultat extrema duplicaria el nivell extrem i la separació entre escales s'invertiria. Els valors numèrics de \(b_q\) fora de l'interval es retallen a ell.

Matís: el factor 2 manté la forma, no la probabilitat objectiu. Fixar \(b_q \in [-\theta_{\max}/2,\; \theta_{\max}/2]\) conserva la proporció \(\theta_{\max} = 2\,b_{\max}\) per a qualsevol \(n\), però el marge absolut entre el nivell més alt i l'ítem més difícil és \(\theta_{\max} - b_{\max} = (n-1)/2\), que depèn de \(n\). Per això la probabilitat que el nivell màxim encerti l'ítem més difícil, \(P = c_q + (1-c_q)\,\sigma\!\big(a\,(n-1)/2\big)\), no és constant (amb \(a_{\text{ef}} = 1.25\)):

Amb \(n \geq 3\) el marge n'hi ha prou perquè els ítems extrems confirmin amb folgança, però amb \(n = 2\) (domina / no domina) la confirmació és feble —0.65 en oberta, 0.77 en quatre opcions—, el mateix valor mediocre que el factor 2 pretén evitar. D'aquí dues conseqüències: (i) la comparabilitat de confiances i velocitats de convergència entre recursos que promet l'invariant \(a_{\text{ef}}\cdot\Delta\theta\) només és estricta entre recursos amb el mateix \(n\); (ii) amb \(n = 2\) convé compensar amb més preguntes —o definir l'escala des d'una probabilitat objectiu \(P^*\) amb la fórmula de §8.2— en lloc de confiar en l'espaiat fix de 2.

La regla inversa —estirar \(\theta\) fins a \(2 \cdot \max_q |b_q|\)— té dos defectes. Primer, fa que el significat de les hipòtesis depengui del banc: dos recursos amb la mateixa pedagogia però rangs de dificultat diferents produeixen confiances i velocitats de convergència no comparables, perquè la força de cada actualització la governa el producte \(a \cdot \Delta\theta\) (discriminació per separació entre hipòtesis adjacents), que quedaria sense controlar. Segon, és fràgil davant de valors atípics: una sola pregunta amb \(b = 3\) en un banc on la resta està a \(\pm 1\) estiraria \(\theta\) a \(\pm 6\) i saturaria les versemblances de totes les altres preguntes (probabilitats enganxades a \(c_q\) o a 1), de manera que una única resposta produiria salts quasi deterministes de la probabilitat posterior. Amb l'escala fixa, aquest ítem atípic simplement es retalla a la vora de l'interval i la resta del banc conserva el seu comportament. Amb \(a_{\text{ef}} = 1.25\) i intervals de 2, l'invariant \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) queda estable entre recursos. Si la majoria del banc caigués fora de l'interval, el problema és de disseny (nivells i dificultats mal definits) i s'ha de resoldre amb el docent, no estirant l'escala.

Què iguala l'invariant i què no. El producte \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) iguala el pendent màxim de la ICC entre formats, però no la força màxima de l'evidència d'una fallada. Aquesta la fixa la raó de versemblances entre hipòtesis adjacents: en el costat de la fallada, \(P(F\mid\theta) = (1-c_q)\,[1-\sigma(a(\theta-b_q))]\), el factor \(1-c_q\) es cancel·la en el quocient i la raó màxima tendeix a \(e^{a\,\Delta\theta}\) amb la \(a\) nominal \(= a_{\text{ef}}/(1-c_q)\), no amb \(a_{\text{ef}}\). Per això, amb \(\Delta\theta = 2\), una mateixa fallada en un ítem fàcil aporta raons de versemblança molt diferents segons el format: ≈ 12 en oberta (\(c_q=0\)), ≈ 28 en 4 opcions (\(c_q=0.25\)) i ≈ 148 en vertader/fals (\(c_q=0.5\)). Perquè una sola fallada no produeixi salts quasi deterministes de la probabilitat posterior —i per modelar el descuit (slip) que el 3PL pur ignora—, s'aplica també en el cas ordinal el mateix sostre de domini que en el nominal (§10.5): \(P(\text{encert}) \le 0{,}90\text{–}0{,}95\), mai 1. Amb aquest sostre, la raó de versemblança d'una fallada en el vertader/fals fàcil cau de ≈ 148 a ≈ 1 entre els nivells alts, i el cas ordinal recupera la simetria amb el nominal.

9. Exemple numèric complet

9.1. Configuració

• Hipòtesis: \(H_1\) (bàsic), \(H_2\) (mitjà), \(H_3\) (avançat)
• Valors: \(\theta_1 = -2\), \(\theta_2 = 0\), \(\theta_3 = +2\)
• Probabilitat prèvia inicial: \(\mathbf{p}^{(0)} = (0.333,\; 0.333,\; 0.333)\)
• Paràmetre de discriminació: \(a = 1.5\)
• Criteri de parada: \(p_{\min} = 0.80\), amb un mínim de 2 preguntes abans de poder finalitzar
• Simplificació de l'exemple: per no recarregar els càlculs, aquest exemple no aplica el sostre de domini \(P(A) \leq 0{,}95\) de §8.3. Una implementació real l'ha d'aplicar: afectaria \(P(A \mid H_3, Q1) = 0{,}992 \to 0{,}95\) (amb \(P(F) = 0{,}008 \to 0{,}05\)) i \(P(A \mid H_3, Q2) = 0{,}964 \to 0{,}95\), suavitzant les probabilitats posteriors després d'una fallada.
• Banc de preguntes (simplificat):

9.2. Càlcul de versemblances

Per a cada parell \((\theta_i, b_q)\) calculem \(P(A \mid \theta_i, q)\) amb la fórmula IRT 3PL, \(a = 1.5\), \(c = 0.25\):

Per Q1 (\(b_1 = -1\)):

Per Q2 (\(b_2 = 0\)):

Per Q3 (\(b_3 = +1\)):

9.3. Selecció de la primera pregunta

Amb probabilitat prèvia uniforme \(\mathbf{p} = (0.333, 0.333, 0.333)\), calculem el guany d'informació per a cada pregunta.

Entropia inicial:

Per Q1 (\(b = -1\)):

Probabilitats posteriors després d'encert:

Entropia posterior si encerta:

Probabilitats posteriors després de la fallada:

Entropia posterior si falla:

Guany d'informació:

Resum de guanys (seguint el mateix procediment per a Q2 i Q3):

Amb \(c_q = 0.25\), la probabilitat d'encert per atzar trenca la simetria entre preguntes fàcils i difícils: una fallada en una pregunta fàcil és molt diagnòstica, mentre que un encert en una pregunta difícil encara es pot explicar parcialment per atzar. En aquesta configuració, el sistema selecciona Q1, encara que Q2 queda pràcticament empatada.

9.4. Primera resposta: fallada en Q1

L'alumne falla Q1. Actualitzem:

Entropia després de la fallada:

L'entropia ha baixat de 1.585 a 0.764 bits. El sistema sospita amb força que l'alumne és de nivell bàsic.

9.5. Segona pregunta i encert en Q2

Amb \(\mathbf{p}^{(1)} = (0.809, 0.180, 0.011)\), el sistema torna a calcular els guanys per a Q2 i Q3 (Q1 ja s'ha fet servir). El dubte real ara és entre \(H_1\) i \(H_2\), perquè \(H_3\) ha quedat gairebé descartat: la pregunta més útil és la que millor separi aquestes dues hipòtesis. És Q2 (\(b = 0\)), amb \(IG = 0{,}065\) bits, davant dels \(0{,}020\) de Q3, la dificultat de la qual discrimina sobretot davant del nivell avançat, que ja no competeix.

L'alumne encerta Q2 (de dificultat mitjana). Actualitzem amb \(P(A \mid H_i, Q2) = (0.286, 0.625, 0.964)\):

L'encert en la pregunta mitjana desplaça part de la probabilitat cap a \(H_2\), però la fallada inicial en una pregunta fàcil segueix pesant molt. El diagnòstic queda entre bàsic i mitjà-baix.

9.6. Evolució de la sessió

Noteu que l'encert a la pregunta mitjana ha pujat l'entropia respecte al pas 1: l'evidència ha repartit més la probabilitat entre \(H_1\) i \(H_2\), augmentant la incertesa. Això és correcte: el sistema segueix descartant gairebé del tot el nivell avançat, però ara dubta més entre bàsic i mitjà.

Amb \(p_{\min} = 0.80\) i \(n = 3\), el llindar és \(H_{\text{stop}} = 0.92\) bits. L'entropia actual (1.080 bits) és per sobre del llindar, així que el test continua.

10. Hipòtesis no jeràrquiques

La funció logística IRT 3PL assumeix que les hipòtesis tenen un ordre: més θ significa més nivell. Això és adequat per avaluar domini, però no quan les hipòtesis són categories alternatives sense relació d'ordre entre elles. Poden ser errors conceptuals, estratègies de resolució, diferents causes possibles d'un mateix error o àrees temàtiques sense jerarquia entre elles. Si aquestes categories són realment alternatives, es poden modelar com a hipòtesis mútuament excloents. Si, en canvi, diversos errors poden coexistir, no s'han de forçar dins d'una sola llista nominal: convé passar a un model multifactorial o a una distribució sobre perfils complets.

Exemple. Suposem tres hipòtesis:

• \(H_A\): confon massa amb pes
• \(H_B\): confon velocitat amb acceleració
• \(H_C\): domini correcte

En aquest cas no hi ha una escala única de «més o menys nivell». La funció logística no és pas el model apropiat.

Alternativa. Definir les versemblances directament segons el diagnòstic esperat de cada pregunta:

Aquestes versemblances les defineix el docent o la IA a partir del coneixement sobre quins errors produeix cada confusió. La actualització bayesiana és idèntica; només canvia la font de les versemblances.

10.1. Estructura de dades

Per operar amb hipòtesis no jeràrquiques excloents se substitueix l'estructura paramètrica (\(a\), \(b_q\), \(c_q\) per pregunta, §4) per una matriu de versemblança explícita. Donat un conjunt d'hipòtesis \(\{H_1, \ldots, H_n\}\) i un banc de preguntes \(\{q_1, \ldots, q_m\}\), el model queda completament especificat per una matriu \(\mathbf{M}\) de mida \(m \times n\) les entrades de la qual són la probabilitat d'encert de cada pregunta sota cada hipòtesi:

Cada pregunta aporta així una fila de la taula de l'exemple anterior. Aquesta matriu és l'equivalent de la ICC (§4.2) del cas ordenat, però llegida d'una taula en lloc de calculada amb una funció logística. Si es vol aprofitar quin distractor concret ha triat l'alumne —i no només encert/error—, cada pregunta defineix a més una distribució \(P(R = r \mid H_i, q)\), amb les respostes sumant 1 per a cada parell \((q, i)\).

Si els errors poden coexistir, el mateix principi s'aplica sobre perfils en lloc d'hipòtesis simples. Amb \(k\) factors binaris apareixen fins a \(2^k\) perfils possibles, i l'estructura de dades passa a ser una matriu \(P(R = r \mid \pi_j, q)\), on \(\pi_j\) és un perfil complet. A la pràctica això també es pot factoritzar en diverses dimensions paral·leles si les interaccions entre errors són febles. La decisió no requereix que el docent conegui aquesta distinció: la IA utilitza factors independents quan cada error s'evidencia i s'interpreta per separat, i perfils complets quan la combinació d'errors canvia la resposta esperada, un error n'emmascara un altre o la intervenció pedagògica depèn de la combinació. Si \(2^k\) perfils resulta immanejable, s'agrupen factors relacionats o es diagnostica per fases.

10.2. Substitució en la resta del procediment

La resta de la metodologia funciona sense canvis, substituint cada aparició de la versemblança paramètrica \(P(A \mid \theta_i, q)\) de la ICC (§4.2) per l'entrada corresponent de la matriu \(M_{qi} = P(A \mid H_i, q)\):

• Actualització bayesiana (§3): idèntica; la regla \(P(H_i \mid R) \propto P(R \mid H_i)\, P(H_i)\) no depèn que les hipòtesis estiguin ordenades.
• Selecció de pregunta (§6): l'entropia \(H(\mathbf{p})\) i el guany esperat \(IG(q)\) estan definits sobre qualsevol distribució discreta; es calcula la predictiva posterior de cada pregunta candidata amb \(M_{qi}\) o amb \(P(R=r \mid \pi_j, q)\). Si l'estat es reparteix en dimensions paral·leles, el guany s'ha d'agregar a més entre elles; això es detalla a sota.
• Criteri d'aturada (§7): el llindar \(H_{\text{stop}}\) transfereix directament, ja que opera sobre l'entropia de la probabilitat posterior sobre \(\{H_i\}\), sigui quin sigui el significat de les hipòtesis.
• Person-fit (§11.7): se substitueix \(p_q = P(A \mid \hat\theta, q)\) per \(p_q = P(A \mid \hat H, q) = M_{q\hat H}\), la fila de la hipòtesi més probable. Les expressions de \(l_0\), \(\mathbb{E}[l_0]\), \(\mathrm{Var}[l_0]\) i \(l_z\) es mantenen.
• Validació Monte Carlo (§11.8): es generen respondents sintètics de tipus \(H_i\) o de perfil \(\pi_j\) simulant cada resposta a partir de la distribució que correspongui al model; la matriu de confusió es construeix després sobre hipòtesis excloents o sobre perfils complets, segons el disseny.

Agregació del guany amb dimensions paral·leles

Suma dins de cada bloc. El guany es calcula per distribució i s'agrupa en blocs pedagògics \(B\) —per exemple, nivell, errors i categories—:

Dins de cada bloc, aquesta suma és coherent amb l'entropia conjunta factoritzada. Sobre l'abast i els límits d'aquesta factorització, vegeu §10.6.

Normalització entre blocs. Entre blocs, en canvi, la suma crua deixaria que el nombre de dimensions dominés la decisió: un bloc de sis categories acumula més bits que una única dimensió de nivell pel simple fet de tenir més sumands. Per evitar-ho, cada bloc es normalitza per la seva millor candidata del moment i es maximitza una utilitat ponderada:

Els pesos. Els \(w_b\) els decideix la IA segons la finalitat educativa —per defecte, \(0{,}7\) per al bloc central d'aquesta finalitat i \(0{,}3\) repartit entre els altres; iguals per bloc si la finalitat és mixta— i es redistribueixen proporcionalment des dels blocs ja decidits cap als encara incerts. No se sol·liciten al docent.

Quan un bloc queda decidit. En assolir el seu criteri de confiança: el de nivell, amb \(\max_i p_i \geq p_{\min}\) i el mínim de preguntes; el d'errors, amb tots els seus factors fora de la zona indeterminada i amb la seva mostra mínima.

Dues cauteles. La primera: \(U(q)\) no està en bits, perquè la normalització porta a 1 la millor candidata de cada bloc encara que el seu \(IG_b\) sigui minúscul; per això el criteri d'aturada per guany mínim s'ha d'avaluar sobre la suma crua \(\sum_b IG_b(q)\), mai sobre \(U(q)\). La segona: un bloc gairebé exhaurit pot quedar sobrerepresentat just abans de creuar el seu criteri de decidit; com a alternatives més robustes, es pot fer servir la mitjana \(IG_b/|b|\) sobre guanys crus, o normalitzar per l'entropia restant \(H_b\) en lloc del màxim.

Aturada per distribució. L'aturada s'avalua per distribució o per factor quan correspongui: cadascun queda decidit quan la seva marginal surt de la zona indeterminada amb mostra mínima, i els no decidits es reporten com a indeterminats.

10.3. Report del diagnòstic

L'únic que no transfereix és el resum de la probabilitat posterior com un punt sobre una escala. Amb hipòtesis ordenades es reporta el valor esperat \(\mathbb{E}[\theta] = \sum_i p_i\, \theta_i\) (i un nivell o color derivat d'ell); amb hipòtesis nominals aquest promig ponderat no té sentit.

Si el model és nominal excloent, es pot reportar la hipòtesi de màxima probabilitat posterior (MAP), \(\hat H = \arg\max_i p_i\), i la seva probabilitat \(p_{\hat H}\) com a confiança. Quan dues hipòtesis competeixen, mostrar la distribució posterior completa sobre \(\{H_i\}\) informa més que una sola etiqueta.

Si el model és multifactorial, l'informe final s'ha de fer per factor: per a cada error se'n calcula la probabilitat marginal i es classifica com a present, absent o indeterminat segons el llindar de confiança triat. El resum global passa llavors a ser un perfil d'errors (per exemple, «presenta 2 dels 3 errors analitzats») i no una sola etiqueta guanyadora. Cautela amb la probabilitat prèvia informativa: amb \(P(\text{error}) \approx 0{,}2\)–\(0{,}3\), la classificació «absent» arrenca ja a 0,7–0,8 sense cap evidència, de manera que el llindar de confiança no basta per si sol. Cal exigir a més una mostra mínima d'evidència sobre aquell factor, i el report ha de distingir «absent confirmat» (amb evidència) de «sense evidència suficient» (el valor per defecte de la probabilitat prèvia).

10.4. Límits de calibratge de la matriu

Les entrades \(M_{qi}\) les defineix a priori el docent o la IA a partir del coneixement didàctic sobre quins errors produeix cada confusió; no estan calibrades amb dades de resposta reals. Això arrossega les mateixes cauteles que §11.1 i n'afegeix una: a diferència del cas paramètric, no hi ha «valors per defecte contrastats» (\(a_{\text{ef}} = 1{,}25\) amb la \(a\) derivada per ítem, \(c_q \approx 1/m_q\)) als quals recórrer —cada cel·la de la matriu és un judici específic—. En conseqüència:

• els errors en la matriu es propaguen directament a la probabilitat posterior, sense el suavitzat que aporta una forma funcional paramètrica;
• la validació Monte Carlo (§11.8) mesura la separabilitat interna d'aquesta matriu, no la seva correspondència amb la realitat (mateixa circularitat que §11.8);
• si es disposés de dades d'una mostra d'alumnes, les entrades es podrien estimar (per exemple, com a freqüències relatives de cada opció de resposta entre alumnes classificats de manera independent en cada error conceptual, o mitjançant un procediment de classes latents / EM), però aquesta estimació queda fora d'aquesta metodologia. De fet, la distribució sobre perfils complets de \(2^k\) factors és formalment un model de diagnòstic cognitiu de classes latents, i la variant en què un error atrau cap a un distractor concret segueix la lògica dels models DINA/DINO (Junker i Sijtsma, 2001; de la Torre, 2009); aquesta literatura conté precisament les tècniques de calibratge de la matriu que aquí queden fora d'abast.

10.5. Criteri d'assignació de les versemblances

Com que els valors \(M_{qi}\) no surten d'una fórmula (§10.4), convé fixar-los amb un criteri explícit. Cada cel·la respon a una única pregunta: «si l'alumne tingués \(H_i\), amb quina probabilitat encertaria \(q\)?».

1. Relació pedagògica pregunta–hipòtesi. El valor depèn de si la pregunta activa l'error conceptual: si \(q\) ataca just el concepte que \(H_i\) distorsiona, l'alumne tendeix a fallar i \(M_{qi}\) és baixa; si \(q\) no té relació amb aquest error, no interfereix i \(M_{qi}\) és alta (semblant a la fila de domini); en casos intermedis, un valor central. Cada fila \(H_i\) ha de mostrar així la signatura d'aquest error —baixa on el corromp, alta on no arriba—; una fila plana indica que la pregunta no distingeix aquesta hipòtesi.

2. Ancoratges. Cada cel·la queda acotada entre dos límits: un terra d'atzar \(M_{qi} \geq 1/m\) quan el fall prové de respondre a l'atzar (amb \(m\) opcions, qui respon a l'atzar no baixa d'aquesta probabilitat; és el paper de \(c_q\) a §4.2) —amb l'única excepció del punt 3— i un sostre de descuit per a la hipòtesi de domini, \(\approx 0.90\text{–}0.95\), mai \(1\) exacte.

3. Estructura de distractors. Si la pregunta és d'opció múltiple i un dels distractors és exactament la resposta que produeix \(H_i\), l'alumne no encerta a l'atzar sinó que és atret cap a aquesta opció equivocada: llavors \(M_{qi}\) cau per sota del terra d'atzar. El criteri no és només «fallarà?», sinó «quina resposta equivocada genera aquest error i és entre les opcions?».

4. Trams gruixuts. Per a Bayes el decisiu no és el decimal exacte sinó la separació: en una pregunta que discrimina, la hipòtesi correcta ha de superar clarament la que l'error fa fallar. N'hi ha prou de treballar per trams:

En el cas ordenat aquest mateix judici està empaquetat dins la dificultat \(b_q\) i la logística; el cas nominal només el fa explícit cel·la a cel·la. Un cop plena la matriu, la validació Monte Carlo (§11.8) comprova si el conjunt de judicis separa les hipòtesis, sense necessitat de dades reals.

10.6. Factorització de l'estat i els seus límits

Quan l'estat de l'alumne es representa amb diverses distribucions paral·leles —una d'ordinal de nivell i una o més de diagnòstiques per factor o dimensió (§2.4, §10.1)—, la creença conjunta que el sistema manté és, per construcció, un producte de marginals:

on \(x_d\) és l'estat de la distribució \(d\) (el nivell, o la presència o absència d'un factor). Aquesta representació és una aproximació factoritzada (en la literatura d'inferència aproximada, de tipus camp mitjà; en classificació, el mateix supòsit que fa naive Bayes): tracta com a independents variables que, en la distribució posterior conjunta veritable, poden estar correlacionades, precisament perquè s'actualitzen amb evidència compartida.

Què és exacte sota la factorització. L'entropia de la creença mantinguda és la suma de les entropies marginals, \(H(B) = \sum_d H(p_d)\), i després de cada actualització la creença torna a ser un producte de marginals. Per tant, la suma de guanys dins d'un bloc, \(IG_b(q) = \sum_{d \in b} IG_d(q)\) (§10.2), mesura exactament la reducció d'entropia de la creença que el sistema manté. En aquest sentit la suma no és un error: és la magnitud correcta per a la representació triada.

Què no és exacte. L'entropia conjunta veritable satisfà la subadditivitat,

amb igualtat només si les variables són independents. Quan una mateixa resposta \(r\) informa sobre diverses distribucions, la informació conjunta que aporta es descompon per la regla de la cadena, \(I(r; X_1, \ldots, X_k) = \sum_d I(r; X_d \mid X_1, \ldots, X_{d-1})\), que no coincideix en general amb la suma d'informacions marginals \(\sum_d I(r; X_d)\): pot ser menor (evidència redundant entre distribucions) o major (evidència sinèrgica). La suma factoritzada ignora tots dos efectes. D'aquí se'n deriven tres conseqüències pràctiques:

• La suma crua \(\sum_b IG_b(q)\) usada en el criteri de parada per guany mínim (§7.5) és una aproximació de la informació conjunta, no el seu valor exacte. Com a indicador d'esgotament del banc continua sent vàlida: si la suma és minúscula, cada guany marginal també ho és, i cap distribució mantinguda no pot millorar de manera apreciable.
• La utilitat combinada \(U(q) = \sum_b w_b\, \widetilde{IG}_b(q)\) (§10.2) s'ha d'interpretar com una funció de prioritat pedagògica, no com un guany d'informació conjunta. Els seus pesos i la seva normalització ja la situen fora de l'escala de bits; aquesta subsecció fa explícit que tampoc dins de l'escala de bits la suma entre blocs no tindria interpretació conjunta rigorosa.
• Les confiances marginals no componen una probabilitat conjunta: en general \(P(\text{nivell} = H_i,\ \text{error}_j\ \text{present}) \ne p_i \cdot P(\text{error}_j)\). Per això el report final es fa per factor o per bloc sobre marginals (§10.3), sense afirmar mai una confiança conjunta, i les combinacions es presenten com a matisos coherents («domina X, tot i que persisteix l'error Y»), no com a troballes independents.

Solapament d'evidència en el model combinat. En el perfil que uneix nivell i errors, el resultat global (encert o fallada) alimenta la distribució de nivell i el distractor triat alimenta els factors d'error. Aquests dos canals no són independents: triar un distractor diagnòstic implica la fallada global. La regla d'atribució d'evidència —cada subcriteri alimenta només la seva dimensió (§2.4)— elimina la duplicació directa, però no la dependència estadística entre canals; part de la informació que la suma \(IG_b\) atribueix per separat a nivell i a errors és compartida. El biaix resultant en la selecció afavoreix ítems que actualitzen diverses distribucions alhora; les alternatives de ponderació de §10.2 (mitjana per dimensió, normalització per l'entropia restant), tot i que pensades contra la sobrerepresentació del bloc gairebé exhaurit, també atenuen aquest efecte quan resulta visible.

Remeis. El remei exacte ja forma part de la metodologia: quan els factors interactuen de manera forta, quan un error n'emmascara un altre o quan la intervenció depèn de la combinació, se substitueixen les distribucions paral·leles per una única distribució sobre perfils complets (§10.1). Sobre aquesta distribució, l'entropia, el guany d'informació i el criteri de parada operen sobre la distribució posterior conjunta real, i el problema descrit desapareix a canvi del cost de mantenir \(2^k\) perfils. El remei pràctic, quan la factorització es conserva per tractabilitat, consisteix en les salvaguardes anteriors: atribució disjunta de l'evidència (§2.4), utilitat combinada tractada com a prioritat i no com a bits, parada i report per marginals, i comprovació de coherència del resultat.

El comportament esperable és el conegut en els models de tipus naive Bayes: les decisions (què preguntar, què reforçar) solen ser adequades fins i tot amb correlacions moderades, però les probabilitats marginals poden resultar sobreconfiades respecte de la distribució posterior conjunta veritable. Les salvaguardes de §11 cobreixen aquest flanc sense dades empíriques: el person-fit (§11.7) detecta patrons incompatibles amb la creença declarada, i la validació Monte Carlo (§11.8), quan simula des de perfils complets, revela si la versió factoritzada del disseny confon combinacions de factors que el model conjunt separaria.

11. Límits i validació del model

11.1. Calibratge inicial

Els paràmetres \(a\), \(b_q\) i \(c_q\) es generen automàticament a partir de valors per defecte i de l'estructura de cada pregunta (§4). Són estimacions a priori, no mesures empíricament calibrades: un alumne real pot respondre de manera diferent del que prediu el model. Si es disposés de dades de resposta d'una mostra àmplia d'alumnes, els paràmetres podrien refinar-se mitjançant mètodes d'estimació IRT, però això no forma part d'aquesta metodologia. No obstant això, l'ús de valors per defecte contrastats està recolzat per la literatura en TRI com a punt de partida raonable en absència de dades empíriques: en aquesta metodologia no es fixa la discriminació directament com \(a = 1{,}5\), sinó que es fixa la discriminació efectiva \(a_{\text{ef}} = 1{,}25\) i es deriva la \(a\) de cada ítem amb \(a = a_{\text{ef}}/(1 - c_q)\) (§4.4), amb \(c_q \approx 1/m_q\) (vegeu §4.2 i §12).

11.2. Independència condicional

L'actualització bayesiana seqüencial assumeix que les respostes són condicionalment independents donada la hipòtesi veritable: conèixer \(H_i\) fa irrellevant la correlació entre respostes. Aquesta assumpció es viola quan:

• Les preguntes tracten el mateix concepte molt específic i la resposta a una dona pistes sobre la següent.
• L'alumne aprèn durant el test (la hipòtesi veritable canvia).
• L'alumne respon a l'atzar en preguntes que no ho sap, amb patrons que depenen de la fatiga o del temps.

11.3. Estabilitat de les hipòtesis

El model assumeix que l'estat de l'alumne no canvia durant la sessió. En sessions curtes d'avaluació diagnòstica això és raonable. En sessions llargues d'aprenentatge adaptatiu, l'alumne pot millorar durant la mateixa interacció, cosa que faria que la probabilitat posterior convergís cap a una hipòtesi que ja no reflecteix l'estat actual. Aquest límit es mitiga amb l'actualització amb oblit exponencial, o amb un model de transició explícit, descrits a §3.5: tots dos eviten que l'evidència antiga bloquegi el seguiment d'un estat que canvia.

11.4. Respostes a l'atzar

Si l'alumne respon a l'atzar sistemàticament, el paràmetre \(c_q\) només protegeix parcialment: en incorporar el sòl d'atzar a les versemblances, evita que un encert per casualitat es llegeixi com a evidència forta de domini, però no elimina el soroll. Amb prou respostes aleatòries, la probabilitat posterior pot convergir cap a hipòtesis incorrectes.

11.5. Nombre mínim de preguntes

Amb poques preguntes, la probabilitat posterior pot quedar esbiaixada per coincidències (una ratxa d'encerts o errors no representatius). Imposar un nombre mínim de preguntes abans d'activar el criteri de parada, redueix aquest risc, a costa d'allargar la sessió.

11.6. El model no substitueix el criteri docent

El sistema produeix una estimació probabilística, no una veritat absoluta. Els resultats han d'interpretar-se com una ajuda a la decisió educativa, especialment quan:

• La sessió va ser curta o el banc de preguntes era petit.
• L'entropia final supera el llindar \(H_{\text{stop}}\) (diagnòstic provisional).
• L'alumne va mostrar un patró de resposta inusual.
• Les preguntes no havien estat calibrades amb dades reals.

11.7. Validació de l'ajust individual (person-fit)

Els límits §11.2–§11.5 descriuen situacions en què un alumne concret pot no ajustar-se al model. Convé detectar-les de manera quantitativa, sense dades empíriques externes, a partir del propi patró de respostes de la sessió: això és el que mesura un estadístic d'ajust de la persona (person-fit).

Sigui un alumne que ha respost \(N\) preguntes, amb resultat \(x_q \in \{0, 1\}\) (encert/error) a la pregunta \(q\), i sigui \(p_q = P(A \mid \hat\theta, q)\) la probabilitat d'encert que el model assigna a aquesta pregunta sota el nivell estimat \(\hat\theta\) (la hipòtesi més probable de la distribució posterior final). La log-versemblança observada del patró és:

Si l'alumne fos realment del nivell \(\hat\theta\), aquesta quantitat tindria valor esperat i variància:

L'índex estandarditzat \(l_z\) (Drasgow, Levine i Williams, 1985) és:

que, sota el model, es distribueix aproximadament com \(N(0, 1)\). Valors molt negatius (orientativament \(l_z < -2\)) assenyalen un patró improbable sota el nivell estimat —típicament, encertar preguntes difícils i fallar les fàcils, descuits o respostes a l'atzar—: el diagnòstic, encara que la probabilitat posterior el doni com a segur, pot no ser fiable per a aquest alumne. Valors propers a \(0\) indiquen coherència.

Això quantifica el senyal qualitatiu de §11.6: l'entropia mesura com de concentrada està la creença del model, però no si el patró observat és compatible amb aquesta creença; el person-fit cobreix aquest flanc. Limitació: \(l_z\) és una aproximació asimptòtica; amb poques preguntes la seva distribució s'allunya de la normal i el llindar és orientatiu, un senyal de cautela, no una prova formal. En tests adaptatius la calibració és encara més delicada: la selecció tendeix a presentar ítems prop de la zona de màxima incertesa i l'índex es calcula fent servir el nivell estimat, no el veritable. Existeixen correccions i procediments específics per a aquesta situació, com \(l_z^*\) i treballs de person-fit en CAT, però aquí es manté \(l_z\) només com a alerta pràctica de baixa fiabilitat.

11.8. Validació del disseny per simulació (Monte Carlo)

El person-fit valida el diagnòstic d'un alumne concret; una qüestió diferent és si el test en conjunt —banc i paràmetres— separa bé els nivells. Com que els paràmetres són a priori i no calibrats (§11.1), no es pot respondre amb dades reals, però sí examinar el comportament del propi model mitjançant simulació de Monte Carlo. En recursos diagnòstics o que decideixen promoció d'etapa, aquesta comprovació ha de quedar disponible per a l'autor del recurs: si la IA pot executar codi, l'executa en generar el recurs; si treballa en un xat sense execució, deixa una utilitat separada o una vista docent/autora per executar-la al navegador i marca el disseny com a pendent de validar.

El procediment genera respondents sintètics situats en el \(\theta_i\) de cada hipòtesi. Per a un respondent de nivell \(\theta_i\), cada resposta es simula com un assaig de Bernoulli amb probabilitat \(P(A \mid \theta_i, q)\) donada per la ICC (§4.2), aplicant-li la mateixa selecció adaptativa (§6) i el mateix criteri d'aturada (§7) que a un alumne real. En models nominals o multifactorials es simula des de la distribució de resposta de cada hipòtesi o perfil. Repetint-ho moltes vegades per nivell, hipòtesi o perfil s'estima la matriu de confusió:

La diagonal \(C_{ii}\) és la taxa d'encert per nivell; els elements fora de la diagonal, les confusions. D'ella es deriven l'exactitud global, l'exactitud equilibrada, la taxa de resultats indeterminats i la longitud mitjana del test. Com a valor operatiu per defecte, convé utilitzar almenys 500 simulacions per hipòtesi o perfil (1000 si el navegador ho permet amb fluïdesa). Si alguna hipòtesi rellevant queda per sota de 0.70 de classificació correcta sota el propi model, o si dues hipòtesis es confonen de manera sistemàtica, el banc no s'ha de presentar com a ben separat: cal afegir ítems, revisar dificultats o versemblances, o declarar la limitació.

Límit essencial: els respondents es generen amb el mateix model que després els classifica, de manera que no és una validació empírica. Mesura la coherència interna i la separabilitat del disseny —si ni tan sols respondents ideals situats en el \(\theta\) de cada nivell es distingeixen bé, el banc no discrimina aquests nivells—, però no garanteix que els \(\theta_i\) i les dificultats \(b_q\) corresponguin a la realitat. És, en termes bayesians, una comprovació pre-posterior del procediment de decisió. Per a validesa real encara calen dades d'alumnat (§11.1). Tot i així, és un diagnòstic del disseny valuós i barat, calculable abans d'aplicar el test a ningú.

Referències i lectures addicionals

• Birnbaum, A. (1968). Some latent trait models and their use in inferring an examinee's ability. A Lord & Novick, Statistical Theories of Mental Test Scores. Addison-Wesley. [Model logístic de tres paràmetres; referència fundacional de la TRI.]
• Rasch, G. (1960). Probabilistic Models for Some Intelligence and Attainment Tests. Danmarks Paedagogiske Institut. [Reeditat per University of Chicago Press, 1980; model de dificultat dels ítems.]
• Cover, T. M. & Thomas, J. A. (2006). Elements of Information Theory (2a ed.). Wiley. [Entropia de Shannon i informació mútua.]
• Corbett, A. T. & Anderson, J. R. (1995). Knowledge tracing: Modeling the acquisition of procedural knowledge. User Modeling and User-Adapted Interaction, 4(4), 253–278. [Model de transició de dos estats (Bayesian Knowledge Tracing); seguiment d'un estat que canvia durant la pràctica.]
• van der Linden, W. J. & Hambleton, R. K. (Eds.) (1997). Handbook of Modern Item Response Theory. Springer. [Referència enciclopèdica de models i aplicacions de la TRI.]
• van der Linden, W. J. & Glas, C. A. W. (Eds.) (2010). Elements of Adaptive Testing. Springer. [Selecció adaptativa d'ítems i informació.]
• Drasgow, F., Levine, M. V. & Williams, E. A. (1985). Appropriateness measurement with polychotomous item response models and standardized indices. British Journal of Mathematical and Statistical Psychology, 38(1), 67–86. [Índexs estandarditzats d'ajust de la persona (person-fit), \(l_z\).]
• Snijders, T. A. B. (2001). Asymptotic null distribution of person fit statistics with estimated person parameter. Psychometrika, 66(3), 331–342. DOI: 10.1007/BF02294437. [Correcció de l'ajust de persona quan el paràmetre s'estima.]
• van Krimpen-Stoop, E. M. L. A. & Meijer, R. R. (2002). Detection of person misfit in computerized adaptive tests with polytomous items. Applied Psychological Measurement, 26(2), 164–180. [Person-fit en tests adaptatius.]
• Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometrika Monograph Supplement, 34(4, Pt. 2). [Graded Response Model (GRM); model politòmic canònic per a respostes graduades i crèdit parcial, alternativa estàndard a la versemblança geomètrica de §4.8.]
• Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47(2), 149–174. [Partial Credit Model (PCM); model politòmic per a puntuació per crèdit parcial.]
• Junker, B. W. & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25(3), 258–272. [Models de diagnòstic cognitiu DINA/DINO; classes latents sobre atributs, marc del diagnòstic multifactorial de §10.]
• de la Torre, J. (2009). DINA model and parameter estimation: A didactic. Journal of Educational and Behavioral Statistics, 34(1), 115–130. [Estimació del model DINA; tècniques de calibratge de la matriu que §10.4 deixa fora d'abast.]
• López Pina, J. A. (2026). Teoría de la Respuesta al Ítem: Fundamentos y modelos. Editum. Ediciones de la Universidad de Murcia. DOI: 10.6018/editum.3178. [En castellà; accés obert. TRI: fonaments i models.]
• Wainer, H. (Ed.) (2000). Computerized Adaptive Testing: A Primer (2a ed.). Lawrence Erlbaum. [Fonaments de l'avaluació adaptativa.]
• Gelman, A. et al. (2013). Bayesian Data Analysis (3a ed.). CRC Press. [Inferència bayesiana general.]

Com citar aquest document (APA 7): de Haro, J. J. (2026). Fonaments matemàtics dels sistemes educatius adaptatius bayesians (versió 2.1). https://jjdeharo.github.io/recursos-adaptativos/matematicas_ca.html