Juan José de Haro · bilateria.org · bilateria.org
Versió 2.0
Fonament matemàtic del protocol d'avaluació adaptativa. Les seccions 1–6 desenvolupen la teoria completa; la secció 9 ofereix un exemple numèric pas a pas.
Un sistema d'avaluació tradicional assigna les mateixes preguntes a tots els alumnes en el mateix ordre. Això genera dues ineficiències:
L'avaluació adaptativa resol això seleccionant a cada moment la pregunta més informativa atès el que ja se sap de l'alumne. Per això necessita tres ingredients:
Aquest document descriu la matemàtica darrere de cadascun d'aquests tres ingredients.
En lloc d'assignar a l'alumne un valor fix (una nota, una etiqueta), el sistema en manté una distribució de probabilitats sobre un conjunt d'hipòtesis. En el cas clàssic aquestes hipòtesis són mútuament excloents i exhaustives; quan diversos errors poden coexistir, l'estat es representa millor mitjançant diverses dimensions en paral·lel o mitjançant una distribució sobre perfils complets.
Sigui \(\mathcal{H} = \{H_1, H_2, \ldots, H_n\}\) el conjunt d'hipòtesis possibles. Per exemple:
A cada moment, el sistema manté un vector de probabilitats:
amb la restricció:
Aquest vector expressa el grau de creença del sistema sobre l'estat real de l'alumne, no una certesa.
Si no hi ha informació prèvia sobre l'alumne, el sistema parteix d'una distribució uniforme:
Aquesta elecció reflecteix una ignorància màxima: totes les hipòtesis són igualment plausibles abans d'observar cap resposta. Si existís informació prèvia fiable (resultats de cursos anteriors, diagnòstics previs), es podria fer servir com a distribució inicial justificada.
Per poder utilitzar la funció logística que genera les versemblances (vegeu §4), cada hipòtesi \(H_i\) necessita un valor numèric \(\theta_i\) que representi la seva posició a l'escala de domini. La convenció recomanada és centrar els valors en zero amb intervals iguals:
| \(n\) hipòtesis | Valors \(\theta_i\) |
|---|---|
| 2 | \(-1,\; +1\) |
| 3 | \(-2,\; 0,\; +2\) |
| 4 | \(-3,\; -1,\; +1,\; +3\) |
| 5 | \(-4,\; -2,\; 0,\; +2,\; +4\) |
Aquests valors són fixos i depenen només del nombre d'hipòtesis; les dificultats \(b_q\) se situen dins d'aquesta escala, no al revés. La relació exacta entre θ i b s'explica a §8.
L'estat de l'alumne no ha de ser una única distribució. Quan interessa saber no només quant domina sinó què components falla, convé mantenir diverses distribucions bayesianes en paral·lel:
Cada distribució \(\mathbf{p}^{(d)}\) sobre les hipòtesis de la dimensió \(d\) s'actualitza de forma independent amb la maquinària de §3–§4, però s'ha d'alimentar amb l'evidència que li correspon: el resultat global pot actualitzar la creença de nivell i cada subcriteri actualitza només la creença de la seva dimensió. Si un únic encert o error global depèn de diverses habilitats alhora, fer-lo servir per actualitzar diverses dimensions independents duplicaria l'evidència i atribuiria malament la causa de l'error. Això permet distingir què practicar (nivell per categoria) de què reforçar (diagnòstic per dimensió).
Cada dimensió pot tenir el seu propi sòl d'atzar \(c^{(d)}\) (vegeu §4.6–4.7), per la qual cosa un mateix valor latent \(\theta\) produeix percentatges visibles diferents segons la dimensió. Els percentatges entre dimensions no són directament comparables; entre dimensions ordinals, la referència comuna és \(\theta\). En factors nominals d'error no existeix una \(\theta\) amb significat: el seu resum són les probabilitats marginals i l'estat (present, absent, indeterminat), i no s'ha de calcular una \(\theta\) esperada per a ells (§10.3). Les dimensions que poden coexistir no s'han de forçar dins d'una sola distribució: es modelen per separat (vegeu §9 del protocol).
Convé situar això davant del model clàssic. La TRI i els models de Rasch assumeixen unidimensionalitat (tots els ítems mesuren un únic atribut latent) i independència local (a un nivell d'habilitat donat, la resposta a un ítem no depèn de les respostes als altres). Sota aquests supòsits, una sola distribució sobre \(\theta\) descriu completament l'alumne. L'estat multidimensional descrit aquí estén aquest marc: en lloc de forçar diversos atributs dins d'una única dimensió —cosa que violaria la independència local—, manté una distribució separada per cada dimensió i conserva la independència local dins de cadascuna. És una generalització deliberada, no un incompliment del model.
Quan l'alumne respon una pregunta, aquesta resposta és una evidència que ha de modificar la nostra estimació del seu estat. El mecanisme d'actualització és el teorema de Bayes:
on:
A la pràctica, la resposta \(R\) és binària: encert (A) o fallada (F). L'actualització pren la forma:
Noteu que el denominador és simplement una constant de normalització. En la implementació, només cal calcular els numeradors per a tots els \(i\) i dividir per la seva suma.
Si l'alumne respon diverses preguntes, el procés s'aplica de manera seqüencial: el posterior d'una pregunta es converteix en el prior de la següent. Això és matemàticament equivalent a actualitzar amb totes les respostes alhora, sempre que les respostes siguin condicionalment independents atesa la hipòtesi veritable.
Sota els supòsits habituals de coherència probabilística i actualització per evidència observada, la regla de Bayes és la manera natural d'actualitzar les probabilitats. Satisfà simultàniament:
Alternatives com les xarxes de regles o els sistemes experts clàssics no tenen aquestes propietats i poden quedar bloquejades en diagnòstics incorrectes quan l'alumne respon de manera inesperada.
L'actualització seqüencial de §3.3 dona el mateix pes a totes les respostes, la primera i l'última. Això és correcte si l'estat de l'alumne no canvia durant la sessió, però en recursos de pràctica prolongada l'alumne aprèn mentre practica (vegeu §11.3): el posterior arrossega l'evidència antiga i pot convergir cap a un estat que ja no existeix.
La correcció mínima és l'oblit exponencial ancorat al prior: abans d'incorporar cada nova resposta, s'atenua el posterior acumulat cap al prior \(\pi_i\) amb una potència \(\lambda \in (0, 1]\) i es renormalitza:
Amb \(\lambda = 1\) es recupera el Bayes estàndard de §3.3, i amb prior uniforme el factor \(\pi_i^{1-\lambda}\) és constant i la regla coincideix amb la forma simple \(p_i \leftarrow p_i^{\lambda}\) renormalitzada. Amb \(\lambda < 1\), l'evidència de fa \(k\) passos entra amb pes efectiu \(\lambda^k\): decau geomètricament, i la memòria efectiva del sistema és d'aproximadament \(1/(1-\lambda)\) respostes. Desenrotllant la recursió es comprova que el prior conserva pes exactament 1 en tot moment: l'oblit descarta evidència antiga, mai el prior. Una regla pràctica: \(\lambda = 1 - 1/W\), on \(W\) és el nombre de respostes recents que han de dominar l'estimació. Una variant d'efecte semblant és barrejar el posterior amb el prior, \(p_i \leftarrow (1-\gamma)\,p_i + \gamma\,\pi_i\); totes dues retornen una mica de massa a les hipòtesis descartades i mantenen l'estimació permeable al canvi.
Per què l'ancoratge al prior no és opcional. La forma simple \(p_i \leftarrow p_i^{\lambda}\) (o la barreja amb la uniforme) té la distribució uniforme com a punt fix: sense evidència nova, qualsevol distribució hi deriva. Amb hipòtesis de nivell i prior uniforme és innocu, però destrueix qualsevol prior informatiu. El cas més danyós és el dels factors d'error (§10): amb \(P(\text{error}) = 0{,}25\) i \(\lambda = 0{,}95\), un factor que no rebi evidència puja sol fins a \(\approx 0{,}34\) en 10 passos i \(\approx 0{,}40\) en 20, reapareixent com a «indeterminat» o «probable» sense que l'alumne hagi fet res: el mateix fals positiu que el prior informatiu del §5.1 del protocol evita. Ancorada al prior, una distribució sense evidència nova roman en el seu prior. L'atenuació s'aplica a cada distribució en cada pas de la sessió —també a les que no reben evidència en aquella resposta—, de manera que totes segueixen el pas del temps sense degradar-se cap a la uniforme.
Calibratge de \(\lambda\) amb diverses distribucions paral·leles. Atenuar totes les distribucions en cada resposta té una conseqüència que convé fer explícita: cada distribució envelleix un cop per resposta, però només rep evidència quan la resposta li correspon. Si la distribució \(d\) s'actualitza en una de cada \(K_d\) respostes, la seva memòria mesurada en intents propis és \(M_d \approx 1/\bigl(K_d\,(1-\lambda)\bigr)\), és a dir, \(K_d\) vegades menor que la memòria en respostes. Fixar un \(\lambda\) comú per a totes no les tracta igual: castiga les que s'actualitzen amb menys freqüència. Per això convé fixar la memòria objectiu \(M\) en intents de la mateixa distribució i derivar un \(\lambda\) per distribució:
Amb \(K_d = 1\) (una dimensió avaluada en cada resposta) es recupera \(\lambda = 1 - 1/M\). Amb \(M = 20\) i \(6\) categories, una dimensió avaluada sempre fa servir \(\lambda = 0{,}95\) i cada categoria fa servir \(\lambda = 0{,}95^{1/6} \approx 0{,}9915\); totes dues conserven una memòria d'uns \(20\) intents propis, encara que la finestra de la categoria abasti \(1/(1-\lambda) \approx 117\) respostes. Aplicar el \(0{,}95\) també a les categories els deixaria \(20/6 \approx 3{,}3\) intents de memòria, prou per esborrar un diagnòstic inicial de \(2\) intents per categoria.
La mateixa correcció afecta la finestra de la mostra mínima (§7.6): els intents es compten dins de les últimes \(1/(1-\lambda_d)\) respostes d'aquella distribució, i es compten sense ponderar. Un recompte ponderat per \(\lambda^k\) faria que dos intents consecutius sumessin \(1 + \lambda = 1{,}95\), incomplint un llindar enter de \(2\) i endurint la porta sense dir-ho.
Exemple. Amb prior uniforme, el posterior \((0.809,\; 0.180,\; 0.011)\) i \(\lambda = 0.9\), l'atenuació produeix \((0.782,\; 0.202,\; 0.016)\): la creença dominant es conserva, però les alternatives recuperen marge per reaccionar si el comportament de l'alumne canvia.
Quan usar-lo. En recursos diagnòstics de sessió curta, on l'estat és estable, s'ha d'usar \(\lambda = 1\): l'oblit només afegiria soroll i endarreriria la convergència. En pràctica o reforç continu (§7.6), valors de \(\lambda \approx 0.9\)–\(0.98\) fan que l'estimació segueixi l'estat actual de l'alumne. Amb oblit actiu, la confiança mostrada s'ha d'interpretar com a confiança sobre l'estat recent; l'entropia es manté una mica més alta i la sessió no es tanca sola, cosa coherent amb el mode sense parada.
L'oblit és simètric: no pressuposa que l'alumne millora, només evita que l'evidència antiga bloquegi el seguiment d'un estat que canvia. Si es vol modelar explícitament la direcció de l'aprenentatge, l'extensió natural és un model de transició (filtratge bayesià): abans de cada actualització s'aplica una matriu \(T\) amb una petita probabilitat d'ascendir de nivell —més gran, per exemple, just després de mostrar una explicació—, de manera que \(\mathbf{p} \leftarrow \text{normalitzar}\!\left(L \circ (T^{\top}\mathbf{p})\right)\). El seu cas particular de dos estats és el Bayesian Knowledge Tracing (Corbett i Anderson, 1995), el model clàssic dels tutors intel·ligents. A canvi introdueix un paràmetre més per fixar sense dades —la probabilitat d'aprendre per pas—, amb les cauteles de §11.1.
Per aplicar Bayes necessitem \(P(A \mid H_i, q)\): la probabilitat que un alumne a l'estat \(H_i\) encerti la pregunta \(q\). Aquesta probabilitat és la versemblança.
El sistema necessita generar-les automàticament a partir dels paràmetres de cada pregunta, sense que el docent empleni taules de probabilitats.
El model IRT (Item Response Theory) proporciona una família de funcions per modelar \(P(A \mid \theta, q)\). El model de tres paràmetres (3PL) és:
Els tres paràmetres són:
| Paràmetre | Nom | Significat |
|---|---|---|
| \(a\) | Discriminació | Pendent de la corba; controla quant separa la pregunta entre nivells diferents |
| \(b_q\) | Dificultat | Valor de \(\theta\) en què la probabilitat d'encert (sense atzar) arriba al 50% |
| \(c_q\) | Pseudo-atzar | Probabilitat mínima d'encert; en absència de dades empíriques, s'aproxima com a \(c_q \approx 1/m\) |
La forma logística no és només una conveniència de càlcul. La seva arrel és a la família de models de Rasch, on prendre el logaritme de la raó de probabilitats \(P/(1-P)\) produeix una escala additiva (logit) en què la probabilitat d'encert depèn únicament de la diferència \(\theta_i - b_q\). Aquesta estructura és la que dona sentit a situar el nivell de l'alumne i la dificultat de l'ítem en una mateixa escala i comparar-los. En el cas estricte de Rasch (discriminació comuna \(a\) i \(c = 0\)), aquesta propietat es coneix com a objectivitat específica: la comparació entre dos alumnes no depèn de quins ítems es facin servir, ni la comparació entre dos ítems de quins alumnes els responguin. El model de tres paràmetres generalitza la corba (permet \(a\) variable i \(c > 0\)) i relaxa aquesta objectivitat estricta, però conserva la mateixa justificació de fons per emprar la funció logística.
Quan \(\theta_i \gg b_q\) (l'alumne està molt per sobre de la dificultat), l'exponent \(e^{-a(\theta_i - b_q)} \to 0\) i:
En la implementació, aquest límit superior no es deixa arribar a 1: s'acota amb el sostre de domini \(P(A) \leq 0{,}95\) (§8.3), que modela el descuit (slip) i evita que una sola fallada en un ítem fàcil produeixi salts gairebé deterministes del posterior.
Quan \(\theta_i \ll b_q\) (l'alumne està molt per sota de la dificultat), l'exponent \(\to +\infty\) i:
Quan \(\theta_i = b_q\), l'argument de l'exponent és zero i:
Aquest és el punt d'inflexió de la corba: on el pendent és màxim i, per tant, on la pregunta és més discriminant.
El paràmetre \(a\) controla el pendent de la corba logística. El seu efecte es pot veure derivant la ICC respecte a \(\theta\):
El pendent màxim (en \(\theta = b_q\)) val:
Un valor alt de \(a\) produeix una corba més escarpada: la pregunta discrimina millor entre alumnes a prop de la dificultat, però aporta poca informació a alumnes clarament per sobre o per sota. Un valor baix produeix una corba més suau: la pregunta és útil en un rang més ampli de nivells, però discrimina menys.
Els valors habituals en psicometria oscil·len entre 0,5 i 2,5. Per a sistemes educatius de propòsit general, valors al voltant d'\(1.0\)–\(1.5\) són punts de partida raonables; a l'especificació operativa es recomana fixar \(a_{\text{ef}} = 1.25\) i derivar \(a\) des del sòl d'atzar de cada ítem.
Discriminació efectiva i barreja de formats. El pendent màxim depèn del producte \(a\,(1 - c_q)\), no de \(a\) per separat. Convé per això distingir la discriminació efectiva \(a_{\text{ef}} = a\,(1 - c_q)\) —el pendent màxim expressat sense el factor \(1/4\)— de la discriminació nominal \(a\). Quan totes les preguntes comparteixen el mateix nombre d'opcions, i per tant el mateix \(c_q\), totes dues són proporcionals i n'hi ha prou de fixar \(a\). Però si el banc barreja formats amb \(c_q\) diferent (per exemple, vertader/fals amb \(c_q = 0.5\) al costat d'ítems de 4 opcions amb \(c_q = 0.25\)), mantenir \(a\) constant fa que el pendent variï només pel format: una pregunta de vertader/fals ben construïda tindria un pendent menor que una oberta equivalent, un biaix purament mecànic i sense sentit didàctic.
Per evitar-ho es fixa la discriminació efectiva objectiu \(a_{\text{ef}}\) i s'aïlla la nominal:
Així cada pregunta conserva el mateix pendent en el seu punt d'inflexió amb independència del nombre d'opcions. Prenent \(a_{\text{ef}} = 1.25\) com a objectiu comú:
| Format | \(c_q\) | \(a = a_{\text{ef}} / (1 - c_q)\) | Pendent efectiu \(a_{\text{ef}}\) |
|---|---|---|---|
| Oberta (sense atzar) | 0 | 1.25 | 1.25 |
| 5 opcions | 0.20 | 1.5625 | 1.25 |
| 4 opcions | 0.25 | ≈1.667 | 1.25 |
| 3 opcions | 1/3 | 1.875 | 1.25 |
| Vertader/fals | 0.50 | 2.5 | 1.25 |
D'aquesta manera \(a\) no es fixa de manera arbitrària: es calcula a partir d'una discriminació efectiva objectiu i del pseudoatzar de cada pregunta. Convé aplicar aquesta regla sempre, no només quan un mateix test barreja formats. Dues preguntes —o dos recursos diferents— amb el mateix \(a\) nominal però diferent nombre d'opcions tenen pendents màxims diferents i no són comparables en aquest sentit: amb \(a = 1.5\), una pregunta de 3 opcions (\(c_q = 1/3\)) rendeix \(a_{\text{ef}} = 1.0\), mentre que una de 4 (\(c_q = 1/4\)) rendeix \(a_{\text{ef}} = 1.125\). Fixar \(a_{\text{ef}}\) i derivar \(a\) en cada cas iguala aquests pendents, però no iguala tota la informació esperada de l'ítem: aquesta informació depèn de la corba completa, del sòl d'atzar i del posterior actual. Com a objectiu es recomana \(a_{\text{ef}} = 1.25\): atès que \(c_q \leq 0.5\) en qualsevol ítem de dues o més opcions, la \(a\) nominal derivada mai no supera \(2.5\) —el cas extrem, vertader/fals, dona exactament \(a = 2.5\)— i es manté així dins del rang habitual en psicometria (0.5–2.5). Un objectiu més gran el desbordaria: \(a_{\text{ef}} = 1.5\) donaria \(a = 3.0\) en vertader/fals. Els exemples numèrics d'aquest document fan servir \(a = 1.5\) directament amb finalitats il·lustratives i, per llegibilitat, no apliquen el sostre de domini de §8.3 (vegeu la nota de §9.1).
Aquesta és la versemblança que entra a l'actualització bayesiana quan l'alumne falla.
En preguntes d'opció múltiple amb \(m_q\) opcions, es pot utilitzar \(c_q = 1/m_q\) com a aproximació inicial en absència de dades empíriques:
En un model IRT calibrat, \(c_q\) s'hauria d'estimar a partir de dades reals, perquè el pseudoatzar no sempre coincideix amb l'atzar pur: els distractors no són igualment atractius i alguns alumnes eliminen opcions abans de respondre. Aquesta probabilitat pertany a cada pregunta, no al test en conjunt. En respostes numèriques o de text exacte on l'atzar és irrellevant, es fa servir \(c_q = 0\).
Una pregunta no sempre es corregeix com un únic encert o error. Si la tasca s'avalua per diversos components \(j\) (passos, decisions o subrespostes), cadascun amb el seu propi nombre d'opcions \(m_j\) i el pes \(w_j\), la mitjana ponderada dels atzars de cada component no és la probabilitat d'encertar l'ítem complet, sinó la puntuació parcial esperada per atzar:
Per exemple, un ítem amb tres components de pesos \((0.5,\,0.3,\,0.2)\) i opcions \((2,\,4,\,6)\) té una puntuació esperada per atzar:
Aquest agregat \(c_q\) entra a la ICC (§4.2) només si la corba s'interpreta com a puntuació esperada de l'ítem compost. Si l'ítem es corregeix com a tot-o-res, la probabilitat d'encert ple per atzar no és la mitjana sinó el producte dels atzars dels components independents: \(\tfrac12 \cdot \tfrac14 \cdot \tfrac16 \approx 0.021\). Els pesos \(w_j\) han de ser els mateixos que es fan servir per puntuar el crèdit parcial (§4.8).
Quan la resposta admet graus —no només encert o error, sinó una puntuació \(s \in [0, 1]\) obtinguda dels components ponderats— la versemblança ha d'afavorir les hipòtesis la predicció de les quals \(p_i = P(A \mid H_i, q)\) sigui compatible amb aquesta puntuació. Si només es disposa d'una puntuació agregada, una aproximació coherent és la versemblança geomètrica:
Com \(P(F \mid H_i, q) = 1 - P(A \mid H_i, q)\), escrivint \(p_i = P(A \mid H_i, q)\):
Aquesta \(L(H_i)\) substitueix la versemblança en l'actualització bayesiana de §3.2; la resta del procés (normalització inclosa) no canvia. Casos límit:
La puntuació \(s\) s'ha de calcular de manera explícita i autocorregible, normalment com a suma ponderada de subcriteris amb \(\sum_j w_j = 1\). Si l'ítem té \(J\) components aproximadament independents i es vol conservar la força de l'evidència, es pot usar \(L(H_i) \propto p_i^{sJ}(1-p_i)^{(1-s)J}\). Aquesta forma equival a tractar la resposta com a \(J\) assajos de Bernoulli independents amb la mateixa probabilitat \(p_i\) de l'ítem complet (el coeficient binomial no depèn d'\(H_i\) i es cancel·la en la normalització), per la qual cosa només és raonable si els components tenen dificultat semblant: si difereixen clarament —l'habitual en tasques per passos, on els components saturats aporten poca discriminació— sobrecompta l'evidència respecte al model per components, i convé usar un \(J\) menor que el nombre real de components (més conservador). Si es coneix el resultat de cada component, és preferible multiplicar les versemblances component a component. La psicometria disposa de models politòmics canònics per a respostes graduades —el Graded Response Model (Samejima, 1969) i el Partial Credit Model (Masters, 1982)—; la versemblança geomètrica és una aproximació més simple que s'adopta aquí perquè aquells models requereixen estimar paràmetres per categoria a partir de dades de resposta de les quals aquesta metodologia no disposa (§11.1).
Tres hipòtesis \(\theta \in \{-2, 0, 2\}\), ítem de dificultat mitjana (\(b_q = 0\), \(a = 1.5\), \(c_q \approx 0.36\)), prior uniforme \(\mathbf{p} = (\tfrac13, \tfrac13, \tfrac13)\). Les versemblances d'encert ple són aproximadament \(p = (0.40,\, 0.68,\, 0.97)\). Amb una resposta parcial \(s = 0.75\):
Aplicant Bayes i normalitzant (\(\sum = \tfrac13(0.443 + 0.563 + 0.407) \approx 0.471\)):
El posterior es desplaça cap al nivell mitjà, perquè una puntuació \(s = 0.75\) és més compatible amb una predicció \(p_i = 0.68\) que amb una predicció gairebé perfecta \(p_i = 0.97\). Així el crèdit parcial aporta evidència sobre el nivell que millor prediu la puntuació observada, no només una empenta més suau cap al domini alt.
Selecció amb crèdit parcial. El guany esperat d'informació (§6) està definit sobre els resultats que l'ítem modeli. La versió exacta amb respostes graduades exigiria fer la mitjana sobre la distribució de \(s\), que normalment no es coneix a priori. A la pràctica es pot continuar seleccionant amb els escenaris binaris (encert i error plens) com a aproximació, i reservar la versemblança geomètrica o per components per a l'actualització un cop observada la resposta.
L'entropia de Shannon mesura la incertesa d'una distribució de probabilitats:
Es mesura a bits. Per conveni, \(0 \cdot \log_2 0 = 0\).
Entropia mínima. Si una hipòtesi concentra tota la probabilitat (\(p_k = 1\), \(p_{i \neq k} = 0\)), l'entropia és zero: no hi ha incertesa.
Entropia màxima. Si totes les hipòtesis són equiprobables (\(p_i = 1/n\)), l'entropia és màxima:
Això correspon a la total ignorància sobre l'estat de l'alumne.
Entropia esperada no creixent. L'entropia posterior pot augmentar o disminuir després d'una resposta concreta, segons l'evidència observada (com il·lustra l'exemple de §9, on l'encert a Q2 fa pujar l'entropia respecte al pas anterior). Per a qualsevol pregunta modelada correctament, l'entropia posterior esperada —abans de conèixer la resposta— no supera l'entropia actual, perquè el guany esperat és informació mútua i no pot ser negatiu. La selecció per màxim guany no crea aquesta propietat: tria la pregunta que més redueix aquesta entropia esperada.
Amb \(n = 3\) hipòtesis:
| Distribució \(\mathbf{p}\) | Entropia \(H\) (bits) | Interpretació |
|---|---|---|
| \((0.33,\; 0.33,\; 0.33)\) | \(1.58\) | Ignorància total |
| \((0.60,\; 0.30,\; 0.10)\) | \(1.30\) | Incertesa alta |
| \((0.80,\; 0.15,\; 0.05)\) | \(0.88\) | Diagnòstic probable |
| \((0.95,\; 0.04,\; 0.01)\) | \(0.32\) | Diagnòstic gairebé segur |
| \((1.00,\; 0.00,\; 0.00)\) | \(0.00\) | Certesa absoluta |
La probabilitat de la hipòtesi més probable (\(\max_i p_i\)) és un indicador intuïtiu, però l'entropia en captura més informació: distingeix entre \((0.80, 0.15, 0.05)\) i \((0.80, 0.19, 0.01)\), que tenen el mateix màxim però diferent distribució de la resta. L'entropia és, a més, la quantitat natural que apareix en el guany d'informació (§6), cosa que fa el sistema matemàticament coherent.
El sistema tria la següent pregunta buscant maximitzar la reducció esperada d'entropia. Per a cada pregunta candidata \(q\), es calcula el guany esperat d'informació:
on \(\mathbf{p}'\) és la distribució posterior després de respondre \(q\), i l'esperança és sobre els dos possibles resultats (encert o error).
Definim primer la probabilitat marginal d'encert a la pregunta \(q\), usant la llei de la probabilitat total:
I la probabilitat marginal de fallada:
A continuació calculem els posteriors condicionals, aplicant Bayes abans de conèixer la resposta real:
Amb aquests posteriors calculem l'entropia a cada escenari:
L'entropia esperada després de formular la pregunta \(q\) és:
I el guany d'informació és:
El sistema selecciona la pregunta \(q^*\) amb més \(IG\):
on \(\mathcal{Q}\) és el conjunt de preguntes disponibles.
El guany esperat d'informació de la pregunta \(q\) és exactament la informació mútua entre la resposta \(R_q\) i l'estat de l'alumne \(H\):
on \(KL\) és la divergència de Kullback-Leibler. Maximitzar \(IG\) equival a seleccionar la pregunta la resposta de la qual, de mitjana, separa més el posterior del prior.
A la pràctica, diverses preguntes poden tenir guanys d'informació idèntics o molt propers, especialment si comparteixen els mateixos paràmetres \(a\), \(b_q\) i \(c_q\). Una selecció determinista entre empats produeix tests sistemàticament repetitius entre sessions diferents.
La solució recomanada és una selecció aleatòria ponderada:
Això combina màxima utilitat informativa amb diversitat temàtica.
El criteri dominant en els tests adaptatius clàssics (CAT) no és la reducció d'entropia, sinó la Funció d'Informació de l'Ítem (FII), basada en la informació de Fisher:
on \(P(\theta)\) és la ICC de l'ítem (§4.2) i \(P'(\theta)\) la seva derivada. La FII mesura quanta informació aporta l'ítem en un punt concret \(\theta\) del continu, i el sistema clàssic selecciona l'ítem que maximitza \(I_q(\hat\theta)\) en l'estimació puntual actual de l'habilitat.
El criteri d'aquest sistema —màxima reducció esperada d'entropia (§6.1)— encaixa especialment bé quan l'estat es representa com una distribució completa, i no com un únic valor \(\hat\theta\), per dues raons:
Tots dos criteris convergeixen en el cas límit d'una distribució molt concentrada: quan la creença és gairebé puntual, maximitzar el guany d'informació i maximitzar la FII en \(\hat\theta\) seleccionen pràcticament el mateix ítem. La diferència importa sobretot en les primeres preguntes, quan la incertesa és alta.
L'ús de la informació mútua i la divergència KL (§6.3) per seleccionar ítems està ben establert en la recerca psicomètrica bayesiana, però la seva aplicació en eines educatives reals és poc habitual: el que és comú a l'aula és la FII o regles més simples (següent ítem del nivell estimat, selecció per dificultat). La combinació que fa servir aquest sistema —distribució d'hipòtesis, actualització bayesiana i selecció per reducció d'entropia de Shannon, integrada en una eina per a docents— és, en aquest sentit, infreqüent en l'àmbit educatiu.
El sistema s'ha d'aturar quan tingui confiança en l'estat de l'alumne. El criteri natural és: aturar quan la hipòtesi més probable superi un nivell de confiança \(p_{\min}\) (per exemple, 0,80).
Tot i això, comprovar directament \(\max_i P(H_i) \geq p_{\min}\) pot no ser suficient, perquè no té en compte com es reparteix la probabilitat restant. L'entropia és un indicador més complet.
Busquem l'entropia d'una distribució on la hipòtesi més probable té probabilitat \(p_{\min}\) i la resta de probabilitat \(1 - p_{\min}\) es reparteix uniformement entre les altres \(n - 1\) hipòtesis:
L'entropia d'aquesta distribució és:
Amb \(p_{\min} = 0.80\):
| \(n\) hipòtesis | \(H_{\max} = \log_2 n\) (bits) | \(H_{\text{stop}}\) (bits) | Fracció d'incertesa restant |
|---|---|---|---|
| 2 | 1.00 | 0.72 | 72% |
| 3 | 1.58 | 0.92 | 58% |
| 4 | 2.00 | 1.04 | 52% |
| 5 | 2.32 | 1.12 | 48% |
La fórmula de \(H_{\text{stop}}\) assumeix que la probabilitat restant es distribueix uniformement, cosa que és una aproximació. Dues distribucions amb el mateix màxim poden tenir entropies diferents:
La segona té entropia menor, encara que el màxim sigui el mateix, perquè la probabilitat està més concentrada. Una implementació prudent pot comprovar ambdues condicions alhora:
En realitat, quan \(H_{\text{stop}}\) es deriva del mateix \(p_{\min}\), la condició de probabilitat màxima implica la d'entropia: la distribució que defineix \(H_{\text{stop}}\) és la de màxima entropia entre les que tenen un màxim igual a \(p_{\min}\), i aquest llindar decreix quan el màxim augmenta, de manera que \(\max_i P(H_i) \geq p_{\min}\) garanteix per si sola \(H \leq H_{\text{stop}}\). Comprovar ambdues condicions és inofensiu, però redundant. Si es vol un control addicional que sí que afegeixi exigència, es pot usar un criteri de separació:
que exigeix que la hipòtesi guanyadora vagi prou per davant de la segona candidata. Convé precisar quan això afegeix alguna cosa: com que \(P(H_{\text{segona}}) \leq 1 - P(H_{\text{guanyadora}})\), la mateixa condició \(\max_i P(H_i) \geq p_{\min}\) ja garanteix una separació \(\geq 2p_{\min} - 1\). Per tant el criteri de separació només afegeix exigència si \(\Delta_{\min} > 2p_{\min} - 1\); amb \(p_{\min} = 0.80\) això exigeix \(\Delta_{\min} > 0.60\), i un \(\Delta_{\min}\) de 0.3–0.4 seria tan redundant com l'entropia. La seva utilitat real és com a alternativa a un \(p_{\min}\) alt: quan hi ha moltes hipòtesis i exigir \(\max_i P(H_i) \geq 0.80\) és poc pràctic, un màxim moderat juntament amb \(\Delta_{\min} \geq 0.3\) captura la confiança rellevant —que la guanyadora domini la segona— encara que la massa restant estigui repartida. Amb \(n = 2\), separació i \(p_{\min}\) són equivalents (\(\text{sep} = 2\max - 1\)).
A més del criteri d'entropia, el sistema ha de contemplar:
Tot això assumeix un objectiu de diagnòstic: estimar l'estat de l'alumne i tancar-lo. En recursos de pràctica o reforç obert aquest objectiu canvia: la finalitat no és convergir i aturar-se, sinó sostenir la pràctica. En aquesta manera:
Cautela per mida de mostra. Amb pocs intents, el posterior es pot desplaçar molt per una sola resposta. Per no comunicar un domini infundat, convé exigir-ne una mostra mínima per categoria o dimensió (per exemple, 2-4 intents) abans de mostrar nivells alts de domini, i marcar com a provisional l'estimació mentre l'evidència sigui escassa. Aquesta cautela és una decisió de presentació: no altera el posterior bayesià, només com es tradueix a la interfície. Amb oblit actiu, la mostra mínima s'ha de comptar sobre una finestra recent (intents dins de les últimes \(1/(1-\lambda_d)\) respostes d'aquella distribució, sense ponderar; vegeu §3.5), no sobre tota la sessió: l'evidència caduca amb l'oblit, però un comptador acumulat no, i una categoria mostrejada només al principi continuaria comptant com a diagnosticada amb el seu posterior ja atenuat. Aquest comptador amb caducitat governa les portes de domini, no allò que es mostra a l'alumne: el nombre d'exercicis resolts que veu és el total real. I si una categoria es queda sense evidència dins de la seva finestra, la seva creença ja ha tornat al prior: escau presentar-la com a sense dades recents, no com una debilitat.
La corba logística de l'IRT 3PL té el pendent màxim a \(\theta_i = b_q\). Això significa que la pregunta \(q\) és més discriminant per a alumnes el nivell dels quals és proper a la dificultat \(b_q\).
Si el nivell extrem \(\theta_{\max}\) coincideix amb la dificultat extrema \(b_{\max}\), la pregunta més difícil situa el nivell avançat just al punt d'inflexió. En aquest punt, la probabilitat d'encert encara no és alta: amb 4 opcions i \(c_q = 0.25\), val \((1+c_q)/2 = 0.625\). Per tant, encertar aquesta pregunta confirma feblement el nivell avançat.
Això pot fer que el sistema infrautilitzi les preguntes extremes: no perquè siguin inútils, sinó perquè altres preguntes poden produir una reducció esperada d'incertesa més gran.
Per evitar aquest problema, el rang de \(\theta\) ha de ser estrictament més gran que el rang de \(b\). En aquest sistema discret, s'adopta com a convenció pràctica:
El factor 2 és una heurística útil, no una regla universal d'IRT estàndard. Es pot ajustar segons el valor de \(a\), de \(c_q\) i de la probabilitat objectiu d'encert per als nivells extrems. Si es vol que un alumne de nivell extrem tingui una probabilitat objectiu \(P^*\) d'encertar una pregunta extrema, es pot aïllar:
Així, la separació entre escales queda justificada per una probabilitat desitjada, no per un factor fix.
Exemple. Amb 3 nivells de dificultat \(b \in \{-1,\; 0,\; +1\}\):
on \(\sigma(x) = 1/(1 + e^{-x})\) és la funció sigmoide estàndard.
La manera robusta de garantir la separació no és recalcular \(\theta\) a partir del banc, sinó fixar l'escala per convenció i situar les dificultats dins d'ella. Els valors \(\theta_i\) depenen només del nombre d'hipòtesis:
de manera que \(\theta\) recorre \(\{-(n-1), \ldots, +(n-1)\}\) amb espaiat 2 (aquesta fórmula estén la taula de §2.3 a qualsevol \(n\)). Les dificultats se situen a la meitat central de l'escala, \(b_q \in [-\theta_{\max}/2,\; +\theta_{\max}/2]\), cosa que manté la proporció del factor 2 de §8.2 per als ítems extrems amb qualsevol \(n\) (amb el matís sobre la seva dependència de \(n\) que s'explica més avall). Com que \(\theta_{\max}\) depèn de \(n\), la conversió de les dificultats qualitatives també ha de dependre de \(n\): amb \(k\) categories, es reparteixen uniformement en l'interval,
(amb \(k = 1\), \(b = 0\)). Així, amb \(n = 3\) i \(k = 3\), \(b \in \{-1, 0, +1\}\); amb \(n = 3\) i \(k = 5\), \(b \in \{-1, -0.5, 0, +0.5, +1\}\); amb \(n = 4\) i \(k = 3\), \(b \in \{-1.5, 0, +1.5\}\). Una taula de dificultats independent de \(n\) seria inconsistent: amb \(n = 2\) (\(\theta = \pm 1\)) i cinc categories fixes fins a \(b = \pm 2\), la dificultat extrema duplicaria el nivell extrem i la separació entre escales s'invertiria. Els valors numèrics de \(b_q\) fora de l'interval es retallen a ell.
Matís: el factor 2 manté la forma, no la probabilitat objectiu. Fixar \(b_q \in [-\theta_{\max}/2,\; \theta_{\max}/2]\) conserva la proporció \(\theta_{\max} = 2\,b_{\max}\) per a qualsevol \(n\), però el marge absolut entre el nivell més alt i l'ítem més difícil és \(\theta_{\max} - b_{\max} = (n-1)/2\), que depèn de \(n\). Per això la probabilitat que el nivell màxim encerti l'ítem més difícil, \(P = c_q + (1-c_q)\,\sigma\!\big(a\,(n-1)/2\big)\), no és constant (amb \(a_{\text{ef}} = 1.25\)):
| \(n\) | Marge \((n-1)/2\) | \(P\) (oberta, \(c=0\)) | \(P\) (4 opcions, \(c=0.25\)) |
|---|---|---|---|
| 2 | 0.5 | 0.651 | 0.773 |
| 3 | 1.0 | 0.777 | 0.881 |
| 4 | 1.5 | 0.867 | 0.943 |
| 5 | 2.0 | 0.924 | 0.974 |
Amb \(n \geq 3\) el marge n'hi ha prou perquè els ítems extrems confirmin amb folgança, però amb \(n = 2\) (domina / no domina) la confirmació és feble —0.65 en oberta, 0.77 en quatre opcions—, el mateix valor mediocre que el factor 2 pretén evitar. D'aquí dues conseqüències: (i) la comparabilitat de confiances i velocitats de convergència entre recursos que promet l'invariant \(a_{\text{ef}}\cdot\Delta\theta\) només és estricta entre recursos amb el mateix \(n\); (ii) amb \(n = 2\) convé compensar amb més preguntes —o definir l'escala des d'una probabilitat objectiu \(P^*\) amb la fórmula de §8.2— en lloc de confiar en l'espaiat fix de 2.
La regla inversa —estirar \(\theta\) fins a \(2 \cdot \max_q |b_q|\)— té dos defectes. Primer, fa que el significat de les hipòtesis depengui del banc: dos recursos amb la mateixa pedagogia però rangs de dificultat diferents produeixen confiances i velocitats de convergència no comparables, perquè la força de cada actualització la governa el producte \(a \cdot \Delta\theta\) (discriminació per separació entre hipòtesis adjacents), que quedaria sense controlar. Segon, és fràgil davant de valors atípics: una sola pregunta amb \(b = 3\) en un banc on la resta està a \(\pm 1\) estiraria \(\theta\) a \(\pm 6\) i saturaria les versemblances de totes les altres preguntes (probabilitats enganxades a \(c_q\) o a 1), de manera que una única resposta produiria salts de posterior quasi deterministes. Amb l'escala fixa, aquest ítem atípic simplement es retalla a la vora de l'interval i la resta del banc conserva el seu comportament. Amb \(a_{\text{ef}} = 1.25\) i intervals de 2, l'invariant \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) queda estable entre recursos. Si la majoria del banc caigués fora de l'interval, el problema és de disseny (nivells i dificultats mal definits) i s'ha de resoldre amb el docent, no estirant l'escala.
Què iguala l'invariant i què no. El producte \(a_{\text{ef}} \cdot \Delta\theta = 2.5\) iguala el pendent màxim de la ICC entre formats, però no la força màxima de l'evidència d'una fallada. Aquesta la fixa la raó de versemblances entre hipòtesis adjacents: en el costat de la fallada, \(P(F\mid\theta) = (1-c_q)\,[1-\sigma(a(\theta-b_q))]\), el factor \(1-c_q\) es cancel·la en el quocient i la raó màxima tendeix a \(e^{a\,\Delta\theta}\) amb la \(a\) nominal \(= a_{\text{ef}}/(1-c_q)\), no amb \(a_{\text{ef}}\). Per això, amb \(\Delta\theta = 2\), una mateixa fallada en un ítem fàcil aporta raons de versemblança molt diferents segons el format: ≈ 12 en oberta (\(c_q=0\)), ≈ 28 en 4 opcions (\(c_q=0.25\)) i ≈ 148 en vertader/fals (\(c_q=0.5\)). Perquè una sola fallada no produeixi salts de posterior quasi deterministes —i per modelar el descuit (slip) que el 3PL pur ignora—, s'aplica també en el cas ordinal el mateix sostre de domini que en el nominal (§10.5): \(P(\text{encert}) \le 0{,}90\text{–}0{,}95\), mai 1. Amb aquest sostre, la raó de versemblança d'una fallada en el vertader/fals fàcil cau de ≈ 148 a ≈ 1 entre els nivells alts, i el cas ordinal recupera la simetria amb el nominal.
| ID | Dificultat \(b_q\) | Opcions \(m_q\) | \(c_q\) |
|---|---|---|---|
| Q1 | \(-1\) (fàcil) | 4 | 0.25 |
| Q2 | \(0\) (mitjana) | 4 | 0.25 |
| Q3 | \(+1\) (difícil) | 4 | 0.25 |
Per a cada parell \((\theta_i, b_q)\) calculem \(P(A \mid \theta_i, q)\) amb la fórmula IRT 3PL, \(a = 1.5\), \(c = 0.25\):
Per Q1 (\(b_1 = -1\)):
| Hipòtesi | \(\theta_i - b_q\) | \(e^{-1.5 \cdot x}\) | \(\sigma\) | \(P(A)\) | \(P(F)\) |
|---|---|---|---|---|---|
| \(H_1\) | \(-2 - (-1) = -1\) | \(e^{1.5} = 4.48\) | \(0.182\) | \(0.387\) | \(0.613\) |
| \(H_2\) | \(0 - (-1) = +1\) | \(e^{-1.5} = 0.223\) | \(0.818\) | \(0.863\) | \(0.137\) |
| \(H_3\) | \(2 - (-1) = +3\) | \(e^{-4.5} = 0.011\) | \(0.989\) | \(0.992\) | \(0.008\) |
Per Q2 (\(b_2 = 0\)):
| Hipòtesi | \(\theta_i - b_q\) | \(P(A)\) | \(P(F)\) |
|---|---|---|---|
| \(H_1\) | \(-2\) | \(0.286\) | \(0.714\) |
| \(H_2\) | \(0\) | \(0.625\) | \(0.375\) |
| \(H_3\) | \(+2\) | \(0.964\) | \(0.036\) |
Per Q3 (\(b_3 = +1\)):
| Hipòtesi | \(\theta_i - b_q\) | \(P(A)\) | \(P(F)\) |
|---|---|---|---|
| \(H_1\) | \(-3\) | \(0.258\) | \(0.742\) |
| \(H_2\) | \(-1\) | \(0.387\) | \(0.613\) |
| \(H_3\) | \(+1\) | \(0.863\) | \(0.137\) |
Amb prior uniforme \(\mathbf{p} = (0.333, 0.333, 0.333)\), calculem el guany d'informació per a cada pregunta.
Entropia inicial:
Per Q1 (\(b = -1\)):
Posteriors després d'encert:
Entropia posterior si encerta:
Posteriors després de la fallada:
Entropia posterior si falla:
Guany d'informació:
Resum de guanys (seguint el mateix procediment per a Q2 i Q3):
| Pregunta | \(IG\) (bits) |
|---|---|
| Q1 (\(b = -1\)) | 0.280 |
| Q2 (\(b = 0\)) | \(0.275\) |
| Q3 (\(b = +1\)) | \(0.212\) |
Amb \(c_q = 0.25\), la probabilitat d'encert per atzar trenca la simetria entre preguntes fàcils i difícils: una fallada en una pregunta fàcil és molt diagnòstica, mentre que un encert en una pregunta difícil encara es pot explicar parcialment per atzar. En aquesta configuració, el sistema selecciona Q1, encara que Q2 queda pràcticament empatada.
L'alumne falla Q1. Actualitzem:
Entropia després de la fallada:
L'entropia ha baixat de 1.585 a 0.764 bits. El sistema sospita amb força que l'alumne és de nivell bàsic.
Amb \(\mathbf{p}^{(1)} = (0.809, 0.180, 0.011)\), el sistema torna a calcular els guanys per a Q2 i Q3 (Q1 ja s'ha fet servir). En aquest estat asimètric, Q2 resulta més informativa perquè ajuda a revisar si la fallada anterior va poder ser accidental.
L'alumne encerta Q2 (de dificultat mitjana). Actualitzem amb \(P(A \mid H_i, Q2) = (0.286, 0.625, 0.964)\):
L'encert en la pregunta mitjana desplaça part de la probabilitat cap a \(H_2\), però la fallada inicial en una pregunta fàcil segueix pesant molt. El diagnòstic queda entre bàsic i mitjà-baix.
| Pas | Acció | \(P(H_1)\) | \(P(H_2)\) | \(P(H_3)\) | \(H\) (bits) |
|---|---|---|---|---|---|
| 0 | Prior inicial | 0.333 | 0.333 | 0.333 | 1.585 |
| 1 | Falla Q1 (fàcil) | 0.809 | 0.180 | 0.011 | 0.764 |
| 2 | Encerta Q2 (mitjana) | 0.652 | 0.318 | 0.030 | 1.080 |
Noteu que l'encert a la pregunta mitjana ha pujat l'entropia respecte al pas 1: l'evidència ha repartit més la probabilitat entre \(H_1\) i \(H_2\), augmentant la incertesa. Això és correcte: el sistema segueix descartant gairebé del tot el nivell avançat, però ara dubta més entre bàsic i mitjà.
Amb \(p_{\min} = 0.80\) i \(n = 3\), el llindar és \(H_{\text{stop}} = 0.92\) bits. L'entropia actual (1.080 bits) és per sobre del llindar, així que el test continua.
La funció logística IRT 3PL assumeix que les hipòtesis tenen un ordre: més θ significa més nivell. Això és adequat per avaluar domini, però no quan les hipòtesis són categories alternatives sense relació d'ordre entre elles. Poden ser errors conceptuals, estratègies de resolució, diferents causes possibles d'un mateix error o àrees temàtiques sense jerarquia entre elles. Si aquestes categories són realment alternatives, es poden modelar com a hipòtesis mútuament excloents. Si, en canvi, diversos errors poden coexistir, no s'han de forçar dins d'una sola llista nominal: convé passar a un model multifactorial o a una distribució sobre perfils complets.
Exemple. Suposem tres hipòtesis:
En aquest cas no hi ha una escala única de «més o menys nivell». La funció logística no és pas el model apropiat.
Alternativa. Definir les versemblances directament segons el diagnòstic esperat de cada pregunta:
| Pregunta | \(P(A \mid H_A)\) | \(P(A \mid H_B)\) | \(P(A \mid H_C)\) |
|---|---|---|---|
| La massa d'un objecte canvia a la Lluna? | 0.20 | 0.80 | 0.95 |
| Un cotxe frenant té acceleració? | 0.75 | 0.15 | 0.95 |
| La força és proporcional a la massa? | 0.50 | 0.50 | 0.90 |
Aquestes versemblances les defineix el docent o la IA a partir del coneixement sobre quins errors produeix cada confusió. La actualització bayesiana és idèntica; només canvia la font de les versemblances.
Per operar amb hipòtesis no jeràrquiques excloents se substitueix l'estructura paramètrica (\(a\), \(b_q\), \(c_q\) per pregunta, §4) per una matriu de versemblança explícita. Donat un conjunt d'hipòtesis \(\{H_1, \ldots, H_n\}\) i un banc de preguntes \(\{q_1, \ldots, q_m\}\), el model queda completament especificat per una matriu \(\mathbf{M}\) de mida \(m \times n\) les entrades de la qual són la probabilitat d'encert de cada pregunta sota cada hipòtesi:
Cada pregunta aporta així una fila de la taula de l'exemple anterior. Aquesta matriu és l'equivalent de la ICC (§4.2) del cas ordenat, però llegida d'una taula en lloc de calculada amb una funció logística. Si es vol aprofitar quin distractor concret ha triat l'alumne —i no només encert/error—, cada pregunta defineix a més una distribució \(P(R = r \mid H_i, q)\), amb les respostes sumant 1 per a cada parell \((q, i)\).
Si els errors poden coexistir, el mateix principi s'aplica sobre perfils en lloc d'hipòtesis simples. Amb \(k\) factors binaris apareixen fins a \(2^k\) perfils possibles, i l'estructura de dades passa a ser una matriu \(P(R = r \mid \pi_j, q)\), on \(\pi_j\) és un perfil complet. A la pràctica això també es pot factoritzar en diverses dimensions paral·leles si les interaccions entre errors són febles. La decisió no requereix que el docent conegui aquesta distinció: la IA utilitza factors independents quan cada error s'evidencia i s'interpreta per separat, i perfils complets quan la combinació d'errors canvia la resposta esperada, un error n'emmascara un altre o la intervenció pedagògica depèn de la combinació. Si \(2^k\) perfils resulta immanejable, s'agrupen factors relacionats o es diagnostica per fases.
La resta de la metodologia funciona sense canvis, substituint cada aparició de la versemblança paramètrica \(P(A \mid \theta_i, q)\) de la ICC (§4.2) per l'entrada corresponent de la matriu \(M_{qi} = P(A \mid H_i, q)\):
L'únic que no transfereix és el resum del posterior com un punt sobre una escala. Amb hipòtesis ordenades es reporta el valor esperat \(\mathbb{E}[\theta] = \sum_i p_i\, \theta_i\) (i un nivell o color derivat d'ell); amb hipòtesis nominals aquest promig ponderat no té sentit.
Si el model és nominal excloent, es pot reportar la hipòtesi de màxima probabilitat posterior (MAP), \(\hat H = \arg\max_i p_i\), i la seva probabilitat \(p_{\hat H}\) com a confiança. Quan dues hipòtesis competeixen, mostrar la distribució posterior completa sobre \(\{H_i\}\) informa més que una sola etiqueta.
Si el model és multifactorial, l'informe final s'ha de fer per factor: per a cada error se'n calcula la probabilitat marginal i es classifica com a present, absent o indeterminat segons el llindar de confiança triat. El resum global passa llavors a ser un perfil d'errors (per exemple, «presenta 2 dels 3 errors analitzats») i no una sola etiqueta guanyadora. Cautela amb el prior informatiu: amb \(P(\text{error}) \approx 0{,}2\)–\(0{,}3\), la classificació «absent» arrenca ja a 0,7–0,8 sense cap evidència, de manera que el llindar de confiança no basta per si sol. Cal exigir a més una mostra mínima d'evidència sobre aquell factor, i el report ha de distingir «absent confirmat» (amb evidència) de «sense evidència suficient» (el valor per defecte del prior).
Les entrades \(M_{qi}\) les defineix a priori el docent o la IA a partir del coneixement didàctic sobre quins errors produeix cada confusió; no estan calibrades amb dades de resposta reals. Això arrossega les mateixes cauteles que §11.1 i n'afegeix una: a diferència del cas paramètric, no hi ha «valors per defecte contrastats» (\(a_{\text{ef}} = 1{,}25\) amb la \(a\) derivada per ítem, \(c_q \approx 1/m_q\)) als quals recórrer —cada cel·la de la matriu és un judici específic—. En conseqüència:
Com que els valors \(M_{qi}\) no surten d'una fórmula (§10.4), convé fixar-los amb un criteri explícit. Cada cel·la respon a una única pregunta: «si l'alumne tingués \(H_i\), amb quina probabilitat encertaria \(q\)?».
1. Relació pedagògica pregunta–hipòtesi. El valor depèn de si la pregunta activa l'error conceptual: si \(q\) ataca just el concepte que \(H_i\) distorsiona, l'alumne tendeix a fallar i \(M_{qi}\) és baixa; si \(q\) no té relació amb aquest error, no interfereix i \(M_{qi}\) és alta (semblant a la fila de domini); en casos intermedis, un valor central. Cada fila \(H_i\) ha de mostrar així la signatura d'aquest error —baixa on el corromp, alta on no arriba—; una fila plana indica que la pregunta no distingeix aquesta hipòtesi.
2. Ancoratges. Cada cel·la queda acotada entre dos límits: un terra d'atzar \(M_{qi} \geq 1/m\) quan el fall prové de respondre a l'atzar (amb \(m\) opcions, qui respon a l'atzar no baixa d'aquesta probabilitat; és el paper de \(c_q\) a §4.2) —amb l'única excepció del punt 3— i un sostre de descuit per a la hipòtesi de domini, \(\approx 0.90\text{–}0.95\), mai \(1\) exacte.
3. Estructura de distractors. Si la pregunta és d'opció múltiple i un dels distractors és exactament la resposta que produeix \(H_i\), l'alumne no encerta a l'atzar sinó que és atret cap a aquesta opció equivocada: llavors \(M_{qi}\) cau per sota del terra d'atzar. El criteri no és només «fallarà?», sinó «quina resposta equivocada genera aquest error i és entre les opcions?».
4. Trams gruixuts. Per a Bayes el decisiu no és el decimal exacte sinó la separació: en una pregunta que discrimina, la hipòtesi correcta ha de superar clarament la que l'error fa fallar. N'hi ha prou de treballar per trams:
| Situació | \(P(A \mid H_i, q)\) |
|---|---|
| Domini, o l'error no afecta la pregunta | \(\approx 0.90\) |
| Afectació parcial, sense distractor que capturi l'error | \(\approx 0.50\) |
| L'error empeny cap a un distractor concret | \(\approx 0.15\text{–}0.25\) |
| Terra d'atzar (mínim, llevat de l'excepció del punt 3) | \(\approx 1/m\) |
En el cas ordenat aquest mateix judici està empaquetat dins la dificultat \(b_q\) i la logística; el cas nominal només el fa explícit cel·la a cel·la. Un cop plena la matriu, la validació Monte Carlo (§11.8) comprova si el conjunt de judicis separa les hipòtesis, sense necessitat de dades reals.
Els paràmetres \(a\), \(b_q\) i \(c_q\) es generen automàticament a partir de valors per defecte i de l'estructura de cada pregunta (§4). Són estimacions a priori, no mesures empíricament calibrades: un alumne real pot respondre de manera diferent del que prediu el model. Si es disposés de dades de resposta d'una mostra àmplia d'alumnes, els paràmetres podrien refinar-se mitjançant mètodes d'estimació IRT, però això no forma part d'aquesta metodologia. No obstant això, l'ús de valors per defecte contrastats està recolzat per la literatura en TRI com a punt de partida raonable en absència de dades empíriques: en aquesta metodologia no es fixa la discriminació directament com \(a = 1{,}5\), sinó que es fixa la discriminació efectiva \(a_{\text{ef}} = 1{,}25\) i es deriva la \(a\) de cada ítem amb \(a = a_{\text{ef}}/(1 - c_q)\) (§4.4), amb \(c_q \approx 1/m_q\) (vegeu §4.2 i §12).
L'actualització bayesiana seqüencial assumeix que les respostes són condicionalment independents donada la hipòtesi veritable: conèixer \(H_i\) fa irrellevant la correlació entre respostes. Aquesta assumpció es viola quan:
El model assumeix que l'estat de l'alumne no canvia durant la sessió. En sessions curtes d'avaluació diagnòstica això és raonable. En sessions llargues d'aprenentatge adaptatiu, l'alumne pot millorar durant la mateixa interacció, cosa que faria que el posterior convergís cap a una hipòtesi que ja no reflecteix l'estat actual. Aquest límit es mitiga amb l'actualització amb oblit exponencial, o amb un model de transició explícit, descrits a §3.5: tots dos eviten que l'evidència antiga bloquegi el seguiment d'un estat que canvia.
Si l'alumne respon a l'atzar sistemàticament, el paràmetre \(c_q\) només protegeix parcialment: redueix el biaix upward a les versemblances d'encert, però no elimina el soroll. Amb prou respostes aleatòries, el posterior pot convergir cap a hipòtesis incorrectes.
Amb poques preguntes, el posterior pot quedar esbiaixat per coincidències (una ratxa d'encerts o errors no representatius). Imposar un nombre mínim de preguntes abans d'activar el criteri de parada, redueix aquest risc, a costa d'allargar la sessió.
El sistema produeix una estimació probabilística, no una veritat absoluta. Els resultats han d'interpretar-se com una ajuda a la decisió educativa, especialment quan:
Els límits §11.2–§11.5 descriuen situacions en què un alumne concret pot no ajustar-se al model. Convé detectar-les de manera quantitativa, sense dades empíriques externes, a partir del propi patró de respostes de la sessió: això és el que mesura un estadístic d'ajust de la persona (person-fit).
Sigui un alumne que ha respost \(N\) preguntes, amb resultat \(x_q \in \{0, 1\}\) (encert/error) a la pregunta \(q\), i sigui \(p_q = P(A \mid \hat\theta, q)\) la probabilitat d'encert que el model assigna a aquesta pregunta sota el nivell estimat \(\hat\theta\) (la hipòtesi més probable del posterior final). La log-versemblança observada del patró és:
Si l'alumne fos realment del nivell \(\hat\theta\), aquesta quantitat tindria valor esperat i variància:
L'índex estandarditzat \(l_z\) (Drasgow, Levine i Williams, 1985) és:
que, sota el model, es distribueix aproximadament com \(N(0, 1)\). Valors molt negatius (orientativament \(l_z < -2\)) assenyalen un patró improbable sota el nivell estimat —típicament, encertar preguntes difícils i fallar les fàcils, descuits o respostes a l'atzar—: el diagnòstic, encara que el posterior el doni com a segur, pot no ser fiable per a aquest alumne. Valors propers a \(0\) indiquen coherència.
Això quantifica el senyal qualitatiu de §11.6: l'entropia mesura com de concentrada està la creença del model, però no si el patró observat és compatible amb aquesta creença; el person-fit cobreix aquest flanc. Limitació: \(l_z\) és una aproximació asimptòtica; amb poques preguntes la seva distribució s'allunya de la normal i el llindar és orientatiu, un senyal de cautela, no una prova formal. En tests adaptatius la calibració és encara més delicada: la selecció tendeix a presentar ítems prop de la zona de màxima incertesa i l'índex es calcula fent servir el nivell estimat, no el veritable. Existeixen correccions i procediments específics per a aquesta situació, com \(l_z^*\) i treballs de person-fit en CAT, però aquí es manté \(l_z\) només com a alerta pràctica de baixa fiabilitat.
El person-fit valida el diagnòstic d'un alumne concret; una qüestió diferent és si el test en conjunt —banc i paràmetres— separa bé els nivells. Com que els paràmetres són a priori i no calibrats (§11.1), no es pot respondre amb dades reals, però sí examinar el comportament del propi model mitjançant simulació de Monte Carlo. En recursos diagnòstics o que decideixen promoció d'etapa, aquesta comprovació ha de quedar disponible per a l'autor del recurs: si la IA pot executar codi, l'executa en generar el recurs; si treballa en un xat sense execució, deixa una utilitat separada o una vista docent/autora per executar-la al navegador i marca el disseny com a pendent de validar.
El procediment genera respondents sintètics situats en el \(\theta_i\) de cada hipòtesi. Per a un respondent de nivell \(\theta_i\), cada resposta es simula com un assaig de Bernoulli amb probabilitat \(P(A \mid \theta_i, q)\) donada per la ICC (§4.2), aplicant-li la mateixa selecció adaptativa (§6) i el mateix criteri d'aturada (§7) que a un alumne real. En models nominals o multifactorials es simula des de la distribució de resposta de cada hipòtesi o perfil. Repetint-ho moltes vegades per nivell, hipòtesi o perfil s'estima la matriu de confusió:
La diagonal \(C_{ii}\) és la taxa d'encert per nivell; els elements fora de la diagonal, les confusions. D'ella es deriven l'exactitud global, l'exactitud equilibrada, la taxa de resultats indeterminats i la longitud mitjana del test. Com a valor operatiu per defecte, convé utilitzar almenys 500 simulacions per hipòtesi o perfil (1000 si el navegador ho permet amb fluïdesa). Si alguna hipòtesi rellevant queda per sota de 0.70 de classificació correcta sota el propi model, o si dues hipòtesis es confonen de manera sistemàtica, el banc no s'ha de presentar com a ben separat: cal afegir ítems, revisar dificultats o versemblances, o declarar la limitació.
Límit essencial: els respondents es generen amb el mateix model que després els classifica, de manera que no és una validació empírica. Mesura la coherència interna i la separabilitat del disseny —si ni tan sols respondents ideals situats en el \(\theta\) de cada nivell es distingeixen bé, el banc no discrimina aquests nivells—, però no garanteix que els \(\theta_i\) i les dificultats \(b_q\) corresponguin a la realitat. És, en termes bayesians, una comprovació pre-posterior del procediment de decisió. Per a validesa real encara calen dades d'alumnat (§11.1). Tot i així, és un diagnòstic del disseny valuós i barat, calculable abans d'aplicar el test a ningú.
Com citar aquest document (APA 7): de Haro, J. J. (2026). Fonaments matemàtics dels sistemes educatius adaptatius bayesians (versió 2.0). https://jjdeharo.github.io/recursos-adaptativos/matematicas_ca.html
Llicència: CC BY-SA 4.0 · Juan José de Haro ·bilateria.org