Vicepreşedintele Comisiei Internaţionale de Testare: Am putea argumenta că subiectele grilă sunt în favoarea candidaţilor

„Evident, un candidat are o șansă să nimerească răspunsul corect chiar fără să îl cunoască de fapt – la 4 variante de răspuns această șansă este de 25%. Dacă soluția trebuie produsă (precum la itemii de tip deschis), șansa aceasta este practic nulă. Deci aș putea spune că am putea argumenta că itemii de acest tip sunt în favoarea candidaților și o să aducă după sine note mai mari. Desigur, există modalități matematice de a controla aceste „ghiciri”, dar mă îndoiesc că ele vor fi implementate în scorarea acestor teste în România în următorii ani”, a declarat pentru Edupedu.ro Dragoș Iliescu.

Expert în testare și colaborator al OECD și ETS la o parte din testările lor standardizate, Iliescu a declarat că toate testele folosite „în aceste contexte de evaluare comparativă internațională (nu doar PISA și PIAAC, ci și testele IEA, precum TIMSS și PIRLS) sunt bazate exclusiv pe itemi de tip grilă și pe modele matematice complexe care analizează răspunsurile primite”.

Este critică, însă, protecția itemilor. Apoi, „generarea unui item-grilă bun este, spun asta cu multă responsabilitate, de multe ori mai dificilă decât generarea unui subiect deschis. În plus, tehnologia din spatele testelor moderne de tip grilă (tehnologia psihometrică, adica modelele matematice care descriu răspunsurile candidaților) este complicată”, a adăugat Iliescu.

Analiza integrală realizată de Dragoș Iliescu, vicepreședinte al Comisiei Internaționale de Testare și colaborator OECD inclusiv pe testele PISA:

„1. Impact

Impactul există cu siguranță și el are și aspecte pozitive și aspecte negative. Voi începe cu cele negative: impactul este legat în principal de ‘fairness’, de corectitudine, față de școlarii care se așteptau la un anumit tip de evaluare și care se pregăteau de ceva ani pentru exact acel tip de evaluare și care acum sunt anuntați cu destul de puțin timp înainte că vor trece prin alt tip de examinare. Cred că e o așteptare rezonabilă ca cei care trec prin orice fel de evaluare să știe cu mult timp înainte exact ce se va cere de la ei. Modificările abrupte de acest tip evident că bulversează sistemul și nu le oferă școlarilor oportunitatea de a arăta tot ce pot.

Există însă și impact pozitiv și îndrăznesc să spun că el este consistent.
Itemii de tip grilă sunt în general mai ‘fair’ (vedeți, pun din nou chestiunea corectitudinii) față de toți cei implicați. Ei sunt deseori numiti ‘obiectivi’, ceea ce este adevărat în sensul în care subiectivitatea corectorului este eliminată: punem grila peste foaia de răspuns și este clar dacă a fost răspuns corect sau nu.

Sigur, aceasta e o supra-simplificare pentru că generarea unui item-grilă bun este, spun asta cu multă responsabilitate, de multe ori mai dificilă decât generarea unui subiect deschis. În plus, tehnologia din spatele testelor moderne de tip grilă (tehnologia psihometrică, adica modelele matematice care descriu răspunsurile candidaților) este complicată.

Impactul în corectitudine ar trebui însă să fie radical. Gândiți-vă că diverse studii (ce-i drept, nepublicate, dar prezentate pe la conferințe) arată un acord inter-evaluator pe corectura testelor naționale la română mult mult mai redus decât ne așteptam. Unii copii așadar sunt subevaluați – și nu este corect față de ei, căci primesc o notă mai mică decât meritau. Și alți copii sunt supra-evaluați – și nu este corect față de toți ceilalți ca cineva să primească o notă nemeritat de mare. Poate la Bacalaureat vom spune că nu contează cu adevărat, căci nu e o competiție între școlari, însă Evaluarea Națională este o competiție și ne dorim teste care să asigure obiectivitate și măsurare cât mai exactă.
1b. Mecanisme cognitive

Într-adevăr, orice tip de examinare – prin subiecte deschise sau prin itemi de tip grilă – presupune un proces cognitiv din partea candidatului. În primul rând, trebuie să citească cerința (ceea ce în sine e un proces cognitiv), să o înțeleagă, să construiască un model mental al problemei, să activeze în mod selectiv memoriile (cunoștințele și experiențele) relevante, să manipuleze aceste cunoștințe, evident și pe baza deprinderilor pe care le are, să decidă dacă soluția rezolvă problema și să producă o modalitate de semnalare a soluției – de ex. să noteze rezultatul și eventual o explicație pentru el sau o descriere a procesului prin care a ajuns la acel rezultat. Și există și procese cognitive mai subtile, care se desfășoară la un nivel de complexitate chiar mai înalt decât am descris aici. Oricum, în mod evident, toate acestea sunt procese cognitive.

Și în mod la fel de evident, un item de tip grilă cere parțial mobilizarea altor procese cognitive decât un item deschis – și ignoră altele. În mod cert, este mai degrabă axat pe componenta de recunoaștere decât pe cea de reproducere a memoriei: nu trebuie să produc soluția, soluția e deja produsă pentru mine, eu trebuie să o recunosc doar. Rareori se cer la itemii de tip grilă explicații ale procesului prin care candidații au ajuns la soluție – avem doar o bifă, care poate fi corectă sau greșită.

Apoi, evident, un candidat are o șansă să nimerească răspunsul corect chiar fără să îl cunoască de fapt – la 4 variante de răspuns această șansă este de 25%. Dacă soluția trebuie produsă (precum la itemii de tip deschis), șansa aceasta este practic nulă. Deci aș putea spune că am putea argumenta că itemii de acest tip sunt în favoarea candidaților și o să aducă după sine note mai mari. Desigur, există modalități matematice de a controla aceste „ghiciri”, dar mă îndoiesc că ele vor fi implementate în scorarea acestor teste în România în următorii ani.
2. Vulnerabilități

Oportunitățile le-am mai discutat și anterior. Aș remarca totuși o vulnerabilitate: este relativ ușor ca itemii să fie compromiși. Un item compromis este un item care devine „bun public” și ca atare o parte din candidați (poate chiar toți) l-au văzut anterior și știu să îl rezolve. Un astfel de item încetează să mai diferențieze și nu ar trebui utilizat. Protecția itemilor va deveni așadar critică.

3. Da, colaborez cu OECD și ETS la o parte din testările lor standardizate utilizate în studiile comparative internaționale. Chiar în această perioadă lucrez cu 5-6 alți colegi din SUA, Luxembourg, Norvegia, Franța și Germania la realizarea cadrului de evaluare (assessment framework) și a itemilor pentru testele PIAAC (Programme for International Assessment of Adult Competencies), care este practic un test PISA pentru adulți. România nu a participat până acum la evaluarile PIAAC, ele oferă o analiză a competențelor existente în piața muncii, la fel cum PISA oferă o analiză a competențelor existente în populația școlară.

Toate testele utilizate în aceste contexte de evaluare comparativă internațională (nu doar PISA și PIAAC, ci și testele IEA, precum TIMSS și PIRLS) sunt bazate exclusiv pe itemi de tip grilă și pe modele matematice complexe care analizează răspunsurile primite.”

Dragoș Iliescu este vicepreședinte al Comisiei Internaționale de Testare, profesor la Universitatea din București și fondatorul Sistemului de Testare Standardizată BRIO.

Citeşte şi Cine este autorul testelor grilă la Bacalaureat şi Evaluarea Naţională