Ækvivalensstudier – fra papir- og blyantadministrering til Q-interactive

I en periode kommer mange af de test, der tilbydes på Q-interactive (i sin helhed eller delvis), til at have tilsvarende papir- og blyantversioner og normer, der er baseret på data, som er indsamlet med den pågældende papir- og blyantversion. Et grundlæggende spørgsmål er, hvorvidt den psykometriske information, der findes for de enkelte papir- og blyanttest, også er gyldig for deres digitale versioner – eller indebærer det digitale administreringsformat en så omfattende grænsefladeforandring, at normerne ikke længere er pålidelige?     

Det digitale format indebærer i princippet, at administrering af testopgaverne sker ved hjælp af to synkroniserede iPads, hvor testlederen læser instruktioner, registrerer testpersonens svar og tager tid på sin iPad, og testpersonen eksponeres for stimuli og afgiver sine svar på sin iPad. Nedenfor er der gengivet oversatte uddrag fra ækvivalensstudier, der er blevet gennemført af Pearson i USA med henblik på at undersøge, om papir- og blyantnormer kan bruges, selvom administreringsgrænsefladen forandres. Der er blevet gennemført ækvivalensstudier delprøve for delprøve, og studiedesignet har varieret mellem de forskellige opgavetyper. Teksten nedenfor gengiver – ud over visse generelle ræsonnementer – kortfattet resultater af gennemførte ækvivalensstudier for WISC-V. Derudover bliver der sat fokus på de problemer med delprøverne Kodning og Symbolsøgning, der blev noteret i WISC-V i 2019/2020.  

Et af målene for tilpasningen til digital administrering på Q-interactive har været at opnå overensstemmelse mellem råscorer, der er genereret med papir- og blyantversionen af testen, og dens digitale modstykke. Det skal med andre ord ikke påvirke en testpersons præstation, hvorvidt testningen gennemføres med papir- og blyantversionen eller på Q-interactive. Hvis en sådan ækvivalens kan påvises, indebærer det, at den psykometriske information, som gælder for papir- og blyantversionen (som normer, reliabilitet og validitet), også er gyldig for resultater, der er opnået på Q-interactive. Dette er en af årsagerne til, at visse karakteristika fra papir- og blyantversionerne af testen (fx klodser i delprøven Blokmønstre og visse svarhæfter) er bevaret i deres originalformat. Målet er, at langt størstedelen af det fysiske materiale i testen med tiden, og i nye versioner af testen, skal erstattes med interaktive digitale grænseflader. Men den tilpasning, det skulle kræve for visse delprøver, ville i øjeblikket true ækvivalensen i råscorer, hvilket igen ville påvirke muligheden for at bruge normer, der er indsamlet med papir- og blyantversioner.  

Udgangspunktet for alle gennemførte ækvivalensstudier har været antagelsen, at digitalt assisteret administrering kan påvirke testresultatet af flere forskellige grunde, fx henholdsvis testpersonens og testlederens interaktion med iPad, hvordan testopgaver/stimuli præsenteres for testpersonen, hvor korrekt systemet er i stand til at registrere og score testpersonens tryk på en iPad samt de overordnede effekter af den digitale administrering.  

Hvis en testopgave ikke fra starten af blev vurderet som ækvivalent mellem de to formater (det vil sige, at der var en grund til at formode, at den digitale administrering sandsynligvis havde en indvirkning på råscoren), blev den bagvedliggende årsag undersøgt. I princippet kan man sige, at hvis en effekt er resultatet af, at testlederen (fx ved at visse fejlkilder automatisk elimineres) bliver mere omhyggelig i sin administrering eller scoring, så indebærer Q-interactive et metodemæssigt fremskridt, og manglen på ækvivalens er ikke nødvendigvis et problem. Et rimeligt mål for ny teknik er at producere resultater, som er ækvivalente med dem, der opnås af testledere, som bruger papir- og blyantformatet korrekt. Det digitale format bør ikke forventes at kopiere administrerings- eller scoringsfejl. Hvis en digital effekt derimod skyldes en mindsket nøjagtighed fra enten testlederens eller testpersonens side, så bør prioriteringen være at justere Q-interactive, så denne fejlkilde elimineres. Kun når dette er umuligt, bør effekten håndteres ved hjælp af normjustering. I de gennemførte ækvivalensstudier er administrering og scoring blevet optaget på film for at gøre det muligt at analysere effekterne af administreringsformatet.  

Der er blevet brugt flere eksperimentelle modeller til at undersøge graden af ækvivalens mellem papir- og blyantversionen og Q-interactive. De rapporter, der nævnes nedenfor, (og andre) kan downloades fra: www.pearsonassessments.com/professional-assessments/digital-solutions/q-interactive/resources.html?tab=research I disse rapporter beskrives de forskellige fremgangsmåder, der er blevet tilpasset til de forskellige delprøvers opgavetyper.   

WISC-V

I USA er der blevet gennemført en række studier med henblik på at undersøge ækvivalensen mellem papir- og blyantversionen af WISC-V og den digitale version, som administreres på Q-interactive. Disse studier har haft forskellige formål:  

At sikre, at de to administreringsformer genererer tilsvarende resultater – det vil sige, at det samme sæt af normer kan bruges til såvel papir- og blyantversionen som til den digitale version i såvel kliniske som ikke-kliniske udsnit. Kodning og Symbolsøgning indgik ikke i disse studier.  

At sikre, at de digitale versioner af Kodning og Symbolsøgning er af samme kvalitet som de papir- og blyantadministrerede modstykker, til trods for de ændringer af opgaver og grænseflader, der er blevet gennemført i de digitale versioner.  

I det ikke-kliniske udsnit udviste kun 3 af de 18 delprøver (den amerikanske version af WISC-V har flere delprøver end de ikke-engelsksprogede) en signifikant effekt af format på 5 %-niveauet: Blokmønstre, Verbal ræsonnering og Regning. Der var dog ikke nogen af effektstørrelserne, der overskred det opstillede kriterie på d = 0.2. I kliniske udsnit er der blevet gennemført studier i fire særlige grupper: børn med let intellektuel funktionsnedsættelse, særligt begavede børn, børn med ADHD samt børn med autisme. Ud fra disse studier konkluderede man, at resultater fra digital administrering på Q-interactive for disse grupper måler de samme begreber som papir- og blyantversionen af WISC-V, og at de i samme udstrækning og på en meningsfyldt måde er i stand til at differentiere mellem børn, som tilhører særlige grupper, og tilsvarende kontrolgrupper. Yderligere information findes i Equivalence of Q-interactive and Paper Administrations of Cognitive Tasks: WISC-V, samt Q-interactive Special Group Studies: The WISC -V and Children with Intellectual Giftedness and Intellectual Disability og Q-interactive Special Group Studies: The WISC–V and Children with Autism Spectrum Disorder and Accompanying Language Impairment or Attention-Deficit/Hyperactivity Disorder.  

I modsætning til de øvrige delprøver har Kodning og Symbolsøgning på Q-interactive ikke været parallelle med papir- og blyantversionerne. Tilpasning af disse delprøver til et digitalt format medførte en ny grænseflade mellem opgaverne og barnet. Fx blev svar markeret ved, at barnet trykkede på iPad’en, stimuli blev automatisk præsenteret efter, at barnet havde svaret, kravet om, at barnet skulle skrive blev elimineret, og der var ikke nogen mulighed for selvkorrigering af svar. Da de digitale versioner af disse delprøver ikke udviste råscoreækvivalens i forhold til papirversioner, blev der foretaget en statistisk konverteringsproces, skalaækvivalering (”equating” på engelsk) med henblik på at tilpasse råscoren fra de digitale versioner, så de svarede til råscorerne fra papir- og blyantversionerne – det vil sige, at transformation af råscorer til skalascorer indikerede samme grad af præstation for begge administreringsformater. Mere information og diskussion om Kodning og Symbolsøgning findes i WISC-V Coding and Symbol Search in Digital format: Reliability, Validity, Special Group Studies, and Interpretation.  

Da de (justerede) skandinaviske normer, der er baseret på resultater fra de amerikanske ækvivalensstudier, var blevet brugt et stykke tid, oplevede man dog forhøjede skalascorer for Kodning. Resultatet i den digitale version af delprøven var i gennemsnit forhøjet med 2.2 skalapoint (klinisk udsnit) til en skalascore på 3.4 (ikke-klinisk udsnit), hvilket svarer til standardafvigelser på .73 til 1.3. Denne forøgelse indebar en mulig forøgelse af indeksscoren i Forarbejdningshastighedsindeks (SI) med 5-9 standardpoint og i Hele skalaen (HIK) med 2-3 standardpoint. Dette resulterede i, at Kodning blev inaktiveret på Q-interactive i 2019. Årsagen til de forøgede værdier var på dette tidspunkt ikke helt klarlagt, men senere studier har vist, at den tekniske ydelse hos den iPad, der bliver brugt, har betydning. Nyere og hurtigere iPad-versioner gør det muligt at præsentere flere opgaver, hvilket igen har resulteret i, at nogle børn fik mulighed for at besvare flere opgaver. I forbindelse med denne indsigt – og selvom ingen studier har udvist forøgede resultater – blev den digitale version af Symbolsøgning også inaktiveret for at undgå fremtidige problemer.   

Maj 2022