Presentatie Roos Van Gasse

Hoe D-PAC-data kan helpen bij verdere professionalisering

Dat de data die met D-PAC wordt vergaard ook gebruikt kan worden bij verdere professionalisering van assessments en organisaties, laat onderzoeker Roos Van Gasse zien met een mooi praktijkvoorbeeld bij AHOVOKS, de Vlaamse Examencommissie.

Organisaties lopen bij hun assessments regelmatig tegen betrouwbaarheids- en validiteitsproblemen aan, legt Van Gasse uit aan haar publiek. "Beoordelaars hebben dan bijvoorbeeld niet naar dezelfde dingen gekeken of er zijn verschillen in hoe streng ze zijn. Dit soort problemen hoort erbij, beoordelen is gewoon moeilijk. Het grootste probleem is eigenlijk dat gangbare methoden die deze problemen onderzoeken veel tijd en geld kosten."

Maar, gelukkig is er D-PAC. Daarmee kun je snel inzicht krijgen in de kwaliteit van assessments. D-PAC levert namelijk veel data op. Denk aan de prestatiescore, de eensgezindheidsscore, de mate waarin beoordelaars het product gelijkwaardig beoordelen, maar ook aan gegevens over de beoordelaar: hoeveel tijd is die ermee bezig geweest en in hoeverre wijkt hij af van de consensus?

In de praktijk
Bij AHOVOKS onderzocht Van Gasse hoe deze data in de praktijk kon worden gebruikt om assessments te verbeteren. Hun vraag: in hoeverre verschillen de beoordelingen van interne beoordelaars en freelancers? Bij de afdeling Engels werd een try-out gedaan, waarbij 33 informele brieven werden beoordeeld. Intern waren er geen afwijkende beoordelaars, extern wel: 6 van de 16.

"We hebben toen aan beide groepen gevraagd welke aspecten ze belangrijk vinden bij een informele brief. Daarbij bleken de verschillen tussen de internen en externen behoorlijk groot." De consensus was dat inhoud een belangrijk criterium is maar de misfits vonden dat veel minder belangrijk.

Er bleek dus ruimte voor verbetering. In een vervolgsessie gingen de beoordelaars met elkaar in paren en later in groepen in gesprek over beoordelingen. Er werden vragen gesteld en er werd kennis gedeeld. Met succes. In een volgend assessment waren alle misfitters erop vooruitgegaan.

Nuttige data
"Voor D-PAC betekent het dat het zin heeft om die misfitmaat te hanteren, en dat gerichte interventies het mogelijk maken om ze eruit te halen. D-PAC levert dus voor gebruikers nuttige data aan om assessmentprocessen bespreekbaar te maken."

Van Gasse benadrukt dat het door haar geschetste voorbeeld slechts een van de vele functionaliteiten van D-PAC is. "Denk aan leerlijnonderzoek of 360 gradenfeedback. Helaas hadden we te weinig tijd om dat verder te onderzoeken."

Mirjam Streefkerk
Voeg toe aan selectie