Presentatie Liesje Coertjens

De kracht van paarsgewijs beoordelen

“Ik heb niet genoeg smikkelpunten, mag ik toch een CD?”
De titel van de presentatie van professor Liesje Coertjens is ‘De kracht van paarsgewijs vergelijken voor het beoordelen van competenties’. Er staat inmiddels ‘Prof.’ voor haar naam. Ze gaat in een presentatie van een minuutje of twintig een helicopterview over het onderwerp geven. Dat doet ze aan de hand van een leuk mailtje...

Moeilijke zaken
“Moeilijke zaken beoordelen. Hoe doe je dat? Een portfolio, een CV, hoe beoordeel je dat? Is iemand klantgericht? Spreekvaardig? En waarom is dat precies zo moeilijk?” Zo begint Coertjens. Verschillen we bijvoorbeeld als beoordelaars niet teveel van elkaar? bijvoorbeeld. De tweede belangrijke factor: kijken we wel naar de belangrijke elementen met een juist gewicht? ...Dit noemt de professor de ‘validiteit’.

Betrouwbaar beoordelen
Liesje gaat verder met het benoemen van ‘families’ van manieren van beoordelen. Bij de eerste grote familie wordt ‘holistisch’ beoordelen tegenover ‘analytisch’ beoordelen gezet. Ze laat een voorbeeld zien. Een mailtje van een leerling met een vraag. Ik heb niet genoeg smikkelpunten, maar ik wil toch een CD... Door de fouten en de kromme zinnen heen kan een beoordelaar gericht kijken naar dit mailtje. Naar een aantal ‘grote’ punten aan de hand van een criteriumlijst. De inhoud, de structuur, de stijl... Maar het hangt erg van de beoordelaar af hoe precies die beoordeling verloopt.

De betrouwbaarheid van een beoordeling is binnen deze familie een lastig ding. Door analytisch of holistisch naar een mailtje als dit te kijken is het probleem van de betrouwbaarheid in ieder geval niet opgelost. Al besteed je er 20 pagina’s met beoordelingscriteria aan (let op, aan één mailtje!): het probleem van de betrouwbaarheid en validiteit blijft bestaan.
 

Bestaand onderzoek
De professor duikt vervolgens –daar is ze professor voor, nietwaar– in het onderzoek en de literatuur rond beoordelen en vergelijken. Yeates bijvoorbeeld. Die heeft gekeken naar het beoordelen van video’s door expert-beoordelaars. De volgorde van beoordelen blijkt daarbij een rol te spelen, en dat is toch eigenlijk onwenselijk. Gemiddelde video’s bijvoorbeeld, worden hoger beoordeeld als ze na een slechte video volgen dan na een goede video.

Wat te doen? Paarsgewijs vergelijken, zegt Liesje Coertjens. De tweede grote familie van beoordelen. Ze keert terug naar het mailtje over de smikkelpunten. Neem twee mailtjes en vergelijk ze. Welke is beter? Het is handiger (geen getob over de precieze criteria) en sneller (tot 5x sneller!) om het beoordelen paarsgewijs te doen. Als een groepje van 4 beoordelaars 4 tekstjes beoordeelt (dat is 24 beoordelingen op ‘goed’ of ‘slecht’) komt daar een mooie wolk als resultaat uit. Een rangorde die betrouwbaarder is dan alleen holistisch of alleen analytisch beoordelen.

Flirten binnen de families...
Er zijn binnen de familie van ‘paarsgewijs beoordelen’ weer een aantal takken te benoemen: paarsgewijs vergelijken kan random, of rekening houdend met een ‘voorlopige score’, met benchmarks of op andere manieren. En jawel, met de verwantschappen tussen de families kun je ‘een beetje flirten’, besluit Coertjens... Een beetje meer holistisch... Een beetje meer analytisch… En dat gaan we vandaag doen!

Dan stapt Sven De Maeyer naar voren. Hij laat Liesje Coertjens niet met lege handen gaan. Hij heeft –jawel– twéé cadeautjes voor haar. Ze moet kiezen! Want als iemand het kan, dan is het degene die aan de wieg van het project (en de tool) D-PAC stond. En wat doet Liesje? Jawel: ze pakt BEIDE cadeautjes aan!

Richard Derks
Voeg toe aan selectie