De kracht van beoordelingscriteria (deels) ontkracht?

Martijn Leenknecht (Beleidsadviseur HZ University of Applied Sciences)

Om goed te kunnen beoordelen is het van belang dat je kennis hebt van beoordelingscriteria, toch? Betrouwbare beoordelingen door studenten hangen samen met hoe goed zij de beoordelingscriteria snappen, toch? Het lijkt heel logisch en dat is wat ik ook altijd dacht…

De afgelopen jaren heb ik vaak gepropageerd (en met mij vele anderen) dat het gebruik van beoordelingscriteria bij (peer) beoordelingen van cruciaal belang is voor de kwaliteit van de beoordeling. Het gebruik van beoordelingscriteria kan een antwoord zijn op de zorgen die leven bij docenten en studenten over de capaciteiten van studenten om elkaar (eerlijk) te beoordelen (zie Tillema, Leenknecht, & Segers, 2011). Het onderzoek van Jones en collega’s (2014; 2015) heeft me echter aan het denken gezet over de daadwerkelijke noodzaak van beoordelingscriteria in relatie tot de kwaliteit van peer beoordelingen. Jones en collega’s tonen namelijk aan dat het beoordelen zonder beoordelingscriteria ook prima kan. Uit hun onderzoek blijkt dat je een betrouwbare en valide beoordeling ook kan bereiken zonder het gebruik van beoordelingscriteria.

Beoordelen zonder beoordelingscriteria
We beoordelen veelal op basis van een set beoordelingscriteria of een prestatie van de student het gewenste niveau heeft bereikt. Jones en Alcock (2014) introduceren echter een andere manier van beoordelen: vergelijkende beoordelingen (comparative judgements). Hierbij beoordeelt de beoordelaar niet één prestatie aan de hand van criteria, maar meerdere prestaties in vergelijking tot elkaar. Per twee prestaties wordt steeds de beste van de twee uitgekozen. Door alle paarsgewijze beoordelingen door de verschillende beoordelaars samen te nemen met behulp van een statistisch algoritme (zie Bramley, 2007; Pollitt, 2012) wordt de uiteindelijke beoordeling vastgesteld.

Jones en Alcock (2014) vonden in hun onderzoek dat studenten op deze manier in staat zijn om kwalitatief hoogstaande beoordelingen te geven, zonder dat zij kennis hebben van beoordelingscriteria. Na een vergelijking tussen een absolute beoordeling en een vergelijkende beoordeling (waarbij beide groepen over ‘het juiste antwoord’ beschikten), concluderen Jones en Wheadon (2015) dat de vergelijkende beoordeling tot betere beoordelingen leidt dan de absolute beoordeling.

Het lijkt er dus op dat het vergelijkend beoordelen potentie heeft. Volgens Jones en Wheadon (2015) komt dit doordat mensen nu eenmaal beter zijn in het vergelijken van twee prestaties met elkaar dan het beoordelen van een afzonderlijke prestatie. Kortom, we hebben geen beoordelingscriteria nodig om te zorgen dat studenten betrouwbare en valide beoordelingen geven. Mijn inziens is het inzetten van vergelijkende beoordelingen dan ook het proberen waard.

Waarom wél gebruik maken van beoordelingscriteria?
Het onderzoek van Jones en collega’s laat dan wel zien dat voor kwalitatieve beoordelingen beoordelingscriteria niet noodzakelijk zijn, er zijn natuurlijk andere redenen te benoemen waarom het juist héél zinvol is om bij peer beoordelingen gebruik te maken van beoordelingscriteria. In mijn eerdere blog Leren van toetsen? Betrek studenten bij het toetsproces! en de reacties hierop, worden de volgende vier redenen genoemd om studenten te laten werken met beoordelingscriteria: 1) studenten ontwikkelen meer (vertrouwen in hun) domeinspecifieke kennis; 2) studenten ontwikkelen meer vertrouwen in en kennis van het beoordelen van zichzelf en anderen; 3) metacognitieve vaardigheden worden geoefend; en 4) studenten krijgen meer autonomie waardoor het gevoel van (taak)volwassenheid wordt vergroot.

Voor het leerproces van de student is het gebruik en vormen van beoordelingscriteria dus wel degelijk aan te raden. Interessant is ook de vraag, die Jones overigens ook zelf stelt, in hoeverre de vergelijkende beoordelingen een bijdrage kunnen leveren aan het leren van de student…

Referenties
Bramley, T. (2007). Paired comparison methods. In P. Newton, J.-A. Baird, H. Gold-stein, H. Patrick, & P. Tymms (Eds.), Techniques for monitoring the comparability of examination standards (pp. 264-294). London: QCA.

Jones, I., & Alcock, L. (2014). Peer assessment without assessment criteria. Studies in Higher Education, 39, 1774-1787. doi:10.1080/03075079.2013.821974

Jones, I., & Wheadon, C. (2015). Peer assessment using comparative and absolute judgement. Studies in Educational Evaluation, 47, 93-101. doi:10.1016/j.stueduc.2015.09.004

Pollitt, A. (2012). The method of adaptive comparative judgement. Assessment in Education: Principles Policy & Practice, 19, 281–300. doi:10.1080/0969594X.2012.665354

Tillema, H., Leenknecht, M., & Segers, M. (2011). Assessing assessment quality: Criteria for quality asurance in design of (peer) assessment for learning – A review of research studies. Studies in Educational Evaluation, 37, 25-34. doi:10.1016/j.stueduc.2011.03.004