Zo laat je je studenten lessen trekken uit krachtige feedback met D-PAC

Alexia Deneire (Universiteit Antwerpen)

‘Het lijkt er dus op dat het vergelijkend beoordelen potentie heeft’, oordeelt Martijn Leenknecht in zijn blog “De kracht van beoordelingscriteria (deels) ontkracht” over deze alternatieve aanpak om competenties te beoordelen. Helemaal juist. Beoordelen zonder beoordelingscriteria kan prima. Meer nog: het verloopt vrij eenvoudig en leidt tot een betrouwbaar en valide oordeel. Maar hoe zit het precies met de leerwaarde van dergelijke beoordelingen, is één van de vragen die worden gesteld in het blog van Martijn Leenknecht. In hoeverre kan comparatief beoordelen een bijdrage leveren aan het leren van de student? Wel, daar kan ik jullie meer over vertellen. In één zin samengevat: comparatief beoordelen levert krachtige (peer) feedback op. Zo leert ons eigen onderzoek én getuigen diverse gebruikers uit het hoger onderwijs.

D-PAC maakt comparatieve beoordeling mogelijk
In 2014 ontwikkelden we met ons team het Digitaal Platform voor het Assessment van Competenties, afgekort als D-PAC. Dat platform werkt vanuit de principes van comparatief beoordelen (ook wel: paarsgewijze vergelijking). Dit betekent dat je als beoordelaar het werk van je studenten niet langer op zich beoordeelt, maar steeds in vergelijking met een willekeurig ander werk. Bij elk paar geef je aan welk product je beter vindt in het licht van de te beoordelen competentie. En je werkt in teamverband: elk werk wordt door meerdere beoordelaars, dus verschillende keren beoordeeld. Het eindresultaat van het beoordelingsproces is geen cijfer, maar een betrouwbare en valide rangorde van de beoordeelde werken^1,2. D-PAC nodigt je als beoordelaar uit om feedback te schrijven bij het werk van je studenten. De feedback-module van D-PAC biedt zo extra leerkansen voor jouw studenten.

Leer meer over D-PAC in deze introductievideo: https://player.vimeo.com/video/215619748

Hoger onderwijs omarmt comparatieve beoordeling met D-PAC
Vooral het hoger onderwijs reageert enthousiast op de diverse mogelijkheden van D-PAC. Meer dan 50 opleidingen in Vlaanderen en Nederland maakten al kennis met de voordelen van comparatief beoordelen via D-PAC. De opdrachten en het format van die opdrachten zijn erg gevarieerd. Beoordelaars buigen zich over essays, rapporten en zelfreflecties van studenten, maar ook afbeeldingen, video en geluidsfragmenten passeren de revue. Uit onderzoek blijkt dat een gemiddelde van 12 vergelijkingen per werk al een voldoende betrouwbaarheid oplevert van .70. Of je 12 vergelijkingen veel vindt hangt er natuurlijk wat van af. Het vergelijken gaat immers snel en de vergelijkingen worden verspreid over meerdere beoordelaars. Gedeeld werk maakt licht werk, toch? Studenten in het hoger onderwijs ervaren deze manier van beoordelen trouwens als eerlijk en geloofwaardig³.

Leren van toetsen? Eén formule: vergelijken + feedback = inzicht
Docenten in het hoger onderwijs gebruiken onze tool voornamelijk voor formatieve doeleinden (o.a. via peer assessment). Dat kan perfect dankzij de feedback-module van D-PAC. Destijds gewoon als extraatje binnen het platform uitgebouwd, maar duidelijk een schot in de roos. Bij elke vergelijking die je als beoordelaar maakt, krijg je de gelegenheid om sterke punten en werkpunten te noteren bij beide werken (figuur 1). Je hoeft daarbij niet alle beoordelingscriteria te overlopen; benoemen wat er voor jou het meest uitspringt volstaat.

Figuur 1. Comparatief beoordelen: bij elke vergelijking feedback noteren

Groot voordeel voor je studenten is dat de feedback die ze aan het einde van de rit krijgen erg rijk is. De feedback is namelijk afkomstig van meerdere beoordelaars, die met een steeds wisselende (en evoluerende) blik naar de werken kijken (figuur 2). De rijke D-PAC-feedback biedt ruim kansen voor leren en ontwikkeling.

Figuur 2. Toegevoegde waarde van comparatief beoordelen: rijke feedback, van meerdere beoordelaars

Ook de positie die hun werk in de finale rangorde van de beoordeelde werken krijgt, is trouwens verrijkend voor de studenten (figuur 3). Elk van je studenten ziet in één oogopslag waar zijn of haar werk zich bevindt ten opzichte van dat van medestudenten. Achteraf kan je als docent in groep (anoniem) die werken bespreken die zich aan de top van of net onderaan de rangorde bevinden. Deze confrontatie met werk van anderen kan zo bij je studenten tot (nieuwe) inzichten leiden: wat wordt er van hen verwacht en waarom is een bepaald product van betere kwaliteit?

Figuur 3. Bespreek met je studenten hun werk in functie van de positie in de rangorde.

D-PAC en peer assessment gaan hand in hand
Ruim één op drie beoordelingen met D-PAC in het hoger onderwijs zijn peer assessments. Ook studenten kunnen elkaar een spiegel voor houden en D-PAC leent er zich als tool uitermate goed voor.

We weten uit eigen onderzoek en getuigenissen inmiddels al heel wat over comparatieve peer assessments. Even de belangrijkste inzichten op een rij:

• Zelfs al zijn studenten (nog) geen expert, ze kunnen vaak prima inschatten of een ander de opdracht goed of minder goed heeft uitgevoerd. Werken onderling vergelijken en de beste aanduiden is eenvoudig, er is dus geen uitvoerige instructie of training vooraf vereist.
• Tijdens het beoordelen krijgen ze tal van voorbeelden te zien die onderling variëren in kwaliteit. Vele voorbeelden verschaffen volop inspiratie. Het zien van het werk van anderen stimuleert reflectie over het eigen werk.
• Studenten ervaren het platform als een ‘veilige’ omgeving: het beoordelen verloopt er geheel anoniem. Niemand weet welk werk van wie is.
• Het geven van feedback aan medestudenten helpt bij het expliciteren van kwaliteitscriteria⁴.
• Studenten in vergelijking met standaard peer assessment eerder focussen op criteria van hogere orde.
• De feedback die studenten van hun peers ontvangen vinden ze rijk en waardevol³. Studenten aanvaarden de resultaten, doordat ze vertrouwen hebben in elkaars bekwaamheid. En ze zijn bereid om er ook effectief iets mee te doen, net doordat ze ook zelf feedback gaven (en verwachten dat dit peers aanzet tot reflectie en actie).

Geboeid?
D-PAC is ondertussen doorgezet onder de naam Comproved. Zie de website voor meer informatie: https://comproved.com/

Bronnen

1. Pollitt, A. (2012). Comparative judgement for assessment. International Journal of Technology and Design Education, 22(2), 157-170.
2. Van Daal, T., Lesterhuis, M., Coertjens, L., Donche, V., & De Maeyer, S. (2016). Validity of comparative judgement to assess academic writing: Examining implications of its holistic character and building on a shared consensus. Assessment in Education: Principles, Policy & Practice, 1-16. doi:10.1080/0969594X.2016.1253542
3. Mortier, A., Lesterhuis, M., Vlerick, P., & De Maeyer, S. (2015). Comparative judgement within online assessment: Exploring students feedback reactions. Proceedings of Communications in Computer and Information Science 571, 69-79.
4. Sluijsmans, D., Dochy, F., & Moerkerke, G. (1998). Creating a learning environment by using self-, peer-and co-assessment. Learning Environments Research, 1(3), 293-319.