Comparatief beoordelen om feedbackgeletterdheid te bevorderen

Stephanie Kruiper (Universiteit Utrecht)

Misschien moeten we voorlopig eens stoppen met het doen van onderzoek naar feedback, en ons concentreren op het implementeren van alles wat we tot nu toe hebben ontdekt? – de uitdagende stelling die Juuso Nieminen innam tijdens zijn webinar. In een eerstejaarscursus voor onze opleiding onderwijswetenschappen aan de Universiteit Utrecht hebben we het advies van Nieminen ter harte genomen. We hebben gewerkt aan het bevorderen van feedbackgeletterdheid bij studenten op basis van inzichten uit de wetenschap. Dit deden we door middel van comparatief beoordelen met het programma Comproved.

Het principe van comparatief beoordelen gaat er vanuit dat het makkelijker is om prestaties te vergelijken dan ze los van elkaar te moeten beoordelen (Lesterhuis et al., 2017). Door heel vaak twee opdrachten met elkaar te vergelijken en daarbij holistisch te bepalen welke beter is, wordt uiteindelijk een rangorde opgesteld waarbij de opdrachten worden gesorteerd van minst goede opdracht naar beste opdracht. Comparatief beoordelen wordt gezien als een valide en betrouwbare methode, vooral voor beoordelen met meerdere docenten (McMahon & Jones, 2015). Om het proces te ondersteunen werken we met het programma Comproved. In figuur 1 is afgebeeld hoe het vergelijken werkt. De C en E staan in dit geval voor de werken die studenten inleveren. Je ziet dat de werken naast elkaar worden weergegeven waarbij je aanklikt welk werk je beter vindt. De uiteindelijke rangorde die zichtbaar wordt na het vergelijken is te zien in figuur 2.

Figuur 1. vergelijken van twee werken

Figuur 2. voorbeeld van een rangorde

De grootste interesse lag voor ons in het potentieel van comparatief beoordelen voor formatieve toetsing (Bouwer et al., 2018). We hebben Comproved ingezet om (peer)feedback te genereren op de schrijfopdrachten van studenten. In twee rondes gaven zowel studenten als docenten anoniem feedback op het ingeleverde werk. Omdat het beoordelingsproces een gezamenlijk proces is van vergelijken krijgt ieder ingeleverd werk van meerdere personen (soms deels tegenstrijdige) feedback. Zie figuur 3 voor een voorbeeld van hoe deze feedback wordt weergegeven. Studenten zien vervolgens waar zij staan op de rangorde in Comproved én kunnen alle werken van hun medestudenten én de feedback hierop anoniem bekijken. Een schat aan informatie.

In de werkgroep gingen we aan de slag om de feedback te gebruiken. Studenten kregen de opdracht om een feedbackactieplan te maken, waarin ze: (1) hun feedback categoriseerden op bruikbaarheid; (2) beargumenteerden welke feedback ze gingen gebruiken en welke ze naast zich neerlegden; en (3) drie hoofdpunten formuleerden waarbij concrete acties werden genoemd ter verbetering van hun werk. Voor het bedenken van deze concrete acties konden ze de papers en feedback van medestudenten gebruiken als informatiebron. Studenten vergeleken hun werk met dat van anderen waardoor zij zichzelf feedback geven, ofwel inner feedback genereerden (Nicol, 2021, zie ook blog Marieke Kloek). Juist door in het actieplan de acties concreet te maken werd het vergelijkingsproces van studenten expliciet gemaakt, volgens Nicol essentieel voor goede inner feedback.

In het onderwijs hadden we de studenten voorbereid op dit moment door verschillende opdrachten uit te voeren geïnspireerd op de Developing Engagement with Feedback Toolkit (Winstone & Nash, 2016; Nederlandse versie is hier te vinden). Volgens Carless & Boud (2018) is het bij bevordering van feedbackgeletterdheid belangrijk dat studenten:

1. het belang van het feedbackproces inzien;
2. leren om de kwaliteit van eigen en andermans werk in te schatten;
3. leren op emotioneel vlak om te gaan met feedback;
4. leren om actie te ondernemen naar aanleiding van feedback.

De opdrachten focussen zich op deze vier aspecten, waarbij het eerder genoemde actieplan een uitwerking was van het vierde aspect. We hebben de opdrachten deels aangepast aan onze eigen context.

Als eerste vroegen we studenten aan de start van de cursus drie voorbeeldpapers met elkaar te vergelijken. Hierbij stelden we ze de vraag waar zij aan zagen dat een paper goed of juist minder goed was, waarna we gezamenlijk de criteria voor de opdracht vaststelden. Voor ons was het belangrijk om vooraf transparant te zijn over het beoordelingsproces en studenten daarin een stem te geven. Daarnaast leerden studenten al meteen de kwaliteit van ander werk in te schatten. De studenten waren in week 1 van hun opleiding al in staat om de volgorde van de kwaliteit van de papers juist in te schatten. Daarnaast keken zij na de vergelijkingen met veel interesse naar de criterialijst die de docenten voorstelden, waarna we aanpassingen hebben gemaakt op basis van hun suggesties.

Verder zijn we het gesprek aangegaan met studenten over wat feedback krijgen op emotioneel vlak met je doet door slechte en fijne ervaringen met elkaar te delen. Studenten kregen hierdoor de realisatie dat ook wij als docenten feedback krijgen en daarmee aan de slag moeten (en dat wij dat ook niet altijd makkelijk vinden). Ook hebben we een uitbreiding gemaakt op de bestaande gids voor studenten: ‘Doeltreffend gebruikmaken van feedback’ (Hogeschool van Amsterdam, 2022), en hebben we meerdere kennisclips gemaakt om studenten het belang van het feedbackproces te laten inzien.

Figuur 3. Voorbeeld van feedback gegeven in Comproved. Iedere rij staat voor een andere feedbackgever. Dit kan een medestudent of docent zijn (de feedback is anoniem).

Conclusie

Als docenten zijn we nu twee jaar op deze manier aan het werk. De omslag naar een nieuwe manier van beoordelen kost natuurlijk tijd. Juist door ook naar de inhoud van de cursus als geheel te kijken en aanpassingen te maken waar nodig konden we de (formatieve) toetsing goed laten aansluiten bij de cursusinhoud. Het vergelijken kost ons in de eindbeoordeling minder tijd dan ieder werk stuk voor stuk bekijken. In de feedbackrondes geven studenten en docenten gezamenlijk feedback, waarbij de studenten het meeste werk verrichten. Als docenten checken we hoe feedback is gegeven en sturen bij waar nodig. Al met al werkt comparatief beoordelen voor ons goed om studenten zich meer bewust te maken van hun eigen rol in het feedbackproces. Studenten zijn kritisch over de kwaliteit van de feedback en maken actieve keuzes in de feedback die zij wel en niet verwerken. Ze gebruiken de papers van anderen en de feedback hierop om hun eigen werk te verbeteren. Sommige studenten organiseerden zelf extra feedbackmomenten met medestudenten omdat zij dit belangrijk vonden. Wij zijn enthousiast en zetten deze werkwijze voort.

Literatuur

Bouwer, R., Goossens, M., Mortier, A. V., Lesterhuis, M. & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment: leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs. Phronese.

Carless, D., & Boud, D. (2018) The development of student feedback literacy: Enabling uptake of feedback. Assessment & Evaluation in Higher Education, 43(8), 1315-1325, https://doi.org/10.1080/02602938.2018.1463354

Lesterhuis, M., Verhavert, S., Coertjens, L., Donche, V., & de Maeyer, S. (2017). Comparative judgement as a promising alternative to score competences. In E. Cano & G. Ion (Eds.), Innovative practices for higher education assessment and measurement. https://doi.org/10.4018/978-1-5225-0531-0.ch007

McMahon, S. & Jones, I. (2015). A comparative judgement approach to teacher assessment. Assessment in Education: Principles, Policy & Practice, 22(3), 368-389. https://doi.org/10.1080/0969594X.2014.978839

Nicol, D. (2021). The power of internal feedback: exploiting natural comparison processes, Assessment & Evaluation in Higher Education, 46:5, 756-778, https://doi.org/10.1080/02602938.2020.1823314

Winstone, N. E. & Nash, R. A. (2016). Developing engagement with feedback toolkit. Verkregen via https://www.advance-he.ac.uk/knowledge-hub/developing-engagement-feedback-toolkit-deft

Uitgelichte afbeelding van charlesdeluvio via Unsplash