Valide én betekenisvol onderzoeken van effect van feedback

Het Platform op EAPRIL conferentie
Door Els Roskam-Pelgrim (Avans) en Simone Kooij (Hogeschool Rotterdam)

Terwijl de kou in Nederland optrekt, praten wij op een zonnige woensdagmorgen in Cyprus over onderzoek naar het effect van feedback. Tijdens de EAPRIL conferentie, eind november in Nicosia, hebben we een roundtable session gehouden over de vraag: hoe kunnen we het effect van feedback op een valide manier meten, zonder in te leveren op de praktische relevantie en betekenis van de resultaten?

EAPRIL is een Europese conferentie voor praktijkonderzoek in het onderwijs. Naast interessante key notes en presentaties, zijn interactie, uitwisselen en een netwerk opbouwen belangrijke doelen van de conferentie. Tijdens de roundtable sessions kunnen startende onderzoeksprojecten een dilemma op tafel leggen, en daarover met aanwezigen van gedachten wisselen.

Onze vraag had een methodologisch karakter. In onze onderzoeken zijn we op zoek naar antwoorden op de vraag hoe studenten van feedback op (summatieve) toetsen kunnen leren. Feedback is pas effectief, als de student de feedback gaat gebruiken in het leerproces dat erop volgt. Docenten steken veel tijd in het formuleren van goede feedback, maar of de studenten hier vervolgens ook iets mee gaan doen, en wat ze er mee doen, daar hebben we minder zicht op. Onze onderzoeken richten zich op dit vraagstuk. In onze onderzoeken zijn we er vooral in geïnteresseerd wat er na de feedback en feed forward bij de student gebeurt. De bovenste lijn uit onderstaande figuur geeft dit schematisch weer.

Zoals in deze figuur te zien is, zullen we in ieder geval de kwaliteit van de gegeven feedback en feed forward moeten onderzoeken. Vervolgens willen we onderzoeken wat er na die feed forward gebeurt, om hiermee daadwerkelijk effect van feedback te kunnen vaststellen. We merken dat dit nog niet zo eenvoudig is. In het geval van een doorlopende leerlijn, zou je het effect van feedback kunnen afmeten aan de resultaten van de student op een volgende toets (heeft de student geleerd van de feedback, of maakt hij nog steeds vergelijkbare fouten?). Maar hoe weet je of beter presteren na het krijgen van feedback door die feedback komt? Er zijn ook veel andere variabelen in het spel.

Om valide uitspraken te kunnen doen, zou het aantal variabelen in ons onderzoek beperkt moeten worden. Tijdens de round table discussie werd dit door een aantal aanwezigen geopperd. Een gevaar hierbij is echter dat dit de werkelijkheid zodanig versimpelt, dat uitkomsten van het onderzoek niet betekenisvol zijn voor de hbo-praktijk.

Een andere methode is het typeren van de feedback die de student op het eerste beoordelingsmoment krijgt, en dat vergelijken met een typering van de feedback die de student krijgt op een beoordelingsmoment dat hierop volgt. Als de feedback op beide beoordelingsmomenten vergelijkbaar is, laat dat zien dat de student de feedback van de eerste beoordeling niet verwerkt heeft. Deze methode, aangevuld met interviews met studenten over de redenen van wel of niet verwerken van feedback, is toegepast door Donovan (2014). Voor lagere orde denkprocessen en feedback op taakniveau bleek de methode uitvoerbaar, maar het verwerken van hogere orde feedback was lastiger zichtbaar.

Andere aanwezigen bij de round table adviseerden ons aan de student te vragen wat hij van de ontvangen feedback vindt. Volgens Price, Handley, Miller, & O’Donovan (2010) is de student de aangewezen persoon om de effectiviteit van feedback te beoordelen. Een van de deelnemers wees op de mogelijkheden van mobiele technologie, om studenten op een aantal momenten tijdens het leerproces te bevragen. Tegelijkertijd is het mogelijk dat de student de waarde van de feedback nog niet herkent. Hiervoor moet de student goed kunnen reflecteren op zijn eigen leerproces. Daarnaast kan het stellen van zo’n vraag al een interventie zijn, zo werd in de discussie opgemerkt. De aandacht van studenten wordt op feedback gericht, waardoor ze mogelijk bewuster met het verwerken van de feedback aan de slag gaan.

Het longitudinaal volgen van een student met betrekking tot de feedback die hij krijgt en de verwerking daarvan werd genoemd als mogelijke onderzoeksmethode. Ook werd aangegeven dat we feedback niet moeten benaderen vanuit perspectief van zenden door de docent, maar aan de student zouden moeten vragen wat hij nodig heeft om zich verder te ontwikkelen. Daarnaast werd gereageerd op het spreken van ‘meten’ van effectiviteit. Daar tegenover kun je ook meer narratieve vormen van onderzoek inzetten, waarbij ruimte is voor de beleving en betekenis voor student en docent.

Tijdens de round table hebben we over bovenstaande dilemma’s gesproken. Uiteraard hebben we de ultieme oplossing niet gevonden, maar het heeft ons wel nieuwe inzichten opgeleverd. Een steeds terugkerend thema hierbij is kenmerkend voor praktijkgericht onderzoek: een spanningsveld tussen ambitieuze praktijkvragen in complexe contexten en de noodzaak van het meetbaar maken voor onderzoek, binnen de beperkte tijd en middelen. Het inzetten van kwalitatieve, narratieve onderzoeksmethoden lijkt een oplossing te kunnen zijn voor het dilemma.

Referenties
Donovan, P. (2014). Closing the feedback loop: physics undergraduates’ use of feedback comments on laboratory coursework. Assessment & Evaluation in Higher Education, 39 (8), 1017-1029.

Price, M., Handley, K., Millar, J., & O’Donovan, B. (2010). Feedback: all that effort, but what is the effect? Assessment & Evaluation in Higher Education, 35 (3), 277-289.