Feedbackcultuur vormgeven: waar staan we nu?

Mirjam Straatman, Letizia Sciarone, & Silas Weinert (Studenten Master Onderwijswetenschappen OU)

“Feedbackcultuur is een dynamisch interrelationeel concept waarin continu dialogische, persoonlijke en in grote mate positieve feedback gegeven wordt en waarin er sprake is van intensieve samenwerking op docent- en bestuursniveau” (Van der Linden, 2017, p. 30).

Al geruime tijd heeft het begrip feedbackcultuur aandacht in het onderwijs en dus ook van Platform Leren van Toetsen. Zo deed Marieke van der Linden in 2017 onderzoek ten behoeve van de definiëring van het begrip feedbackcultuur, voerde de themagroep ‘Feedbackcultuur’ een verdere verdieping van het begrip uit en resulteerde dit in 2021 in een tool Feedbackcultuur, ontwikkeld door Ynke Brouwer. Het doel hiervan was dat deze tool door hogescholen zelfstandig ingezet zou kunnen worden bij het vormgeven van een feedbackcultuur die vele nastreven. Een volgende stap in het proces zou het testen van de tool zijn: immers een tool die niet empirisch zijn waarde heeft bewezen, is nog niet klaar voor verdere publicatie. In oktober 2022 is deze stap uitgevoerd. Levert dat een kant en klare tool op, klaar voor hogescholen om ingezet te worden? Nee, nog niet, maar wel een hoop waardevolle inzichten ter verbetering van de tool en daarmee weer een stap verder op de weg naar hulp bij de vormgeving van een feedbackcultuur.

Vervolgonderzoek
Wij, drie masterstudenten Onderwijswetenschappen aan de OU, namen het op ons om de tool feedbackcultuur te onderzoeken op effect in de praktijk door de feedbackoriëntatie van de deelnemers te meten. Aangezien uit literatuuronderzoek naar voren komt dat een goede feedbackoriëntatie van grote invloed is op een positieve feedbackcultuur (Braddy et al., 2013; Henderson et al., 2019; London & Smither, 2002), was de veronderstelling dat als de tool de feedbackoriëntatie van deelnemers zou verhogen, dit een positief effect zou hebben op de feedbackcultuur.

Onze onderzoeksopzet resulteerde in drie onderzoeken, waarbij wij de tool (of een aangepaste versie ervan) inzetten in de praktijk en de feedbackoriëntatie van deelnemers maten: (1) het onderzoeken van de vermeende samenhang tussen de individuele feedbackoriëntatie van deelnemers en de teamconceptie van het begrip feedbackcultuur, (2) het onderzoeken van de vraag of het toevoegen van een extra werkvorm, bovenop de tool ter bevordering van de feedbackoriëntatie effect sorteert en (3) het onderzoeken van de vraag of het bieden van externe begeleiding bij het doorlopen van de tool impact heeft op het effect van de tool.

Aanpak
De onderzoeken zetten wij uit onder 77 deelnemers, verspreid over 8 docententeams, afkomstig van 7 verschillende hogescholen. Deze teams vonden we via een oproep in het netwerk van Platform Leren van toetsen. Daarnaast gebruikten wij ons eigen netwerk. De deelnemende teams werden verdeeld in drie groepen, waarbij één groep een extra werkvorm, toegevoegd aan de tool uitvoerde. Van de twee andere groepen kreeg één groep externe begeleiding en voerde de andere groep de tool zelfstandig uit.

Naast afname van de feedbackoriëntatievragenlijst (Linderbaum & Levy, 2010) om de feedbackoriëntatie van deelnemers te meten, namen we elf verdiepende interviews af. Tijdens deze interviews vroegen we door op de ervaring van de tool feedbackcultuur, de ervaring met de externe begeleider of het ontbreken daarvan, de extra werkvorm en ervaren veranderingen van de tool feedbackcultuur.

Onderzoek 1: samenhang?
Mirjam Straatman onderzocht of er sprake is van samenhang tussen de individuele feedbackoriëntatie van deelnemers en de conceptie van feedbackcultuur van het team waarvan zij deel uitmaken. Uit het onderzoek bleek geen bewijs voor deze samenhang: verschillen in teamconcepties van feedbackcultuur konden niet verklaard worden door de samenstelling van het team met betrekking tot de feedbackoriëntatie van de individuele deelnemers.

Onderzoek 2: effect tool en extra werkvorm
Letizia Sciarone onderzocht het effect van de oorspronkelijke tool op de feedbackoriëntatie van de deelnemers én of een extra werkvorm gericht op feedback self-efficacy en nut van feedback effect zou hebben op hun feedbackoriëntatie. Na het doorlopen van de oorspronkelijke tool bleek de feedbackoriëntatie van de deelnemers niet significant verbeterd. De extra werkvorm ter bevordering van de feedbackoriëntatie bleek wel een positieve (maar helaas geen significante) impact te hebben op de feedbackoriëntatie van de deelnemers. Opvallend was dat ze hun eigen feedback self-efficacy tijdens de werkvorm laag inschatten, terwijl bij dezelfde deelnemers uit de feedbackoriëntatielijst van Linderbaum en Levy (2010) een redelijk hoge self-effficacy bleek.

Onderzoek 3: effect externe begeleider
Silas Weinert onderzocht in hoeverre het inzetten van een externe begeleider een bijdrage levert aan de effectiviteit van de tool feedbackcultuur. De tool is ontworpen om zelfstandig gebruikt te worden door docententeams op de hogescholen. Uit de vergelijking van scores op feedbackoriëntatie tussen teams bleek een externe begeleider geen significante invloed te hebben op het effect van de tool. Uit de verdiepende interviews bleek dat teams die externe begeleiding hadden ontvangen daar wel meerwaarde van ervaarden, en dat het soort begeleiding waar ze behoefte aan hadden afhankelijk was van hun ontwikkeling op het gebied van feedback(cultuur). Teams die zichzelf inschatten als verder ontwikkeld zoeken voornamelijk een procesbegeleider, waar teams die zichzelf minder ontwikkeld inschatten veel meer een expert en een didactisch onderlegde externe begeleider zoeken.

Feedbackcultuur vormgeven: hoe nu verder?
De resultaten van onze onderzoeken bieden perspectief op een vernieuwde versie van de tool Feedbackcultuur die hogescholen kan helpen in hun proces naar een positieve feedbackcultuur. Met de uitkomsten van deze drie onderzoeken is er weer een slag geslagen als het gaat om inzichten in (het bewerkstelligen van een) feedbackcultuur, hoe feedbackoriëntatie hierin een rol speelt, de rol van een externe begeleider én de ervaringen met een extra werkvorm ter bevordering van feedbackoriëntatie. Daarnaast bieden de onderzoeken concrete handvatten voor aanpassingen voor de ontworpen tool en kunnen aanbevelingen worden gedaan aan hogescholen met betrekking tot de begeleiding om het effect van de tool te optimaliseren. Denk bijvoorbeeld aan wanneer de inzet van een externe begeleider een toegevoegde waarde heeft.

Referenties
Braddy, P. W., Sturm, R. E., Atwater, L. E., Smither, J. W., & Fleenor, J. W. (2013). Validating the feedback orientation scale in a leadership development context. Group & Organization Management, 38(6), 690–716. https://doi.org/10.1177/1059601113508432

Brouwer, Y. (2021). Legitimeringsrapport stage [Ongepubliceerd stageverslag]. Universiteit Utrecht.

Henderson, M., Phillips, M., Ryan, T., Boud, D., Dawson, P., Molloy, E., & Mahoney, P. (2019). Conditions that enable effective feedback. Higher Education Research and Development, 38(7), 1401–1416. https://doi/org10.1080/07294360.2019.1657807

Linderbaum, B. A., & Levy, P. E. (2010). The development and validation of the feedback orientation scale (FOS). Journal of Management, 36(6), 1372–1405. https://doi.org/10.1177/0149206310373145

London, M., & Smither, J. W. (2002). Feedback orientation, feedback culture, and the longitudinal performance management process. Human Resource Management Review, 12(1), 81–100. https://doi.org/10.1016/S1053-4822(01)00043-2

Van der Linden, M. (2017). Feedback geven in het onderwijs: kwalitatief onderzoek naar verschillende aspecten van feedbackcultuur [Bachelorscriptie, Erasmus Universiteit Rotterdam].