Dashboard voor het ontwikkelen van programmatisch toetsen in je opleiding
Wendy Peeters (Hogeschool Utrecht) en Irene Biemond (Hogeschool Van Hall Larenstein)
De themagroep Programmatisch toetsen van het Platform Leren van toetsen wil wetenschappelijke artikelen toegankelijk maken in blogs. In dit blog stellen we ons de vraag: op welke factoren heb je als team invloed als je programmatisch toetsen ontwikkelt in jouw opleiding? Wat maakt dat je de doelen die je wilt bereiken met programmatisch toetsen wel of niet behaalt? We presenteren een dashboard dat kan helpen om grip te krijgen op deze factoren.
In een eerder blog beschreven wij vier voorwaarden waaraan je als team moet voldoen om te kunnen starten met programmatisch toetsen. Nu zoomen wij in op de invoering zelf, want de kwaliteit van de invoering is cruciaal voor het succes van programmatisch toetsen (Van der Vleuten et al, 2019). Wij kijken naar de invoering aan de hand van een artikel van Torre en collega’s (2021). Zelf hebben wij het liever over de ontwikkeling – en niet de invoering – van programmatisch toetsen in een opleiding. Dat maakt wat ons betreft duidelijker dat er geen vaste invoeringsroute is, maar dat er steeds opnieuw keuzes gemaakt moeten worden die passen bij de context van de opleiding.
Torre en collega’s hebben vijftien opleidingen die werken volgens de uitgangspunten van programmatisch toetsen bevraagd over succesfactoren en belemmerende factoren in de ontwikkeling en de uitvoering in de dagelijkse praktijk. Met behulp van literatuur zijn de bevindingen verder gekaderd en geanalyseerd. Wij vatten hun bevindingen in deze blog samen in acht schuiven op een dashboard. Daarbij hebben we de vrijheid genomen factoren te clusteren.
Dashboard
Wij hebben de factoren weergegeven als een dashboard waarbij we elke meter beschrijven als succesfactor. Elke meter heeft een maximale en een minimale stand. In de maximale stand (aangeduid met waarde 8; bijvoorbeeld: sterk leiderschap) is het een succesfactor en draagt het bij aan de ontwikkeling van programmatisch toetsen in een opleiding. In de minimale stand (0) is de meter een belemmerende factor en kan ertoe leiden dat de ontwikkeling van programmatisch toetsen in de opleiding minder goed verloopt, en de gestelde doelen niet worden behaald.
Uit het artikel van Torre en collega’s wordt duidelijk dat de factoren op zichzelf niet allesbepalend zijn. Ten eerste hoeft de aanwezigheid van één belemmerende factor niet per se te leiden tot het niet behalen van de gestelde doelen. Verder beïnvloeden de factoren elkaar onderling ook. Bovendien bepaalt de context van de opleiding welke meters er precies zijn en óf er aan te draaien is. Alleen het totaal van het dashboard geeft richting aan het welslagen van programmatisch toetsen.
Dashboard voor de ontwikkeling van programmatisch toetsen
Beweeg met je muis over de meters om de uitleg te lezen.
van sterk leiderschap wordt gewerkt
vanuit een duidelijke visie. De
leidinggevende draagt die visie
consequent uit; het team is
toegewijd om zich hiervoor in te
zetten. Het is duidelijk welke
–haalbare– doelen de ontwikkeling
van programmatisch toetsen beoogt.
Het plan om deze doelen te bereiken
is transparant en wordt helder
gecommuniceerd.
met programmatisch toetsen maken
opleidingen allerlei ontwerpkeuzes.
Zolang deze niet bijten met de
uitgangspunten van programmatisch
toetsen is dat geen probleem; als dat
wel zo is, is er kans dat de doelen die
de opleiding wil bereiken door de
ontwikkeling van programmatisch
toetsen, niet worden behaald. Daarom
is steeds regie nodig op het concept.
programmatisch toetsen combineert
met het invoeren van een nieuw of
vernieuwd curriculum, doorloopt
volgens de onderzoekers duidelijk
een gemakkelijker proces dan
opleidingen die het programmatisch
toetsen binnen een bestaand
programma ontwikkelen. Wij
herkennen dit in onze praktijk. Als
bijvoorbeeld een werkbare ruggengraat
voor de opleiding is ontwikkeld, helpt
dat veel om het gebruik van feedback
door studenten te stimuleren.
stakeholdersGrote betrokkenheid van alle
belanghebbenden bij de fases
ontwerp, ontwikkeling, uitvoering en
borging van programmatisch toetsen
is een succesfactor. Dit blijkt zowel uit
de literatuur als uit de reacties van de
bevraagde opleidingen. Daarbij gaat
het ook -en misschien wel vooral- om
het betrekken van studenten.
Betrokkenheid is en blijft in alle fases
van belang. De andere meters helpen
om die betrokkenheid te vergroten.
aan dat het essentieel is om
voortdurend voldoende middelen
beschikbaar te hebben om docenten
en studenten te trainen en te
professionaliseren. Dit geldt ook
als het concept al wordt uitgevoerd.
In de professionalisering gaat het niet
alleen over de uitgangspunten van
programmatisch toetsen, maar ook
over de praktische uitwerking daarvan
in de opleiding. Als voorbeeld zien we
dat opleidingen die met het concept
werken, veel aandacht besteden aan
het vergroten van de coachings-
vaardigheden van docenten.
in softwareEen andere succesfactor is de
bereidheid om tijd én geld te
investeren in software voor
e-portfolio's. Zowel de bevraagde
opleidingen als de literatuur geven
dit aan. Die software is nodig
om de informatie uit de
datapunten samen te voegen. De
software speelt daarmee een
belangrijke rol in de ondersteuning
van de feedbackfunctie, in de
zelfsturing van studenten en in
de triangulatieprocedures voor de
besliscommissie. Met dit laatste
wordt bedoeld dat de software de
besliscommissie ondersteunt
omdat deze gemakkelijk toegang
geeft tot informatie over de
ontwikkeling van de student vanuit
verschillende bronnen.
cruciale succesfactor. Zowel
studenten als docenten/begeleiders
moeten dit ontwikkelen. Aan de
kant van de studenten verstaan wij
daaronder: het vermogen om
feedback te ontvangen, vragen,
geven én gebruiken. Aan de kant
van de docenten en begeleiders
betekent dit dat zij voortdurend hun
beoordelingsvaardigheden verbeteren
en werken aan hun vermogen om
goede en effectieve feedback te
organiseren die aansluit bij het
competentieraamwerk (de
ruggengraat). Bovendien helpen
zij de studenten om feedback te
begrijpen, te analyseren en te
verwerken. Uit de literatuur blijkt
dat de vertrouwensrelatie
en de dialoog tussen studenten en
docenten bij feedback van groot
belang is; zij moeten regelmatig
en betekenisvol contact hebben om
het feedbackproces te laten slagen.
coachsysteemEen bewust ontwikkeld coachsysteem
zien de bevraagde opleidingen als een
succesfactor. Zo’n systeem heeft tot
doel inzicht te geven in de voortgang
en de prestaties van studenten. In
onze praktijk zien we dat de feedback-
dialoog, de analyse van feedback en
het opvolgen van feedback door het
stellen van doelen hierin belangrijke
elementen zijn. Wij zien in opleidingen
om ons heen dat het goed werkt om
het coachsysteem te verbinden met
het begeleidingssysteem, waarin we
vooral aandacht hebben voor
studentenwelzijn. Vaak gebeurt dit
in de vorm van leerteams.
In gesprek over het dashboard
Wij zijn benieuwd of je deze factoren herkent en in hoeverre je hierop als team invloed kunt uitoefenen. Als er teams zijn die dit dashboard al gebruiken, horen wij graag hoe ze dat aangepakt hebben. Tijdens onze workshop op 3 juni op het Festival Leren van toetsen gaan we graag met docenten en ontwikkelaars in gesprek over dit dashboard. Herken je de meters uit je eigen praktijk? En ook: hoe kun je er daadwerkelijk aan draaien?
De themagroep programmatisch toetsen van Platform Leren van toetsen maakt wetenschappelijke artikelen toegankelijk in blogs en producten om onderwijsprofessionals in het hbo te inspireren en informeren over nieuwe inzichten rondom programmatisch toetsen.
Bronnen
Torre, D., Rice, N., Ryan, A., Bok, H., Dawson, L., Bierer, B., Wilkinson, T., Tait, G., Laughlin, T., Veerapen, K., Heeneman, S., Freeman, A., & Van der Vleuten, C. (2021). Ottawa 2020 consensus statements for programmatic assessment: 2. Implementation and practice. Medical Teacher, 23(10), 1149-1160. https://doi.org/10.1080/0142159X.2021.1956681
Van der Vleuten C., Heeneman, S. & Schut, S. (2019). Programmatic assessment: an avenue to a different assessment culture. In: Yudkowsky R., Soo Park, Y., & Downing, S. Assessment in health professions education. New York: Routledge.
Coverfoto: bewerking van foto door Austin Distel via Unsplash.com
Dashboard: bewerking van foto door Chris Liverani via Unsplash.com
Dit werk valt onder een Creative Commons Naamsvermelding-NietCommercieel-GelijkDelen 4.0 Internationaal-licentie.
