Houvast bij het invoeren van programmatisch toetsen in de praktijk

Sascha Winkel (De Haagse Hogeschool) en Marleen Kaijen (Kaijen Onderwijsinnovatie, Hogeschool van Arnhem en Nijmegen)

Ben je bezig met programmatisch toetsen of sta je op het punt om hiermee te starten? Je zult dan al snel merken dat invoering een grote omslag vraagt van opleidingen. Niet alleen toetsing krijgt een andere functie, het hele onderwijs wordt anders vormgegeven. Kortom, het invoeren van programmatisch toetsen vraagt moed. Wij zijn vanuit onze eigen onderwijspraktijk betrokken bij opleidingsteams die aan de slag gaan met programmatisch toetsen en zijn op zoek naar houvast in de begeleiding van deze teams. We lazen ter inspiratie het artikel van Torre en collega’s (2021) ‘Ottawa 2020 consensus statements for programmatic assessment: 2. Implementation and practice’. Zij voerden internationaal onderzoek uit naar de verschillende elementen die een rol spelen bij de implementatie van programmatisch toetsen. We bespreken in dit blog wat ons opviel tijdens het lezen en wat we ermee kunnen in de praktijk.

Van onderzoek naar praktijk: welke toepassing zien wij?
Torre en collega’s (2021) bespreken elementen die van belang zijn bij de implementatie van programmatisch toetsen. Deze elementen worden door de onderzoekers geclusterd tot drie thema’s: 1) een zinvol en betekenisvol feedbackproces, 2) het ontwerpen van het toetsprogramma en 3) het nemen van zorgvuldige beslissingen. Wij zien in deze driedeling een concrete toepassing voor de praktijk. Je kunt de drie thema’s – in aanvulling op de zes principes van PT – als ontwerpvraagstukken beschouwen om het concept programmatisch toetsen met je opleidingsteam(s) vorm te geven, te bepalen wat goed gaat en op welke gebieden je nog stappen te zetten hebt. We geven hieronder een korte samenvatting van de drie ontwerpvraagstukken zoals weergegeven in het artikel van Torre en collega’s.

1. Een zinvol en betekenisvol feedbackproces
Het eerste ontwerpvraagstuk draait om het vormgeven van een proces waarbij de groei van studenten gestimuleerd wordt door een doorlopend proces van zinvolle en betekenisvolle feedback. Het gaat erom dat ieder datapunt geoptimaliseerd wordt voor feedback en leren. Dit vraagt om een goede coachings- en begeleidingsstructuur en investering in de relatie tussen studenten, docenten en coaches. Regelmatige bijeenkomsten met studenten om het leerproces te bespreken en bij te kunnen sturen zijn essentieel. De datapunten en feedback worden veelal bijgehouden in een (elektronisch) portfolio. Het portfolio kan allerlei soorten datapunten bevatten, bijvoorbeeld feedback van experts, zelfreflecties, (feedback op) opdrachten, of andere informatie waaruit de ontwikkeling van de student blijkt. Het portfoliosysteem wordt zodanig ingericht dat zowel studenten als docenten overzicht houden over en inzicht hebben in de informatie uit de datapunten en daarmee de voortgang van het leren.

2. Het ontwerpen van het toetsprogramma
Het tweede ontwerpvraagstuk gaat over het toetsprogramma dat integraal en doelbewust wordt vormgegeven vanuit een raamwerk van leeruitkomsten, competenties, vaardigheden en/of beroepstaken. Zo’n raamwerk wordt binnen programmatisch toetsen vaak de ruggengraat of ‘backbone’ genoemd (Baartman et al., 2020). Het toetsprogramma is zowel gericht op het optimaliseren van het leren en ontwikkelen als op het nemen van robuuste en betrouwbare beslissingen. Het toetsprogramma bevat een mix aan verschillende toetsmethoden. Het kan dan bijvoorbeeld gaan om leertaken, kennistoetsen, observaties in de praktijk, presentaties en beroepsproducten. De kunst bij het ontwerpen en uitvoeren van toetsen als datapunten, is om alle betrokkenen continu bewust te laten zijn dat het niet gaat om zak-/slaagbeslissingen. De toetsen maken onderdeel uit van een groter geheel. Het invoeren van verschillende low-stake datapunten gericht op feedback voorafgaand aan high-stake beslissingen ondersteunt opleidingsteams bij de transitie van een afrekencultuur naar een cultuur van feedback en leren.

3. Het nemen van zorgvuldige beslissingen
Het derde ontwikkelvraagstuk richt zich op het ontwerpen van een goede beslisprocedure en draait vooral om de high stake beslissingen waarbij er voor studenten veel op het spel staat. Deze beslissingen worden meestal door een commissie van beoordelaars genomen. Belangrijk is dat de beoordelaars niet bij het leerproces van de student betrokken zijn geweest. Het hebben van heldere procesbeschrijvingen en beoordelingscriteria helpen de commissie om tot een goede eindbeslissing te komen. De beoordelingscriteria, vaak opgenomen in rubrics, zijn meestal holistisch van aard en afgeleid van de ruggengraat van de opleiding. Denk bijvoorbeeld aan een korte beschrijving van wat in welke fase van de opleiding verwacht mag worden van de student. Voor verreweg het grootste deel van de studenten zijn de te nemen beslissingen eenvoudig en heel duidelijk: bij deze studenten wijzen de datapunten allemaal in dezelfde ontwikkelingsrichting en is de beslissing geen verrassing.

Wat valt ons op?
Ondersteunen van studenten bij verandering
Wij herkennen in meer of mindere mate de elementen die in het onderzoek van Torre worden aangehaald. Het is vooral een bevestiging dat er veel komt kijken bij de invoering van programmatisch toetsen. Het vraagt verandering van alle betrokkenen. Wij herkennen de observatie van Torre en collega’s dat het belangrijk is om extra aandacht te besteden aan goede communicatie en informatievoorziening aan studenten over het toetsprogramma en waarom voor deze onderwijsopzet gekozen is. Ook studenten zitten midden in de verandering van leren voor een cijfer naar leren om te ontwikkelen. Wij willen hieraan toevoegen dat het ontwikkelen van vaardigheden bij studenten om bijvoorbeeld feedback te geven en te ontvangen aandacht en begeleiding vraagt, en vertrouwen te hebben dat studenten die vaardigheden kunnen ontwikkelen.

Verandertaal
Tot slot, wij zouden zelf de term ‘implementeren’ niet zo snel gebruiken in de context van programmatisch toetsen. Het is taal die past bij ‘blauwdrukdenken’. Daarbij wordt verondersteld dat mensen veranderen als je van tevoren een duidelijk resultaat vastlegt en de weg ernaar toe beheerst (De Caluwe & Vermaak, 2006). Hoewel je bij het invoeren van het concept programmatisch toetsen zeker een plan maakt, is het vooral een weg van ontdekken en leren. Om met elkaar bewust te zijn in wat voor verandering je zit, heb je een soort gemeenschappelijke verandertaal nodig. Je kunt de veranderaanpak bij programmatisch toetsen daarom beter duiden als expeditie dan als een strak projectmatig project (Brand-Gruwel, 2019).

Nu is het gedurende een expeditie ook fijn om een routekaart te hebben. De drie ontwerpvraagstukken uit het onderzoek kunnen opleidingsteams houvast bieden, zonder daarbij het proces van leren en ontwikkelen uit het oog te verliezen.

De themagroep programmatisch toetsen van Platform Leren van toetsen maakt wetenschappelijke artikelen toegankelijk in blogs en producten om onderwijsprofessionals in het hbo te inspireren en informeren over nieuwe inzichten rondom programmatisch toetsen.

Bronnen
Baartman, L., van Schilt-Mol, T., & Van der Vleuten, C. (2020). Programmatisch toetsen: Voorbeelden en ervaringen vanuit de praktijk. Boom Uitgevers.

Brand- Gruwel, S. (2019). Innovatie in het hoger onderwijs: hoe succes te maximaliseren. Onderwijsinnovatie, 21 (3), 14-17.

De Caluwe, L. I. A., & Vermaak, H. (2006). Leren veranderen: een handboek voor de veranderkundige. Compleet herziene versie. Kluwer.

Torre, D., Rice, N., Ryan, A., Bok, H., Dawson, L., Bierer, B., Wilkinson, T., Tait, G., Laughlin, T., Veerapen, K., Heeneman, S., Freeman, A., & Van der Vleuten, C. (2021). Ottawa 2020 consensus statements for programmatic assessment: 2. Implementation and practice. Medical Teacher, 23(10), 1149-1160. https://doi.org/10.1080/0142159X.2021.1956681