Holistisch beslissen en de borging van kwaliteit door een examencommissie, hoe dan?

Sylvia Heeneman (Universiteit Maastricht) & Martijn Leenknecht (HZ University of Applied Sciences)

In een eerdere blog schreven Martijn Leenknecht en Tamara van Schilt-Mol over het ‘gecontroleerd vertrouwen’ waarmee examencommissies hun borgende taak in de context van programmatisch toetsen kunnen uitvoeren. Door het controleren van procedures en de naleving van afspraken kan de examencommissie de kwaliteit van het programma van toetsing borgen. Veel examencommissies vragen zich echter af welke concrete instrumenten ze daarvoor kunnen inzetten. We delen in dit blog de ervaringen van twee examencommissies en presenteren zeven instrumenten om vorm te geven aan het hoe van gecontroleerd vertrouwen.

Opleidingen die werken met het concept programmatisch toetsen hebben hun toetsing en leren geïntegreerd en ondersteunend aan elkaar gemaakt. Het programma van toetsing, in de breedste zin van het woord, moet het leren maximaal bevorderen en tegelijkertijd informatie opleveren om robuuste beslissingen over studievoortgang te kunnen nemen (Van der Vleuten & Schuwirth, 2011). Er wordt continu informatie gegenereerd over het leren en de voortgang van studenten. Dat gebeurt in leeractiviteiten, (toets)taken en feedbackmomenten, ook wel datapunten genoemd. Deze datapunten zijn ‘low-stakes’, er zijn geen consequenties, zoals zak/slaag beslissingen aan verbonden. Studenten gebruiken de informatie van de datapunten om te leren. Beoordelaars gebruiken de informatie voor holistische beslissingen, waarbij uitslagen, feedback, tussentijdse adviezen over voortgang, analyse en reflecties van de student worden gestructureerd en geaggregeerd (samengevoegd). Dit geheel leidt tot een beslissing over studievoortgang, zoals verder gaan naar een volgend studiejaar of afstuderen. Hiervoor is veel rijke informatie nodig, want deze beslissing heeft belangrijke gevolgen: er staat veel op het spel (‘high-stakes’).

De examencommissie moet de kwaliteit van deze holistische beslissing kunnen borgen. Hoewel de kwaliteitscriteria voor toetsen hetzelfde blijven (validiteit, betrouwbaarheid, transparantie, enz.), loopt het spaak als borgingsinstrumenten uit de conventionele benadering op dezelfde wijze worden gehanteerd binnen programmatisch toetsen. In een conventionele benadering van toetsen richt de kwaliteitsborging van de examencommissie zich op de individuele toetsen en beoordelingen en bekijkt zij hoe deze beoordelingen samen een dekkend, samenhangend en verantwoord totaalbeeld vormen van de eindkwalificaties/leerresultaten (zie figuur 1a). Bij programmatisch toetsen richt de kwaliteitszorg zich op de beslissing over de bekwaamheid van de student op basis van rijke informatie en hoe die samen leiden tot een totaalbeeld (zie figuur 1b). Bij programmatisch toetsen erken je dat losse ‘toetsen’ of datapunten niet aan alle kwaliteitseisen kunnen voldoen.

In de master geneeskunde opleidingen van de Universiteit Maastricht worden high-stakes overgangsbeslissingen in de meeste gevallen genomen door een beoordelingscommissie aan het einde van het studiejaar. In de beslissingsprocedure van de master geneeskunde opleiding Arts-Klinisch Onderzoeker (A-KO) worden meerdere beoordelingsadviezen over studievoortgang meegenomen, namelijk van een tweede mentor tussentijds, van de eigen mentor en van de groep van mentoren op het einde van het jaar. Deze beoordelingsadviezen worden door de beoordelingscommissie, samen met de inhoud van het portfolio, gebruikt voor de holistische overgangsbeslissing. De procedures en de advies- en beoordelingsformulieren zijn opgenomen in toetsplannen. De examencommissie gebruikt deze toetsplannen in de borging. De examencommissie bekijkt of beslissingsprocedures helder en transparant zijn vastgelegd.
Instrument 1: beoordeel of beslisprocedures transparant zijn vastgelegd

In toetsplannen wordt een blauwdruk opgenomen met een overzicht van de beoogde datapunten en hoe deze datapunten informatie geven over de leerresultaten. Als examencommissie kan je deze blauwdruk bekijken en beoordelen of deze dekkend en samenhangend is. De examencommissie beoordeelt hoe de leerresultaten worden gedekt met de vooraf geplande datapunten. Ook de verantwoording van de blauwdruk en de gekozen datapunten wordt beoordeeld.
Instrument 2: beoordeel of de blauwdruk dekkend en samenhangend is en goed is verantwoord

De examencommissie bekijkt steekproefsgewijs de inhoud van een aantal portfolio’s om na te gaan of de beoogde dekking van de leerresultaten wordt gerealiseerd en of de informatie betekenisvol en kwalitatief voldoende is om te worden benut in de adviezen en beoordelingen. Dit betekent niet dat alle informatie in het portfolio in detail wordt bekeken of dat gegeven feedback wordt beoordeeld. De examencommissie gaat uit van gecontroleerd vertrouwen, dus met de steekproef wordt met name gekeken naar het geheel van informatie en of deze voldoende dekkend is om een beslissing op te baseren. Door de leer- en feedbackfunctie van toetsing als kwaliteitscriterium voor het programma van toetsing te hanteren, kan de examencommissie met deze steekproef ook deze leer- en feedbackfunctie borgen.
Instrument 3: controleer steekproefsgewijs of de beoogde dekking van de leerresultaten in de praktijk wordt gerealiseerd

Bij programmatisch toetsen kunnen studenten ook zelf datapunten genereren. Het portfolio van de student kan daardoor uiteindelijk nog veel rijker zijn dan uit de blauwdruk kan worden afgeleid. Voor het toevoegen en beoordelen van ‘eigen’ datapunten hebben opleidingen vaak procedures en vereisten opgesteld. Zo heeft de opleiding Voeding & Diëtetiek van de Hogeschool van Arnhem en Nijmegen spelregels voor feedbackmomenten gedeeld en besproken met studenten. De examencommissie neemt deze spelregels mee in de borging van de toetskwaliteit.
Instrument 4: beoordeel de procedures voor het opnemen van datapunten van studenten in het portfolio

Het is binnen programmatisch toetsen geen bezwaar als een student in bepaalde datapunten nog niet heeft laten zien de leerresultaten te beheersen. Kritische feedback wordt gezien als leerkans en is net zo informatierijk als positieve feedback. Hoe de feedback, waaruit blijkt dat de student nog niet op niveau presteert, wordt meegenomen in de holistische beslissing is interessant. Gebeurt dat bijvoorbeeld op vergelijkbare wijze voor alle studenten? Bij de master opleiding Geneeskunde A-KO (UM) wordt informatie uit de datapunten in drie rondes geaggregeerd: [1] in de voortgangsgesprekken tussen student en mentor; [2] in de tussen- en eindadviezen van eigen en andere mentoren; en [3] in de high-stakes beslissing door de beoordelingscommissie. De andere mentoren die datapunten aggregeren kunnen worden gezien als een tweede paar ogen, die de kwaliteit van het beslisproces mede bewaakt. De examencommissie is als observator aanwezig geweest bij een aantal vergaderingen van de groep van mentoren om te zien hoe de eindadviezen tot stand komen. Ook is ze als observator bij de beoordelingscommissie geweest, om te zien hoe de informatie wordt gebruikt en wordt geaggregeerd, en hoe een en ander is verwoord op het beoordelingsformulier. Hierdoor krijgt de examencommissie zicht op de aggregatie van informatie over de bekwaamheid van de student.
Instrument 5: observeer de momenten van aggregatie in aanloop naar het beslismoment

Het high-stakes beslismoment  is een moment dat in de conventionele benadering van toetsen niet bestaat. Bij zowel Geneeskunde (UM) als Voeding & Diëtetiek (HAN) wordt de beslissing genomen door een beoordelingscommissie. De beoordelingscommissie wordt bij beide opleidingen zorgvuldig samengesteld. Bij Geneeskunde wordt gekozen voor een multidisciplinair team, terwijl bij Voeding & Diëtetiek beoordelingsduo’s worden samengesteld op basis van ervaring met holistisch beslissen. Als examencommissie kun je de samenstelling van de beoordelingscommissie beïnvloeden en beoordelen.
Instrument 6: geef richtlijnen voor en beoordeel de samenstelling van de beoordelingscommissie

Het holistisch beslissen vraagt om veel afstemming tussen de examinatoren en vertrouwdheid met de procedures. De examinatoren bij Voeding & Diëtetiek (HAN) werken volgens een beslisboom die hen stap-voor-stap door het portfolio leidt en helpt bij het vaststellen van een eindbeslissing (cijfer). Alle examinatoren nemen vooraf samen het portfolio door aan de hand van de beslisboom. Tussendoor worden terugkoppelingsmomenten ingepland om vragen en discussiepunten te bespreken. Zo wordt gaandeweg gekalibreerd. De examencommissie is aangesloten bij de high-stakes ochtend en heeft kunnen zien hoe de verschillende duo’s van examinatoren te werk gaan en welke vraagstukken in de terugkoppeling worden besproken. Dit geeft de examencommissie inzicht in de werkwijze én uitvoering van de procedures.
Instrument 7: beoordeel de beslis- en kalibratieprocedures en observeer de uitvoering ervan

Conclusie
De examencommissies uit de voorbeelden gebruiken meerdere instrumenten om het holistisch beslissen te borgen. Een aantal instrumenten wordt ook gebruikt in het borgen van de kwaliteit van individuele toetsen in de conventionele benadering, maar wordt nu ingezet voor het borgen van de holistische beslissing. Eén aspect valt op: de examencommissies uit de voorbeelden hebben de opmerkelijke stap genomen van een controle alleen ‘op papier, vanaf het bureau’ naar observatie, zoals beschreven bij instrument 5 en 7. Ze krijgen daarmee een goed beeld van procedures en de uitvoering ervan. Observatie is een betekenisvol en behulpzaam instrument om de kwaliteit van het holistisch beslissen te borgen. Verder wordt uit de voorbeelden duidelijk dat maatwerk wordt gevraagd. De examencommissie moet in het uitvoeren van de borgende taken aansluiten bij de praktijk van de opleiding. Zo bepaalt de werkwijze bij de high-stakes beslissing hoe een examencommissie de beslis- en kalibratieprocedures en uitvoering ervan kan observeren en beoordelen. Ook is het belangrijk dat examencommissies in de uitwerking van hun borgingsinstrumentarium transparant zijn en de dialoog hebben met hun examinatoren over het ‘hoe en waarom’. Kortom, borgen van toetskwaliteit van programmatisch toetsen vraagt van een examencommissie dat ze aansluit bij het ontwerp van het programma van toetsing, vanachter het bureau komen, en met de voeten in de klei stappen.

Nabrander
Overigens zien we ook parallellen met accreditatie- en visitatieprocessen. Het is in accreditatieprocessen gebruikelijk om de commissie veel papieren bewijs te overhandigen: toetsplannen, psychometrische analyses, eindwerken en bijbehorende beoordelingsformulieren, enzovoort. Wij denken dat het voor accreditatiecommissies van opleidingen waarin programmatisch toetsen wordt gebruikt zeer informatief is om een beoordelingsvergadering bij te wonen, zodat panelleden kunnen zien en ervaren: hoe aggregeert de beoordelingscommissie informatie; hoe komen ze tot een besluit; wat is de rol van procedures en hoe worden bijvoorbeeld de rubrics van het beoordelingsformulier gebruikt? Als het fysiek bijwonen praktisch niet uitvoerbaar is, kan overwogen worden om een vergadering op te nemen, zodat een accreditatiecommissie kan zien hoe een holistische beslissing tot stand komt. Dit kan wellicht leiden tot een accreditatieprocedure die meer op locatie, en minder vanuit documenten wordt uitgevoerd.

Referenties
Baartman, L., Van Schilt-Mol, T., & Van der Vleuten, C. (2020). Programmatisch toetsen. Voorbeelden en ervaringen uit de praktijk. Amsterdam: Boom.

Van der Vleuten, C., & Schuwirth, L. (2011). Een model voor programmatische toetsing. Examens, 2011(3), 5-9.