Naar gecontroleerd vertrouwen: De rol van de examencommissie bij programmatisch toetsen

Martijn Leenknecht (HZ University of Applied Sciences) & Tamara van Schilt-Mol (Hogeschool van Arnhem & Nijmegen)

De introductie van programmatisch toetsen vraagt niet alleen van docenten en studenten een andere kijk op leren en toetsen dan ze tot nu toe gewend waren, ook de rol van de examencommissie verandert. De instrumenten en werkwijzen die een examencommissie gebruikelijk hanteert, kunnen niet allemaal één op één worden toegepast binnen een opleiding die werkt volgens de principes van programmatisch toetsen. Vragen als “In hoeverre moet een examencommissie grip hebben op de kwaliteit/ bekwaamheid van een feedbackgever?” en “Hoe kan je de kwaliteit van aangevoerd bewijs borgen?” poppen op. De examencommissies van Sport & Bewegen en Paramedische Studies van Hogeschool van Arnhem en Nijmegen gingen onder onze begeleiding gezamenlijk op verkenning uit.

De belangrijkste vraag die beide examencommissies hadden was “hoe groot is de ‘circle of influence’ van de examencommissie?”. In een toetsprogramma waarin niet programmatisch wordt getoetst, heeft een examencommissie een paar instrumenten in handen om bij te dragen aan de borging van de toetskwaliteit. Dit zijn: het aanstellen van de examinatoren, peilingen naar toetskwaliteit, en het toezicht op en de afhandeling van fraude, klachten, en speciale verzoeken. Echter, zijn deze instrumenten toereikend voor een opleiding die programmatisch toetsen toepast? Richt je je als examencommissie nog altijd uitsluitend op de examinator, of is de rol van feedbackgever of beoordelaar van datapunten zo cruciaal dat je daar ook iets van wilt vinden? En gaat de peiling ook over de kwaliteit van datapunten, of uitsluitend over de zwaarwegende beslissing die aan het eind van een langere periode genomen wordt?

In deze discussie is het volgens ons belangrijk om een onderscheid te maken tussen beoordelen en beslissen. Bij het beoordelen stel je vast waar iemand staat, bij het beslissen verbind je daar een consequentie aan. Bij een datapunt wordt dus ook de prestatie van de student beoordeeld en hierop wordt de feedback gebaseerd. Tijdens een eindevaluatie (vaak high stake genoemd) weegt een groep van (bij voorkeur onafhankelijke) examinatoren alle beoordelingen en feedback verkregen met de datapunten en nemen zij een beslissing.

Terug naar de vragen die oppopten in de verkenning van de examencommissies. Dat deze vragen oppoppen, is op zich een goed teken. Het onderstreept het belang dat wordt gelegd bij het leer- en feedbackproces in programmatisch toetsen. Niet de eindbeslissing, maar het proces daarheen maakt het verschil binnen programmatisch toetsen. Het vormt geen verrassing meer welke beslissing genomen wordt (bijvoorbeeld of er wel of niet studiepunten worden toegekend) en het leerproces tot aan dit moment is zo goed in beeld dat de student en begeleidende docent(en) weten hoe ver de student staat in zijn/haar leerproces.

De gezamenlijke examencommissies constateerden dat de kwaliteit van feedback bij het nemen van de beslissing bij deze eindevaluatie van groot belang is. Maar betekent dat dan ook dat je eisen moet stellen aan de feedbackgevers, bijvoorbeeld een stapje verder dan BKE: een basiskwalificatie feedback geven (BKF)? Alvast een spoiler: wij vinden van niet. En tot hoe ver rijkt de arm van de examencommissie en waar start de verantwoordelijkheid van het onderwijs? Daarbij is ook de vraag relevant wat eigenlijk kwaliteit van feedback is. In eerste instantie zou je denken aan de inhoud en correctheid van de feedbackboodschap, met andere woorden of de feedback een juiste afspiegeling is van wat de student op dat moment kan en nog moet leren. Echter, wanneer je aan het einde wilt kunnen vaststellen of een beslissing over het functioneren van de student correct wordt genomen, is de relevantie van de feedback wellicht veel belangrijker. Feedback die heel correct is, maar niet relevant, draagt niet bij aan een rijke beslissing: de feedback moet, net als de datapunten, gerelateerd worden aan de beoogde leerresultaten om een zorgvuldige beslissing te kunnen nemen over de beheersing van die leerresultaten. Dat vraagt dus ook om eenduidige richtlijnen/ formats voor het verzamelen van feedback, zodat iedere feedbackgever relevante feedback geeft. Daarnaast concludeerden we dat bij een steekproef op het eindniveau, een van de taken van de examencommissies, het wellicht beter zou zijn niet zozeer te richten op de kwaliteit van de feedback, maar op de kwaliteit van de opdrachten: de opdrachten moeten de studenten in staat stellen zich te ontwikkelen op de beoogde leerresultaten en de studenten uitdagen dit niveau te kunnen laten zien.

Dit neemt uiteraard niet weg dat het totaal aan feedback dekkend moet zijn om een goede uitspraak te kunnen doen over de bekwaamheid van de student. Je wilt weten hoe de relevante feedback samen wordt genomen en wordt gewogen. De systematiek van synthese, hoe de ontwikkeling van de student in kaart wordt gebracht en wordt beoordeeld, bepaalt of je kunt spreken over een kwalitatief goede beslissing. Kortom, we concludeerden dat je als examencommissie vooral zicht wilt hebben op hoe feedback verzameld en inzichtelijk wordt gemaakt en hoe beoordelaars tijdens de eindevaluatie alle bewijzen bundelen en wegen. Bieden de beoordelingsformulieren en –procedures voldoende houvast? Zijn de prestatie-indicatoren op een hanteerbaar niveau uitgewerkt? En is er tijdens het onderwijs voldoende gekalibreerd met alle betrokkenen bij het feedback- en beslisproces over de criteria, standaarden, en werkwijze?

Melvin Redekers, bergbeklimmer en avonturier, verwoordde het eens op een studiedag van de HAN als ‘gecontroleerd vertrouwen’. Als je in je tentje aan een rotswand hangt, dan ga je niet zelf alle zekeringen controleren door er heen te klimmen, maar ga je aan de hand van een aantal specifieke vragen controleren of je collega alle procedures goed heeft doorlopen. Geen blind vertrouwen, maar vertrouwen dat je controleert door het naleven van procedures en afspraken te checken. Dat is precies de veranderende rol van de examencommissie in programmatisch toetsen. Niet de kwaliteitscriteria die we kennen van traditionele toetsen willen plakken op alle datapunten, maar deze gebruiken om te controleren op de procedures en naleving van afspraken. Dat vraagt loslaten. De examencommissies van Sport & Bewegen en Paramedische Studies hebben hierin met deze discussie een eerste stap gezet.

Lees ook het vervolgblog van Sylvia Heeneman en Martijn Leenknecht!