Ervaringen met programmatisch toetsen: verslag van de themabijeenkomst

Door: Liesbeth Baartman (Lectoraat Beroepsonderwijs, Hogeschool Utrecht)

Omdat programmatisch toetsen nog in opkomst is, is er veel behoefte aan informatie. Veel opleidingen hebben dezelfde vragen: “maar hoe doe ik dat dan concreet in de praktijk, kan ik ergens gaan kijken, heb je een goed voorbeeld voor mij?” Om in die behoefte te voorzien ben ik (Liesbeth Baartman) samen met Tamara van Schilt (HAN) en Cees van der Vleuten (Universiteit Maastricht) bezig met het samenstellen van een boek met praktijkvoorbeelden van opleidingen in het hoger onderwijs die werken volgens de principes van programmatisch toetsen. Voor het boek interviewen Tamara en ik ontwikkelaars en docenten van opleidingen die ervaring hebben opgedaan met programmatisch toetsen. De interviews vonden we zo interessant en gaven zoveel concrete voorbeelden en handvatten, dat we besloten zo’n interview openbaar te maken. Dat wil zeggen: iedereen mag komen luisteren naar het interview, het interview wordt opgenomen voor het boek, en na afloop van het “officiële interviewgedeelte” mogen alle aanwezigen hun prangende vragen stellen.

Op dinsdag 14 mei waren de mensen van de opleiding Diergeneeskunde van Universiteit Utrecht te gast bij het tweede openbare interview. Hoe hebben zij hun toetsprogramma ingericht, waarom hebben ze daarvoor gekozen, en hoe werkt het uit in de praktijk? Een kleine selectie uit de gestelde vragen en antwoorden.

Waarom programmatisch toetsen?

De opleiding Diergeneeskunde van de UU heeft programmatisch toetsen ingevoerd bij de coschappen, het werkplekleren van de studenten. In 2010 stond een grootschalige curriculumherziening gepland en de opleiding heeft dit moment aangegrepen om kritisch te kijken naar de toenmalige manier van toetsen tijdens de coschappen. Een belangrijk punt van onvrede was dat er weinig samenhang bestond tussen de verschillende coschappen. Studenten namen hun feedback en leerpunten nauwelijks mee van het ene coschap naar het volgende. Ook bestond er een soms impliciet gevoel bij docenten en studenten dat er “iets niet klopte”. Docenten werkten soms een hele dag met een student tijdens de coschappen en waren erg tevreden, terwijl diezelfde student een onvoldoende haalde op de formele toetsen. Met programmatisch toetsen wilde de opleiding daarom ook een meer rechtvaardige manier van toetsen bereiken, voor het gevoel van docenten en studenten.

Hoe is het toetsprogramma ingericht?

Heel kort gezegd kent het toetsprogramma low-stakes, intermediate-stakes en high-stakes beoordelingsmomenten. Bij al die beoordelingsmomenten wordt een formulier gebruikt waarop per competentiedomein beschrijvingen staan op een 5-puntsschaal (“milestones”), waarbij 5 het afstudeerniveau is (functioneren als zelfstandig dierenarts). Er zijn veel low-stakes momenten, waarbij er geen zak-slaag beslissingen vallen. Deze hebben dus weinig consequenties voor de student. De student neemt bijvoorbeeld een anamnese af bij een dier / patiënt. De student krijgt hierop feedback over zijn functioneren. Met multisource feedback formulieren krijgt de student feedback van eigenaren, docenten en medestudenten. Ook doet de student een korte wetenschappelijke verdieping op zo’n dier / patiënt.

Dan zijn er de medium-stakes beoordelingsmomenten. Dit is een halfjaarlijks gesprek met de tutor, waarvoor de student een POP schrijft met daarin een reflectie op alle gekregen feedback, de eigen ontwikkeling op de milestones, en de eigen leerdoelen voor het komende half jaar.

De opleiding kent twee high-stakes beoordelingsmomenten, aan het einde van het 2^e jaar en aan het einde van het 3^e jaar. Voor het high-stakes beoordelingsmoment worden alle low-stakes en medium-stakes beoordelingen verzameld in een portfolio. Het portfolio gaat naar een beoordelingscommissie en twee onafhankelijke beoordelaars beoordelen het porfolio. Mochten zij het niet met elkaar eens zijn, dan wordt een 3^e beoordelaar ingeschakeld en eventueel wordt het portfolio besproken in de vergadering van de beoordelingscommissie. In de praktijk zijn de beoordelaars het in 86% van de portfolio’s met elkaar eens.

Wat zijn de ervaringen van studenten?

Het idee achter het toetsprogramma van de opleiding Diergeneeskunde is dat studenten actief feedback gaan zoeken. Goede studenten blijken dit te doen omdat ze graag willen leren. Zij hebben bijvoorbeeld feedback gekregen en denken “daar wil ik meer van weten”. Deze studenten gebruiken de feedbackformulieren nogmaals en laten ze door anderen invullen. Laag presenterende studenten vragen de feedback meer “omdat het moet”. Zij houden zich meer aan de norm van het aantal verplichte feedbackformulieren in het portfolio.

In het begin hadden de studenten moeite met de low-stakes beoordelingen. Het idee was: low-stakes heeft geen consequenties, je krijgt feedback en daar kun je wat van leren. Maar de studenten ervaarden de low-stakes beoordelingen snel als summatief: dit komt in mijn portfolio en het gaat er nooit meer uit. De opleiding Diergeneeskunde geeft daarom ook trainingen aan 1^e jaars master studenten, om het idee achter het toetsprogramma uit te leggen. Die training bleek ook echt noodzakelijk. Toen de training een aantal jaren werd weggelaten, bleek meer onbegrip van studenten. De training werd daarom weer opnieuw ingevoegd in het curriculum.

Hoe hebben jullie dit voor elkaar gekregen?

De opleiding Diergeneeskunde is in 2009 begonnen met het opzetten van een werkgroep. Voor die werkgroep werden naast mensen met onderwijskundige expertise, bewust ervaren senior clinici gevraagd uit elke kliniek. Deze mensen hebben samen het toetsprogramma op papier uitgewerkt, onderling veel gesproken en weerstanden overwonnen. Zij werden eigenaar van het systeem en konden in hun eigen kliniek de boodschap verkondigen.

Natuurlijk waren er ook hobbels. De overige docenten kregen trainingen die soms werden ervaren als “over ons heen uitgerold, kritische vragen stellen mocht niet”. De opleiding heeft hiervan geleerd dat het voor alle betrokkenen cruciaal is om het proces van verandering zelf door te maken. Je moet de cultuurverandering onder docenten en studenten niet onderschatten, hier tijd en ruimte voor nemen en altijd blijven openstaan voor kritiek.

Voor de examencommissie was het heel belangrijk dat de procedures rondom het high-stakes beoordelingsmoment glashelder waren vastgelegd. Denk aan: wie zijn de beoordelaars in de beoordelingscommissie, welke trainingen hebben zij gehad, hoe gaan zij te werk bij het beoordelen, hoe worden lastige portfolio’s in vergaderingen besproken, enzovoort.

Veel meer informatie over het toetsprogramma, de keuzes hierachter, de weg ernaartoe en de werking in de praktijk komen terug in het boek! Ken je nog opleidingen die ook werken volgens (enkele) principes van programmatisch toetsen, dan horen we dit graag. We zijn nog steeds op zoek naar praktijkvoorbeelden voor het boek! Neem contact op met Liesbeth Baartman: liesbeth.baartman@hu.nl

Wil je meer weten over het toetsprogramma bij de opleiding Master Diergeneeskunde van de Universiteit Utrecht? Neem contact op met Harold Bok: g.j.bok@uu.nl