Baartman, L., Baukema, H., & Prins, F. (2023). Exploring students’ feedback seeking behavior in the context of programmatic assessment. Assessment & Evaluation in Higher Education, 48(5), 598-612. LINK

Kruiper, S. M. A., Leenknecht, M. J. M., & Slof, B. (2022). Using scaffolding strategies to improve formative assessment practice in higher education. Assessment & Evaluation in Higher Education, 47(3), 458-476. LINK

Leenknecht, M., Wijnia, L., Köhlen, M., Fryer, L., Rikers, R., & Loyens, S. (2021). Formative assessment as practice: the role of students’ motivation. Assessment & Evaluation in Higher Education, 46(2), 236-255. LINK

Leenknecht, M., Hompus, P., & Van der Schaaf, M. (2019). Feedback seeking behaviour in higher education: the association with students’ goal
orientation and deep learning approach. Assessment & Evaluation in Higher Education, 44(7), 1069-1078. LINK

Leenknecht, M. J. M. (2018). De handen ineen om te leren van toetsen: Samenwerking gericht op ontwikkeling. Examens, mei 2018, 34-37. LINK 

Nix, M. (2018). ‘De vraag is hoe je toetsen zo inzet dat het studenten verder helpt’. In: D. Sluijsmans & M. Segers (red.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs (pp. 171-174). Phronese DOWNLOAD 

Leenknecht, M., & Kooij, S. (2017). Leren van toetsen: Ontwikkelen als doel. HO Management, 9(2), 4-7. DOWNLOAD 

Leenknecht, M. J. M. (2022, juli 6-8). Studenten aansporen een actieve rol te pakken in het feedbackproces: do’s & don’ts. Symposium bij Onderwijs Research Dagen, Hasselt.

Leenknecht, M. J. M., Broerse, S., & Prins, F. J. (2022, juni 27-30). A closer look at the relationship between students’ feedback literacy and feedback seeking behaviour. Paper presentatie bij EARLI SIG 1 & 4 conferentie, Cadiz, Spanje.

Kruiper, S. M. A., Leenknecht, M. J. M., & Slof, B. (2021, juli 7-9). Het effect van een scaffolding training op de formatieve toetsingspraktijk van HBO. Paper presentatie bij Onderwijs Research Dagen, Utrecht.

Baukema, H., & Baartman, L. (2021, juli 7-9). Programmatisch toetsen en feedback zoekend gedrag: Percepties van studenten. Paper presentatie bij Onderwijs Research Dagen, Utrecht.

Broerse, S., & Leenknecht, M. J. M. (2021, januari 12-13) Developing students’ feedback literacy in higher education: Effect of a training program and goal orientation on students’ feedback seeking behaviour in workplace learning. Paper presentatie bij International Symposium on Feedback Literacy: From Education to Professional Practice, Surrey, Engeland (online).

Sluijsmans, D. (2018, juni). Op een andere manier kijken naar feedback: De student centraal. Symposium bij Onderwijs Research Dagen, Nijmegen.

Kooij, S. (2017, juni). Leren van toetsen: Studenten activeren met toetsen en feedback. Symposium bij Onderwijs Research Dagen, Antwerpen.

Roskam-Pelgrim, E., Kooij, S., & Leenknecht, M. (2014, november). Learning from assessment: Measuring feedback effectiveness. Roundtable bij EAPRIL Conference, Nicosia, Cyprus. VERSLAG

“Dit is het leukste en inhoudelijk meest informatieve congres over toetsen in Nederland.”

Voor een extra bijzondere jubileumeditie van het Festival Leren van toetsen waren we vrijdag 7 juni te gast bij Up Events! in Amsterdam. Hoewel de dag frisjes begon, maakte de feestelijke locatie en de stralende zon vanaf het middaguur deze editie tot een up-en-top festivalervaring. We kijken terug op een dag met “een goede ‘vibe’”, aldus een bezoeker. En daar doen we het voor!

Zoals elk jaar komen onze bezoekers om geïnspireerd te worden, nieuwe kennis op te doen, ervaringen uit te wisselen en te netwerken. Wat ook dit jaar weer ruimschoots lijkt te zijn gelukt, als we afgaan op de ervaringen van enkele bezoekers:

“Er was meer dan genoeg keuze en het was fijn dat je ter plekke kon aanschuiven waar je wilde.”

“De inhoud sluit goed aan op de ontwikkelingen in het onderwijs nu.”

“Het was soms lastig kiezen tussen alle interessante keynotes en workshops…”

“Ik heb weer leuke dingen opgehaald, waar ik met collega’s mee aan de slag kan.”

Op het programma stonden drie – waarvan twee internationale! – keynote sprekers die allen op locatie aanwezig waren! Martijn Leenknecht (HZ University of Applied Science) beet de spits af met een overzicht van 10 jaar leren van toetsen, en werd opgevolgd door Karen Gravett (University of Surrey) en Juuso Nieminen (University of Hong Kong). Parallel aan deze drie keynotes stonden in totaal maar liefst 21 workshops geprogrammeerd. Ook werd voor de lunch een demonstratieronde verzorgd door vijf commerciële partners, die allen ook aanwezig waren op de inmiddels bekende informatiemarkt.

Nieuw dit jaar was de MakerSpace, waar deelnemers de dag beginnen met het verhelderen van hun praktijkvraagstuk en gedurende de dag inspiratie opdoen om dit vraagstuk aan te pakken. Tijdens de laatste ronde workshops konden de deelnemers hun opgedane inspiratie direct omzetten in actie en waren er onderwijskundigen aanwezig om met ze mee te denken.

Tijdens de lunch hebben we de 10^e verjaardag van Platform Leren van toetsen gevierd, en werd het jubileumboek ‘Leren van toetsen in het hoger onderwijs’ gepresenteerd, dat we ter ere van deze mijlpaal hebben uitgegeven.  Ook hebben we aandacht gevraagd voor de studenten van Flowburo (ROC van Amsterdam) en Het Bureau (Grafisch Lyceum Utrecht) die de vormgeving van het boek en de organisatie van het festival mede mogelijk gemaakt hebben.

Tijdens de borrel hebben we in het zonnetje nog even nagenoten van weer een geslaagde editie.

op volgorde v.l.n.r.: Martijn Leenknecht, Simone Kooij, Anne Potters, Martje Köhlen, Els Roskam-Pelgrim, en twee studenten van het Grafisch Lyceum Utrecht

Keynote Martijn Leenknecht
Opname

Keynote Karen Gravett
Opname

Keynote Juuso Nieminen
Opname volgt

Ontwerp een plan voor formatief handelen
slides

Ontwikkelingsgericht toetsen: van hip naar happening
slides

Wanneer is er sprake van fraude? Uitbreiding van de Gesprekstool kwaliteitsborging examinatoren bij programmatisch toetsen – een hulpmiddel voor examencommissies
slides

Navigeren door je leerproces
slides

Formatief Handelen met ChatGPT: Het versterken van kwaliteitsbesef en zelfregulatie bij studenten
slides

Incorporating feedback literacy in curricula/Handvatten voor feedbackgeletterdheid in het curriculum
handvatten en materialen

Voortdurende toetsbekwaamheid van beoordelaars en beslissers in het hoger onderwijs
slides

Hoe stimuleer je de waardering van peerfeedback door studenten?
slides

Hoe anders borgen? Door de Community of Practice Examencommissies en innovatief onderwijs
hand-out

Docentfeedbackgeletterdheid: ontwerpen en begeleiden
slides

Single-point rubric: reliable and valid?
slides

Vanuit een inspirerend voorbeeld in gesprek over toetsen van inter-/transdisciplinaire samenwerking
slides

Generative AI in Assessment and ePortfolio
slides

Coach/docent interventies voor het stimuleren van feedbackzoekend gedrag
slides

Een leesclub met Ad-docenten: samen aan de slag!
slides

De ontwikkeling van een Landelijke VoortgangsToets
slides

In gesprek over AI: Toepassingen en Toekomstvisies in Onderwijs en Evaluatie
hand-out

Aan de slag met de Toetsweb-Scan: werken aan de kwaliteit van toetsing
slides

Ontdek de kracht van de Storyline Methodiek: het verhaal achter de studieresultaten
slides

Denk mee met de Inspectie over examencommissies
slides

Het jaarlijkse festival Festival Leren van toetsen vierden we dit jaar bij De Haagse Hogeschool. Bezoekers konden elkaar op deze gastvrije plek in een ontspannen sfeer ontmoeten. En daaromheen was er genoeg te beleven. “Er was enorm veel keuze. Voor mij zou het festival twee dagen mogen zijn.”  

De workshops boden voor elk wat wils. Docenten en adviseurs deelden hun ervaringen met experimenten en good practices in het onderwijs, onderzoekers presenteerden hun resultaten en tools en er vond kennisdeling plaats over specifieke onderwerpen. Bijzondere vormen waren een mini-symposium en een deep democratisch gesprek.  

Net als vorig jaar spraken er drie keynote speakers. Renske de Kleijn deelde de eerste ervaringen in de praktijk met de instrumenten voor feedbackdialogen. Daarna nam Patrick Sins in een volle zaal zijn toehoorders mee in ‘wat werkt’ als je, onder andere met feedback, in de klas zelfregulerend leren wilt bevorderen. Last but not least, gaf Anastasiya Lipnevich een mooie synthese van de inzichten uit diverse onderzoeken naar de effecten van feedback op leerresultaten. Dat zij online was belette haar niet om met het publiek uit te wisselen over de effecten van complimenten als feedback en de culturele aspecten daarvan.  

Nieuw was het concept ‘Meet up’. Collega’s uit het mbo en wo ontmoetten elkaar voor gesprek en verdieping specifiek over hun sector. De reactie waren positief, dus deze houden we erin. 

Als vanouds was er de informatiemarkt met bedrijven. Dit jaar gaven zij voor het eerst demonstraties in een aparte ruimte. Ook deze werden gewaardeerd door de bezoekers. 

Bij het weggaan kregen alle bezoekers een verjaardagkalender van het Platform om op te hangen op werk. Dit is in aanloop van het tienjarige jubileum van het Platform, dat komend schooljaar wordt gevierd. Wij kijken tevreden terug op dit festival, en de bezoekers ook. 

“Mooie mix, lastig kiezen”  

“Nieuwe ideeën opgehaald en bevestiging en herkenning ervaren”  

“Een goed georganiseerde, ontspannen én interessante dag”  

Keynote Renske de Kleijn
Bekijk opname

Keynote Patrick Sins
Bekijk opname

Keynote Anastasiya Lipnevich
Bekijk opname

Zicht op Studentontwikkeling: Spelenderwijs het leerpad van de studenten in kaart brengen / mapping students’ learning paths using a game
Slides

Mini-symposium: leren en waarderen in authentieke (virtuele) contexten met krachtige feedback
Slides

Wie examineert? Gesprekstool kwaliteitsborging examinatoren bij programmatisch toetsen – een hulpmiddel voor examencommissies
Slides
Gesprekstool

Flexibel toetsen in het Hoger Onderwijs
Slides

Oefenen met feedbackdialogen
Slides

Formatief toetsen in de praktijk: Kwaliteitsbesef ontwikkelen bij studenten
Slides

Coaching en programmatisch toetsen: hoe dan?!
Slides

Feedbackgeletterdheid bevorderen door comparatief beoordelen
Slides

Aan de bak met ‘constructive alignment’
Slides

Programmatisch toetsen bij Huidtherapie: de parels en knikkers
Slides

Zelfregulerend leren kun je niet zelfregulerend leren. Dat wordt je aangeleerd.
Slides
De WWW&H-regels
Cognitieve strategieën 

Ipsatief toetsen: dé oplossing voor inclusief toetsen?
Slides

Assessment in the international classroom
Slides

Een uitkomst voor leeruitkomsten: het inzichtelijk maken, gebruiken en interpreteren van leeruitkomsten in een LMS
Slides

Visie en kaders voor programmatisch toetsen binnen Fontys Paramedisch
Slides
Placemat

Assessment as a learning strategy, feedback process and judgement process: how do you optimally integrate these in a curriculum?
Slides

Ook bij Platform Leren van toetsen ontkomen we niet aan de gevolgen van de coronacrisis. We hebben helaas moeten besluiten om het jaarlijkse Festival Leren van toetsen een jaartje door te schuiven. Niet in 2020, maar in 2021 zijn we te gast bij Saxion voor Festival Leren van toetsen.

Voor het zesde jaar op rij stond de eerste vrijdag van juni in het teken van kennisuitwisseling tijdens ons jaarlijkse symposium. Dit jaar helemaal in festivalsfeer, compleet met kraampjes, foodtrucks, en een toffe line-up. We waren te gast bij Fontys Hogescholen in Tilburg.

Op main stage stond dit jaar twee keer Australiër en oude rot in feedbackonderzoek David Boud. Vaardig nam hij ons mee in de evolutie van het denken over feedback. Daarbij hield hij ons voor welke verouderde beelden er zijn over feedback. En hoe het beter kan. Eigenlijk is alle feedback feed forward anders blijf het bij informatie op studenten afvuren, zegt Boud, met tongue in cheek naar zijn Nieuw Zeelandse collega Hattie. Kijk en lees zijn bijdrage terug.  

Parallel liep een gevarieerd aanbod van workshops door docenten en onderzoekers. Ideeën en resultaten werden gedemonstreerd en besproken. Voor sommigen was het even zoeken: hoe zorg ik ervoor dat ik op tijd aanwezig ben bij mijn favoriete workshop én heb geluncht bij één van de foodtrucks? Maar de festivalsfeer zat er al snel goed in. Op de informatiemarkt kon je boeken inslaan en in gesprek met aanbieders van applicaties en trainingen die leren van toetsen ondersteunen. Op het main stage was er intussen een postermarkt met recent onderzoek van het Lectoraat Technology Enhanced Assessment. Nieuw waren dit jaar de discussiepleinen: hier kwamen meerdere initiatieven rondom een thema samen en zij wisselden kennis en ideeën uit onder leiding van een host.   

We sloten de dag af met feestelijke uitreiking aan de winnaar van de quiz onder het zingen van het toetslied dat speciaal voor het festival werd geschreven door Martin Reekers. Wij kijken tevreden terug op deze aflevering in festivalstijl. Voor wie benieuwd is naar de presentatie of materialen uit een van de sessies: zie het overzicht hieronder. 

Keynote David Boud
opname
slides

Postermarkt Lectoraat Technology Enhanced Assessment
poster Barbara Spieringh
poster Chantal de Koster
poster Daniëlle Quadakkers
poster Kim Dirkx, Desiree Joosten-ten Brinke, Jorik Arts, & Migchiel van Diggelen
poster Kim Dirkx, Desiree Joosten-ten Brinke, & Gino Camp
poster Mieke Jaspers & Jorik Arts (vormgever)
poster Mieke Jaspers & Jorik Arts (storyline)
poster Natasja Kok
poster Rosa Bartman

Discussieplein Kwaliteitsbewaking
verslag

Workshop 30 secondenspel leren van toetsen
slides

Workshop Stappen zetten richting programmatisch toetsen
samenvatting
kijkvragen over het WAAROM van programmatisch toetsen
kijkvragen bij het ONTWERP van programmatisch toetsen

Workshop Evalueer als team je toetsprogramma
slides

Workshop Het belang van goede vragen in duurzame feedbackdialogen
slides

Workshop De complexe vaardigheid van formatief toetsen in praktijk
slides

Workshop Van leerdoel naar leeruitkomst
slides

Workshop Self directed learning
slides
leeruitkomsten
rubric
voorbeeld portfolio

Workshop Formatief toetsen vanuit retrieval practice en spacing literatuur
slides

Workshop Inclusiever toetsen van de beroepsontwikkeling
slides

Workshop Equality, duurzaam veranderen van toetscultuur richting leren
slides

Workshop Bouwen aan een feedbackcultuur
slides
kaartjes

Workshop Upward Feedback
slides

Workshop Studenten maken de rubric zelf
slides

We hadden een bomvol programma beloofd en dat hebben we geweten. Het Symposium Leren van toetsen 2018 was uitverkocht met 250 deelnemers en een recordaantal collega’s droeg bij in de vorm van een workshop of keynote. Om zoveel mensen te helpen met netwerken deelden we bij de ingang bingokaarten uit. Wie het eerst de contactgegevens van mensen van acht verschillende hogescholen bemachtigde kreeg een prijs. Als eerste netwerkgelegenheid was er de rij voor de aanmeldbalie.

De aftrap werd verzorgd door een drietal keynotesprekers, Liesbeth Baartman, Dominique Sluijsmans en Jan de Geus. Elk vanuit hun eigen perspectief schenen zij hun licht op afstudeerprogramma’s. Hoe maak je de kern van het beroep zichtbaar in het ontwerp? Welke boodschap geef je af door je keuzes in de inrichting van je toetsprogramma? En wat vraagt dit van de opleiding? Op die laatste vraag hadden ze een unaniem antwoord: zie het als teamwork en leer van elkaar.

Daarna kon je in twee rondes uit tien verschillende workshops kiezen. Bij ‘Studenten maken toetsvragen’ deden docent Rem Pronk en student Laurens Bolt van de Hogeschool van Amsterdam verslag van hun ervaringen bij het co-creëren van toetsvragen. Aan dezelfde hogeschool kan je op drie verschillende manieren ‘Afstuderen als mediamaker’. Barbara Devilee nam de deelnemers mee in de totstandkoming van dit bijzondere afstudeerprogramma.

Een aantal workshops bood verdieping over de effectiviteit van feedback. In de workshop ‘Onderzocht: formatief toetsen en feedback’ deelden onderzoeker Frans Prins van de Universiteit Utrecht en studenten Dorette Schotpoort, Dieuwke Harkema en Vivianne Massierer hun inzichten in de perceptie en het feedbackzoekend gedrag van studenten. Ook Jorik Arts en Mieke Jaspers van Fontys presenteerdeneen aantal redenen waarom feedback soms zo weinig wordt gebruikt door studenten en gingen in op wat je daar aan kan doen door feedback een intergraal onderdeel te maken van leren en opleiden.

In de workshop ‘Haal meer rendement uit feedback bij digitaal toetsen’ verduidelijkten Esther Haykens van de Hogeschool Utrecht en Jolanda Soeting van Teelen het verschil tussen (anonieme digitale) taakgerichte en procesgerichte feedback en lieten hun deelnemers dit ook zelf ervaren. Verschillende mensen bleken verschillende voorkeuren te hebben. Bij Gerry Geitz en Jan de Geus van Stenden NHL draaide het in de workshop ‘Duurzame feedback’ om de duurzame doorwerking van feedback in het leren van studenten.

In twee workshops kon je praktisch aan de slag met instrumenten. Sommige deelnemers kregen onder leiding van Judith Gulikers van Wageningen Universiteit en Els Roskam-Pelgrim en Rina Baltjes van Avans al een voorproefje van de ‘Toolkit formatief toetsen’. In ‘Aan de slag met KIT 2.0!’ probeerden deelnemers met Liesbeth Baartman en Ellen de Kwant van de Hogeschool Utrecht de vernieuwde versie van het KwaliteitsInstrument Toetsprogramma uit. De spelvorm zorgde voor intensieve gesprekken, maar er werd ook veel gelachen.

Hoe ziet succes eruit? En hoe ontwikkel je ‘een neus voor kwaliteit’? Bas Trimbos en Gerdineke van Silfhout van SLO zoomden in op Dylan Williams’ feed up fase en besteedden ook aandacht aan hoe je dit in je organisatie voor elkaar krijgt. Dominique Sluijsmans (Zuyd Hogeschool) en Eric Entken (Hogeschool Rotterdam) wijdden hun hele workshop aan ‘Duurzaam implementeren is mensenwerk: de spannende weg naar een feedbackcultuur’. Met echte bouwstenen analyseerden deelnemers wat er zoal nodig is collega’s in beweging te zetten.

De ‘Postermarkt programmatisch toetsen’, onder begeleiding van Tamara van Schilt-Mol van Hogeschool van Arnhem en Nijmegen was een levendige uitwisseling van ervaringen tussen zes opleidingen die hierin al stappen hebben gezet. De mysterieuze ‘Escape Room Toetsing’ Van Martje Köhlen en Johan van Dijk (beide Hogeschool Rotterdam) was een groot succes, maar over de inhoud kunnen we natuurlijk niets verklappen. We houden het erop dat deelnemers zo in het spel opgingen dat ze vergaten hun drankje op te drinken.

Na twee rondes workshops onderbroken door lunch, bleek er bingo te zijn. Jacquéline Sturm van HZ University of Applied Sciences nam, na controle door de jury, haar welverdiende prijs in ontvangst. Daarna trok Jan Riezebos de zaal met verve weer bij de les met een inspirerend verhaal waarin hij inzichten uit het bedrijfsleven op toetsing toepaste. Daarbij vergat hij de menselijke maat niet: naar wie moeten we luisteren, aan wie moeten we vragen stellen, met wie moeten we verbinding zoeken om toetsing te verbeteren? Om te kijken of we zo tegen het einde van de dag een beetje bij de les bleven voerde hij ter plekke een tweefasentoets uit.

Het symposium werd afgesloten met de feestelijke lancering van de Toolkit formatief toetsen. Deze verzameling praktische instrument voor docenten werd ontwikkeld door Judith Gulikers van Wageningen Universiteit en Liesbeth Baartman van Hogeschool Utrecht in samenwerking met het Platform Leren van toetsen. Onze leden van Avans, Saxion en Zuyd hebben hem uitgetest en we hosten hem met gepaste trots op onze website.

PS: Eveline de Beer maakte voor haar opleiding een recensie van de dag, met samenvattingen en reflectie.

Vrijdag 2 juni 2017 vond alweer de vierde editie van het symposium van het Platform Leren van Toetsen plaats. Dit keer waren we te gast bij Hogeschool Rotterdam. Een drukbezochte editie, met ongeveer 150 deelnemers van 18 hogescholen, 14 andere onderwijsinstellingen en 5 onderwijskundige bureaus. En helemaal drukbezocht als je de mensen mee telt die de opening en keynote live hebben gevolgd via de livestream!

Nog voordat de keynote van start ging, introduceerde Flor Gerritsen van Helden Coaching, Training en Storytelling zich als “nar van de dag”. Zij zorgde gedurende de middag voor de rode draad in het programma en nam de deelnemers mee in de kunst van storytelling. Een goed verhaal is als ‘de reis van de held’, waarin worstelingen te boven worden gekomen en draken worden overwonnen. Een beschrijving van de situatie, emotie en de pointe bleken kernelementen in een goed verhaal. Na korte oefeningen na de keynote, tijdens de themasessies en bij de borrel liep iedereen aan het eind van de dag de deur uit met een verhaal om inzichten van de middag te delen met de collega’s thuis.

Doelgericht toetsen was het thema van de keynote van lector Desiree Joosten-ten Brinke. Zij gaf een overzicht over actueel onderzoek naar toetsen als leermiddel en naar feedback, en introduceerde daarin de thema’s van de themasessies die in de tweede helft van de middag op het programma stonden. Zo benadrukte Desiree het belang van studenten inzicht geven in de succescriteria voor leren en ontwikkelen, en daar doelgericht naar toe werken.

Na de keynote ging de groep uiteen in 5 verschillende themasessies. Veronica Bruijns van Hogeschool van Amsterdam en Elly Vermunt van Zuyd Hogeschool namen de deelnemers mee in het betrekken van studenten bij toetsen. Studenten zichzelf laten beoordelen en dit meenemen als onderwijsvorm, feedback geven op de zelfbeoordeling en docenten die zich kwetsbaar opstellen waren een aantal van de inzichten die deze themasessie opleverde.

In de themasessie van Liesbeth Baartman van Hogeschool Utrecht en Gerdineke van Silfhout van SLO over formatieve strategieën in de les stond de formatieve toetscyclus op de agenda. Martje Köhlen (masterstudent Universiteit Utrecht) presenteerde haar onderzoek naar formatieve strategieën en motivatie van studenten dat ze voor het Platform uitvoerde.

De andere kant van feedback was de titel van de themasessie van Jorik Arts van Fontys Hogescholen en Kim Dirkx van de Open Universiteit. We besteden veel aandacht aan het geven van feedback, maar hoe zorgen we dat studenten het goed ontvangen? Deelnemers kwamen in deze sessie tot succescriteria zoals ‘feedback koppelen aan criteria’ en ‘studenten eigenaar maken van het proces, zelf met vragen laten komen’.

De vierde themasessie over programmatisch toetsen in praktijk was van Nienke Zijlstra en Wendy Peeters van Hogeschool Utrecht. Na een introductie op programmatisch toetsen was er veel aandacht voor het in praktijk brengen hiervan, aan de hand van de ontwikkelingen en ervaringen van de opleiding Communicatie. Hierbij bleek het belangrijk een toetsprogramma met het hele team te maken, en studenten regie te geven.

In de themasessie collega’s in beweging van Dominique Sluijsmans van Zuyd Hogeschool en Eric Entken van Hogeschool Rotterdam stond de implementatie van ‘leren van toetsen’ centraal. Er is druk uitgewisseld over beelden van het formatieve denken over toetsen en deelnemers hebben handvatten gekregen om in hun eigen opleiding aan de slag te gaan met het versterken van een feedbackcultuur.

We sloten de middag gezamenlijk af met een netwerkborrel, waarbij deelnemers in de gelegenheid waren hun eigen symposiumverhaal uit te wisselen met deelnemers van de andere themasessies.

Keycord ophalen en een keuze maken voor de parallelsessies. Eén voor één druppelden de deelnemers aan het symposium Leren van Toetsen binnen. Op vrijdag 3 juni 2016 reisden zo’n 125 docenten en onderwijskundigen af naar Vlissingen voor alweer het derde symposium van het Platform Leren van Toetsen.

Al vanaf de opening door Bartjan Wattel (hoofd Dienst Onderwijs, Onderzoek & Kwaliteit) stond het thema van de dag centraal: Samen op reis. Bartjan heette iedereen welkom namens de gasthogeschool, HZ University of Applied Sciences. Na een korte uitwisseling over reiservaringen legde Bartjan de link naar de reis waar de deelnemers deze dag voor stonden. Ervaringen uitwisselen en kennis delen stonden centraal.

Programmatisch toetsen
Na de opening was het de beurt aan Prof. Dr. Cees van der Vleuten (Universiteit Maastricht) voor de keynote-lezing. Cees nam de deelnemers mee in het gedachtegoed van programmatisch toetsen. Door een programmatische aanpak van toetsen, kan op een meer valide en betrouwbare manier een uitspraak worden gedaan over de vorderingen van studenten. Bovendien bevordert een programmatische aanpak het leerproces van de student, omdat de doorlopende ontwikkeling wordt benadrukt. Cees sloot zijn betoog af met een praktisch voorbeeld om de deelnemers te inspireren en te laten zien hoe de theorie in praktijk kan worden gebracht.

Parallelle sessies
In de middag stonden twee rondes met parallelle sessies op het programma. Deelnemers konden kiezen uit vier verschillende soorten sessies: de interactieve lezing, gesprekssessie, good practice presentatie en workshops.

Deelnemers die graag wilden doorpraten over de keynote hadden hiertoe gelegenheid in een speciale gesprekssessie met Cees van der Vleuten. Ook Dominique Sluijsmans (Zuyd Hogeschool) zette haar expertise in en ging met deelnemers in gesprek over toetsen en professioneel beoordelen. In de tweede ronde stond een gesprekssessie met studenten op het programma, die werd geleid door Marjolein van Loon (Avans Hogeschool). Aan de hand van stellingen gingen de deelnemers in gesprek met een panel van studenten over de bedoelde en onbedoelde effecten van toetsen en beoordelen. Deelnemers die wilden brainstormen over het doen van onderzoek naar de (eigen) toetspraktijk en leren van toetsen, konden terecht bij Liesbeth Baartman (Hogeschool Utrecht). De handen gingen uit de mouwen en er werden gezamenlijk plannen en strategieën uitgedacht.

Onderzoek dat dit jaar is uitgevoerd door studenten Onderwijskunde van Universiteit Utrecht in opdracht van het Platform Leren van Toetsen werd gepresenteerd in twee interactieve lezingen. Diana van Leeuwen informeerde de deelnemers over haar onderzoek bij Avans Hogeschool. Zij onderzocht welke strategieën voor formatief toetsen worden gebruikt door docenten in het hbo. Niké Groot, Astrid de Blecourt en Stephanie Kruiper deden onderzoek bij de sociale opleidingen van Hogeschool Rotterdam en zochten naar de kracht van formatief toetsen om diep leren te stimuleren. In de tweede ronde namen Bob Wassenaar en Iris Böhm de deelnemers mee in hun onderzoeken. Bob onderzocht in een experimenteel onderzoek hoe feedback bij tussentoetsen kan bijdragen aan betere prestaties van studenten bij de opleiding Commerciële Economie van De Haagse Hogeschool. Iris deed onderzoek naar de tool LearnSharp waarmee digitale feedback wordt gegeven op schrijfproducten bij de opleiding Leisure Management van Hogeschool Rotterdam. Bob en Iris sloten de lezing af met een discussie op basis van stellingen.

Gerry Geitz (Stenden Hogeschool) gaf een interactieve lezing over hoe je als opleiding ervoor kunt zorgen dat je studenten ‘sustainable’ opleidt in een snel veranderende wereld: de oplossing ligt in diep leergedrag, want daarmee gaat de transfer van het geleerde naar andere contexten beter. Veel studenten blinken echter uit in oppervlakkig leren (‘zescultuur’). Gery ging ook in op onderzoek dat ze uitvoerde naar het leergedrag van studenten en hoe je dat – al dan niet – kunt veranderen.  In de lezing van Kelly Meusen-Beekman (HZ University of Applied Sciences) was aandacht voor de relatie tussen formatief toetsen en zelfgestuurd leren. Kelly legde uit wat zelfregulatie en zelfsturend leren is en putte uit eigen onderzoek en ervaring om te beschrijven hoe formatief toetsen een effectieve leer- en instructiestrategie is om zelfsturing en motivatie bij studenten te versterken.

Deelnemers konden actief aan de slag in de workshops. Gerdineke van Silfhout verzorgde een workshop namens Stichting Leerplan Ontwikkeling (SLO). Ze drukte de deelnemers op het hart om klein te beginnen en reikte verschillende concrete voorbeelden aan van hoe formatief toetsen kan worden ingezet. In de workshop van Esther Arrindell (Hogeschool Windesheim) werd formatieve feedback onder de loep genomen. Aan de hand van een filmpje en voorbeelden van feedbackuitspraken kregen deelnemers inzicht in de verschillende typen van feedback en de tool Turnitin. Een andere tool die docenten kan helpen bij het geven van feedback waar studenten van leren, is de FeedbackWijzer. Deze tool stond centraal in de workshop van Marit Peters (Bureau ICE).

Voorbeelden voor de eigen praktijk waren te vinden in de good practice sessies. Brahim Boukhari, docent Automotive bij Hogeschool Rotterdam en student aan de Master Leren & Innoveren, presenteerde zijn onderzoeksproject waarmee hij de formatieve toetsing in de projecten van zijn opleiding wil versterken. Namens het samenwerkingsverband Toets & Leer gaf Bob Rietbergen (De Haagse Hogeschool) een inkijkje in de wereld van digitaal toetsen en het formatieve gebruik daarvan. Zij ontwikkelden een vragenbank bestaande uit 4278 vragen over bedrijfsadministratie, bedrijfseconomie en marketing.

Afsluiting
De reis van de dag sloten we gezamenlijk af met een act van acteur Jeroen van More Balls than Most. Met behulp van grote koffers verbeeldde hij de reis van het samen zoeken naar manieren om de leerwaarde van toetsing vorm te geven, als docententeam in een opleiding en als samenwerkingsverband in het Platform. Hierbij moeten we veel ballen tegelijk in de lucht houden en de balans bewaren. Met een toets van ons reactievermogen werd de borrel ingeluid. Deelnemers gingen naar huis met een koffer vol nieuwe inspiratie, inzichten en contacten.

Bekijk alle foto’s van de dag in het fotoalbum op de HZ-website.
Benieuwd naar de keynote-lezing of wil je deze nog eens terug kijken? Dat kan! Bekijk de opname van de keynote-lezing op onze website.

Het was warm, heel warm. Vrijdag 5 juni 2015 gaat de boeken in als eerste tropische dag van deze zomer. Ondanks dit mooie weer reisden zo’n 150 docenten, onderwijskundigen en managers af naar Avans Hogeschool in Den Bosch voor het symposium Leren van Toetsen.

Het symposium werd bezocht door collega’s van 14 verschillende hogescholen. Daarnaast waren vertegenwoordigers van onderwijsadviesbureaus, kenniscentra, universiteiten, en instellingen in de private sector aanwezig. Docenten waren veruit het beste vertegenwoordigd.

Al aan het denken gezet
De dag werd geopend door Simone Kooij (Platform Leren van Toetsen), waarna de aanwezigen welkom werden geheten door Diederik Zijderveld (lid CvB Avans Hogeschool). In zijn videoboodschap onderstreepte hij het belang van ‘leren van toetsen’ met een persoonlijke anekdote over zijn dochter die eindexamen deed. “Als een van die competenties zou zijn grote stressbestendigheid dan is het centraal eindexamen als vorm misschien nog wel aardig, maar ik denk dat het ideaal niet kan zijn een toetsvorm waarbij niet alleen de student, maar ook zijn of haar ouders uit hun slaap worden gehouden”.

Prof. dr. Filip Dochy wist met een inspirerende keynote de toon te zetten voor de rest van de dag. Met uitspraken als “What you assess is what you get” en “Wanneer is ons onderwijs failliet?” prikkelde Filip de aanwezigen om na te denken over de leerwaarde van toetsen en beoordelen. Zijn betoog bevatte vele praktische tips, onder andere hoe je tijd kunt maken voor (het geven en verwerken van) feedback. Hij onthulde ook en passant de geheimen voor competentiegericht onderwijs, zoals hij deze zelf had geobserveerd bij de opleiding CMD in Leeuwarden.

Workshops
Een belangrijk aandeel in het programma was weggelegd voor de verschillende workshops. Deelnemers konden twee workshops kiezen uit het aanbod van in totaal twaalf verschillende workshops.

Drie workshops gingen over het onderzoek dat in opdracht van Platform Leren van Toetsen is uitgevoerd. Niek Breeschoten, Laurens Waardenburg en Bob Wassenaar (studenten Universiteit Utrecht) hebben verteld over hun onderzoek naar studentpercepties binnen de opleiding Biologie en Medisch Laboratoriumonderzoek van Hogeschool Rotterdam. Zij gaven de deelnemers mee dat de attributies die studenten maken (intern of extern/ veranderbaar of onveranderbaar) belangrijk kunnen zijn in de bereidheid van studenten om hun gedrag te veranderen naar aanleiding van feedback.

Marloes van der Stok (studente Erasmus Universiteit) en Nicolette de Klerk (onderwijsadviseur HZ University of Applied Sciences) hebben de deelnemers aan het werk gezet om hun eigen feedback onder de loep te nemen. Deelnemers hebben gewerkt met het analyse-instrument dat ook in het onderzoek is gebruikt. Tot slot heeft Marloes een inkijkje gegeven in de resultaten van haar onderzoek bij de opleiding HBO-V van de HZ University of Applied Sciences.

Het derde onderzoek dat het afgelopen jaar is uitgevoerd in opdracht van Platform Leren van Toetsen is uitgevoerd door Willemien van Laar, Annemieke van Nifterik en Mieke Cousijnsen (studenten Universiteit Utrecht) en gepresenteerd in de workshop “Inzagemoment: leren versus controleren – Wie wil er feedback?” Zij hebben onderzoek gedaan bij de opleiding Commerciële Economie van Avans Hogeschool en De Haagse Hogeschool. Deelnemers aan deze workshop brainstormden over verschillende invullingen die opleidingen geven aan het inzagemoment en de theorie over de mindset van studenten.

Ook Mirjam Snel (Hogeschool Utrecht) deelde de resultaten van haar onderzoek met de workshopdeelnemers. Haar workshop had de prikkelende titel “de beperkingen van schriftelijk feedback” meegekregen. Mirjam wist de deelnemers tijdens de workshop aan het denken te zetten over de feedback die ze geven.

Lia Voerman (Universiteit Utrecht) en Renske de Kleijn (Universiteit Utrecht) verzorgden beiden ook een workshop over feedback. Lia besteedde aandacht aan het verband tussen verwachtingen, interventies en leerresultaten. Ze stelde bijvoorbeeld dat docenten met hoge verwachtingen van studenten veel vragen stellen, veel feedback geven en weinig aanwijzingen. Dit resulteert in hoge resultaten. Renske benadrukte het belang van afstemmen van de norm waaraan het product of de taak moet voldoen. Zowel docenten als studenten hebben een impliciete norm in het hoofd en deze bepaalt mede hoe studenten omgaan met de feedback.

In de workshop van Dannique Trommelen en Gerdineke Silfhout (Bureau ICE) maakten de deelnemers kennis met de StudentWijzer. Een instrument waarmee de student wordt geholpen te reflecteren op zijn of haar prestaties op een toets. De beoordeling wordt gekoppeld aan de leerdoelen, waardoor de student goed inzicht krijgt in zijn of haar niveau.

Lydia Schaap en Noortje Muselaer van het centrum Brein en Leren van Avans Hogeschool gaven de deelnemers de opdracht een vak opnieuw in te richten, waarbij formatief toetsen en mindset van studenten belangrijke uitgangspunten vormden. Vervolgens kregen de deelnemers feedback op de keuzes die ze hadden gemaakt. De deelnemers hebben meer inzicht gekregen in het lerende brein en de functie van feedback.

Net als vorig jaar, werd ook dit symposium een good practice besproken. Erwin Sengers en Surya Hardjosusono van De Haagse Hogeschool lieten de deelnemers ervaren hoe zij werken in de BINKubator OndernemersLab. Hierbij speelt continue feedback een belangrijke rol.

In de programmering van de workshops werd ook aangesloten bij actuele thema’s. Zo verzorgden Anne Potters en Johan van Dijk (Hogeschool Rotterdam) een workshop over BKE/SKE en Dorinde Winkelaar (De Haagse Hogeschool) over instellingsoverstijgend toetsen. In de workshop van Anne en Johan werd stilgestaan bij de vraag ‘wat heeft de de student uiteindelijk aan de invoering van BKE/SKE?’. Bij de workshop van Dorinde kregen deelnemers een inkijkje in het landelijke project van de opleidingen Facility Management die gezamenlijk werken aan een instellingsoverstijgende toets. Naast de vraag wat docenten hiervan kunnen leren, werd ook hier stilgestaan bij hoe deze samenwerking voordelig kan zijn voor studenten.

In een druk bezochte workshop lieten we zes studenten van drie verschillende hogescholen (Fontys, Avans, en HZ) aan het woord: Wat vinden zij van leren van toetsen? Susanne Roose van HZ University of Applied Sciences leidde de discussie en gaf de deelnemers vervolgens de opdracht om een tip te formuleren over hoe studenten meer kunnen leren en meer betrokken kunnen worden bij toetsen. Aan het einde van deze workshop hebben alle deelnemers een tip gegrabbeld waarmee ze aan de slag kunnen.

Uitwisselen
In het programma was ruime gelegenheid ingebouwd voor uitwisseling. Met een speeddate werd het ijs gebroken en tijdens de lunch en de netwerkborrel werd volop nagepraat. Deelnemers wisten elkaar te vinden en her en der werden contactgegevens uitgewisseld en afspraken gemaakt om materialen uit te wisselen. Tijdens de afsluiting werden de deelnemers gevraagd te delen wat ze meenemen uit de dag als ze na het weekend weer aan het werk gaan. “Positieve feedback is waardevol, niet alleen focussen op de verbeterpunten” en “Discussie tussen docenten over toetsen is belangrijk” waren twee van de opmerkingen die werden geplaatst.

Ludieke samenvatting
Theatermaakster, dichter, en schrijfster Esther Porcelijn sloot af met een eigenzinnige column over het symposium. Ze vatte de dag op luchtige wijze samen en wist met haar scherpe observaties een frisse blik te werpen op de opbrengst van de dag. “Feitelijk ontvang en geef ik wel veel feedback, maar zo noemt niemand het in de kunst- en filosofiewereld. Dan heet het ‘kritiek’”.

Op vrijdag 6 juni 2014 organiseerde het Platform haar eerste symposium, met als thema: “Leren van toetsen: De rol van feedback”. Hier volgt een korte impressie van de dag.

“Waar een autoritje al niet toe kan leiden, wat een goed initiatief!” en “Jullie zouden vaker vergelijkbare workshops moeten organiseren!”. Zomaar enkele reacties die we kregen van deelnemers aan het symposium ‘Leren van toetsen: De rol van feedback’ dat op 6 juni plaatsvond bij het RDM Campus Congrescentrum in Rotterdam. Het symposium vormde de afsluiting van het eerste jaar van het Platform Leren van Toetsen.

Met het symposium ‘Leren van Toetsen: de rol van feedback’ wilden we kennis delen, werken aan netwerkvorming, en vooruitkijken naar de onderzoeksagenda van het Platform Leren van Toetsen voor volgend jaar. Aan het symposium namen docenten, onderwijskundigen, en onderzoekers van 14 verschillende hogescholen, 3 universiteiten, en 3 organisaties uit de private en publieke sector deel. We kijken terug op een inspirerende en geslaagde dag.

De dag werd geopend door dagvoorzitter Edith van Bommel, die ons met elkaar kennis liet maken door het uitwisselen van persoonlijke ervaringen met ontvangen feedback en een cijfer. Hierna volgden twee workshoprondes, uiteenlopend van presentaties van onderzoeksresultaten tot praktijkvoorbeelden van feedback bij hbo-opleidingen.

Suzanne Boone liet de deelnemers aan de workshop kennis maken met haar onderzoek naar feedback en zelfregulerend leren. In kleine groepjes werd gediscussieerd over wanneer feedback aanzet tot leren. Lianne van Beusekom en Marit de Koning presenteerden eveneens hun onderzoeksresultaten in een workshop. Zij gingen in op vormgeven van het inzagemoment als een feedbackmoment. Dat feedback na een toets van groot belang is voor het leren en dat feedback beter gericht kan zijn op de competenties in plaats van de toetsvragen zijn twee belangrijke inzichten die deelnemers tijdens deze workshop hebben opgedaan.

Onderzoekers van de Universiteit Utrecht en het ICLON zorgden voor verdiepende workshops met de nodige bezinningsmomenten. De workshop van Frans Prins (Universiteit Utrecht) had de titel “Feedback in interactie” meegekregen, een titel die aansloot bij de werkvorm van de workshop. Frans heeft de rol van de feedbackontvanger belicht, die co-constructeur is van een effectief feedbackgesprek. Indira Day (ICLON) ging in haar workshop in op het testing effect van toetsen. Ze vertelde over haar eigen onderzoek en bood ruime gelegenheid voor het stellen van vragen. Een deelnemer van deze workshop concludeerde “het belang van (formatief) toetsen is het activeren van studenten”.

Docenten en onderwijskundigen van Hogeschool Rotterdam, HZ University of Applied Sciences, en Avans Hogeschool presenteerden verschillende good practices. Els Roskam-Pelgrim van Avans Hogeschool zette een inhoudelijk sterk verhaal neer, waarbij ze de resultaten van haar promotieonderzoek over feedback aan artsen-in-opleiding vertaalde naar de hbo-praktijk. In een uitgebreide groepsdiscussie maakten de deelnemers vervolgens de vertaalslag naar de eigen praktijk. In de workshop “feedback formuleren en structureren” van Andries Vroegrijk (Hogeschool Rotterdam) werd uitgebreid stilgestaan bij het geven van feedback. De deelnemers leerden de do’s en don’ts van feedbackgeven. Jeanine Enter en Paulien Honkoop (HZ University of Applied Sciences) deden uit de doeken hoe zij in hun lessen werken met digitale (peer) feedback. De deelnemers aan deze workshop hebben kennisgemaakt met Edmodo en deden eerste ervaringen op met deze tool.

De kunstopleidingen en de opleiding Industrieel Productontwerpen van de Hogeschool Rotterdam presenteerden beide hun werkwijze rondom toetsen. Stephan Blom en Mark Smit lieten de deelnemers kennismaken met drie alternatieve toetsvormen die worden gehanteerd bij Industrieel Productontwerpen: interactieve beoordelingen met rubrics, de formatieve pre-toets, en een mid-term stageassessment. Bij de kunstopleidingen wordt na de curriculumvernieuwing minder summatief getoetst en worden drie integrale assessments afgenomen. Zij hebben een sterke nadruk gelegd op formatief toetsen. Iris Cloosterman ging met de deelnemers in discussie over de plussen en minnen van deze aanpak.

Na de lunch in de zomerzon sloot Dominique Sluijsmans, lector Professioneel Beoordelen van Zuyd Hogeschool, de dag af met een discussiebijdrage rond het thema feedback en beoordelen. Ze somde een groot aantal nog onbeantwoorde vraagstukken op en koppelde deze vragen aan de 5 bouwstenen van professioneel beoordelen uit haar lectorale rede.

Lees hier de evaluatie door de deelnemers en hun inhoudelijke reacties op de workshops.

2013-2014
Lianne van Beusekom en Marit de Koning (MSc UU) – verschillende manieren van feedback geven tijdens inzage-momenten

2014-2015
Willemien van Laar, Annemieke van Nifterik en Mieke Cousijnsen (BSc UU) – het inzage-moment als feedbackmoment

2016-2017
Marieke van der Linden (BSc EUR) – definiëring van feedbackcultuur

2020-2021
Ynke Brouwer (MSc UU) – ontwikkeling gesprekstool feedbackcultuur (stageopdracht)

2021-2022
Letizia Sciarone, Mirjam Straatman, & Silas Weinert (MSc OU) – werken aan feedbackcultuur

2013-2014
Suzanne Boone (MSc UU)- feedback en zelfregulerend leren

2014-2015
Niek Breeschoten, Laurens Waardenburg en Bob Wassenaar (BSc UU) – de invloed van beoordeling op perceptie en acceptatie van feedback

Marloes van der Stok (BSc EUR) – het verwerken van feedback door studenten

2015-2016
Iris Böhm (MSc UU) – de interpretatie van studenten van feedup, feedback en feedforward

Bob Wassenaar (MSc UU) – effectiviteit van geautomatiseerde feedback op basis van learning analytics

2016-2017
Arianne Breure (MSc UU) – feedback geven zodat studenten de feedback gaan verwerken (vervolgonderzoek)

2022-2023

Vinciane Costa (MSc OU) – Feedbacksocialisatie bij eerstejaars studenten

2015-2016
Astrid de Blecourt, Niké Groot en Stephanie Kruiper (BSc  UU) – formatieve assessment en diepe leerbenadering

Diana van Leeuwen (MSc UU) – het gebruik van formatieve assessment door hbo-docenten

2016-2017
Charlotte Hoenderdos (MSc UU) – formatieve assessment en diepe leerbenadering (vervolgonderzoek)

Martje Köhlen (MSc UU) – de samenhang tussen formatieve strategieën in de les en motivatie van studenten (zie ook Formative assessment as practice: The role of students’ motivation)

2017-2018
Dorette Schotpoort (MSc UU) – formatief toetsen en feedbackzoekend gedrag van studenten: een experimentele studie

2018-2019
Op basis van de Toolkit Formatief toetsen zijn ervaringen verzameld en effecten van docentprofessionalisering in kaart gebracht.

Almedina Hasic (MSc UU) – docentprofessionalisering formatief toetsen, zes case studies

Stephanie Kruiper (MSc UU) – docentprofessionalisering formatief toetsen en scaffolding (zie Using scaffolding strategies to improve formative assessment practice in higher education)

2020-2021
Peet Strik (MSc UU) – Student- en docentpercepties van formatief toetsen en feedback

2017-2018
Priscilla Hompus (MSc UU) – feedbackzoekend gedrag van studenten (Zie ook Feedback seeking behaviour in higher education)

Dorette Schotpoort (MSc UU) – formatief toetsen en feedbackzoekend gedrag van studenten: een experimentele studie

2019-2020
Hanneke Boukema (MSc UU) – studentpercepties, feedbackzoekend gedrag, en prestaties in programmatisch toetsen (Zie Exploring students’ feedback seeking behavior in the context of programmatic assessment)

Sonja Broerse (MSc UU) – effect van een feedbacktraining op het feedbackzoekend gedrag van studenten

Dorette Schotpoort (MSc UU) – formatief toetsen en feedbackzoekend gedrag van studenten: een experimentele studie

2020-2021
Cody Wijkhuijzen (MSc UU) – Docentpercepties over studenten betrekken bij toetsen: kansen en barrières

2019-2020
Hanneke Boukema (MSc UU) – studentpercepties, feedbackzoekend gedrag, en prestaties in programmatisch toetsen (Zie Exploring students’ feedback seeking behavior in the context of programmatic assessment)

2022-2023
Elze Derksen & Jiska Patiwael (MSc OU) – Implementatie van programmatisch toetsen en het belang van een gedeelde conceptie