Leren van summatieve mc-toetsen: nieuwe toepassingen

Door Veronica Bruijns (Beleidsmedewerker Onderwijs en Onderzoek, HvA)

Steeds meer instellingen gaan over op digitale toetsing. Hierbij worden veelvuldig multiple choice (mc) toetsen gebruikt. Dat maakt de discussie (weer) actueel wat het nut en de waarde van multiple choice toetsen is. Een belangrijk punt is het leereffect van deze vorm van summatieve toetsing. Bij formatief gebruik is het voor student en docent een goede manier om na te gaan hoe het staat met de verwerving en verwerking. Maar hoe zit dat met summatief gebruik?

De student zelf summatieve mc-vragen laten maken is een bekende manier om het leereffect van mc-vragen te verhogen (Fellenz, 2004; Nicol, 2007). Vaak met de incentive dat de beste vragen worden opgenomen in de summatieve toets. Idee is, enerzijds, dat student actiever met de materie aan de slag gaat, anderzijds doordrongen raakt van alle ins en outs van mc-vragen en daardoor beter presteert op de toets. Als ze vragen moeten construeren op de hogere niveaus van Bloom is het bovendien een interessante uitdaging. Fellenz (2004) geeft aan dat goede instructie en begeleiding dan wel een vereiste is.

In twee recente artikelen zijn twee andere manieren voor het verhogen van het leereffect van summatieve mc-toetsen onderzocht. Grühn en Cheng (2014) onderzochten het effect van het achteraf corrigeren van je eigen antwoorden en Merrel, Cirillo, Schwartz en Webb (2015) het effect van zelfcorrectie tijdens de toets.

Achteraf corrigeren van eigen antwoorden
In het onderzoek van Grühn en Cheng (2014) legden studenten de mc-toets af op de traditionele manier. Echter, de studenten waren in de gelegenheid om achteraf een gecorrigeerde versie in te leveren. De vragen en hun eigen antwoorden namen ze mee naar huis en tijdens de volgende bijeenkomst leverden ze hun gecorrigeerde versie in. De studenten kregen uiteraard geen feedback op de vragen, voordat ze hun gecorrigeerde versie hadden ingeleverd. Het idee hierachter is dat het opnieuw verdiepen in de materie, om na te gaan of de antwoorden wel of niet correct zijn, het leereffect vergroot. Een antwoord dat de student in beide versies goed had werd gewaardeerd met 2 punten, antwoorden die van goed naar fout en fout naar goed waren veranderd: 1 punt en antwoorden die in beide versies fout waren: 0 punten. Uit hun onderzoek kwam naar voren dat vooral zwakke studenten profiteerden van deze aanpak. Dat is ook logisch, omdat ze meer gelegenheden hebben om foute antwoorden te verbeteren. Hoe meer de student foute antwoorden op de eerdere toetsen omzette in goede antwoorden, hoe beter hij/zij presteerde op de afsluitende toets. Hieruit leiden de auteurs af dat het achteraf zelf corrigeren een gewenst leereffect heeft. Deze benadering is goed toepasbaar bij grote groepen.
Gevaar bij deze benadering is volgens de auteurs de mogelijkheid voor studenten om goede antwoorden van elkaar over te nemen. Volgens auteurs kan dit ondervangen worden door vragen met de juiste moeilijkheidsgraad, waardoor de student niet automatisch van een andere student aanneemt dat hij/zij het goede antwoord heeft gegeven. Dan ontstaat er discussie tussen studenten en daar is niets mis mee, integendeel.

Zelfcorrectie tijdens de mc-toets
In plaats van jezelf corrigeren na afloop van de toets, onderzochten Merrel et al. (2015) zelfcorrectie tijdens de toets. De student kiest uit vijf alternatieven het volgens hem/haar juiste antwoord. De vragen en antwoorden zijn weergegeven op een schrapkaart. Door middel van schrappen verschijnt een sterretje bij het goede antwoord en een leeg vakje bij de foute antwoorden. Bij een fout antwoord heeft de student nog één gelegenheid om een vakje te schrappen. De verwachting is dat studenten, die in eerste instantie een fout antwoord geven, 25% kans hebben om een tweede keer wel het juiste antwoord te geven. Ze weten immers niet het goede antwoord en zullen gaan gokken uit de vier andere alternatieven. Bij analyse van gemaakte 8775 vragen blijkt echter dat het percentage goede tweede antwoorden 44.9% is, aanzienlijk hoger dan de verwachtte 25%. Volgens de auteurs stimuleert het in eerste instantie fout beantwoorden de student om de vraag nogmaals kritisch te bekijken. Ook kan het foute antwoord hem/haar een clou geven voor het goede antwoord. Bijvoorbeeld dat een verkeerde denktrant is toegepast. De auteurs houden wel een slag om de arm: het percentage is slechts een indicatie dat studenten leren van fouten en geen bevestiging. Interessante vraag bij deze toepassing is welke invloed het heeft op de motivatie van studenten tijdens de toets. Helaas hebben de auteurs dat niet betrokken in hun onderzoek.

Confidence-based marking
Nicol (2007) geeft nog een andere toepassing: confidence-based marking. Studenten geven naast het antwoord ook een score voor hoe zeker ze zijn van hun antwoord. Deze score weegt mee in het eindresultaat. Dat stimuleert studenten om het gekozen alternatief nog eens goed te doordenken.

Deze voorbeelden geven aan dat het ook bij summatieve toetsing met mc-vragen mogelijk is om het leereffect te benutten. Dit lijkt me nuttige informatie om mee te nemen in de discussie binnen opleidingen over het al dan niet inzetten van summatieve mc-toetsen.

Referenties
Fellenz, M.R., (2004). Using assessment to support higher level learning: the multiple choice item development assignment. Assesment & Evaluation in Higher Education, 29(6), 703-719.

Nicol, D. (2007). E-assessment by design: using multiple-choice tests to good effect. Journal of Further and Higher Education, 31(1), 53-64.

Grühn, D., Cheng, Y. (2014). A self-correcting approach to multiple-choice exams improves students’ learning. Teaching of Psychology, 41(4), 335-339.

Merrel, J.D., Cirillo, P.F., Schwartz, P.M., Webb, J.A. (2015). Multiple choice testing using immediate feedback – assessment technique (IFAT) forms: assessing learning from mistakes. Higher Education Studies, 5(5), 50-55.