In de maand januari heb ik met veel aandacht de drie blogs van Dominique Sluijsmans gelezen over formatief toetsen met de titel: Neem formatief niet te snel voor lief: Tien lessen van Dylan Wiliam. Een aanrader voor iedereen die zich bezighoudt met curriculumontwerp en de betekenis en plaats van de toetsing hierin.
Eén les wil ik er graag uitlichten namelijk: het type beslissing die je als docent wilt nemen bepaalt de dataverzameling en niet andersom.
We hangen in het onderwijs soms zware beslissingen aan toetsen. Denk hierbij bijvoorbeeld aan het bindend studieadvies (BSA). Op basis van een aantal summatieve toetsen, waarmee studenten de benodigde studiepunten kunnen behalen, nemen we een beslissing over de studievoortgang van de studenten. Maar doen we studenten niet te kort door deze beslissingen te baseren op basis van een paar toetsen waarvan we soms niet precies weten wát ze voorspellen? Hebben we voldoende en de juiste informatie verzameld om deze belangrijke beslissing te nemen over de toekomst van studenten?
De les van Dylan Wiliam verwoord door Dominique Sluijsmans:
“Formatief handelen richt zich op het verzamelen van informatie die nodig is om een bepaalde beslissing over de vervolgstappen in het leren van studenten te nemen. Er is sprake van doelgericht in plaats van toetsgericht handelen. De verzamelde informatie dient docenten handvatten te geven waar studenten staan en welke vervolgstappen nodig zijn (tijdens een les of over lessen heen). De verzamelde informatie wordt pas bewijs als deze worden gebruikt een bepaalde claim te onderbouwen (bijvoorbeeld: Hebben studenten de juiste voorkennis om taak X of Y te kunnen uitvoeren?). Docenten hebben informatie van hoge kwaliteit nodig om deze beslissingen goed te kunnen nemen. Dit betekent dat zij in staat moeten zijn studenten de juiste stimuli te geven zodat de gewenste response wordt opgeroepen, waarbij de kwaliteit van de stimulus de kwaliteit van de response zal bepalen. De kwaliteit van goede vragen/opdrachten is dus bepalend voor de wijze waarop studenten zullen antwoorden. Vragen zijn bedoeld om studenten aan het denken te zetten en informatie te genereren. Zonder de juiste informatie bestaat het risico dat er onjuiste conclusies worden getrokken (‘Studenten die hun hand opstaken gaven het goede antwoord dus ik kan verder met mijn les.’). Wiliam stelt dat in het onderwijs vaak de focus ligt op datagestuurd denken, waarbij de verzamelde data leidend zijn voor beslissingen. Deze wijze van informatieverzameling is vaak normgericht, verzameld op vastgestelde momenten en ook vaak maar gericht op een deel van het onderwezen curriculum. Voorbeelden van datagestuurd werken zijn de formeel georganiseerde proefwerken, gestandaardiseerde toetsen en deficiëntietoetsen. De resultaten van deze toetsen worden vervolgens gebruikt voor het nemen van beslissingen. Om formatief handelen kracht bij te zetten, pleit Wiliam voor een verschuiving van een focus op data-driven decision-making naar decision-driven data collection”
De belangrijkste les die ik hieruit leer is dat je bij iedere (belangrijke) beslissing die je neemt in het onderwijs over de student stil zou moeten staan bij de vragen:
- Welke beslissing moet ik hier nemen (Denk hierbij aan: Wat moet de student laten zien om een positief studieadvies voor deze opleiding te kunnen krijgen?)
- Welke informatie heb ik nodig om een beslissing te kunnen nemen?
- Hoe richt ik ons onderwijsprogramma in, middels formatieve toetsmomenten in de vorm opdrachten, toetsen, feedback, gesprekken, om voldoende informatie te genereren over de student om een valide en betrouwbare beslissing te kunnen nemen.
Vanuit de student gezien: ‘Hoe kan ik laten zien en aantonen dat ik voldoe aan de eisen die me gesteld worden’. Dit in plaats van: ‘Hoe zorg ik ervoor dat ik mijn toetsen en dus studiepunten behaal.’
De focus wordt op deze manier verlegd van het behalen van toetsen naar het leren van toetsen. De bijvangst van decision driven data collection is volgens mij dat studenten zich beter kunnen richten op leren. Ieder formatief toetsmoment levert namelijk informatie op die je weer kunt gebruiken in het vervolg je programma. Voorwaarde is natuurlijk wel dat die informatie geen cijfer is maar rijke feedback. Een hele uitdaging voor docenten, peers en begeleiders.
Formatieve toetsen, ook wel datapunten genoemd, worden ook wel eens vergeleken met een foto. Hoe meer pixels (datapunten) hoe duidelijker de foto wordt. Hoe completer het beeld, hoe betrouwbaarder de beslissing.
Toetsinformatie als pixels
Een toetsprogramma wordt doelbewust vormgegeven met het idee dat geen enkele beoordeling of toets perfect is maar dat het geheel wel de perfectie benadert (Van der Vleuten, 2016).
Van der Vleuten geeft, in een uiteenzetting over programmatisch toetsen ‘Programmatisch toetsen als motor voor professioneel leren (Sluijsmans & Segers, 2018 pag. 124 ev.)’ een paar handige spelregels om een toetsprogramma te ontwikkelen:
- Geen zak-slaagbeslissing op basis van één datapunt
- Er is sprake van een mix aan toetsmethoden
- Het aantal benodigde datapunten is proportioneel gerelateerd aan de zwaarte van de beslissing.
- Er is continu dialoog met de lerende door middel van feedback, om zelfsturing te bevorderen.
- Het eindoordeel is een menselijk oordeel op basis van voldoende beoordelaarsexpertise.
Wat vind jij?
Ik ben nieuwsgierig naar jouw ideeën over toetsprogramma’s zoals ik hierboven heb geschetst. Heb je al ervaring met toetsprogramma’s? Wat levert het volgens jou op? Is het haalbaar binnen het onderwijs om dit te organiseren? Vind je dat deze manier van toetsen student meer uitdaagt om te leren van de toets? Graag je reactie.
Bron:
Dominique Sluijsmans & Mien Segers. Toetsrevolutie. Naar een feedbackcultuur in het hoger onderwijs (2018).
Sluijsmans. Neem formatief niet te snel. Tien lessen van Dylan Wiliam
Dag Cilia,
Ik wil graag (kort!) reageren op jouw blog. Ik merk dat de inhoud daarvan (en dat is dus niets persoonlijks) irritatie bij mij opwekt om verschillende redenen.
Op de eerste plaats jouw opmerking waarbij je het voorbeeld gebruikt van het BSA, waarbij je aangeeft dat hierbij een beslissing wordt genomen op basis van toetsen. Als je dat bedoeld te zeggen, klopt daar niets van.
Op de tweede plaats lees ik veel ‘oude wijn in nieuwe zakken’. En dat uit een publicatie van 2018?
En op de derde plaats: het gaat bij het volgen van de voortgang van een student en de beoordeling niet om de toetsprogramma’s ‘an sich’, maar om een mix van vormen van toetsing, begeleiding en monitoring, waarbij de expertise van de docent / begeleider én de samenwerking tussen de mensen die allemaal met een student te maken hebben cruciaal is. Je geeft dat deels aan bij het stukje ‘De belangrijkste les die ik hieruit leer…’
Kortom: ik zou hier heel uitgebreid kunnen uitweiden over jouw blog, maar het is wellicht beter dat een keer te doen in een persoonlijk gesprek mochten we elkaar eens tegenkomen. Dat zou hier te ver voeren en dit is ook niet het meest geschikte medium om meningen met elkaar uit te wisselen.
Ik ben heel benieuwd naar andere reacties.
Vriendelijke groeten,
Ludo
Dag Ludo,
dank je wel voor je reactie op mijn blog. Gelukkig dat jij het BSA op een hele andere manier ervaart dan dat ik hier beschreven heb. De aanleiding voor dit blog was het radioprogramma Nieuws en Co ‘In de bus’ in januari van dit jaar. Studenten vertelden over toets-stress die ze ervaren om hun studiepunten te behalen. Studiepunten die ze nodig hebben om op de opleiding te mogen blijven. En een nieuw studiejaar te moeten starten met de erfenis van de niet behaalde studiepunten (lees: toetsen) van het vorige studiejaar.
Nieuwe inzichten kunnen helpen om de focus te verleggen van toetsen naar leren. Of dit ‘oude wijn in nieuwe zakken is’ daar wil ik het graag met je over hebben.
Graag neem ik de uitnodiging aan om hier verder over te praten.