Wil jij veranderen?

Wil jij veranderen?

Einde van het studiejaar

 

We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de zomerperiode ook nog wat toevoegt werd ik getriggerd door alles wat er op dat moment om mij heen gebeurde. Getuige zo maar wat uitspraken die ik op de laatste dag van het schooljaar verzamelde op een school waar ik werk.

“Waarom plannen we alles in de laatste week?”

“Zo gaan we dit volgend jaar iet meer doen”.

“Als je al lang in het onderwijs werkt dan weet je dat de laatste paar weken voor de zomer gekkenhuis is. En toch, het gebeurt elk jaar weer.”

“Gek word ik er van”.

“Volgend jaar een cursus timemanagement doen.”

“Hebben we port op school?”

“Wie plant er nou een apv op de laatste dag?”

“Wat ben je eigenlijk aan het doen?”

“Je vraagt teveel.”

“Jij kunt tenminste nog iets slims zeggen. Ik voeg echt niks meer toe“.

“Waarom doen we wat we doen zoals we doen wat we doen….”

“Luister nou eens naar me.”

“Kan dit weg?”

“F*k, ik ben nog iets vergeten.”

“Wat zie je er mooi uit.”

“Laatste loodjes, onzin”.

“Wat zijn jullie recalcitrant aan het doen.”

 

Beste mensen. Het heeft allemaal een functie. We werken toe naar een climax om ons vervolgens te kunnen onderdompelen in een aantal weken loslaten, ontspannen, ontladen, vertragen. En daarna weer opladen. Het is de werkcyclus van het onderwijs. En we doen er met zijn allen aan mee. Je zou je toch gaan afvragen… kunnen we dat niet anders doen? 😉

 

Ik wens elk van jullie toe om te genieten van het niks.

Namens het hele team van OAB Dekkers, een hele fijne vakantie!

 

Marion

Marion van Neerven

Marion van Neerven

Auteur

marion@oabdekkers.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Waarom ben ik te vroeg in het lokaal?

  Wat heb je eraan om vroeg in het lokaal te zijn? Waarom is dit onderwijskundig van waarde? En welk docentgedrag is helpend voor de start van de les? Thijs geeft in 2 minuten uitleg en praktische tips! Wil je hier meer over weten? Reageer onder het filmpje!...

Lees meer

Slaap er eens niet een nachtje over

Slaap er eens niet een nachtje over

Een actieve manier om methodisch creatief te denken

In november 2018 schreef ik een blog met de titel ‘Vastgelopen? Trek er op uit’. Een pleidooi meer te gaan lopen als je je brein wilt activeren om oplossingen te vinden. Lopen bevordert onder anderen je creatief denken, verlaagt je stressgevoel en verhoogt je productiviteit (Erik Scherder, 2017).

Een van de reacties die ik toen op mijn blog kreeg was:

Leuk om te zien dat wanneer je ‘vastloopt’ lopen de oplossing is. Vastlopen is een belangrijke stap in het creatieve proces. Het vraagt om het zoeken naar een oplossing. Creatief denken! Die periode van “niets doen’ noemen we in het creatieve proces ook wel de incubatietijd. Je doet schijnbaar niets maar er gebeurt toch wat! Goed idee om dan te gaan lopen. Wat mij betreft een pleidooi voor lummelen, niets doen of er een nachtje over slapen!’

Die laatste zin intrigeerde mij. Professionals met creatieve denkvaardigheden hebben we hard nodig om in onze snel veranderende wereld met ongekende mogelijkheden te kunnen ondernemen. Maar in het onderwijs houden we niet zo van lummelen en niets doen. De vraag die rijst is: hoe kan ik het creatieve denkproces actief stimuleren in de incubatietijd zonder het gevoel te krijgen beperkt te zijn? Is er een methode?

Al zoekende kwam ik op het boek Brainstormen van Koen de Vos (De Vos, 2017). De componenten van creatief denken komen volgens hem overeen met het brainstormproces. Al lezende werd ik steeds enthousiaster over methodisch brainstormen. Ik wil het jullie dan ook van harte aanbevelen Ga dit boek gebruiken om denkprocessen uit te lokken bij jezelf, je team en bij studenten. De inhoud is niet nieuw en ook niet moeilijk, maar wel gedegen, praktisch en goed onderbouwd. Een korte impressie:

Het brainstormproces bestaat grofweg uit drie fasen. Elke fase heeft een specifiek doel:

Probleemfase: leidt tot een vraag

Fase één moet leiden naar een eenvoudige, concrete en inspirerende vraag. De deelnemers trachten te snappen waar het over gaat, formuleren het probleem en geven hun goedkeuring om mee te werken. Dat kan er zo uitzien:

  1. Briefing door de probleemeigenaar.
  2. Deelnemers stellen vragen ter verduidelijking.
  3. De deelnemers formuleren het probleem/de vraag zoals zij het begrijpen. Op die manier ontstaat een gesprek over wat nu precies de vraag is. Vraagformulering begint met bv.
    • Hoe kunnen we…..
    • Bedenk/ontwerp …..
    • Bedenk verschillende manieren om….
    • Op welke manier kunnen we……
  4. Daaruit ontstaat één vraagformulering, bv. ‘Hoe kunnen we…. of bedenk verschillende manieren om….

Divergentie: leidt tot een lijst met ideeën

De tweede fase mikt op een lange bonte lijst met: grote ideeën, concrete ideeën, kleine ideeën, vage ideeën, halve opmerkingen, hints, zaadjes van ideeën, volledig uitgeweekte ideeën, bekende en logische ideeën, nieuwe en vreemde ideeën, ongelofelijk ambitieuze projecten. Hoe langer de lijst, hoe beter.

Hier gelden de volgende 4 spelregels:

Stel je oordeel uit. Geen kritiek. Ideakillers (door opmerkingen of lichaamstaal) zijn ten strengste verboden. Alle ideeën worden aanvaard en genoteerd.
Streef naar kwantiteit en variatie. Bedenk zoveel mogelijk ideeën. Oefening baart kunst. Dat verhoogt de kans op een topidee. Geef dus niet te snel op.
Freewheel. Spring gerust van de hak op de tak. Wordt het chaotisch? Verloopt het hectisch? Prima zo. Wilde ideeën zijn toegestaan.
Hitchhike. Blijft niet in je hoofd hangen. Lift mee op andermans ideeën.

Convergentie: selectie afgewerkte ideeën

De convergentiefase heeft tot doel de ideeën te kneden tot een of enkele concepten/oplossingen die passen bij de vraagstelling.
De convergentiefase bestaat weer uit 4 stappen: selecteren, ontwikkelen, evalueren en actie.
Er staan in het boek van Koen de Vos verschillende technieken bij elke stap. Ik heb er bij elke stap één gekozen.

Selecteren. Hits. Geef alle deelnemers een aantal stemmen. Laat alle deelnemers stemmen en de ideeën met de meeste stemmen gaan door.
Ontwikkelen. POMO. Maak een eerste uitwerking van het idee door de volgende vragen te beantwoorden:

POMO
P
luspunten: wat zijn de voordelen/sterktes van het idee? Wat levert het op?
Optimaliseren: hoe kunnen we de voordelen nog versterken?
Minpunten: wat zijn de nadelen/zwaktes van het idee? Welke problemen/moeilijkheden creëert het idee?
Ombuigen: hoe kunnen we de nadelen en moeilijkheden oplossen, elimineren of omvormen tot voordelen?

Ieder idee wordt gepresenteerd.

Evalueren. Criteriabox. Aan welke criteria moet de idee voldoen om uitgewerkt te gaan worden. Formuleer criteria en laat iedereen alle ideeën scoren. Het idee met de hoogste score wordt uitgewerkt.
Actie! Roadmap. Visualiseer het eindpunt of de realisatie van het idee. Visualiseer de stappen terug tot het moment van de brainstorm. Stel deze stappen voor op een visuele manier.

Dit is een kleine selectie uit vele praktische mogelijkheden die De Vos in zijn boek Brainstormen beschrijft.

Mocht je meer willen weten over het stimuleren van creatieve denkvaardigheden of heb je behoefte aan een brainstormsessie hierover? Laat het mij weten via het reactieveld. Hartelijke groet, Cilia.

Koen de Vos (2017). Brainstormen 2e editie.

Cilia de Jong

Cilia de Jong

Auteur

cilia@oabdekkers.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Waarom ben ik te vroeg in het lokaal?

  Wat heb je eraan om vroeg in het lokaal te zijn? Waarom is dit onderwijskundig van waarde? En welk docentgedrag is helpend voor de start van de les? Thijs geeft in 2 minuten uitleg en praktische tips! Wil je hier meer over weten? Reageer onder het filmpje!...

Lees meer

Decision-driven data collection

Decision-driven data collection

In de maand januari heb ik met veel aandacht de drie blogs van Dominique Sluijsmans gelezen over formatief toetsen met de titel: Neem formatief niet te snel voor lief: Tien lessen van Dylan Wiliam. Een aanrader voor iedereen die zich bezighoudt met curriculumontwerp en de betekenis en plaats van de toetsing hierin.

Eén les wil ik er graag uitlichten namelijk: het type beslissing die je als docent wilt nemen bepaalt de dataverzameling en niet andersom.

We hangen in het onderwijs soms zware beslissingen aan toetsen. Denk hierbij bijvoorbeeld aan het bindend studieadvies (BSA). Op basis van een aantal summatieve toetsen, waarmee studenten de benodigde studiepunten kunnen behalen, nemen we een beslissing over de studievoortgang van de studenten. Maar doen we studenten niet te kort door deze beslissingen te baseren op basis van een paar toetsen waarvan we soms niet precies weten wát ze voorspellen? Hebben we voldoende en de juiste informatie verzameld om deze belangrijke beslissing te nemen over de toekomst van studenten?

De les van Dylan Wiliam verwoord door Dominique Sluijsmans:

“Formatief handelen richt zich op het verzamelen van informatie die nodig is om een bepaalde beslissing over de vervolgstappen in het leren van studenten te nemen. Er is sprake van doelgericht in plaats van toetsgericht handelen. De verzamelde informatie dient docenten handvatten te geven waar studenten staan en welke vervolgstappen nodig zijn (tijdens een les of over lessen heen). De verzamelde informatie wordt pas bewijs als deze worden gebruikt een bepaalde claim te onderbouwen (bijvoorbeeld: Hebben studenten de juiste voorkennis om taak X of Y te kunnen uitvoeren?). Docenten hebben informatie van hoge kwaliteit nodig om deze beslissingen goed te kunnen nemen. Dit betekent dat zij in staat moeten zijn studenten de juiste stimuli te geven zodat de gewenste response wordt opgeroepen, waarbij de kwaliteit van de stimulus de kwaliteit van de response zal bepalen. De kwaliteit van goede vragen/opdrachten is dus bepalend voor de wijze waarop studenten zullen antwoorden. Vragen zijn bedoeld om studenten aan het denken te zetten en informatie te genereren. Zonder de juiste informatie bestaat het risico dat er onjuiste conclusies worden getrokken (‘Studenten die hun hand opstaken gaven het goede antwoord dus ik kan verder met mijn les.’). Wiliam stelt dat in het onderwijs vaak de focus ligt op datagestuurd denken, waarbij de verzamelde data leidend zijn voor beslissingen. Deze wijze van informatieverzameling is vaak normgericht, verzameld op vastgestelde momenten en ook vaak maar gericht op een deel van het onderwezen curriculum. Voorbeelden van datagestuurd werken zijn de formeel georganiseerde proefwerken, gestandaardiseerde toetsen en deficiëntietoetsen. De resultaten van deze toetsen worden vervolgens gebruikt voor het nemen van beslissingen. Om formatief handelen kracht bij te zetten, pleit Wiliam voor een verschuiving van een focus op data-driven decision-making naar decision-driven data collection

De belangrijkste les die ik hieruit leer is dat je bij iedere (belangrijke) beslissing die je neemt in het onderwijs over de student stil zou moeten staan bij de vragen:

  • Welke beslissing moet ik hier nemen (Denk hierbij aan: Wat moet de student laten zien om een positief studieadvies voor deze opleiding te kunnen krijgen?)
  • Welke informatie heb ik nodig om een beslissing te kunnen nemen?
  • Hoe richt ik ons onderwijsprogramma in, middels formatieve toetsmomenten in de vorm opdrachten, toetsen, feedback, gesprekken, om voldoende informatie te genereren over de student om een valide en betrouwbare beslissing te kunnen nemen.

Vanuit de student gezien: ‘Hoe kan ik laten zien en aantonen dat ik voldoe aan de eisen die me gesteld worden’. Dit in plaats van: ‘Hoe zorg ik ervoor dat ik mijn toetsen en dus studiepunten behaal.’ 

De focus wordt op deze manier verlegd van het behalen van toetsen naar het leren van toetsen. De bijvangst van decision driven data collection is volgens mij dat studenten zich beter kunnen richten op leren. Ieder formatief toetsmoment levert namelijk informatie op die je weer kunt gebruiken in het vervolg je programma. Voorwaarde is natuurlijk wel dat die informatie geen cijfer is maar rijke feedback. Een hele uitdaging voor docenten, peers en begeleiders.

Formatieve toetsen, ook wel datapunten genoemd, worden ook wel eens vergeleken met een foto. Hoe meer pixels (datapunten) hoe duidelijker de foto wordt. Hoe completer het beeld, hoe betrouwbaarder de beslissing.

 

Toetsinformatie als pixels

Een toetsprogramma wordt doelbewust vormgegeven met het idee dat geen enkele beoordeling of toets perfect is maar dat het geheel wel de perfectie benadert (Van der Vleuten, 2016).

Van der Vleuten geeft, in een uiteenzetting over programmatisch toetsen ‘Programmatisch toetsen als motor voor professioneel leren (Sluijsmans & Segers, 2018 pag. 124 ev.)’ een paar handige spelregels om een toetsprogramma te ontwikkelen:

  1. geen zak-slaagbeslissing op basis van één datapunt
  2. er is sprake van een mix aan toetsmethoden
  3. het aantal benodigde datapunten is proportioneel gerelateerd aan de zwaarte van de beslissing.
  4. er is continu dialoog met de lerende door middel van feedback, om zelfsturing te bevorderen.
  5. het eindoordeel is een menselijk oordeel op basis van voldoende beoordelaarsexpertise.

Wat vind jij?

Ik ben nieuwsgierig naar jouw ideeën over toetsprogramma’s zoals ik hierboven heb geschetst. Heb je al ervaring met toetsprogramma’s? Wat levert het volgens jou op? Is het haalbaar binnen het onderwijs om dit te organiseren? Vind je dat deze manier van toetsen student meer uitdaagt om te leren van de toets? Graag je reactie.

Bron:

Dominique Sluijsmans & Mien Segers. Toetsrevolutie. Naar een feedbackcultuur in het hoger onderwijs (2018). 
Sluijsmans. Neem formatief niet te snel. Tien lessen van Dylan Wiliam

Cilia de Jong

Cilia de Jong

Auteur

cilia@oabdekkers.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Slaap er eens niet een nachtje over

  Een actieve manier om methodisch creatief te denken In november 2018 schreef ik een blog met de titel ‘Vastgelopen? Trek er op uit’. Een pleidooi meer te gaan lopen als je je brein wilt activeren om oplossingen te vinden. Lopen bevordert onder anderen je...

Lees meer

Soms roep ik mijn ikken bij elkaar

  Herken je dit? Je loopt lekker te struinen door je favoriete boekwinkel. Je ogen scannen de titels, je bladert door een boek, je leest samenvattingen op achterkanten. Na een tijdje kies je een boek dat je helemaal leuk lijkt. ‘Die ga ik kopen!’. Maar eenmaal in...

Lees meer

Steekproeven houden, zonde van mijn tijd!?

Steekproeven houden, zonde van mijn tijd!?

Het zal niemand in het beroepsonderwijs ontgaan zijn dat de kwaliteit van de toetsing de afgelopen jaren veel aandacht heeft gekregen. Opleidingen zijn zich meer dan ooit bewust dat de kwaliteit van toetsing op orde moet zijn. Vooral van díe toetsen die gebruikt worden om verantwoorde beslissingen te nemen over studenten. In het HBO is en wordt daarom structureel geïnvesteerd in het opleiden van docenten om goede toetsen te kunnen ontwikkelen, afnemen, beoordelen en analyseren (BKE). In het MBO worden steeds vaker vastgestelde examens ingekocht om de kwaliteit van de toetsen te garanderen. Ook wordt er veel tijd en aandacht besteed aan het ontwikkelen van handleidingen en procedures ofwel alles rondom een ‘Handboek Examinering’. Maar dit geeft nog niet de garantie dat de kwaliteit van de toetsing of examinering in orde is. Dit valt en staat met de uitvoering ofwel de afname van toetsen door de medewerkers in de teams.

Hier is een belangrijke taak weggelegd voor examencommissies!

Als verantwoordelijken van de kwaliteit van de toetsing, controleren zij steekproefsgewijs de uitvoering van de toetsing of het gaat zoals het is bedacht en staat beschreven. Zij monitoren en borgen hiermee de kwaliteit van de toetsing op afname en rapporteren hun bevindingen schriftelijk en soms ook mondeling terug naar de teams om de kwaliteit, waar nodig, verder te kunnen verbeteren.

Regelmatig geef ik workshops aan examencommissies en examenfunctionarissen over het houden van steekproeven op afname. Ze zoeken naar betere manieren om uitvoering te geven aan die steekproeven. Ze ervaren het als tijdrovend in de zin van afspraken maken met teams voor een steekproef en het zoeken naar en opvragen van de benodigde documenten. Maar ook de steekproef zelf en de rapportage van de resultaten nemen veel tijd. Teleurstellend als je dan ook nog vaststelt dat er weinig tot niets met de bevindingen wordt gedaan. Er gaat geen lerend effect vanuit, geen kwaliteitsverbetering. Sterker nog, van teleurstelling gaat geen kracht of verbetering uit.

Hoe kun je dan wél te werk gaan?

De eerste boodschap in mijn workshop is altijd om er als examencommissie zélf lerend in te gaan staan. Wat kunnen we beter doen om opleidingen te helpen de kwaliteit van de toetsing te verbeteren?

Golden circle

We gaan met elkaar in gesprek over de volgende vragen:

Why?
Wat is de bedoeling van steekproeven op afname? Wat willen we bereiken?

Denk hierbij aan:

  • checken en beoordelen of de afname van de toets gaat zoals het is afgesproken (betrouwbaarheid, validiteit en transparantie).
  • een kwaliteitscultuur willen ontwikkelen waarin we waarderen wat er is en willen leren van feedback (waarderende benadering).
  • de plan, do, check, act – kwaliteitscyclus helpen rondmaken.
  • borgen van de kwaliteit.

How?
Hoe doen we dat? Wat is er nodig?

Denk hierbij aan de volgende zaken:

  • een overzicht van steekproeven op eindniveau per opleiding.
  • een format met checkpunten (met hulpvragen) om doelgericht te observeren.
  • afspraken met de betreffende opleiding wanneer en hoe de steekproef wordt uitgevoerd.
  • afspraken vooraf met de betreffende opleiding waar je specifiek op moet gaan letten.

What?
Wat doe je precies?

Denk hierbij aan de volgende vragen:

  • op welke manier je de steekproef uit kunt voeren: ga je bv. observeren, interviewen, lezen of een combinatie daarvan?
  • voer je de steekproef alleen uit of samen (4-ogenprincipe)?
  • waar moet je op letten bij de verschillende checkpunten (modereren)?
  • wat wordt er vastgelegd en door wie?
  • hoe geef je je bevindingen (observaties) weer zodat de ontvanger hier iets mee kan?
  • hoe en naar wie koppel je de bevindingen terug?

Het beste werkt deze aanpak als je dit als examencommissie samen oppakt en bespreekt met de opleiding die je in de examencommissie vertegenwoordigt. Door deze lerende houding aan te nemen, is mijn ervaring dat de opleidingen zich ook lerend opstellen, meedenken en feedback geven.

Ik wens je veel succes als je hiermee aan de slag gaat en als je inspiratie of hulp nodig hebt kom ik graag mijn kennis en ervaringen met je delen!

Cilia de Jong

Cilia de Jong

Auteur

cilia@oabdekkers.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Slaap er eens niet een nachtje over

  Een actieve manier om methodisch creatief te denken In november 2018 schreef ik een blog met de titel ‘Vastgelopen? Trek er op uit’. Een pleidooi meer te gaan lopen als je je brein wilt activeren om oplossingen te vinden. Lopen bevordert onder anderen je...

Lees meer

Soms roep ik mijn ikken bij elkaar

  Herken je dit? Je loopt lekker te struinen door je favoriete boekwinkel. Je ogen scannen de titels, je bladert door een boek, je leest samenvattingen op achterkanten. Na een tijdje kies je een boek dat je helemaal leuk lijkt. ‘Die ga ik kopen!’. Maar eenmaal in...

Lees meer

Belang van betrouwbaar toetsen wordt overdreven!

Belang van betrouwbaar toetsen wordt overdreven!

Ik heb de afgelopen weken veel assessortrainingen gegeven en ik ben bij een paar kwaliteitsaudits geweest. Steeds valt mij weer op dat er, als het gaat om toetsing, bij assessoren of teammanagers angst is om onbetrouwbaar te zijn in de beoordeling. De angst is vooral gericht op externe verantwoording naar de inspectie of de accreditatiecommissie. Er zou toch eens een student onterecht een diploma krijgen… Ik maak me veel meer zorgen over al die studenten die onterecht GEEN diploma krijgen door toetsing die teveel focust op betrouwbaarheid.

Toetsen en examens kunnen het leven van een student maken en breken. Een avondje stappen missen omdat je een hertoets hebt doet pijn, maar al helemaal wanneer je het gevoel hebt dat je niet eerlijk beoordeeld bent.

Kwaliteitsbewaking speelt bij toetsing altijd een belangrijke rol. Het is de toetsing waar de student op afgerekend wordt en daar zal dus extra zorgvuldig mee omgegaan moeten worden. Die verplichting van zorgvuldigheid geldt niet alleen ten opzichte van de student, maar ook ten opzichte van de samenleving. Tenslotte leidt toetsing tot kwalificering voor de beroepspraktijk.

Toetsen betrouwbaarheid overdrevenIn deze blog neem ik je eerst mee in een klassieke benadering van toetskwaliteit en de beperkingen daarvan. Daarna schets ik mogelijke alternatieven zoals 1) generaliseerbaarheid in plaats van de traditionele betrouwbaarheid en 2) standaardisering van procedures in plaats van standaardisering van individuele toetsen. Deze alternatieve manieren zijn aanvullend voor de standaard kwaliteitscriteriabetrouwbaarheid, validiteit en transparantie.

Eerst de klassieke visie op toetskwaliteit:

Zoals gezegd worden op basis van toetsresultaten zwaarwegende beslissingen genomen. Het is dan ook terecht dat er traditioneel onder toetsdeskundigen veel oog is voor de kwaliteit van de wijze waarop het toetsresultaat tot stand komt. In het kader van inhoudelijk valide toetsen en beoordelen zullen we ons de vraag moeten stellen in hoeverre de ‘klassieke kwaliteitscriteria’ nog bruikbaar zijn, en of dit de enige of meest belangrijke criteria zijn. We denken bij “klassiek” dan in de eerste plaats aan validiteit en betrouwbaarheid. Daarnaast speelt de afweging tussen inhoudsvaliditeit en betrouwbaarheid een belangrijke rol bij het kiezen van instrumenten en toetsvormen. Lange tijd heeft betrouwbaarheid het primaat gehad in statistische analyses, hoewel eigenlijk iedereen het erover eens is dat de validiteit van de toetsinhoud een minstens zo belangrijk kwaliteitscriterium is.

Het begrip construct

In het klassieke denken over toetsen en kwaliteitsbewaking bij toetsing, speelt het begrip ‘construct’ een centrale rol. Deze term wordt gebruikt om onderliggende vaardigheden of aspecten van menselijk gedrag te definiëren. Een construct kan zijn ‘rekenen’, ‘boekhouden’, ‘Engels lezen’, ‘kennis van anatomie’ etc. Aanname hierbij is – en dat is met name voor de kwaliteitsbewaking van essentieel belang – dat alle items binnen een toets één onderliggend construct meten. Door uit te gaan van enkelvoudige onderliggende constructen kan, in het kader van de kwaliteitsbewaking, psychometrische analyse op de toetsing worden toegepast.

Het uitgangspunt van één onderliggend construct dat een toets beoogt te meten, speelt een centrale rol bij zowel het bepalen van de betrouwbaarheid als de construct- en criteriumvaliditeit van een toets.

Met de klassieke kwaliteitsbewaking is maar weinig oog voor de inhoudsvaliditeit (meten we wat we willen meten?). Die wordt met name geborgd door de relatie tussen onderwijsdoelstellingen en toetsinhoud te expliciteren (bijvoorbeeld door middel van een toetsmatrijs). Toch is de inhoudsvaliditeit de belangrijkste maatstaf die we zouden moeten hanteren.

Laten we eens kijken naar een alternatieve vorm van kwaliteitsbewaking, zoals generaliseerbaarheid, in plaats van klassieke betrouwbaarheid.

Binnen verschillende toetsen is het maar de vraag in hoeverre er sprake kan zijn van toetsen die één enkel onderliggend construct meten: dit kan nog als voor construct ‘competentie’ wordt gelezen, maar ook dan is wel een voorwaarde dat elke toets één geïsoleerde competentie meet. Veelal is dit niet het geval, waarmee het fundament onder de klassieke psychometrische analyse wordt weggevaagd. Er is dus een andere visie op de bewaking van de toetskwaliteit nodig die de psychometrische analyse kan vervangen.

Bovendien wordt bij de klassieke kwaliteitsbewaking van toetsing alleen naar de kwaliteit van de meting gekeken en niet naar de effecten die deze meting heeft op de student. Er is inmiddels voldoende onderzoek voorhanden waaruit blijkt dat de wijze van toetsing zeer sturend is op het leerproces van de student (“Toetsing heeft een diepgaande invloed op wat, hoe en hoe lang studenten studeren”. (Dochy et al, 2001) (Thomas & Bain 1984; Ramsen 1992; Scouller & Prosser 1994; Scouller 1995, 1996, 1998; Scouller & Chapman 1999; Biggs 1999, 2011; Dochy 2003, 2011, 2014). En de docent laat zich in zijn rol als begeleider van dat leerproces evengoed sturen door de toetsing.

Als een aanvullend kwaliteitscriterium bij toetsen wordt daarom in toenemende mate gekeken naar de mate waarin de toets stuurt op het gewenste leerproces: met name in het het verwerven van competenties en hogere vaardigheden in plaats van het reproduceren van kennis.

Bij het beoordelen van competenties gaat het veel meer om het meten van het geheel dan om het meten van de afzonderlijke delen. In de klassieke toetsing is er veelal sprake van één toets op één moment met beoordelaars die identiek beoordelen (bijvoorbeeld met landelijke examens). Bij het meten van competenties, kerntaken, werkprocessen of leeruitkomsten is er veeleer sprake van een reeks van verschillende metingen op verschillende momenten waarbij verschillende beoordelaars (in verschillende mate?) de mate van competentie vaststellen. Dit betekent dat bij het beoordelen van de betrouwbaarheid van de metingen ook naar het geheel van de metingen moet worden gekeken. Als verschillende metingen gezamenlijk tot een oordeel leiden dan is de betrouwbaarheid van dit geheel interessant en niet de betrouwbaarheid van de afzonderlijke metingen. Laat staan dat er een enkelvoudig construct kan worden gemeten.

In dit verband doet het begrip ‘generaliseerbaarheid’ in plaats van de traditionele betrouwbaarheidsopvatting het goed.

Zowel de klassieke betrouwbaarheidstheorie als de generaliseerbaarheidstheorie gaan uit van het gegeven dat de gemeten score gelijk is aan de ware score plus de meetfout. De meetfout kan verschillende oorzaken hebben, zoals beoordelaarsverschillen of verschillen die voortvloeien uit de uitgevoerde taken.

In de klassieke theorie worden deze oorzaken echter niet onderscheiden, terwijl dit in de generaliseerbaarheidstheorie juist wel gebeurt. Uit onderzoek blijkt dat de meetfout die te wijten is aan beoordelaarsverschillen relatief klein is en bovendien goed is te verkleinen met behulp van moderatie of kalibratie.

Het probleem doet zich vooral voor bij het generaliseren van taken: het blijkt dat het kunnen uitvoeren van de ene taak slechts een beperkte voorspellende waarde heeft voor de andere taak. Anders gezegd: iemand kan een bepaalde opdracht wel goed uitvoeren, maar dit wil nog niet zeggen dat hij een enigszins vergelijkbare opdracht ook goed uitvoert.

Dit betekent dat de toetskwaliteit verbeterd wordt door het vergroten van het aantal ‘assessmenttaken’, zodat de verschillende taken gezamenlijk een representatieve afspiegeling zijn van het geheel dat gemeten wordt. Het geheel van de taken is representatief voor de daadwerkelijke beroepspraktijk.

Welke benadering (klassiek of generaliseerbaar) je ook kiest, iedereen is het eens over de opvatting dat consistentie in de beoordelingen een vereiste is. Consistentie wordt bevorderd door structureel overleg tussen de beoordelaars te organiseren over de interpretatie van deze criteria aan de hand van concrete gevallen (kalibratie of moderatie), zoals eerder gesteld.

Tot slot nog een pleidooi om de kwaliteit van toetsen te verhogen door van gestandaardiseerde toetsen naar gestandaardiseerde procedures te gaan.

Standaardisatie wordt traditioneel gehanteerd als kwaliteitseis bij toetsing. Standaardisatie betekent dat de beoordelingsnormen en de beoordelingsprocedure voor alle studenten hetzelfde zijn. Standaardisatie is geen zelfstandig criterium maar een middel dat bij kan dragen aan het voldoen aan andere kwaliteitseisen: validiteit, transparantie, efficiëntie en, volgens de klassieke opvatting, betrouwbaarheid. En waar het bij één construct per toets mogelijk is om de instruménten te standaardiseren, is het bij toetsing van kerntaken, competenties en werkprocessen (en leeruitkomsten?) noodzakelijk om de procedúres te standaardiseren.

Kortom, In het evenwicht tussen inhoudsvaliditeit (meten we in een echte complexe werkelijkheid) en betrouwbaarheid (zijn onze metingen bij herhaling betrouwbaar) leggen we voortaan het accent op de validiteit. We kunnen dan weliswaar iets minder betrouwbaar een construct meten, maar door de procedure te standaardiseren komen we tot een betrouwbare en transparante manier van beoordelen. Op deze manier verkrijgen we een grote mate van validiteit binnen aanvaardbare betrouwbaarheidsnormen.

Ik denk hiermee een betere balans tussen betrouwbaarheid en validiteit geboden te hebben en een basis voor een goed gesprek met iedere kwaliteitscommissie. Temeer daar steeds meer opleidingen uitgaan van hybride vormen van leren en toetsen. De kunst is om binnen het team niet terug te vallen naar klassiek denken over betrouwbaarheid. Ik zie dat deze verleiding nadrukkelijk op de loer ligt.

Ik ben benieuwd naar jullie ervaringen met de balans tussen inhoudsvaliditeit en betrouwbaarheid. Ik reken op een stevige discussie in het reactieveld.

Peter Loonen

Peter Loonen

Auteur

peter@oabdekkers.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Waarom ben ik te vroeg in het lokaal?

  Wat heb je eraan om vroeg in het lokaal te zijn? Waarom is dit onderwijskundig van waarde? En welk docentgedrag is helpend voor de start van de les? Thijs geeft in 2 minuten uitleg en praktische tips! Wil je hier meer over weten? Reageer onder het filmpje!...

Lees meer

Tentamens om van te leren met minder druk voor de docenten.

Tentamens om van te leren met minder druk voor de docenten.

De oplossing voor papieren tentamens

Zodra studenten klaar zijn met het maken van een tentamen moeten zij vaak lang wachten op het resultaat. Wanneer dit resultaat eenmaal bekend is, zijn er mogelijkheden voor inzage van het gemaakte werk. De studenten die hier op afkomen doen dat eerder om over een hoger cijfer te onderhandelen, dan om te leren van het gemaakte werk. Daarnaast levert dit nakijken en bespreken met studenten veel administratieve rompslomp op voor de docent.

Figuur 1. Voorblad van een tentamen via Ans.
Rechtsboven het krasveld voor de student,
onderaan de beschreven code.

Studentenvisie

Ik was ook zo’n onderhandelende student bij de opleiding Industrieel Ontwerpen aan de TU Delft. Tentamens waren een middel, studiepunten halen was het doel. Hoe zorg ik er voor dat ik dat ene tentamen toch nog net gehaald heb? Juist, door naar de inzage te gaan en daar ontzettend mijn best doen ergens nog een puntje voor te krijgen. Voor de docent vervelend, voor mij een leuke uitdaging. Na een aantal jaar studeren besloot ik een jaar plaats te nemen in de centrale studentenraad van de TU Delft. Een van mijn taken was het aanpakken van onderwijsproblemen vanuit studentenperspectief. En wellicht raad je het al, het hierboven beschreven probleem was één van die projecten. Als studentenraad vroegen we ons af hoe de feedback van gemaakte tentamens verbeterd kon worden. En of er bovendien mogelijkheden zijn om de administratie en belasting voor docenten te verminderen en tevens de feedback en tevredenheid van studenten te vergroten.

Oplossing

Al snel kwamen we in contact met Kerim Haccou en Benjamin Wols, beide student aan de TU Delft en oprichters van Ans Delft. Zij hebben een platform ontwikkeld dat een oplossing biedt voor wat wij proberen op te lossen. Ans is een platform waarin docenten gemakkelijk toetsen maken en nakijken. In het digitale platform maakt de docent gebruik van beoordelingscriteria voor het corrigeren van gemaakte toetsen. Nadat het tentamen is geprint en gemaakt door de student, wordt het gescand. Op elk tentamen plaatst Ans automatisch een unieke code (zie onderaan figuur 1). Zodra een student zijn studentnummer aankruist in het krasveld op de voorpagina, koppelt Ans die aan de code op het voorblad. Deze is vervolgens weer gekoppeld aan de codes op de andere bladzijden van dat tentamen. Wanneer de tentamens worden gescand, herkent Ans precies welk blad bij welke student hoort en dus ook welk antwoord bij welke student!

Anoniem, digitaal en versneld nakijken

Na het scannen, kan het nakijken beginnen. Het nakijken wordt horizontaal en anoniem gedaan: per vraag, in plaats van per student. In figuur 2 is links het antwoord van een willekeurige student te zien, en rechts de beoordelingscriteria die geselecteerd kunnen worden door de docent. Samen met het automatisch nakijken van multiple choice vragen, niet ingevulde vragen en het optellen van punten, ervaren docenten gemiddeld een halvering van de nakijktijd. Ook levert het platform direct statistieken op over het tentamen, die docenten kunnen gebruiken om valkuilen voor studenten op te sporen. Dit is een mooi middel om de kwaliteit van de toetsvragen te verbeteren.

Figuur 2. Links het antwoord van een willekeurige student, rechts de beoordelingscriteria.

Publicatie van nakijkwerk plus verbetering feedback

Na het nakijken kunnen de docenten de vragen en antwoorden publiceren naar de studenten. Doordat studenten de feedback op hun tentamenvragen online kunnen inzien en daar direct op kunnen reageren, wordt het inzagemoment een stuk toegankelijker. Studenten zien de criteria waar ze op beoordeeld zijn, waarmee zij meer inzicht krijgen in wat ze goed en fout hebben gedaan. Daarnaast kunnen zij ook zien op welke leerdoelen zij goed hebben gescoord. Dit resulteert in een toename van het aantal studenten dat hun tentamen inziet van 15% naar 90%!

De stappen samengevat:

  • Beoordelingscriteria opstellen
  • Online tentamen aanmaken
  • Printen
  • Studenten maken het tentamen
  • Scannen
  • Digitaal nakijken
  • Feedback naar student. 

Papieren tentamens

Ans wordt nu vooral gebruikt als oplossing voor papieren tentamens. We zien dat er een verschuiving is naar meer digitale tentamens, maar voor sommige vakken blijft papier toch de beste keuze. Wanneer er bijvoorbeeld moet worden gewerkt met veel open vragen, formules, tekeningen en figuren. Daarnaast hebben niet alle instellingen voldoende computers(zalen) beschikbaar. Toch heeft digitaal ook veel voordelen voor de administratievermindering. Met Ans worden beide werelden gecombineerd: Tentamens op papier, administratievermindering door digitaal na te kijken.

Afsluiter

Inmiddels ben ik zelf ook werkzaam bij Ans en maken er al meer dan 500 docenten, verspreid over diverse universiteiten, hogescholen en middelbare scholen, gebruik van Ans voor hun tentamens. Overigens is het sinds kort ook mogelijk om digitale toetsen en verslagen na te kijken. Met woorden is het vaak moeilijk uitleggen hoe Ans werkt, en je zou het eigenlijk zelf even moeten ervaren. Mocht je dit willen? Neem dan contact met mij op en dan organiseren wij een korte online demo!

Johan van den Heuvel
Johan@ans-delft.nl

Nawoord Peter Loonen, OAB Dekkers:

Ik heb van Johan de online demo gehad en ben onder de indruk van de mogelijkheden van Ans. Waar ik vooral erg gecharmeerd van ben is dat docenten (-teams) bij open vragen vooraf een beoordelingsmodel moeten maken. We weten allemaal dat dit belangrijk is wanneer een toets met open vragen gemaakt wordt. In mijn ervaring is de realiteit vaak anders. Er wordt een toets met open vragen gemaakt en bij het nakijken beoordeelt de docent de gegeven antwoorden. De kans op beoordelingsfouten is dan erg groot. Ik heb de stellige overtuiging dat de betrouwbaarheid en de transparantie (2 belangrijke kwaliteitscriteria van toetsen) van schriftelijke toetsen door Ans toeneemt.

Johan van den Heuvel

Johan van den Heuvel

Auteur

Johan@ans-delft.nl

Schrijf je in voor onze wekelijkse blog

Wil jij veranderen?

  Einde van het studiejaar   We zijn allemaal professionals. En ook gewoon mensen. Zo aan het einde van het studiejaar valt het decorum soms wat weg en komt de ware behoefte boven. En dat is op dat moment vooral: rust! Nadenkend over een blog die in de...

Lees meer

Slaap er eens niet een nachtje over

  Een actieve manier om methodisch creatief te denken In november 2018 schreef ik een blog met de titel ‘Vastgelopen? Trek er op uit’. Een pleidooi meer te gaan lopen als je je brein wilt activeren om oplossingen te vinden. Lopen bevordert onder anderen je...

Lees meer

Decision-driven data collection

  In de maand januari heb ik met veel aandacht de drie blogs van Dominique Sluijsmans gelezen over formatief toetsen met de titel: Neem formatief niet te snel voor lief: Tien lessen van Dylan Wiliam. Een aanrader voor iedereen die zich bezighoudt met...

Lees meer