Kwaliteitscriteria voor goede examenvragen

Wanneer heeft een toets een goede kwaliteit? De termen validiteit en betrouwbaarheid zijn belangrijke begrippen bij het in kaart brengen van de kwaliteit van een toets. Achter deze termen gaat echter een hele wereld schuil. We beperken ons in deze blog tot de grootste algemene deler. Voor meer informatie over de begrippen betrouwbaarheid en validiteit verwijzen we naar de toelichting van Sluiter, Hemker en Eggen (2018).

Betrouwbare en valide toets

Een toets is betrouwbaar als het resultaat ervan niet berust op toeval. Dat is bijvoorbeeld wel het geval als er storende factoren zijn bij de afname of als er fouten in vragen dan wel in de beoordeling daarvan zitten. Een valide toets meet wat deze verondersteld wordt te meten en sluit aan op het doel waarvoor de toetsresultaten worden gebruikt. Een voorbeeld van de toepassing van dit criterium is toetsvragen die aansluiten bij specifiek geformuleerde leer- of toetsdoelen en bij het niveau waarop wordt getoetst. Klachten over de validiteit van een toets hangen vaak samen met de betekenis die stakeholders toekennen aan de resultaten van een toets.

Examenvragen die voldoen aan kwaliteitscriteria

Kortom: een goede kwaliteit van toetsing houdt in dat een kandidaat die ook werkelijk de leerstof beheerst, slaagt en dat stakeholders de beleving hebben dat de toetsing eerlijk is. Met examenvragen die aan kwaliteitscriteria voldoen is doorgaans grote winst te behalen. Bovendien is het voldoen aan deze criteria meestal vrij gemakkelijk te realiseren. Bewustwording van deze criteria en het kunnen toepassen ervan is dan van belang. De toetstechnische criteria die worden gehanteerd hebben betrekking op:

1. Relevantie;
2. Objectiviteit;
3. Specificiteit;
4. Efficiëntie.

Relevantie (1)

Hoort de vraag bij de leer- en toetsdoelen in het examenprogramma? Betreft het dan ook relevante kennis of gaat het over zulke details dat ofwel niemand dit kan weten ofwel niemand deze kennis ooit zal gebruiken? De vraag moet gaan over vakinhoud waar een beroepsbeoefenaar iets aan heeft. Een voorbeeld: In een examen over productkennis in de levensmiddelenhandel is het wellicht minder van belang om de voedingswaarde van pindakaas uit je hoofd te kennen. Hiervan is immers het nodige te lezen op het etiket.

Objectiviteit (2)

Is het juiste antwoord bij deze vragen altijd goed of zijn er ook situaties denkbaar waarin het ‘juiste’ antwoord feitelijk niet juist is? Kunnen er ook andere antwoorden goed gerekend worden? Een objectieve vraag leidt doorgaans niet tot discussie. Zie onderstaand voorbeeld van een niet-objectieve vraag.

Welke kleuren heeft de Nederlandse vlag? Kruis alle juiste antwoorden aan.

1. Rood
2. Blauw
3. Wit
4. Oranje

Juiste antwoord: A, B en C

De vraag is of antwoord D, oranje, ook niet goed gerekend moet worden. Stel dat de vlag een wimpel heeft, dan is deze oranje. Antwoord D is wellicht niet het meest relevante antwoord, maar echt fout is het ook niet. In ieder geval kan de vraag tot discussie leiden.

Specificiteit (3)

Een vraag dient zo gericht gesteld te zijn dat iemand die de stof beheerst, de vraag correct zou moeten kunnen beantwoorden en iemand die de stof niet beheerst niet. Een specifieke vraag maakt dus onderscheid in ‘goede’ en ‘slechte’ kandidaten. Zie hieronder voor een voorbeeld van een niet-specifieke (open) vraag.

Beschrijf de leiderschapsstijlen van een veel toegepaste managementtheorie.

Antwoord: In de theorie van Hersey en Blanchard worden vier stijlen beschreven.

Beschrijving:

• Delegeren: het overlaten van taken aan medewerkers, weinig sturing en weinig ondersteuning;
• Ondersteunen, overleggen: het helpen van medewerkers, weinig sturing;
• Overtuigen, motiveren: veel taakgerichte sturing en veel ondersteuning;
• Opdragen, instrueren: veel sturing, weinig ondersteuning.

 Andere antwoorden ter beoordeling van de corrector.

Het probleem met deze vraag is dat deze weinig gericht is; er zijn verschillende managementtheorieën en -modellen die vaak worden toegepast. Daarnaast wordt niet vermeld aan welke eisen de beschrijving moet voldoen. Er zijn op deze manier erg veel antwoorden die goed gerekend zouden moeten worden.

Efficiëntie (4)

Om aan het criterium van efficiëntie te voldoen is het van belang de informatie in de vraag te beperken tot alleen die informatie die nodig is voor de beantwoording van de vraag. Een voorbeeld van wat we vaak zien is dat een casustekst het hele artikel van een dagblad bevat als achtergrondinformatie. Het advies is dan om dergelijke informatie niet in het examen maar in de lesstof op te nemen. Een ander voorbeeld is dat de kandidaat, door het opnemen van een dubbele ontkenning, de vraag meerdere keren moet lezen om deze goed te begrijpen. Ontkenningen zou je het best vet of cursief kunnen maken zodat ze de aandacht trekken. Feitelijk vallen taalfouten en ingewikkelde taalconstructies onder het criterium ‘efficiëntie’.

Conclusie

Bij een goede toets is het belangrijk dat een kandidaat die de leerstof beheerst, slaagt en dat alle betrokkenen de beleving hebben dat de toets eerlijk is. Bovenstaande kwaliteitscriteria van examenvragen dragen eraan bij dit doel te bereiken.