Kalibreren: afstemming over beoordelingen van (afstudeer)werk

Beoordelen is mensenwerk. De consequenties van het zakken of slagen zijn, zeker in de afstudeerfase, groot. Hoge eisen moeten daarom worden gesteld aan de betrouwbaarheid van de beoordeling. Een belangrijk aspect is de inter-beoordelaarsbetrouwbaarheid. Een kalibreersessie met alle betrokken beoordelaars van de afstudeerwerken is een sterk middel om deze betrouwbaarheid te vergroten. Komen beoordelaars op basis van het beoordelingsmodel (beoordelingsprocedure en beoordelingscriteria) tot hetzelfde oordeel?

Inhoud sessie

Voorafgaand aan de sessies beoordelen alle beoordelaars afzonderlijk van elkaar dezelfde afstudeerscriptie (of een ander product: eindwerkstuk, onderzoeksverslag of stageverslagen). De ingevulde beoordelingsformulieren worden vooraf door Onderwijsadvies & Training (O&T) verzameld en verwerkt.

De sessie wordt gestart met een vergelijking van de oordelen van alle beoordelaars en van de toelichtingen die ze bij hun oordelen hebben gegeven. Afhankelijk van de verschillen vervolgen we de sessie met het onderling in groepjes bespreken van de eigen beoordeling: hoe ben je tot je oordeel gekomen, hoe interpreteer je dit criterium, wanneer vind je het voldoende/onvoldoende?

Resultaat

Het resultaat van de plenaire bespreking die er op volgt kan het volgende inhouden:

• Afspraken over de beoordeling (de precieze invulling van de criteria), en/of het beoordelingsproces
• Afspraken over de begeleiding. Naast afspraken over beoordeling, blijken vaak ook afspraken noodzakelijk over de manier waarop docenten studenten begeleiden en over de begeleidingsprocedure.
• Gemeenschappelijk referentiekader: door te praten over de beoordeling en de interpretatie van de beoordelingscriteria, wordt voor alle beoordelaars duidelijker welke criteria belangrijk zijn bij de beoordeling. Zo ontstaat een gemeenschappelijk kader voor de beoordeling van bijvoorbeeld afstudeerscripties.
• Duidelijkere documenten: door een duidelijke toelichting bij enkele beoordelingscriteria, en door afspraken omtrent de beoordelingsprocedure vast te leggen, wordt de beoordeling transparanter. Dat is niet alleen voor het huidige docentencorps belangrijk, maar dat is ook direct van belang voor elke nieuwe collega.

Opvolging

Vanzelfsprekend is het belangrijk om een dergelijke kalibreersessie regelmatig te herhalen, bijvoorbeeld aan het einde van elk studiejaar vlak voordat alle beoordelaars afstudeerscripties moeten gaan beoordelen. Ook kan onderzocht worden of de kalibreersessie het gewenste effect heeft en of de oordelen van de beoordelaars inderdaad meer met elkaar in overeenstemming zijn gekomen. Opnieuw worden de gegevens verzameld van de onafhankelijke oordelen van de docenten, nu van een ander werkstuk (bij voorkeur ook op de grens van voldoende/onvoldoende). De beoordeling vindt plaats op basis van het nieuwe, bijgestelde, beoordelingsformulier. Wij kunnen de resultaten presenteren en bespreken op locatie.

Beoordelaars die afstudeerwerken en/of papers/opdrachten beoordelen

• Handreiking Kalibreersessies; Daan Andriessen (Eindrapport expertgroep Protocol)
• Artikel Beoordelen beoordeeld; T. Lampe en M.E. van Beek, 2015

De kosten zijn afhankelijk van de maatwerkafspraken. De wensen en het aantal deelnemers bepalen mede de prijs. Op verzoek kan een kostenindicatie worden gegeven.

UU-docenten kunnen gebruikmaken van O&T eenheden (mits beschikbaar) of deelnemen tegen gereduceerd tarief. In beide gevallen in overleg met de eigen faculteit.

Heb je een (onderwijskundige) vraag, of ben je benieuwd naar de mogelijkheden van een incompanytraining of adviestraject op maat? We denken graag met je mee.

Neem contact met ons op via: onderwijsadviesentraining@uu.nl of 030 253 2261.

Onderwijsadvies & Training traint onderwijsprofessionals gedurende hun hele loopbaan. Wij bieden maatwerkoplossingen bij onderwijsvraagstukken, en geven scholen en opleidingen onderwijskundig advies. We verbinden kennis uit de wetenschap met de onderwijspraktijk om tot nieuwe perspectieven te komen. Onderwijsadvies & Training is onderdeel van de Universiteit Utrecht.

Betalings- en annuleringsvoorwaarden

Op alle diensten van Onderwijsadvies & Training zijn betalings- en annuleringsvoorwaarden van toepassing.