ChatGPT in het onderwijs: kun je nog toetsen met take-home tentamens en essays?

Student maakt thuis een tentamen

De nieuwe chatbot ChatGPT is de afgelopen maanden veelvuldig in het nieuws geweest. Ook de invloed op het onderwijs wordt veel besproken, en met name wat de gevolgen zijn voor toetsing. Kun je studenten nog wel essays laten schrijven? En wat doen we met take-home tentamens die al gemaakt zijn? Kunnen we schrijfvaardigheden nog wel betrouwbaar toetsen? Toetsexperts en onderwijskundigen van de UU geven er in dit artikel antwoord op. Ook doen ze suggesties voor het ontwerp van take-home tentamens en schrijfopdrachten, en bespreken ze de (on)mogelijkheden na afname van het tentamen.

Over welke type toetsing hebben we het?

Om ChatGPT te kunnen gebruiken is toegang tot internet nodig. Voor de reguliere tentamens op locatie is de invloed van ChatGPT op toetsresultaten dus niet aan de orde; de laptops in een toetszaal hebben namelijk geen internetverbinding. Dit artikel focust zich daarom op take-home tentamens of schrijfopdrachten die studenten thuis maken. 

Korte termijn: wat kun je als docent doen met je toetsing die voor komende periode gepland staat? 


Voorafgaand aan de toets: het ontwerp

Op dit moment heeft ChatGPT wat beperkingen die samenhangen met de werking van de chatbot en de manier waarop hij getraind is. Daar kun je gebruik van maken bij het ontwerp van je take-home tentamen of essay. We geven hieronder enkele suggesties. Maar let op, het programma werkt zelflerend, en het is niet gezegd dat deze beperkingen over een week/maand/half jaar nog gelden. 

Leg bij het formuleren van de vragen de nadruk op inhoud in plaats van op structuur en schrijfstijl.

ChatGPT maakt inhoudelijke fouten, die overtuigend gebracht worden. In je toetsing kun je hier dus de nadruk op leggen, en structuur en schrijfstijl (dingen die de chatbot erg goed kan) minder mee laten tellen. Dit heeft een paar nadelen: ten eerste zit je te morrelen aan je leerdoelen. En ten tweede is het mogelijk dat dit het niveau van de toets verandert, met andere woorden, dat het moeilijker wordt. Dit is uiteraard niet wenselijk.

Laat studenten in het tentamen reflecteren op een actualiteit uit het nieuws. 

Op dit moment heeft ChatGPT toegang tot informatie tot 2021. Als je in een essay bedenkt waarbij een theorie gerelateerd moet worden aan iets actueels, dan geeft de bot een foutmelding. Let op: dit is te omzeilen, bijvoorbeeld door een recent artikel te copy-pasten en te vragen of ChatGPT dit meeneemt in zijn antwoord. 

Richt je tentamenvragen op actuele artikelen of artikelen achter een paywall. 

Dezelfde beperking geldt voor recente artikelen geschreven na 2021. Ook gebruikt de chatbot geen artikelen die achter een paywall zitten, mits deze nergens anders op het web beschikbaar zijn. Het loont dus de moeite om een artikel in te geven en te kijken of ChatGPT hiermee uit de voeten kan of niet. Dezelfde beperking als hierboven geldt helaas ook hiervoor. 

Vraag in het tentamen naar een persoonlijke reflectie, vragen over het schrijfproces. 

ChatGPT kan persoonlijke reflecties maken, deze zullen alleen generiek blijven en uiteraard niet passen bij de persoon die ze genereert.

Zet op het tentamen (en in de cursushandleiding en op de collegeslides) dat studenten hun eigen werk moet aanleveren. 

Geef aan dat naar gebruikte bronnen correct moet worden verwezen. Geef tevens aan welke hulpmiddelen bij de toetsing wel mogen worden gebruikt (statistische analyseprogramma's zoals SPSS) en welke niet (bijvoorbeeld ChatGPT). 

Tip: voer de opdracht/het take-home tentamen een keer in om te zien wat ChatGPT ervan maakt. Maar let op: het model ‘bouwt’ iedere keer een uniek antwoord op. Studenten zullen dus niet dezelfde versie krijgen. Als je een aantal keer op ‘regenerate response’ klikt, krijg je verschillende varianten. Dit geeft een idee van de mogelijkheden van de chatbot. Deze gegenereerde voorbeelden zijn wellicht ook aardige input voor een kalibreersessie.

Na de toets: controle? 

Kun je controleren of studenten gebruik hebben gemaakt van ChatGPT? Het korte antwoord is: nee, je kunt dit nu niet controleren. De plagiaatchecks werken op basis van herkenning van exacte stukken tekst, en ChatGPT genereert een nieuwe tekst. Naast plagiaatchecks bestaat er wel controlesoftware, maar gebruik daarvan zorgt ervoor dat je verzeild raakt in een kat-en-muisspel, waarbij je waarschijnlijk met je controlesoftware steeds weer achter de feiten aan gaat lopen. Voor zover bekend is er op dit moment dus (nog) geen sluitende methode om gebruik van ChatGPT bij toetsing aan te tonen. 

Daarnaast kun je je afvragen wat je als examinator formeel kunt doen met een waarschijnlijkheidspercentage dat ChatGPT is gebruikt. In COVID-tijd is wel eens geopperd om studenten steekproefsgewijs te onderwerpen aan een mondeling in aanvulling op het take-home-tentamen, en dat zouden we nu weer kunnen doen. Maar ook toen was het lastig om te bepalen welke consequenties een ondermaats mondeling zou kunnen hebben. Is dat echt een bewijs dat de student geen eigen werk heeft ingeleverd? We raden docenten op dit moment dan ook aan om bij het ondervangen van de nadelige effecten van ChatGPT op toetsing de focus te leggen op de ontwerpfase van de toetsing.

Bij schrijfonderwijs (theses en essays) zijn er wel mogelijkheden om het schrijfproces wat meer te monitoren, om op die manier te kijken of een student eigen werk heeft aangeleverd. Tijdens begeleidingsbijeenkomsten kun je als docent in gesprek gaan over de gehanteerde redeneerlijn in de aangeleverde tekst en de stappen die een student heeft gemaakt tijdens het leerproces, boven op de gebruikelijke bespreking van docentfeedback. Dan zou zichtbaar kunnen worden of de student kennis over de stof heeft verworven en zich daadwerkelijk ontwikkeld heeft. Het bevordert waarschijnlijk ook het leerproces. Geef vooraf aan dat je op deze manier je begeleidingsbijeenkomsten invult, dat zou een preventieve werking kunnen hebben. 

Conclusie 

Examencommissies en examinatoren willen natuurlijk weten of studenten eigen werk hebben ingeleverd. Onvermeld een chatbot gebruiken bij het genereren van teksten betekent fraude. Studenten moeten zich dat goed realiseren. In de ontwerpfase van de toetsing liggen de meeste mogelijkheden om het effect van het gebruik van ChatGPT op de toetsing te beperken.

    Moet je de OER aanpassen?

    De OER (van de Universiteit Utrecht althans) hoeft niet te worden aangepast omdat de huidige OER volstaat. Hierin staat namelijk: “Onder fraude en plagiaat wordt verstaan het handelen of nalaten van studenten waardoor er een onjuiste weergave is van hun eigen prestaties op het gebied van kennis, vaardigheden en inzicht, wat er toe kan leiden dat de examinator niet meer in staat is het kennen of kunnen van de studenten op een correcte en eerlijke wijze te beoordelen.” Hoogstens kun je bij wijze van voorbeeld noemen dat gebruik van ChatGPT zonder dat te vermelden, aangemerkt wordt als fraude/plagiaat.

      Lange termijn: Wat kun je doen in het ontwerp van de toetsing als je het volgend jaar anders wilt aanpakken?

      Als je het ontwerp van je toetsing gaat aanpakken is het van belang om bij je leerdoelen te beginnen. Het type leerdoel bepaalt namelijk welke mogelijkheden je gaat hebben bij het aanpassen van je toets. Binnen deze context kunnen we onderscheid maken tussen twee typen leerdoelen: 

      1. Leerdoelen die gaan over schrijfvaardigheden, argumentatievaardigheden, etc. Oftewel: leerdoelen die gaan over datgene wat ChatGPT goed kan. 
      2. Alle andere leerdoelen. 

      1. Leerdoelen die gaan over datgene wat ChatGPT goed kan

      Hiermee bedoelen we de schrijfopdrachten die je geeft om te toetsen hoe een student zinnen maakt, samenvattingen geeft, de kern uit een tekst haalt, een structuur aanbrengt, etc. Dit zijn precies de zaken waar ChatGPT erg goed in is. Mocht een student hier fraude mee plegen dan kom je hier niet goed achter en weet je niet of die student deze leerdoelen beheerst. 

      Stel dat je vak draait om deze leerdoelen, en je wilt zeker weten dat een student ze beheerst. Welke mogelijkheden heb je dan? Je kunt studenten stukken laten schrijven in een ‘gecontroleerde’ omgeving, zoals tijdens het maken van tentamens ook het geval is. Let er dan wel op dat je dit ruim van tevoren regelt. Het is ook mogelijk om stukken te laten schrijven tijdens je les. 

      Daarnaast kun je de inhoud zwaarder laten meetellen omdat ChatGPT inhoudelijke fouten maakt. Let wel op: hiermee verander je iets aan de leerdoelen, en mogelijk ook aan het niveau van je toetsing.

      Een paar punten ter relativering: 

      • Studenten konden altijd al een ghostwriter inschakelen bij take-home tentamens, essays en theses (denk ouders, broers/zussen, etc.) om hun teksten te laten schrijven of verbeteren. Vanuit dit perspectief bekeken is ChatGPT een nieuwe misschien wat laagdrempelige mogelijkheid, maar eigenlijk toch weinig nieuws onder de zon. 
      • De meeste studenten snappen natuurlijk dat het inleveren van werk dat geschreven is door ChatGPT onder fraude valt, en dat ze er heel weinig van leren als ze dat doen. Automatisch uitgaan van het idee dat alle studenten zullen frauderen als het mogelijk is leidt je richting een controlerende strategie, en eventueel in een kat-en-muisspel tussen plagiaatsoftware en chatbots. 
      • Binnen het hoger onderwijs zijn vaardigheden als zinnen maken, structuur aanbrengen en samenvattingen maken belangrijke bouwstenen die leiden tot gevorderde schrijfvaardigheden. Binnen een scriptie moeten studenten stukken kunnen schrijven die direct relateren aan het uitgevoerde onderzoek, of waarbij informatie geïntegreerd en kritisch beschouwd wordt. Uiteindelijk zullen studenten dus toch moeten kunnen schrijven.

      Tip: ga over dit onderwerp het gesprek met je studenten aan. Maak duidelijk waarom ze bepaalde vaardigheden moeten leren, en wat ze missen als ze puur varen op ChatGPT. 

      2. Leerdoelen die andere vaardigheden/kennis toetsen dan waar chatGPT goed in is

      Hierbij denken we aan leerdoelen die gaan over verworven kennis en vaardigheden. De vraag die je jezelf hierbij kunt stellen is: is een geschreven tekst de beste methode om dit leerdoel te testen?  

      Een verslag is een vorm die veel toegepast wordt in het hoger onderwijs. Misschien wordt het tijd dat we samen gaan nadenken over andere vormen. Als je wilt weten of een student argumentatievaardigheden beheerst rondom een thema, kun je een argumentatieschema laten aanleveren. Als het gaat om integratie en verbanden tussen concepten, is een concept map een mooie vorm. Mondelinge presentaties of vlogs zijn ook goede vormen. Uiteraard is het bij dit soort vormen (net als bij verslagen) van belang om een goed beoordelingsmodel te maken (zoals een goede rubric). 

      Tip: ga na of een geschreven vorm de beste toetsvorm is voor jouw leerdoelen. Zo niet, dan zijn er andere mogelijkheden! Let wel op dat de constructive alignment van je vak blijft kloppen, en wat de veranderingen betekenen voor het niveau van je toets.

      Discusssie: Welke vragen zijn nog niet beantwoord?

      Als we het hebben over het gebruik van ChatGPT, hebben we het in bovenstaand stuk over het genereren van een geschreven stuk en dat inleveren alsof het eigen werk is. Dit gebruik is uiteraard niet aanvaardbaar. Maar er is ander gebruik mogelijk. ChatGPT kan worden ingezet als hulpmiddel zoals nu Google of Wikipedia gebruikt wordt (of een rekenmachine). De vragen die dit oproept: welk gebruik vinden we aanvaardbaar? Welk gebruik gaat te ver? Is er bij toetsing minder gebruik aanvaardbaar dan tijdens het leren?

      En stel dat we het gebruik (in meer of mindere mate toelaten: wat leren studenten dan minder? Met andere woorden: welke vaardigheden besteden we uit? En vinden we dat erg? Moeten studenten nog wel leren schrijven? En wat betekent dat voor de eindtermen van onze opleidingen?

      Er bestaan ook forse ethische en morele bezwaren tegen het gebruik van ChatGPT, zoals je bijvoorbeeld kunt lezen in dit stuk. In hoeverre gaan we gebruik van de tool dan faciliteren of zelfs aanmoedigen?

      Lees tot slot hoe ChatGPT zelf reageert op de verschillende zorgen.

      Contact en advies

      Heb je vragen over dit onderwerp? Neem gerust contact met ons op.

      Auteurs

      Met dank aan: Davitze Könning, Alex Lodder en Marijne Wijnker (Educate-it)