Kan een kunstmatige intelligentie een masterdiploma halen?
Zou de commissie die de aanvragen voor het facultaire deel van het Stimuleringsfonds Onderwijs beoordeelde het in de gaten gehad hebben? Voor hen lag de subsidieaanvraag van Gerko Vink, Anne Scheel en Oisín Ryan. De aanvraag zag er prima uit, ware het niet dat de aanvragers het leeuwendeel van hun proposal niet zelf geschreven hadden. Dat hadden ChatGPT en Perplexity.AI gedaan.
De aanvraag werd gehonoreerd. Titel: Can an AI obtain a master’s degree? An investigation into AI-assisted education in the MSBBSS Research Master’s Program. “Met AI je master doorlopen is niet zo moeilijk”, weet universitair hoofddocent Gerko Vink. “Uit onderzoek blijkt dat AI moeiteloos een MBA of advocatendiploma kan halen. We doen alsof dat een groot probleem is; sommige mensen willen het gebruik van kunstmatige intelligentie in het onderwijs verbieden. Ikzelf vind dat we AI-assisted learning moeten omarmen. Studenten en docenten moeten leren om deze technologie in hun voordeel te gebruiken.”
Mening vormen
Als je studenten de vrijheid geeft om het internet te gebruiken bij een toets, dan gebruiken ze ook AI, ziet Gerko. “Dus moeten we ons als docenten afvragen: hoe houden we onze toetsing valide? Willen we weten of de bijdrage van de student is of van ChatGPT? Om je een mening te kunnen vormen over het gebruik van AI in het onderwijs, is het belangrijk dat je weet wat de implicaties ervan zijn.”
AI in de tentamenzaal
Om die implicaties in kaart te brengen, laten Gerko en twee collega-docenten AI de toetsen doorlopen van hun eigen researchmaster. Dit is de tweejarige master Methodology and Statistics for the Behavioural, Biomedical and Social Sciences. Gerko: “We gaan de bestaande toetsen voorleggen aan twee AI-modellen en kijken daarbij naar de antwoorden en de programmeercode die we terugkrijgen. Daarna kijken we de door AI gegeven antwoorden en oplossingen na met de bestaande rubrics.”
We moeten studenten leren om AI goed te gebruiken. Net zoals we ze leren literatuur te zoeken, moeten we ze leren om informatie op waarde te schatten die uit zo’n model komt.
Informatievaardigheden
Gerko vindt het een leuk spanningsveld, AI in het onderwijs. Hij vergelijkt de consternatie met googelen. “Als je iets niet weet, zoek je het op internet op en dan lees je bronnen die zoekmachines voor je rangschikken. Dat is helemaal geaccepteerd. Maar als je met een languagemodel als ChatGPT die leesstap eruit haalt, door een prompt in te vullen en geschreven tekst als resultaat te krijgen, dan vinden we dat met zijn allen ineens een gevaar. Dat is het ook, maar het gebruik van een zoekmachine vraagt óók allerlei informatievaardigheden, zoals het kunnen beoordelen van de kwaliteit van de website waar je je informatie vandaan haalt. We moeten studenten dus leren om AI goed te gebruiken. Net zoals we ze leren literatuur te zoeken, moeten we ze leren om informatie op waarde te schatten die uit zo’n model komt.”
Programmeren
Veel vaardigheden die de M&S-docenten toetsen, hebben te maken met programmeren. Denk aan een opdracht als: programmeer [een bepaald complex model] in R. “AI kan dat gewoon voor een student doen”, vertelt Gerko, “maar die moet daarvoor wel de juiste interactie met de robot hebben. Daarna moet hij nog kijken of de code werkt. Je moet dus begrijpen wat er gebeurt.”
Minder actuele informatie
Daar komt bij: AI is maar één van de technieken om antwoorden op vragen te formuleren en kan studenten niet met alles helpen. “Alles wat in 2021 bekend was, zit in die languagemodellen, ook wat op GitHub staat. Iets wat drie maanden geleden geschreven is, staat er dus niet in. Daarom verplicht ik mijn studenten ook altijd om iets recents te gebruiken.”
Andere toetsvormen
Docenten die echt willen voorkomen dat studenten een robot hun toets laten maken, kunnen dat doen door te kiezen voor bepaalde toetsvorm. Gerko: “Met een mondelinge of geschreven toets kunnen studenten geen ChatGPT gebruiken want dan moeten ze op hun telefoon kijken voordat ze antwoord kunnen. En tijdens de pandemie maakte ik kennistoetsen die een student prima in twee uur kon maken, maar niet als je alles bij elkaar moest zoeken.”
Uiterlijk in september 2024 is het FSO-project klaar, en staan de uitkomsten in een paper.