ChatGPT in het onderwijs: Waar is ChatGPT toe in staat en wat zijn de beperkingen?

Een hand van een robot en een menselijke hand reiken naar elkaar

Er wordt veel over gesproken en geschreven: de Open AI tool ChatGPT. De tool heeft zowel fans als tegenstanders, met uiteenlopende meningen. Maar dat de tool consequenties heeft voor het onderwijs, daar kunnen we niet omheen. Om te begrijpen welke consequenties dit zijn (zowel positieve als negatieve) is het handig om te begrijpen hoe ChatGPT werkt, wat de tool allemaal kan, en wat niet. 

Wat is ChatGPT?

ChatGPT is een chatbot gebaseerd op een Large Language Model (LLM). Dat houdt in dat je een vraag (prompt) kan stellen en dat ChatGPT daar een tekst voor schrijft. Dit gaat van het schrijven van een limerick tot het schrijven van wetenschappelijke artikelen. Om teksten te genereren, hoeft ChatGPT de prompt (en het antwoord) niet te snappen. In plaats daarvan geeft de prompt de chatbot een context waarbinnen deze met behulp van kansberekening gaat kijken welke woorden het beste in een rij kunnen worden geplaatst, en zo een zin vormen. De tool genereert nieuwe unieke tekst, en toont je dus geen bestaande teksten (zoals gewone zoekmachines). Daarom is het niet mogelijk om de authenticiteit van de teksten te controleren met een plagiaatcontrole. 

Wat kan ChatGPT? 

De mogelijkheden van ChatGPT zijn grofweg in drie categorieën in te delen.

  1. Je kunt een vraag stellen, en ChatGPT geeft antwoord. Dit gebruik is vergelijkbaar met een opdracht geven aan Google. Het verschil is dat Google bronnen oplevert waar je zelf de informatie uit moet extraheren. ChatGPT is efficiënter en produceert een uitgeschreven antwoord. Het nadeel is dat de informatie niet gemakkelijk te verifiëren is, of het waar is en waar het zich op baseert. 
  2. Je kunt vragen om een stuk tekst, bijvoorbeeld een outline of een beschouwing over een bepaald onderwerp. Hierbij kun je onder andere meegeven welke lengte en schrijfstijl het stuk moet hebben. Ook kun je vragen om bronvermeldingen toe te voegen. Als je dit direct vraagt, zullen er geconfabuleerde bronvermeldingen bijzitten, maar je kunt meegeven dat je alleen ‘echte bronnen’ wilt. In dat geval geeft de chatbot echte bronnen, al zullen deze niet altijd correct zijn.
  3. Je kunt stukken tekst invoeren en de chatbot vragen om deze samen te vatten, te parafraseren, te vertalen, de spelfouten eruit te halen, feedback erop te geven, etc.  

ChatGPT voorspelt vrij goed wat voor antwoord je zou willen krijgen. Dus ondanks dat de chatbot de ingevoerde vragen en gegenereerde antwoorden zelf niet écht begrijpt, is hij wel in staat om logische structuur aan te brengen. Dat blijkt bijvoorbeeld in dit onderzoek, waarin ChatGPT een 7,8 scoort op een vwo-examen ‘Engels begrijpend lezen’.

Het genereren van teksten is overigens slechts een van de mogelijkheden van de software. Binnen de playground van OpenAI zijn er mogelijkheden om een prompt om te zetten naar softwarecode, en ook kun je een illustratie laten genereren. Andersom kun je code invoeren en vragen wat dit doet. Zie dit voorbeeld voor een illustratie. 

Verder is een deel van de broncode openbaar beschikbaar, daardoor worden er verschillende add-ons gemaakt, bijvoorbeeld voor een koppeling met Excel, Gmail, R, Youtube of Whatsapp. Dit betekent dat er meer en meer toepassingen beschikbaar zullen blijven komen.

Wat zijn de beperkingen van ChatGPT?  


Incorrecte bronvermelding

ChatGPT genereert antwoorden aan de hand van kansberekening, gebaseerd op talloze bronnen. Dit gebeurt bij het opstellen van stukken tekst, maar ook bij het opstellen van een simpel feitelijk antwoord op een vraag. Dit betekent dat je nooit precies kunt nagaan welke bronnen er allemaal gebruikt zijn voor de output. Dit maakt het antwoord van ChatGPT niet transparant, moeilijk te controleren en maakt een juiste en volledige bronvermelding onmogelijk. Als je ChatGPT vraagt de bronnen te geven die gebruikt zijn voor het genereren van een antwoord, dan fabriceert de chatbot vaak niet bestaande bronnen. Je kan vragen om bestaande bronnen of bronnen met peerreview, dan krijg je meestal wel toepasselijke bronnen, maar die zullen niet alle data bevatten waarop die een antwoord baseert. Binnen de wetenschappelijke wereld is dat een no go.

Onwaarheden en vooroordelen

Een ander nadeel van ChatGPT komt voort uit de trainingsdata die gebruikt is om het model te ontwikkelen. Ten eerste zitten er vooroordelen in data, en volgens het oude principe ‘garbage-in-garbage-out’ is de output van de chatbot afhankelijk van de trainingsdata, en is de kans dus groot dat de antwoorden van ChatGPT deze vooroordelen zullen weerspiegelen. Zo is bijvoorbeeld van de voorganger van ChatGPT (GPT-3) duidelijk dat er genderstereotype associaties in de antwoorden zaten. OpenAI, het bedrijf achter ChatGPT, zet filters en menselijke controle in om duidelijke onwaarheden en de ergste vooroordelen eruit te halen. Echter, dit blijft een inherente beperking. 

Verouderde data

De huidige versie van ChatGPT (januari, 2023) is alleen getraind op data tot en met september 2021. Dit betekent dat de chatbot recentere data niet kan interpreteren. Deze beperking zal waarschijnlijk van korte duur zijn, gezien de snelheid van de ontwikkelingen.

Rekenfouten

Tot slot maakt de chatbot (naast inhoudelijke fouten) ook reken- en logica fouten. Ook dit heeft te maken met hoe ChatGPT antwoorden genereert. Het is een taalmodel, geen rekenmachine: tekst wordt gegenereerd als antwoord op mathematische vragen, maar de uitkomst is een random getal op basis van menselijke voorkeur voor getallen.

Contact en advies

Heb je vragen over dit onderwerp? Neem contact met ons op.

Auteurs

Met dank aan: Alex Lodder en Marijne Wijnker (Educate-it)

Bronnen

Wij hebben ons onder andere door de volgende bronnen laten inspireren bij het schrijven van deze tekst: