Breng in 5 stappen in kaart hoeveel invloed AI heeft op je toetsen en lespraktijk

AI-bots leren steeds beter hoe zij hoog kunnen scoren op toetsen: op steeds meer onderwerpen scoren bots net zo goed als leerlingen. Daarnaast is AI ook heel goed in het maken van schriftelijke opdrachten. Dat AI zo goed is in het maken van allerlei soorten toetsen, kán een probleem vormen op school. Het is dan ook goed om te inventariseren bij welke toetsen AI een risico vormt, zodat je gericht aan de slag kunt met het verkleinen van dit risico.
Wij beschrijven vijf stappen die jou helpen met het maken van een robuust les- en toetsprogramma:
- Visie op AI
- Toetsen op een rij
- Risicoanalyse
- Herontwerpen high stakes toetsen
- Herontwerpen low stakes toetsen
Stap 1: Visie op AI
Allereerst moet je als school samen afspraken maken over welk gebruik van AI je geoorloofd vindt en welk gebruik niet. Zo vorm je samen een visie op het gebruik van AI in de school. Kennisnet geeft een aantal nuttige tips die je als school kunt volgen. Het is belangrijk om de visie helder te krijgen, omdat die tussen scholen kan verschillen. De ene school kan een andere visie hebben op het gebruik van AI (“we moeten leerlingen leren omgaan met AI”) dan de andere (“leerlingen moeten zo veel mogelijk zonder AI kunnen”). Zodra je samen een duidelijke visie hebt gevormd, kun je gaan werken aan het beleid.
Houd AI beleid flexibel, zodat je kunt meebewegen met de ontwikkelingen
Op dit moment gaan de veranderingen op het gebied van AI supersnel. We durven wel te zeggen dat bij het schrijven van dit stuk onze kennis over AI alweer verouderd is. Het is daarnaast ook moeilijk te voorspellen wat AI kan en wat het niet kan. Waar AI faalt om ogenschijnlijk makkelijke taken te doen, excelleert het juist in taken waarvan we zouden denken dat AI het niet zou kunnen. Zo kan AI prima een kritisch stuk schrijven over de geopolitieke situatie, maar kon het tot voor kort niet tellen hoeveel letters er in een woord zitten. Overigens heeft het inmiddels geleerd hoe het dit moet doen, dus ook deze informatie is alweer verouderd. Zo zie je dat je het AI beleid flexibel moet houden, zodat je mee kunt bewegen met de ontwikkelingen.
Stap 2: Toetsen op een rij
Om goed naar de toetsing te kunnen kijken, is het handig om alle toetsen eens op een rij te zetten. In deze stap focussen we alleen nog op de summatieve toetsen. Het is belangrijk om een goed overzicht te creëren, wat al een flinke klus kan zijn. Soms is er een PTA beschikbaar of iets dergelijks, dus inventariseer van tevoren welke informatie al beschikbaar is. Wanneer alle summatieve toetsen overzichtelijk zijn verzameld, kun je door met de risicoanalyse (stap 3).
Stap 3: Risicoanalyse
De risicoanalyse voer je uit door voor iedere toets een inschatting te maken van het risico op beïnvloeding door AI, waarbij je dus nagaat of de toetsvaliditeit in het geding is (of de toets daadwerkelijk meet wat 'ie moet meten). Kunnen leerlingen AI gebruiken bij de toets of opdracht? Hierbij is het belangrijk om de visie er weer bij te pakken, en om na te gaan wat het leerdoel van de opdracht of toets is. Let op dat je in deze stap focust op de toetsvaliditeit, het analyseren van de leerdoelen hoort bij de volgende stap.
Visuele samenvatting
Als je alle relevante informatie hebt verzameld en op een rij hebt gezet, kun je een visuele samenvatting maken. Door verschillende risiconiveaus kleuren te geven, kun je de verschillen in risico goed zien. Samen bekijk je de visuele samenvatting en bespreek je wat er opvalt. Is het risico bijvoorbeeld geclusterd of juist verspreid? Zijn het bepaalde typen toetsen die vooral een hoog risico hebben? De antwoorden op dit soort vragen geven input voor de volgende stap.
Een van de conclusies die vaak getrokken wordt uit de visuele samenvatting is dat het meeste risico bij het profielwerkstuk zit. Dit is een belangrijk summatief moment waarbij AI een risico kan vormen. Dit kan betekenen dat je bij de volgende stap vooral de focus legt op het proces van herontwerpen van het profielwerkstuk. Het is aan te raden om een dergelijke prioritering te hanteren, want anders wordt het herontwerp te groot en te onoverzichtelijk.
Stap 4: Herontwerpen high stakes toetsen
In deze stap gaan we aan de slag met de toetsen die onze directe aandacht vereisen. Dit zijn de toetsen die én een hoog risico op invloed door AI laten zien én die we high stakes toetsen noemen; toetsen waar iets vanaf hangt. Je wilt natuurlijk niet dat een toets die voor eenderde het eindcijfer bepaalt, beïnvloed wordt door AI. Toetsen met minder gewicht kunnen misschien wachten tot een volgende herontwerpronde. Hier geldt dus: prioriteiten stellen en overzicht houden.
Voor de high stakes toetsen die herontworpen moeten worden is het belangrijk dat je aandacht besteedt aan de leerdoelen die ermee ‘afgetoetst’ worden. Soms kan het verfrissend werken om samen met je sectie eens goed te kijken naar de leerdoelen die jullie voor ogen hadden. Is het wel zo handig om die leerdoelen te toetsen met een opdracht? Ben je nog wel aan het toetsen wat je wilt toetsen, of ben je zo vooral schrijfvaardigheid aan het toetsen? Zijn er toetsen waarbij AI wél een rol kan spelen en op welke manier kan en wil je dat? Gebruik hierbij de schoolbrede visie op AI en laat die op elkaar aansluiten. Als je het als school belangrijk vindt dat leerlingen AI geletterd worden, dan zul je dit ook moeten doorvoeren in de toetsing.
Stap 5: Herontwerpen low stakes toetsen
Als je de de high stakes toetsen hebt herontworpen, kun je de lower stakes toetsen onder de loep nemen. Ook hierbij is het weer belangrijk dat je werkt vanuit de geformuleerde visie op AI. Is het geoorloofd (of misschien zelfs wenselijk) om bij de toets/opdracht AI te gebruiken? Een van de mogelijke oplossingen voor toetsen met een AI risico is een verschuiving van de aandacht van het product naar het proces. Dit kan (in combinatie met een nieuwe blik op de leerdoelen) meer zicht op het leerproces van leerlingen opleveren. Zo kan uiteindelijk iets dat geboren is uit een bedreiging, resulteren in een kans.
Hulp nodig?
Aan de slag met het analyseren en herontwerpen van toetsen bij jou op school? Wij kunnen de analyse begeleiden, en het herontwerp ondersteunen. Neem contact met ons op als je vragen hebt of meer wilt weten (zie contactgegevens hieronder).
dr. Steven Raaijmakers
Onderwijskundig adviseur/trainerE-mail: s.f.raaijmakers@uu.nlTelefoonnummer: 06 11 305 901
Kennis/gegevens over AI in dit artikel zijn bij het schrijven van dit artikel alweer achterhaald.