Universiteit Utrecht stelt functioneringsgesprek samen: “Structurele evaluatie van AI is nodig”
Een projectteam onder leiding van de Universiteit Utrecht onderzocht hoe bedrijven toezicht kunnen houden op hun AI-toepassingen. “Want kunstmatige intelligentie krijgt een steeds belangrijkere rol in organisaties, maar er is geen structureel toezicht op hoe AI zijn taken vervult”, vertelt projectleider Iris Muis. Daardoor groeien risico’s op bijvoorbeeld profilering en discriminatie. “Onze oplossing is een periodiek ‘functioneringsgesprek’, net als bij menselijke werknemers gebeurt.”
Functioneren van AI evalueren
“Een ‘sollicitatiegesprek’ voor AI is al gangbaar”, zegt Muis. “Er bestaan veel toetsen om te kijken of een bepaalde AI binnen een bedrijf past.” Maar wanneer een AI-systeem eenmaal is ingezet, wordt het niet meer gemonitord of geëvalueerd, zag haar onderzoeksteam. Het bleek een hiaat dat zowel in de academische literatuur als in de praktijk bestaat. “Terwijl het functioneren van AI-systemen periodiek zou moeten worden geëvalueerd om te controleren of ze doen en blijven doen wat de bedoeling is.”
Muis en haar team ontwikkelden vervolgens een ‘functioneringsgesprek’ voor AI. “Met onze opzet geven we handvatten waarmee marktpartijen en toezichthouders het functioneren van AI kunnen evalueren”, legt Muis uit.
Vragenlijst voor kunstmatige intelligentie
Het ‘gesprek’ dat Muis en haar team ontwikkelden volgt eenzelfde structuur als de beoordeling van een menselijke werknemer. Het bestaat vier onderdelen waaraan vragen zijn gekoppeld, waaronder:
- Werkzaamheden. Wat voor taken heeft de AI? Zijn deze taken in de loop van de tijd veranderd? Is de AI zelf gewijzigd, bijvoorbeeld door veranderingen in de code?
- Prestaties. Hoe presteert de AI? Heeft de AI fouten gemaakt? Zijn de prestaties in lijn met de verwachtingen?
- Organisatie. Wie is verantwoordelijk voor het functioneren van de AI? Zijn die verantwoordelijkheden helder? Heeft er eerder een functioneringsgesprek plaatsgevonden met de AI? Zo ja, hoe zijn de aandachtspunten die daaruit voortkwamen opgevolgd?
- Ontwikkeling. Welke mogelijkheden zijn er om de AI te verbeteren, zowel in prestaties als in gebruiksgemak? Zijn er andere AI-technologieën of -methoden beschikbaar gekomen die misschien beter werken dan de huidige?
Team van onderzoekers en toezichthouders
“Hoewel het onderzoeksproject nu is afgerond, blijven we ons inzetten voor de inrichting van toezicht op AI om risico’s van het gebruik zoveel mogelijk te beperken”, besluit Muis.
Het samenwerkingsverband stond onder leiding van de Data School van de Universiteit Utrecht, waarvanuit Iris Muis, Elise Renkema, Mirko Schaefer, Julia Straatman, Arthur Vankan en Daan van der Weijden meewerkten. Zij werkten samen met toezichthouders van de Rijksinspectie Digitale Infrastructuur en de Nederlandse Voedsel- en Warenautoriteit. Het project werd gefinancierd door deze instellingen en de AI Labs van de Universiteit Utrecht.