“Wij willen de digitale samenleving mede vormgeven”

Hoe maak je impact met je onderzoeksresultaten? Bijvoorbeeld door een paper te publiceren in een toonaangevend vakblad, erover te vertellen op een publieksevenement of in de media. Mirko Schäfer en Iris Muis van de Data School schrijven niet veel voor vakbladen. En toch hebben ze enorm veel impact met hun onderzoeksresultaten: hun werk wordt onder meer gebruikt in Oostenrijk, Zweden, Finland en Griekenland.

Iris Muis en Mirko Schäfer zijn - samen met universitair hoofddocent Karin van Es - de uithangborden van de Data School,  een onderwijs- en onderzoeksplatform dat de invloed van digitalisering op de samenleving onderzoekt. Schäfer is universitair hoofddocent bij Bètawetenschappen én medeoprichter van de Data School. Teamleider Muis sleepte een nominatie voor Responsible AI Leader van Women in AI Netherlands in de wacht. Schäfer is net terug uit Finland, waar hij met het Data School team onder anderen wetenschappers en overheidsambtenaren meer bewustzijn hebben bijgebracht over de ethische aspecten van omvangrijke dataprojecten. Dat deden ze met DEDA, De Ethische Data Assistent, een toolkit waarmee ambtenaren alle stappen in het beraadslagingsproces samen doorlopen.

De Data School ontwikkelde DEDA in 2016. Het onderwijs- en onderzoeksplatform deed tot die tijd onderzoek naar publieke debatten online, maar merkte dat er richtlijnen misten voor verantwoord data-onderzoek. Samen met data-analisten van de Gemeente Utrecht, die ook worstelden met het onderwerp, maakten ze een hulpmiddel voor het in kaart brengen van ethische kwesties bij dataprojecten.

Ganzenbord voor data-ethiek

“Je kunt DEDA het best vergelijken met een ganzenbordspel”, vertelt Data School teamleider Muis. “Je legt de poster op tafel en het projectteam dat bezig is met een innovatie – zoals een algoritme, de inzet van drones of het maken van een dashboard - loopt om de poster heen en discussieert met elkaar over de ethische valkuilen en hoe ze die kunnen ondervangen.”

Sinds 2016 wordt DEDA gebruikt door verschillende Nederlandse gemeentes: Muis heeft zeker tweehonderd workshops en lezingen gehouden in meer dan vijftig verschillende gemeentes. De overheid heeft DEDA opgenomen in de Toolbox Verantwoord Digitaal Ondernemen. Ook buiten de landsgrenzen vergaarde DEDA bekendheid: niet alleen de Finse overheid heeft DEDA laten vertalen, de poster is inmiddels beschikbaar in het Engels, Duits, Zweeds en Grieks.

DEDA zorgt dat mensen meer leren over digitale ethiek

Schäfer: “Het mooie van DEDA is dat het niet alleen een gestructureerd proces biedt om een dataproject te bespreken en aan te passen, maar ook de bijvangst heeft dat mensen meer leren over algemene aspecten van digitale ethiek. Beleidsmakers kunnen zien waar het knelt in de organisatie en daarop inspelen, bijvoorbeeld door een ethics officer aan te stellen.”

Interesse uit Europa

DEDA is niet het enige paradepaardje van de Data School. In 2020 reageerde de Data School op een oproep van het ministerie van Binnenlandse Zaken. “Het was in de nasleep van de toeslagenaffaire, toen er in Nederland en bij de overheid meer focus kwam op de negatieve gevolgen van het gebruik van algoritmes en AI binnen overheidsorganisaties,” vertelt Muis. “Wij hebben toen het IAMA ontwikkeld, het Impact Assessment Mensenrechten en Algoritmes. Dit is een uitgebreide vragenlijst waarmee overheidsambtenaren de positieve effecten van het algoritme af kunnen zetten tegen de mogelijk negatieve impact op mensenrechten.”

Schäfer: “De meeste impact assessments kijken naar het model zelf: is er een vooroordeel in het model? Kloppen de indicatoren en de data? Dat is allemaal relevant en belangrijk, maar het gaat voorbij aan de sociale context. IAMA kijkt daar wel naar. De vragenlijst behandelt meerdere stappen: waarom wil je überhaupt een algoritme, wat wil je dan precies hebben zodat het werkt, wat doe je vervolgens met de output van het algoritme en tot slot ga je na of er grondrechten in het geding zijn. En zo ja, is dat acceptabel? Kun je dat verantwoorden, aan het publiek, aan journalisten, aan de rechter? Of is het wellicht beter om het algoritme niet te gebruiken of het ontwerp aan te passen?”

Er is meer variëteit in wat onder wetenschappelijke impact wordt verstaan

Ook het IAMA heeft een hoge vlucht genomen: in de Tweede Kamer zijn meerdere moties aangenomen om het IAMA verplicht te maken voor alle overheidsalgoritmes. Daarnaast zijn Fundamental Rights Impact Assessments opgenomen in de Europese AI Act voor de inzet van algoritmes met een hoog risico.

“Vorig jaar hebben Mirko en ik gesproken bij het Europees Parlement over onze ervaringen met IAMA en we zien interesse bij andere Europese landen, die natuurlijk de ontwikkelingen rond de AI Act op de voet volgen.” Zo gaat de Digitale Ombudsman uit Noorwegen het IAMA gebruiken als input voor hun eigen, Noorse handleiding tegen discriminatie in technologie en komt een ambtenaar uit Finland stagelopen bij de Data School.

Wetenschappelijke inzichten

Het mooie van DEDA en IAMA is dat het niet alleen instrumenten zijn voor ontwikkelaars en beleidsmakers om hun dataprojecten te evalueren, het is voor wetenschappers ook een methode om inzicht te krijgen in de aandacht voor ethiek bij een organisatie en voor de operationele capaciteiten in de gaande dataprojecten. Muis: “Wij kunnen observeren hoe de deelnemers nadenken over technologie. Zien ze dat als de oplossing voor alle problemen of zien ze het meer als ondersteuning? Hebben ze het alleen over privacy of betrekken ze ook andere ethische aspecten die van belang kunnen zijn? Hoe gaan ze om met impact op mensenrechten?”

Die inzichten leverden tot nu toe twee wetenschappelijke papers en meerdere vakpublicaties op. Schäfer: “En omdat ze nu ook breed gebruikt worden door onze wetenschapscollega’s in Zweden, Finland, Estland, Duitsland en Griekenland, hopen we op een dag een comparatieve analyse van lokale datapraktijken in Europa te kunnen schetsen, want dat bestaat nog niet. We weten niet hoe andere overheden hiermee omgaan.”

Een paper droppen

Volgens Schäfer en Muis is het werk van de Data School bij uitstek public engagement, een van de pijlers van het Open Science Programma van de Universiteit Utrecht. Schäfer: “Wij identificeren de problemen in de sector en werken duidelijk naar toepasbare oplossingen. Tegelijkertijd helpt ons dat ook met eigen academisch onderzoek, maar dat is niet het startpunt. Wij investeren heel veel tijd in ons netwerk om inzicht te krijgen in de vragen en urgente problemen die spelen in de maatschappelijke sectoren. Wij zoeken naar het haakje om als wetenschapper binnen te komen, maar willen wel effectief iets bijdragen. Alleen een paper droppen aan de voet van de ivoren toren, dat is niet ons ding. Anderen zijn daar goed in, wij niet. Ons wetenschappelijke paper over DEDA wordt niet erg veel geciteerd, maar het is wel een van de meest gedownloade papers van dat journal. Dat zou kunnen betekenen dat het in de praktijk gebruikt wordt en dat vind ik  wellicht nog belangrijker.”

Als je impact wilt hebben, dan gaat eenrichtingsverkeer van universiteit naar de samenleving te langzaam’

De twee onderzoekers willen dan ook een lans breken voor een bredere definitie van impact op de universiteit. Muis: “Binnen de universiteit is het belangrijk dat het duidelijk wordt dat er meer variëteit is in wat onder wetenschappelijke impact wordt verstaan. De manier waarop wij werken, is een andere manier van wetenschap bedrijven, een andere manier van denken. Dat heeft óók impact, want het levert een enorme meerwaarde op voor alle betrokken partijen.”

Schäfer: “Onze manier van onderzoek doen en onderwijs geven faciliteert een effectieve, wederzijdse kennistransfer. Je ziet bij veel beleidsmakers de tendens om een impact officer aan te stellen die het contact met de samenleving gaat herstellen. Maar in de praktijk werkt het gewoon niet zo makkelijk. De coronapandemie, oorlog, klimaatverandering, de digitale transitie, dat zijn allemaal thema’s die de samenleving onmiddellijk raken en die vaak door burgers en politici ook breed bediscussieerd en direct beoordeeld worden. Dat vergt een aanpak van onderzoek doen die ook middenin de samenleving staat. Als je écht impact wilt hebben, dan gaat eenrichtingsverkeer van universiteit naar de samenleving te langzaam. Het is onze ambitie om de samenleving niet slechts te onderzoeken, maar ook mede vorm te geven.”