IAMA maakt zorgvuldige beslissing over inzet algoritmes mogelijk
Utrecht Data School en prof. Janneke Gerards ontwikkelden Impact Assessment Mensenrechten en Algoritmes
Algoritmes kunnen in de toekomst overheden en bedrijven ondersteunen bij het uitvoeren van wettelijke verplichtingen. Daarbij moet onzorgvuldigheid, ineffectiviteit of erger nog een inbreuk op mensenrechten wel voorkomen worden, zoals de algoritmes van de Belastingdienst die leidden tot etnisch profileren; een schandaal dat nagenoeg iedereen inmiddels kent als de toeslagenaffaire.
Op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) ontwikkelden Mirko Tobias Schäfer, Arthur Vankan en Iris Muis van Utrecht Data School en hoogleraar fundamentele rechten Janneke Gerards, het Impact Assessment Mensenrechten en Algoritmes (IAMA). Het IAMA is een instrument, als het ware een handleiding, dat organisaties ondersteunt bij de besluitvorming rondom de ontwikkeling en inzet van algoritmes. Stap voor stap worden discussiepunten omschreven die voor de implementatie van het algoritme aan bod dienen te komen. Door licht te schijnen op het verloop van een zorgvuldig besluitvormings- en implementatieproces van algoritmes, kan het IAMA situaties als de toeslagenaffaire helpen voorkomen.
Iris Muis stelde in het LAA magazine:
IT, data-beheerders, juristen, echt alle betrokkenen moeten aan tafel. Pas dán kun je met zijn allen de juiste afwegingen maken. Het gaat daarbij niet alleen om mensenrechten. Het IAMA begint bij de basis: waar ga je het algoritme precies voor gebruiken? Is er een wettelijke basis voor? Hoe wordt de data verzameld? Is dat een betrouwbare manier? Het IAMA is de kapstok waar alle bestaande, relevante kaders omtrent algoritmes in de Nederlandse context aan zijn gehangen. Die loop je stuk voor stuk langs. Dat overzicht was er nog niet.
Drie fasen
In het IAMA wordt het besluitvormingsproces in drie fasen omschreven. In de fase van voorbereiding wordt bepaald waarom een algoritme ingezet gaat worden en wat de te verwachten effecten zijn. Zo is bijvoorbeeld een van de eerste vragen waar beleidsmakers zich over moeten buigen wat de concrete doelstelling is van de inzet van algoritmes. In de tweede fase over wat de zogenoemde input (data) en de throughput (algoritme) moet zijn, komen de meer technische aspecten aan bod. Zo stelt het ‘garbage in – garbage out’ principe dat wanneer men kwalitatief slechte data gebruikt, de output van het algoritme ook kwalitatief gezien slecht wordt. In de derde fase van output (uitkomsten) wordt bepaald hoe het algoritme uitkomsten genereert. Hierin wordt bijvoorbeeld omschreven dat mensen voldoende mogelijkheid moeten hebben om beslissingen van het algoritmen te overrulen.
Rapport Amnesty
Op 21 oktober 2021 publiceerde Amnesty het rapport Xenofobe machines – Discriminatie door ongereguleerd gebruik van algoritmen in het Nederlandse toeslagenschandaal uit. Net als de Autoriteit Persoonsgevens in hun Onderzoek Belastingdienst kinderopvangtoeslag concludeerden zij dat de privacy van personen is geschonden, en voegden eraan toe dat de discriminerende algoritmes de mensenrechten hebben geschonden. Volgens hen schieten: "de maatregelen die de overheid zegt te nemen vooralsnog tekort. Zo zijn ambtenaren niet verplicht om de mensenrechtenrisico’s vooraf in kaart te brengen, is er onvoldoende toezicht op algoritmes. Bovendien mogen overheidsinstellingen het gebruik en de werking van algoritmes geheimhouden."
Volgens Amnesty International is het een toekomst schandaal niet ondenkbaar, mits er goede regels worden opgesteld. Zo stellen zij voor om "een bindende mensenrechtentoets voorafgaand aan het ontwerp én tijdens het gebruik van algoritmische systemen en geautomatiseerde besluitvorming in te voeren."
Mensenrechten!
Aangezien algoritmen de grondrechten van mensen ernstig kunnen aantasten, besteedt het IAMA apart aandacht aan de mensenrechten. Beleidsmakers zullen zich allereerst moeten afvragen of algoritmen de grondrechten van mensen raken, en in hoeverre, om vervolgens te bepalen hoe zij deze grondrechtaantasting kunnen voorkomen, mitigeren, en zo niet, of deze aantastingen aanvaardbaar zijn. Zo kan het bijvoorbeeld zijn dat de maatschappelijke opbrengsten groter zijn dan de verwachte grondrechtinbreuk, en daarbij deze grondrechtinbreuk gerechtvaardigd kan worden. Zo is onlangs bijvoorbeeld het coronatoegangsbewijs ingevoerd; dat beperkt de bewegingsvrijheid van individuen maar omdat het ten dienste staat van de volksgezondheid, is die inbreuk gerechtvaardigd bevonden.
Hierbij is dus wél een zorgvuldige afweging belangrijk. Het IAMA voorziet in deze, en in alle andere stappen van het besluitvormings- en implementatieproces van algoritmes, beleidsmakers van discussie punten en afwegingskaders om ook daadwerkelijk een zorgvuldig afgewogen beslissing te nemen over de inzet van een algoritme.