“Gemeenten moeten rekenschap afleggen betreffende de algoritmes die ze gebruiken”

Gemeenten zetten algoritmes op allerlei niveaus in, zoals bij het plaatsen van ‘slimme’ afvalcontainers en parkeersensoren. Algoritmes hebben soms grote gevolgen voor de gewone burger: hiermee analyseren ze ook hoe groot de kans is dat een bewoner in een bepaalde wijk geen hondenbelasting betaalt of hoe groot de kans is dat iemand fraudeert met uitkeringen, zoals het omstreden systeem SyRI deed. Concrete handvatten voor gemeenten hoe zij om moeten gaan met algoritmes ontbreken echter nog. Promovendus Maranke Wieringa werkt aan een toolkit voor gemeenten die zij kunnen gebruiken als zij van plan zijn met algoritmes te werken. 

Met een paper waarin zij een definitie opstelt wat ‘rekenschap rondom algoritmen’ precies inhoudt won zij op de ACM-conferentie over Fairness, Accountability en Transparency in Barcelona recent de ‘Best student paper award’. 

Er zijn verschillende actoren betrokken bij de inzet van algoritmes bij de overheid. Zij moeten uitleg geven en rekenschap afleggen aan verschillende mensen op verschillende momenten.

Algoritmische verantwoording

Hoe maak je inzichtelijk hoe algoritmes werken? Welke keuzes maak je rondom een op te zetten systeem? Wat betekent het voor de publieke waarden als we gaan automatiseren?  Dit zijn vragen waar publieke organisaties mee worstelen en waar Wieringa onderzoek naar doet. Samen met gemeenten ontwikkelt zij de toolkit ‘Beraadslagingsinstrument voor algoritmische systemen’ (BIAS) om ‘algoritmische verantwoording’ meer handen en voeten te geven. Wieringa: “Op het moment dat een gemeente nadenkt over een systeemontwikkeling en de inzet van algoritmes, kunnen zij in de toekomst met deze toolkit aan de slag. Gemeenten moeten in elke fase rekenschap afleggen betreffende de algoritmische systemen die ze gebruiken.  Als er een beslissing over een burger wordt gemaakt, kan de toolkit helpen om in kaart te brengen hoe groot de impact is voor de burger.” 

Uitleg en rekenschap

Hoewel er veel wordt gesproken over rekenschap rondom algoritmen (gangbaarder is algorithmic accountability), is dit nog nooit concreet gedefinieerd. Wieringa heeft in haar prijswinnende paper een definitie opgesteld. Door middel van een systematische literatuurstudie analyseerde ze wat 'algorithmic accountability' is, en wat - volgens die literatuur - verantwoord moet worden. “Ik hoop dat het voor andere mensen ook een richting geeft. Er zijn verschillende actoren betrokken bij de inzet van algoritmes bij de overheid, van programmeurs, tot opdrachtgevers tot de ambtenaren die ermee werken. Zij moeten uitleg geven en rekenschap afleggen aan verschillende mensen op verschillende momenten. Dat staat allemaal in deze definitie. Kijk bijvoorbeeld naar de rechtszaak over SyRI: een rechter heeft andere informatie nodig dan een auditor of de burger.”  

Politieke waarden in algoritmes

Veel van deze overheidssystemen zijn beslissingsondersteunend, de mate van menselijke tussenkomst verschilt per systeem. Daarbij speelt ook het politieke klimaat een rol. “Mensen kunnen meebewegen met de politieke wind die er waait en zich daarop aanpassen, maar voor systemen is dat moeilijk. Zo heeft de gemeente Rotterdam een systeem dat controleert of mensen een betalingsregeling naleven. Dat systeem is ontwikkeld onder een vorig college. Het algoritme is zo opgesteld dat een betalingsregeling wordt stopgezet als er al 1 cent wordt afgeweken van het overeengekomen bedrag. Zou dit algoritme nu gebouwd worden, onder een ander college, dan kan je je voorstellen dat daar anders mee wordt omgegaan. Dan wordt bijvoorbeeld niet de betalingsregeling stopgezet maar krijgt iemand eerst bericht dat er een afwijking is. Je ziet dat er politieke waarden in het systeem ingebouwd zijn en ook al is het vrij eenvoudig dit aan te passen, vaak wordt dit vergeten.” 

Accountability by design

De toolkit BIAS die Wieringa samen met ambtenaren ontwikkelt houdt daar rekening mee. Deze kan niet alleen aan het begin ingezet worden, maar ook tijdens de implementatie en evaluatie van een algoritmisch systeem. Sommige gemeenten hebben een accountant om hun algoritmes te controleren, maar volgens Wieringa is dit niet de hele oplossing. “Een audit is altijd één moment, daarna kan het systeem een andere kant opgaan. Voor mij zou het moeten gaan om ‘accountability by design’. Als je vastlegt wie bepaalde aanpassingen aan het systeem heeft gemaakt en waarom kan je meer rekenschap afleggen.”   

Samenwerking gezocht

Omdat expertise uit de publieke sector heel belangrijk is om BIAS goed te kunnen ontwikkelen werkt Wieringa samen met professionals uit gemeenten aan de toolkit. “Kennis en ervaring is onontbeerlijk om de tool goed aan te kunnen laten sluiten op de realiteit van de werkpraktijk. Uiteindelijk moet BIAS voor uiteenlopende gemeentepraktijken goed bruikbaar zijn. Er zijn verschillende manieren waarop men kan bijdragen aan de ontwikkeling van BIAS. Middels een interview, of door mee te doen aan een prototypesessie, of door het uittesten van een gevorderd prototype.” Wieringa komt graag met gemeentelijke ambtenaren in contact, “zodat we samen voor de publieke sector een bewustere en verantwoordelijkere omgang met algoritmes kunnen bewerkstelligen.” Stuur een berichtje naar bias@dataschool.nl voor meer informatie. 

Governing the digital society

Wieringa is betrokken bij het nieuwe focusgebied Governing the digital society. De vraag ‘hoe willen wij onze maatschappij besturen?’ is nu des te belangrijk, nu algoritmes een steeds grotere rol spelen. Dat brengt nieuwe vraagstukken met zich mee waar dit nieuwe focusgebied zich onder meer over buigt.