Gediscrimineerd door een algoritme

Algoritmes delen ons in, in hokjes: arm, rijk, klant, geen klant, gay, laagopgeleid… en op basis daarvan worden beslissingen genomen. Van belastingheffing tot personeelsbeleid. Dat heeft gevolgen voor onze grondrechten.

De schaduwkanten van algoritmes, Big Data, Internet of Things en Kunstmatige Intelligentie zijn regelmatig in het nieuws. Daarbij gaat vaak veel aandacht uit naar de usual suspects: Facebook, Google, Twitter en YouTube. Het onderzoek “Algoritmes en Grondrechten” kijkt breder. Het gaat ook over het handelen van kleinere bedrijven, verzekeraars, banken en natuurlijk de overheid. De beslissingen die bedrijven en overheidsorganisaties met behulp van algoritmes nemen, kunnen gevolgen hebben voor onze grondrechten.

Naar de Tweede Kamer

Minister Ollongren van Binnenlandse Zaken en Koninkrijksrelaties noemt het onderzoek, dat in opdracht van haar ministerie werd gedaan, in een begeleidende Kamerbrief “belangrijk” en “gedegen”. Het gaat onder meer om de impact van algoritmes op privacyrechten, vrijheidsrechten en het recht op gelijke behandeling.

De onderzoekers zijn de Utrechtse hoogleraren Janneke Gerards (fundamentele rechten) en Remco Nehmelman (publiek organisatierecht)  en student in de Legal Research Master Max Vetzo, die volgens Gerards een belangrijk deel van de analyse heeft gedaan. Ze gaan graag dieper in op de knelpunten.
 

Gediscrimineerd worden door een algoritme. Hoe gaat dat?

Vetzo: “Algoritmes worden vaak ingezet om onderscheid te maken tussen personen of verschillende situaties, bijvoorbeeld om te bepalen wie er wel of niet een hypotheek krijgt of om de hoogte van verzekeringspremies te variëren tussen verschillende verzekerden. Het gevaar is dat wordt gedacht dat algoritmes bij het maken van zo’n onderscheid – in tegenstelling tot mensen – ‘neutraal’ tot een bepaalde uitkomst komen. Dat is niet het geval. Zowel de data waarmee een algoritme werkt, als het algoritme zelf, kunnen bepaalde ‘biases’, vooroordelen, bevatten die kunnen leiden tot discriminatie.”

Er wordt gedacht dat algoritmes 'neutraal' tot een bepaalde uitkomst komen. Dat is niet het geval.'

Opzettelijke discriminatie?

Vetzo: “Discriminatie kan een onbedoeld neveneffect zijn van algoritmische besluitvorming, maar zoals we in het rapport stellen: iedere vorm van discriminatie die onbedoeld plaatsvindt, kan ook opzettelijk worden georkestreerd. Doordat de algoritmes, met name wanneer er sprake is van ‘deep learning’, zeer complex kunnen zijn, is het lastig te doorgronden hoe tot een bepaald algoritmisch besluit is gekomen en op welke (mogelijk discriminatoire) gronden een besluit is genomen. Dat maakt het moeilijk om besluiten die worden genomen met behulp van algoritmes transparant te motiveren. Dat leidt weer tot het probleem dat het bewijs van mogelijke discriminatie moeilijk geleverd kan worden. Omdat algoritmes op een veelheid aan terreinen worden ingezet -van criminaliteitsbestrijding tot onderwijs, tot belastingheffing, en ga zo maar door - doen deze discriminatieproblemen zich steeds meer voor.”

De “equality of arms” komt in het geding, schrijven jullie. Dat klinkt ernstig?

Gerards: “Dat is het ook! Stel, je wordt als sollicitant afgewezen en jij hebt het idee dat in de procedure, waarin een algoritme is gebruikt, iets niet klopt. Probeer dat maar eens te bewijzen! Hoe wil je dat besluit aanvechten? Jij hebt het algoritme niet, de tegenpartij wel. De tegenpartij kan weigeren inzicht te geven in de werking van het algoritme omdat het copyright bij de maker ligt. Of de tegenpartij kan zeggen dat zij slechts de gebruiker is en de verantwoordelijkheid van zich afschuiven. Kortom: één partij heeft veel kennis, de andere niet. Als er geen inzicht is in het algoritme is het voor een rechter bovendien erg lastig om te oordelen. Dit geldt bijvoorbeeld ook voor geschillen rondom prijsdiscriminatie bij aanbiedingen of bij verzekeringspremies.”

Bijna zoals Amazon: ‘Bij deze categorie overtredingen, in die omstandigheden, gaven andere rechters boete X.

Gebruiken rechters eigenlijk al algoritmes om hun beslissingen op te funderen?

Gerards: “In Nederland nog niet vaak, maar het kan een handig hulpstuk zijn, bijvoorbeeld bij het berekenen van de hoogte van een boete. De data over eerdere rechtszaken, kunnen naast de wet, richtlijnen, en ervaring, de rechter ondersteunen. Andere rechters oordeelden in een dergelijk geval kennelijk zó. Bijna zoals Amazon een suggestie doet aan een klant: ‘Bij deze categorie overtredingen in deze bijzondere omstandigheden, hebben andere rechters doorgaans boete X gegeven.’ Dat kan zorgen voor meer rechtsgelijkheid. En zó zou je een algoritme ook goed kunnen gebruiken: als een hulpstuk. Technologische kennis, aangevuld met menselijke kennis.”

Is de complexiteit van algoritmes door een rechter te doorgronden?

Gerards: “Dat kan moeilijk zijn. Sommige algoritmes zijn ook nog eens zelflerend, als ze zichzelf voeden met data kunnen ze steeds slimmer worden, maar soms ook steeds dommer, waardoor de uitkomsten kunnen afdrijven van de oorspronkelijk bedoeling. Zoals met elke technologische vernieuwing is het een kwestie van trial and error. In een workshop over dit onderwerp, waar ik bij was, werd geopperd dat je algoritmes misschien zou kunnen certificeren, zoals voedsel of geneesmiddelen. Is een algoritme getest voor het op de markt komt? Wat zit erin (welke data)? En wat zijn de bijwerkingen? Dat kan al helpen, maar bij zelflerende algoritmes blijft ook dat lastig. Hoe dan ook moeten juristen en beleidsmarkers altijd zelf een vertaalslag kunnen maken: wat is de invloed van deze beslissing op een mensenleven of op een bepaalde kwestie? En willen we dat?  We moeten ook nadenken over wie er op het besluit aangesproken kan worden: de maker/bouwer van het algoritme, degene die het gebruikt, of nog iemand anders? 

Algoritmes zou je kunnen certificeren zoals voedsel of medicijnen. Is het getest? Wat zit erin? Wat zijn de bijwerkingen?

Wat is jullie opdracht aan juristen? 

Vetzo: “De belangrijkste opdracht voor juristen is, denk ik, om de samenwerking met IT-experts aan te gaan om de problemen die in het boek aan bod komen het hoofd te bieden. De mensenrechtelijke problemen die we aankaarten zijn urgent en behoeven een combinatie van juridische en technologische oplossingen. Die oplossingen kunnen we alleen leveren als technici en juristen samenwerken en bereid zijn om over de strikte grenzen van het eigen vakgebied heen te kijken.”

Gerards: “Gek genoeg worden bij technologische vernieuwing wél vaak ethici uitgenodigd, maar zelden juristen. Juristen moeten ook meer technologische kennis opdoen, daarom ben ik blij met de nieuwe minor Recht, innovatie en technologie aan de Universiteit Utrecht. Het is natuurlijk vaak zo dat juristen achteraf nieuwe vormen van technologie gaan reguleren, dat zag je bijvoorbeeld met regels rond drones. Ik vind dat juristen eerder in het proces, samen met ethici en technici moeten samenwerken: Wat kan er gemaakt worden, wat zijn de gevolgen en hoe willen we daarmee omgaan?"