Hoe de Nederlandse politie streeft naar verantwoorde inzet algoritmes

De Nederlandse politie zet steeds vaker kunstmatige intelligentie en algoritmes in om efficiënter en effectiever te kunnen werken. In een domein waar besluiten een kwestie van leven of dood kunnen zijn, is het belangrijk dat deze inzet op een verantwoorde manier gebeurt. Isabelle Donatz-Fest liep 350 uur mee bij de politie om te zien hoe algoritmes in de dagelijkse praktijk een rol krijgen.

Heb je ooit een boete gekregen omdat je tijdens het rijden met je mobieltje bezig was? Dan is de kans groot dat je gespot bent door de MONOcam. Deze slimme camera is met AI getraind om razendsnel te herkennen of iemand een elektronisch apparaat in zijn hand heeft tijdens het rijden. Het camerasysteem maakt een foto die door twee agenten gecontroleerd wordt, en als je inderdaad je smartphone vasthoudt, krijg je een boete die kan oplopen tot meer dan 400 euro.

Zo zijn er meer systemen bij de politie die werken met algoritmes. Isabelle Donatz-Fest liep voor haar promotieonderzoek binnen het Nationaal Politielab AI zo’n 350 uur mee in de organisatie en observeerde de alledaagse context van het werken met algoritmes. Ze lette hierbij specifiek op de rol van publieke en ethische waarden; gedeelde normen en principes over wat goed, eerlijk en verantwoord is in hoe we met elkaar omgaan.

“Dit zijn waarden als integriteit, transparantie, gelijke behandeling en efficiëntie”, aldus Donatz-Fest. “En als je het over de politie hebt, mag je ook veiligheid niet vergeten. Veiligheid van de mensen op straat en het aanpakken van criminaliteit, maar ook dataveiligheid en privacy.”

Data spreken nooit voor zich. De fysieke context heeft invloed op de data en hoe deze verwerkt worden.

Donatz-Fest onderzocht voor haar proefschrift hoe deze waarden in de hele organisatie een rol spelen: van de datawetenschappers die de analyses maken en code schrijven, tot de baliemedewerkers, managers, beleidsmakers, en beheerders. En natuurlijk de gebruikers van het systeem, zoals de verkeersagenten. “Al die mensen hebben impact op hoe het systeem functioneert en dus ook op wat de uitkomst van zo’n algoritme is.”

De promovenda liep bij verschillende afdelingen mee om te kijken naar hoe er in de dagelijkse praktijk invulling werd gegeven aan de publieke waarden. Ze lette hierbij specifiek op verschillende aspecten van ontwerp en gebruik van algoritmes. “Met betrekking tot ontwerp keek ik naar data en dataprofessionals. Data spreken nooit voor zich. Neem bijvoorbeeld politieverslagen. Er zijn gestandaardiseerde invulformulieren waarbij de agent hokjes moet aanvinken over een incident. Er zijn bijna zevenhonderd categorieën waaruit een agent kan kiezen.”

Als voorbeeld noemt Donatz-Fest overlast door een dronken zwerver. De agent kan dan kiezen voor overlast door een zwerver of dakloze, overlast door middelen- of alcoholgebruik of overlast door een verward persoon, als de zwerver door alcoholgebruik incoherent is. “Vaak passen situaties uit de echte wereld niet zo netjes in een enkel hokje.”

Vervolgens gaan datawetenschappers met de data aan de slag, maar dat zijn ook geen ‘supermensen’, aldus Donatz-Fest. “Ze vinden die publieke waarden ontzettend belangrijk, maar weten ook niet altijd hoe bepaalde data geïnterpreteerd moeten worden. Ze hebben doorgaans weinig of geen ervaring met het werk op straat. Of ze hebben een deadline waardoor ze een algoritme sneller doorsturen naar de volgende ontwikkelfase. Kortom, de fysieke context heeft invloed op de data en hoe deze verwerkt worden.”

Maar zelfs als in het ontwerp alles goed gaat, kan in de praktijk de inzet van algoritmes anders uitpakken dan de bedoeling. Terug naar de MONOcam. Dit systeem wordt sinds juli 2021 gebruikt en was een jaar later grotendeels verantwoordelijk voor een stijging van 35 procent van het aantal boetes voor automobilisten. Donatz-Fest: “Ik was onder de indruk van hoe publieke waarden verankerd waren in het ontwerp van de MONOcam.” Zo worden de pixels van de gezichten van bijrijders verwijderd, foto’s zonder overtreding gewist en zijn er altijd twee agenten die onafhankelijk van elkaar de foto controleren. “Echt volgens het boekje. Maar vervolgens gaan mensen ermee werken en dan zie je dat die publieke en ethische waarden weer fluïde worden en dat ze bij elk gebruik opnieuw uit onderhandeld worden.”

Zo maakte Donatz-Fest mee dat foto’s van overtredingen werden bekeken door meer dan twee agenten, en dat een rechercheur contact met een verkeersagent opnam om een foto op te vragen waar mogelijk een verdachte van een misdaad op te zien was. “De rechercheur had in het systeem gezien dat de auto die betrokken was bij een incident met een schietwapen een boete had gekregen via de MONOcam. Hij wilde weten wie de auto bestuurde, was dat een man of een vrouw? Tja, wat doe je dan als agent? Je kunt helpen met het oplossen van een misdaad, maar wel een andere misdaad dan waarvoor de MONOcam is bedoeld.”

Balans tussen blind vertrouwen en angst

Kortom, het ontwerpen van algoritmische systemen én de verantwoorde inzet daarvan, zijn mensenwerk, aldus Donatz-Fest. “Ik denk niet het mogelijk is om foutloos te innoveren, dat moet ook niet het doel zijn. Innoveren is messy en als organisatie moet je soms met de billen bloot. Het is een doorlopend proces, waarbij continu moet worden gekeken of de algoritmes een positieve bijdrage leveren aan de samenleving.”

Als organisatie moet je een balans vinden tussen blind vertrouwen en angst, en je blijven afvragen hoe je publieke waarden onderdeel maakt van de organisatiecultuur, aldus Donatz-Fest. “Ik vind dat de politie daar heel serieus mee omgaat. Voor mijn onderzoek mocht ik dicht op de organisatie zitten; ik was als het ware de kritische vriend die inzichten bood. Een aantal risico’s waar ik op heb gewezen, bijvoorbeeld bij de MONOcam, zijn ook aangepakt. Dat is echt heel tof.”