Een AI-gereedschapskist voor verborgen vooroordelen in politie-algoritmes

Een AI-systeem kan een miljoen aanwijzingen in een mum van tijd analyseren. Maar wat als de belangrijkste aanwijzing eigenlijk een verborgen vooroordeel is? Promovendus Marcel Robeer ontwikkelde een softwaretool voor politiemedewerkers die algoritmes controleert op vooringenomenheid.

Robeer deed zijn onderzoek bij het Nationaal Politielab AI en was tijdens zijn PhD zowel in dienst bij de politie als bij de universiteit. De informaticus verdedigt op 14 november zijn proefschrift getiteld: Beyond Trust: A Causal Approach to Explainable AI in Law Enforcement.

Kunstmatige intelligentie krijgt een steeds grotere rol bij beslissingen in belangrijke situaties, zoals bij de politie of in de rechtspraak. AI kan enorme hoeveelheden data analyseren, maar het is vaak onduidelijk waarom een model bepaalde keuzes maakt. Als er in het model verborgen vooroordelen zitten, kan dit leiden tot oneerlijke of verkeerde beslissingen, omdat het systeem patronen herkent die er in werkelijkheid niet zijn. 

Om dit ‘black-box’-karakter van AI te verkleinen, is er steeds meer aandacht voor uitlegbare AI. Explainable AI (XAI) probeert uit te leggen hoe AI tot bepaalde conclusies komt. Maar volgens Robeer is die uitleg vaak niet diepgaand genoeg. “Uitlegbare AI laat vaak alleen zien welke verbanden er zijn, maar legt niet uit waarom die verbanden gevonden zijn. Juist in een context waarbij bewijs en verantwoording belangrijk zijn, zoals bij de politie, kun je niet blind vertrouwen op AI-aanbevelingen. Als je bewijslast via AI uit bepaalde data haalt, dan wil je wel dat het vervolgens bij de rechter standhoudt.”

In politiewerk en rechtspraak gaat het om mensenlevens en dan moet je hoge eisen stellen

Robeer focust zich op het domein van natuurlijke taalverwerking (NLP). Tekst is vaak dubbelzinnig en altijd contextgevoelig, wat het voor AI-systemen lastig maakt om de juiste betekenis van een tekst te interpreteren. “Zeker in hoog-risico omgevingen, zoals bij de politie, is het essentieel om goed te kunnen beslissen in hoeverre je een AI kan vertrouwen.”

De promovendus ontwikkelde verschillende technieken die laten zien welke kenmerken een ondoorzichtig algoritme laat meewegen bij een beslissing. “Zo kun je inzichtelijk maken  welke factoren terecht invloed hebben, welke factoren oneerlijkheid of bias in zich hebben en hoe gevoelig het model is voor kleine veranderingen.”

Zo ontwikkelde Robeer een ‘wat als’-machine. Deze AI-techniek genereert realistische en aannemelijke alternatieve voorbeelden op basis van het gedrag van het AI-systeem om te kijken of het systeem daarna met een andere conclusie komt. Robeer: “Stel je voor dat in een appje staat: ‘Ik maak je KAPOT!’ en het systeem vlagt het als dreiging. Gebeurt dat ook als er staat ‘Ik maak je morgen KAPOT!’ of als het er zonder hoofdletters of zonder uitroepteken staat? Zo nee, dan zit er een fout in het model.”

Wroeten in je AI-model

Robeer ontwikkelde ook een softwaretool voor politiemedewerkers die AI-systemen kan controleren op eerlijkheid en uitlegbaarheid. “Deze tools waren er al wel, maar die waren heel technisch en daardoor moeilijk te gebruiken. Explabox is een soort gereedschapskist die alle losse methoden die ik heb ontwikkeld samenbrengt. Datawetenschappers bij de politie kunnen die gebruiken om in hun AI-model te wroeten om te kijken of het model dat zij gebruiken eerlijk, betrouwbaar en begrijpelijk werkt.”

Tijdens zijn promotietraject merkte Robeer dat de politie nog heel voorzichtig is met het gebruik van AI. Terecht, vindt hij. “In politiewerk en rechtspraak gaat het om mensenlevens en dan moet je hoge eisen stellen. AI-modellen kunnen zeker een meerwaarde opleveren als ondersteunend bewijs, maar er wordt geen hele zaak op gebouwd. Maar ik denk dat dit een tussenfase is en dat de inzet van AI zal toenemen. Dan is het belangrijk dat je goede AI-modellen gebruikt en dat je checks and balances inbouwt.”

Robeer, die inmiddels werkzaam is bij het Ministerie van Defensie als AI-toezichthouder,  hoopt dat hij met zijn proefschrift eraan kan bijdragen dat politiemedewerkers kunnen inschatten of zij op hun AI kunnen vertrouwen. “En daarmee - misschien nog wel belangrijker - of wij als maatschappij ook op AI en de politie kunnen vertrouwen.”