Verantwoorde en transparante AI
De politie zet zich proactief in om invulling te geven aan de ethische en juridische aspecten van AI. Het gaat hier om zowel technisch als non-technisch onderzoek.
Wanneer machine learning modellen worden toegepast in de (politie)praktijk, bijvoorbeeld in de opsporing, wordt uitleg en onderbouwing van (de output) van die modellen belangrijk. Mijn onderzoek richt zich op het uitleggen van tekstclassificatiemodellen. De focus ligt daarbij op uitleggen die volgens het beslisproces van het machine learning model (faithful) zijn, en die goed te begrijpen zijn voor gebruikers. Deze uitleg wordt gegeven in de vorm van annotator rationales: (deel)zinnen of woorden vanuit de input tekst die de beslissing van het model verklaren.
Publicatie:
E. Herrewijnen, D. Nguyen, J. Mense & F. Bex (2021) Machine-annotated Rationales: Faithfully Explaining Text Classification. Proceedings for the Explainable Agency in AI Workshop at the 35th AAAI Conference on Artificial Intelligence. PDF
Nieuwe technieken binnen de machine learning (ML) bieden de Politie veel kansen voor het gebruik van datagedreven analyse en beslissingen. Door de complexiteit van deze methodes gaat hun populariteit gepaard met een groeiende vraag naar transparantie. Het is niet alleen van belang om te weten welke beslissingen gemaakt worden, maar ook of de beslissing gebaseerd is op goed onderbouwde feiten. In mijn onderzoek ontwikkel ik methodes voor het (interactief) uitleggen van beslissingen gemaakt door artificiële intelligentie (AI), op een manier die begrijpelijk, zinvol en waarheidsgetrouw is.
Publicatie:
M. Robeer, F. Bex & A. Feelders (2021) Generating Realistic Natural Language Counterfactuals. Findings of the Association for Computational Linguistics: EMNLP 2021. PDF