Verantwoorde en transparante AI
De politie zet zich proactief in om invulling te geven aan de ethische en juridische aspecten van AI. Het gaat hier om zowel technisch als non-technisch onderzoek.
Wanneer machine learning modellen worden toegepast in de (politie)praktijk, bijvoorbeeld in de opsporing, wordt uitleg en onderbouwing van (de output) van die modellen belangrijk. Mijn onderzoek richt zich op het uitleggen van tekstclassificatiemodellen. De focus ligt daarbij op uitleggen die volgens het beslisproces van het machine learning model (faithful) zijn, en die goed te begrijpen zijn voor gebruikers. Deze uitleg wordt gegeven in de vorm van annotator rationales: (deel)zinnen of woorden vanuit de input tekst die de beslissing van het model verklaren.
Publicaties:
E. Herrewijnen & D. Craandijk. Towards Meaningful Paragraph Embeddings for Data-Scarce Domains: A Case Study in the Legal Domain (pdf, 1.1mb). Proceedings of the 6th Workshop on Automated Semantic Analysis of Information in Legal Text (ASAIL 2023).
E. Herrewijnen, D. Nguyen, J. Mense & F. Bex (2021) Machine-annotated Rationales: Faithfully Explaining Text Classification (pdf, 195 kb). Proceedings for the Explainable Agency in AI Workshop at the 35th AAAI Conference on Artificial Intelligence.
Nieuwe technieken binnen de machine learning (ML) bieden de Politie veel kansen voor het gebruik van datagedreven analyse en beslissingen. Door de complexiteit van deze methodes gaat hun populariteit gepaard met een groeiende vraag naar transparantie. Het is niet alleen van belang om te weten welke beslissingen gemaakt worden, maar ook of de beslissing gebaseerd is op goed onderbouwde feiten. Daarnaast moet men ook goed kunnen vertrouwen dat deze systemen ingezet kunnen worden op een juridisch en ethisch verantwoorde manier. In mijn onderzoek ontwikkel ik methodes voor het (interactief) uitleggen van beslissingen gemaakt door artificiële intelligentie (AI), op een manier die begrijpelijk, zinvol en waarheidsgetrouw is. Hiervoor combineer ik inzichten uit de informatica, de (wetenschaps)filosofie, psychologie en bedrijfskunde.
Publicaties:
M. Robeer, F. Bex, A. Feelders & H. Prakken (2023), Explaining Model Behavior with Global Causal Analysis (pdf, 850kb). Proceedings of the 1st World Conference on eXplainable Artificial Intelligence (xAI 2023).
F. Selten, M. Robeer & S. Grimmelikhuijsen (2023), ‘Just like I thought’: Street-level bureaucrats trust AI recommendations if they confirm their professional judgment (pdf, 1.9mb). Public Administration Review.
M. Robeer, F. Bex & A. Feelders (2021) Generating Realistic Natural Language Counterfactuals (pdf, 717kb). Findings of the Association for Computational Linguistics: EMNLP 2021.