Promotie: De mythe van algoritmisch toezicht

Op vrijdag 17 mei 2024 om 10.15 uur verdedigt Lukas Lorenz zijn proefschrift The Myth of Algorithmic Regulation. An ethnographic exploration of algorithms, actors, and institutions.

Het gebruik van algoritmen in publieke organisaties brengt risico's met zich mee (zoals we weten van schandalen als de toeslagenaffaire) en de noodzaak om toepassen van algoritmen beter te reguleren is dan ook evident. Dit werd ook duidelijk gemaakt door de AI-wet die net door het EU-parlement is gekomen. Het promotieonderzoek van Lukas Lorenz laat zien dat het vertalen van de beloften en risico's van algoritmen naar organisatorische realiteit een organisatorisch-institutioneel proces is, waarin publieke organisaties weloverwogen beslissingen moeten nemen over hoe ze dat proces vorm willen geven.

De mythe van effectiviteit en efficiëntie

Een groeiend aantal publieke organisaties in het algemeen en toezichthoudende instanties in het bijzonder, gebruiken algoritmen in de hoop dat hun organisatorische praktijk effectiever en efficiënter wordt. Toezichthouders zijn belast met het toezicht op grote aantallen te inspecteren organisaties. Op sommige gebieden, zoals voedselveiligheid, moeten toezichthouders in Nederland wel 100.000 bedrijven inspecteren – met een beperkt aantal inspecteurs. De instanties zijn daarom sterk afhankelijk van het identificeren van bedrijven met een hoog risico op het overtreden van regels. Toezichthouders hopen dat algoritmen de beoordeling van die risico's kunnen verbeteren en zo de inspectiepraktijk effectiever en efficiënter kunnen maken. Toch leidt het realiseren van het potentieel van algoritmen vaak niet tot de gewenste resultaten.

In zijn proefschrift heeft Lukas Lorenz onderzocht hoe toezichthoudende instanties de mogelijkheden van algoritmen proberen te benutten, en hij deed dat voornamelijk door middel van etnografisch veldwerk bij twee toezichthouders in Nederland. Om de resultaten te kunnen duiden, maakt hij onderscheid tussen de mythe van algoritmische regulering en de organisatorische realiteit. Hierdoor kunnen we het toepassen van algoritmen niet alleen begrijpen als een technisch proces, maar ook als een organisatorisch-institutioneel proces, waarin de algoritmische mythe wordt vertaald naar organisatorische realiteit.

Institutionele patronen in het gebruik van algoritmen

Dat de praktijk verschilt van de mythe moeten we erkennen en niet vergeten, vooral nu er zoveel hype rond algoritmen en AI is, stelt Lorenz. Bovendien is het cruciaal om te kijken naar het vertaalproces van mythe naar realiteit.

Lorenz’ onderzoek toont aan dat het proces van toe gaan passen van algoritmen drie specifieke patronen met zich meebrengt:

• Ten eerste kunnen conflicterende opvattingen over betekenissen, normen en machtsverhoudingen tussen actoren die betrokken zijn bij het toepassen van algoritmen, veranderingen hinderen en algoritmen loskoppelen van de praktijk van toezicht.
   
• Ten tweede kan leren op twee manieren verandering realiseren in organisaties die algoritmen gebruiken: single-loop learningwanneer datawetenschap wordt gekoppeld aan andere vormen van expertise (bijvoorbeeld rechtstreeks aan inspecteurs of domeinexperts) en double-loop learning wanneer institutionele mechanismen worden opgezet voor algoritmisering (omdat de uitwisseling tussen inspecteurs en datawetenschappers bijvoorbeeld nog niet is geïnstitutionaliseerd).
   
• Ten derde integratie, verwijzend naar hoe zowel datawetenschappers als professionals in de publieke sector reageren op verschillende, en mogelijk conflicterende institutionele logica's: hoe ze een technologische logica met domein- en politiek-bestuurlijke logica in hun werk integreren.

Deze patronen verwijzen naar veranderingsmechanismen in organisaties en helpen daarmee de overkoepelende onderzoeksvraag te beantwoorden: Hoe vormen actoren en instituties zich en hoe worden ze gevormd door het toepassen van algoritmen in publieke organisaties? Zij veranderen door de interacties tussen actoren en hun normen, opvattingen en machtsverhoudingen enerzijds en algoritmen en de krachtige eigenschappen die eraan worden toegekend anderzijds.

Kritische keuzes in waarden

Dit betekent dat in organisaties waarin actoren veel waarde hechten aan transparantie en verantwoording, deze normen waarschijnlijk bepalend zijn voor processen van algoritmisering en het toe gaan passen van algoritmen moeilijker kunnen maken dan in organisaties die vooral effectiviteit en efficiëntie bevorderen, die aansluiten bij de mythe van algoritmische regulering. Het invoeren van algoritmen houdt in dat er kritische waardenkeuzes moeten worden gemaakt die verder gaan dan effectiviteit en efficiëntie. Het waarborgen van waarden zoals transparantie, verantwoordingsplicht en non-discriminatie moet institutioneel mogelijk worden gemaakt. Om te kunnen profiteren van de beloften van algoritmische regulering is het creëren van deze institutionele voorwaarden dus een belangrijke uitdaging voor publieke organisaties.

Lukas Lorenz is consultant bij PD (het interne adviesbureau van de publieke sector in Duitsland) en als promovendus verbonden aan het departement Bestuurs- en Organisatiewetenschap (USBO).