Het ondersteunen van spoorwegprofessionals met AI in besluitvorming met grote belangen
Mensen en AI-systemen werken steeds vaker samen om beslissingen te nemen. In tal van professionele domeinen worden AI-gebaseerde beslissingsondersteunende systemen geïntegreerd in werkprocessen waarin de belangen groot en de vraagstukken complex zijn. Toch hebben we, ondanks deze snelle integratie, nog maar een beperkt begrip van hoe mensen en AI effectieve teams vormen, hoe mensen vertrouwen ontwikkelen in algoritmisch advies, en hoe het leunen op AI zich in echte werksituaties in de loop van de tijd ontwikkelt. Dit project neemt het domein van de spoorwegplanning als case study om deze vragen te onderzoeken. Het combineert experimenteel onderzoek met breder theoretisch en methodologisch werk over mens-AI-samenwerking. Het onderzoek wordt uitgevoerd samen met spoorwegprofessionals bij NS en ProRail, als onderdeel van het Robust RAIL Lab.
Dit project bevindt zich op het snijvlak van mens-AI-interactie en meetmethodologie. De eerste onderzoekslijn richt zich op de vraag hoe spoorwegprofessionals beslissingen nemen wanneer zij samenwerken met AI. In planningsscenario's met grote belangen is volledige automatisering zelden wenselijk: menselijke experts brengen domeinkennis, contextueel oordeelsvermogen en verantwoordelijkheid in die AI-systemen vooralsnog niet kunnen vervangen. De centrale vragen gaan daarom over samenwerking in plaats van over vervanging. Hoe verandert het werken met een AI-beslissingsondersteunend systeem de manier waarop experts beslissingen nemen? Wanneer accepteren zij AI-advies, en wanneer verwerpen zij het, zelfs wanneer dat advies objectief gezien deugdelijk is? En hoe kunnen door AI gegenereerde plannen zó worden gecommuniceerd en toegelicht dat ze helpen in plaats van hinderen?
Het beantwoorden van deze vragen vereist niet alleen het bestuderen van experts in de praktijk, maar ook een kritische blik op de manier waarop we mens-AI-interactie überhaupt meten. De bestaande literatuur over algoritme-aversie en -waardering is inconsistent, deels doordat studies verschillende definities en verschillende experimentele opzetten hanteren en zelden bijhouden hoe het leunen op AI zich in de loop van de tijd ontwikkelt. Een tweede onderzoekslijn richt zich daarom op meting: het ontwikkelen en valideren van instrumenten die betrouwbaar in kaart kunnen brengen hoe vertrouwen in en het leunen op AI-systemen zich ontwikkelen over herhaald gebruik in de praktijk.
Een derde onderzoekslijn betreft de integriteit van de gedragsdata die we online verzamelen. Naarmate agentische AI-systemen in staat raken om zelfstandig webgebaseerde experimenten te voltooien, kan de aanname dat online deelnemers mensen zijn niet langer zomaar als vanzelfsprekend worden beschouwd. Begrijpen wanneer en hoe AI menselijk gedrag in online studies kan nabootsen is van belang, zowel om de validiteit van gedragsonderzoek te beschermen als om de bredere capaciteiten van huidige AI-systemen te doorgronden.
Samen delen deze drie onderzoekslijnen een gemeenschappelijke zorg: ervoor zorgen dat AI wordt gebruikt, bestudeerd en gemeten op manieren die daadwerkelijk nuttig zijn voor de mensen die ermee ondersteund moeten worden.
Een resultaat tot nu toe
Of spoorwegplanners AI-advies accepteren of verwerpen, is allesbehalve eenduidig. In gecontroleerde studies werd spoorwegprofessionals gevraagd te beoordelen hoe goed oplossingen voor een puzzel waren. Sommige puzzels werden gepresenteerd als afkomstig van "AI", andere als afkomstig van "een menselijke collega". De resultaten lieten zien dat sommige deelnemers consequent oplossingen waardeerden die werden gepresenteerd als "AI-gegenereerd", terwijl anderen daar juist aversie tegen toonden - zelfs wanneer het advies objectief identiek was aan dat wat werd gepresenteerd als "van een menselijke collega". Deze individuele verschillen werden pas zichtbaar door statistische modellen die gevoelig genoeg waren om kwalitatieve variatie tussen deelnemers te detecteren, in plaats van enkel groepsgemiddelden. Deze bevinding wijst op een praktische les: AI-ondersteuningssystemen die zijn ontworpen rond een gemiddelde gebruiker, lopen mogelijk juist de mensen mis die het meest gebaat zouden zijn bij doordacht ontwerp.