“Deze software maakt de krachtige onderzoeksmethode Cognitive Mapping veel simpeler”

In this series of interviews we show what contribution projects can make to FAIR research IT. The research teams of the projects have received a grant from the FAIR Research IT Innovation Fund.

Met Cognitive Mapping kun je denkbeelden van mensen diepgaand analyseren en vergelijken. Voorheen was de methode complex om te gebruiken, maar de nieuwe software CognitiveMapr brengt daar verandering in. Met enkele klikken upload je je data, verschijnen de relaties tussen concepten in een visueel semantisch netwerk, en voer je je analyses geautomatiseerd uit. Hierdoor is deze onderzoeksmethode transparanter, betrouwbaarder én toegankelijker voor zowel onderzoekers als beleidsmakers en professionals.

We leven in interessante tijden: de (internationale) crises stapelen zich op, goed leiderschap lijkt urgenter dan ooit en de rol en stem van de burger staan ter discussie. Laten dit soort onderwerpen net in het straatje liggen van Femke van Esch, hoogleraar European Governance and Leadership of the European Union bij Bestuurs- en Organisatiewetenschappen van de faculteit Recht, Economie, Bestuur en Organisatie. Zij bestudeert dergelijke thema’s met Cognitive Mapping (CM), een methode om overtuigingen en redeneringen van mensen in kaart te brengen. “Het grootste deel van mijn onderzoek bestaat eruit dat ik denkbeelden analyseer van financiële leiders. Dat doe ik door eerst teksten zoals hun speeches te coderen: wat zeggen ze, welke concepten linken ze, waarom? Daarmee maak ik een ‘cognitive map’: een visuele weergave van alle causale en normatieve relaties (‘edges’) tussen concepten (‘nodes’). Zo kan ik standpunten dieper analyseren en denkbeelden vergelijken. Of bijvoorbeeld kijken of het denkbeeld van een bestuurder overeenkomt met het uiteindelijke beleid. Met deze methode kun je dus theorieën over zaken zoals leiderschap en crises vormen en toetsen, maar het kan ook helpen bij het maken van beleid.”

De software is webbased, vrij toegankelijk en vereist géén technische kennis.

De voordelen van Cognitive Mapping

Hoewel er diverse technieken bestaan voor tekstanalyse, heeft CM volgens Van Esch enkele grote voordelen. "Met thematische tekstanalyse ontdek je bijvoorbeeld waar mensen over praten, maar heb je beperkt inzicht in de verbanden tussen concepten. Hetzelfde geldt voor automatische tekstanalyse: je hebt dan veel kwantitatieve data, maar weinig dieper inzicht. Met discoursanalyse kun je er meer induiken, maar doordat dit veel tijd kost, vergelijk je maar enkele cases. En bij sentimentanalyse weet je of iets positief is of negatief, maar niet waaróm.” CM zit tussen al deze methoden in. Je ziet niet alleen waarover wordt gesproken en of dat positief of negatief is, maar je ziet ook de argumentatie achter standpunten. “Je kunt bovendien cases goed vergelijken doordat het een heel gestructureerde analysemethode is; je analyseert altijd op dezelfde manier. En er ligt ook een wiskunde achter die netwerkbenadering. Die kun je gebruiken om mee te rekenen. Je kunt daardoor zowel een narratieve analyse geven als kwantitatieve resultaten. Dat maakt het een heel krachtige methode.”

Een FAIR idee

Ondanks deze voordelen gebruikten nog maar weinig mensen CM. “Mensen vonden het een mooie methode, maar gebruikten het zelf niet: te ingewikkeld. Zonde. En ook voor mijn eigen onderzoek had ik behoefte aan een betere manier om met de methode te werken. Zo was de methode niet bepaald FAIR, mede doordat je de analyses met de hand moest doen. Dat is foutgevoelig en ondoorzichtig.” Enkele jaren geleden kreeg ze daarom een idee: kunnen we deze methode met nieuwe technieken toegankelijker, transparanter, betrouwbaarder en minder foutgevoelig maken? “Ik kende de term FAIR nog niet, maar dat was wel wat ik wilde.” Een vriend uit de IT-wereld ontwikkelde in zijn vrije tijd software voor haar. Maar om die door te ontwikkelen en breder inzetbaar te maken was er meer nodig. Van Esch deed tijdens de coronacrisis een cursus R (open-source softwareprogramma). “Ik dacht: daarmee kom ik een eind. Maar ja: ik werkte er in mijn eentje aan en ben geen programmeerexpert. Bovendien: in mijn veld zijn niet veel mensen die met R kunnen werken, dus het moest nog gemakkelijker. Toen zag ik de call voor het fonds.”

Cognitive Mapping Software for Dummies

Nadat haar aanvraag werd gehonoreerd, zocht Van Esch mensen die haar idee technisch konden realiseren. Ze hoorde dat de bachelor Informatica cliënten aannam voor afstudeerprojecten. Dankzij de beurs kon ze zich aanmelden. “Ik heb het afgelopen halfjaar met acht informaticastudenten gewerkt aan onze Cognitive Mapping Sofware for Dummies. Een prachtig product is het resultaat: CognitiveMapr.” Hiermee is CM veel meer FAIR geworden, tot haar grote vreugde. “Vooral toegankelijkheid was voor mij de grote doelstelling en motivatie, omdat ik merkte dat mensen de methode prachtig vonden maar niet gebruikten. De software is webbased, vrij toegankelijk en vereist géén technische kennis.” Je voert simpelweg je data in, waarna het semantische netwerk verschijnt. Stel, je analyseert een speech van Mark Rutte. Dan zie je onder andere wat hij vaak heeft gezegd (dikker bolletje), wat hij goed of slecht vindt (groen of rood) en welke gevolgen of oorzaken iets volgens hem heeft (pijlen). “Je ziet de hele narratieve analyse visueel weergegeven. Ook heb je tabellen met allerlei informatie over de relaties en concepten.” Doordat de software het analysetraject automatiseert, bespaar je veel tijd en maak je minder fouten. “Bovendien zijn er extra features. Neem de ‘children function’: je krijgt daarmee een visuele weergave van alle factoren die volgens deze persoon tot een bepaald gevolg leiden. Zoals: x, y en z leiden samen tot economische groei. Het leuke is: de studenten kwamen zelf met deze functie. Het was echt een cocreatie.”

Het leuke is: de studenten kwamen zelf met deze functie. Het was echt een cocreatie.

Twee manieren om met CognitiveMapr te werken

Wie met CognitiveMapr wil werken, kan op twee manieren data verzamelen. Je kunt bestaande teksten gebruiken, bijvoorbeeld uit databases of van websites. “Deze teksten moet je coderen: je haalt alle genoemde causale of normatieve uitspraken eruit. Daarvoor bestaan goede code-books zoals de Cognitive Mapping Coding Manual. Vervolgens doe je de analyse, die nu dus is versimpeld.” De tweede manier van dataverzameling: mensen zelf direct de cognitive maps laten tekenen, dus de semantische netwerken. “Je geeft ze enkele begrippen of laat ze die kiezen, zoals het woord ‘Europa’. Bijvoorbeeld in een focusgroep of vragenlijst. Daarmee laat je hen maps tekenen, zodat je hun denkbeelden kunt analyseren. We hebben ook software om mensen deze maps te laten maken. Via deze weg hoef je geen teksten te coderen, je hebt meteen je data klaarstaan.” Volgens Van Esch is ook deze ‘bottom-up’ werkwijze heel krachtig. “CM heeft veel meerwaarde ten opzichte van vragenlijsten. Met alleen al vijf concepten in een netwerk kun je zoveel meer zeggen. Je geeft mensen heel veel opties om hun eigen verhaal te vertellen. CM laat verhoudingen zien die je er anders niet uit krijgt.”

Veel toepassingen

CognitiveMapr is voor een breed en internationaal publiek interessant. Van Esch: “Zo analyseert een onderzoeker uit Zagreb met CM parlementaire debatten over Europa en de Kroatische identiteit. Zij onderzoekt dus geen individuele leiders maar debatten - dat kan hiermee ook. En met een collega hebben we er rapporten van de Europese Commissie mee bestudeerd.” Hoewel CM is ontwikkeld in het domein van internationale betrekkingen en politieke psychologie, gebruiken ook steeds meer andere onderzoekers de methode. “Bijvoorbeeld in de milieukunde en organisatiewetenschappen. Het is ook interessant voor geesteswetenschappers die narratieve - of discoursanalyses doen. Hiermee kunnen zij op grotere schaal en gestructureerder hun analyses doen.” Ook beleidsmakers en professionals kunnen ervan profiteren. “Zo zei een ouder bij de presentaties van de Informaticastudenten: ik werk in de zorg, dit is een mooie methode om met patiënten te gebruiken. Mensen zien zo allerlei mogelijkheden voor hun eigen vraagstukken.” Tot slot is CM geschikt als public opinion tool, een toepassing die ook Van Esch zelf gebruikt. “Zo start binnenkort een groot project om burgers te bevragen in het kader van de Europese verkiezingen. We staan met laptops op Festival Europa, een event vol cultuur, wetenschap en journalistiek dat in het teken staat van Europa en de Europese verkiezingen. Via cognitive maps laten we mensen vertellen wat ze vinden dat de rol van de burger in Europa moet zijn. We gebruiken dit als dataverzameling voor onderzoek, maar geven het ook een impact-dimensie: we laten mensen een ‘cognitief kaartje’ aan Brussel sturen. Dit willen we ook aan beleidsmakers communiceren.”

Reguliere onderzoeksaanvragen gaan over inhoud, nooit over tools voor onderzoek.

Tool dankzij fonds

Het Innovatiefonds heeft veel betekend voor Van Esch. “Dit wilde ik al zó lang doen. Reguliere onderzoeksaanvragen gaan over inhoud, nooit over tools voor onderzoek. Het is een uniek fonds. Dit had ik anders nooit kunnen doen.” Van Esch hoopt dat meer onderzoekers leren over het FAIR Research IT-programma. “Ik hoop dat meer mensen, van allerlei faculteiten, ontdekken dat deze mogelijkheden bestaan: zo’n fonds aanvragen, zo’n tool maken - en hoe behulpzaam dat kan zijn. En dat je dus niet technisch onderlegd hoeft te zijn om ervoor te zorgen dat andere mensen bouwen wat jij nodig hebt.”

De komende maanden zullen enkele studenten CognitiveMapr doorontwikkelen. “We lanceren binnenkort ook het R-package, voor wie hiermee kan werken en meer maatwerk wil. Verder gaan we alles promoten, voor de vindbaarheid. Het R-package staat in mijn Github-account, alles van de software komt daar ook. Ik wil het bovendien laten opnemen in repositories, zoals die van het Netherlands eScience center.” Van Esch kijkt ernaar uit de methode verder de wereld in te brengen. “Mensen die de software testten hebben al aangegeven ermee aan de slag te gaan. En collega’s die CM prachtig vonden maar er niet aan wilden beginnen, zeggen nu: ‘Hé, als ik dit met enkele klikken kan doen, wordt het wel echt interessant.’ Daar word ik heel blij van.”