Evidence synthesis

Onderzoekers analyseren onderzoeksresultaten

Een belangrijk onderzoeksthema binnen onze afdeling is evidence synthesis: het combineren van kennis van verschillende bronnen. Deze bronnen kunnen meerdere onderzoeken over hetzelfde onderwerp zijn, bijvoorbeeld als gevolg van replicatiestudies. Maar ook andere informatiebronnen kunnen worden samengenomen. Zo kan bijvoorbeeld kennis van experts worden meegenomen in de analyse van empirische data. We onderscheiden drie onderzoekslijnen waarbinnen methodologie voor evidence synthesis wordt ontwikkeld.

Aggregatie van resultaten van replicatiestudies

Een toepassing van evidence synthesis is de aggregatie van resultaten van replicatiestudies. In de sociale en gedragswetenschappen is replicatie de gouden standaard voor wetenschappelijk bewijs: resultaten vinden die consistent zijn in meerdere onafhankelijke onderzoeken. Er zijn twee soorten replicatiestudies: exacte of directe replicaties en conceptuele of indirecte replicaties. Elk type vereist verschillende methoden voor aggregatie.
De aggregatie van resultaten van exacte replicaties kan plaatsvinden op het niveau van de schattingen of effectgroottes, zoals bij meta-analyse of bij Bayesiaanse sequentiële updating. Beide methoden vereisen dat studies sterk op elkaar lijken, bijvoorbeeld qua ontwerp, variabelen en statistische modellen. Dit is meestal het geval bij directe of exacte replicatiestudies.

Als alternatief kunnen we de resultaten van conceptuele replicaties samenvoegen. Deze onderzoeken zullen vaak te divers zijn om te aggregeren op het niveau van parameterschattingen of effectgroottes. Voor elk onderzoek kan echter een Bayes factor worden berekend die de hoeveelheid relatief bewijs in dat onderzoek uitdrukt voor twee of meer van belang zijnde hypothesen. Het onderliggende idee is dat, hoewel de studiespecifieke statistische hypothesen tussen studies kunnen verschillen, vanwege variaties in ontwerpen en statistische modellen, ze allemaal dezelfde onderliggende gemeenschappelijke onderzoekshypothesen vertegenwoordigen. De resulterende Bayes factoren per studie worden gecombineerd door een update-procedure op het niveau van modelkansen. Dit type evidence synthesis, op het niveau van Bayes factoren, is ontwikkeld in de context van informatieve hypothesen (de gelinkte pagina geeft meer informatie).

Samenvoegen van diverse informatiebronnen

Een andere toepassing van evidence synthesis is het samenvoegen van diverse informatiebronnen in bredere zin, bijvoorbeeld door kwalitatieve en kwantitatieve gegevens te combineren. Kwalitatieve gegevens kunnen worden gebruikt om prior parameterdistributies te informeren die vervolgens worden gebruikt voor de analyse van kwantitatieve gegevens. Als alternatief kunnen kwalitatieve gegevens worden gebruikt om informatieve hypothesen te formuleren die opnieuw kunnen worden geëvalueerd met een kwantitatieve studie. Een derde voorbeeld is het gebruik van text mining in een systematische review, waardoor kwantitatief ondersteunde kwalitatieve synthesis mogelijk is. Een andere manier om informatieve prior parameterdistributies te verkrijgen, is door gebruik te maken van kennis van expert. Verschillende procedures voor het opvragen van kennis van deskundigen zijn onderzocht en de resultaten zijn in verschillende contexten toegepast. Zie ook de pagina Bayesiaanse statistiek.

Betrokken onderzoekers

Meer informatie