Wetenschap moet transparant zijn

• Titel: Wetenschap moet transparant zijn
• Aanmaakdatum: 23 augustus 2023
• Registratietype: OSF Preregistratie
• Medewerker: Angelos Krypotos
• Categorie: Interview
• Methodologie: Kwalitatieve analyse
• Beschrijving: Dit interview heeft als onderwerp hoe preregistratie en Registered Reports kunnen bijdragen aan integer en transparant onderzoek door middel van vragen aan een expert op dit gebied.
• Peer reviewed: Ja

Ziet preregistratie er ongeveer als bovenstaand uit? En wat zijn eigenlijk de voor- en nadelen van het preregistreren van je werk? En waarin verschilt preregistratie van Registered Reports? In een gesprek met Angelos Krypotos, universitair docent bij Klinische Psychologie, passeren deze vragen de revue.

“Preregistratie is onder andere een manier om transparant onderzoek te doen. Preregistratie bestaat uit een verzameling documenten, mét een datumstempel, waarin onderzoeksvraag, hypotheses, methodologie en statistische analyses worden beschreven. Die documenten worden dan geüpload op websites zoals AsPredicted of de Open Science Framework. Preregistratie laat je precies zien hoe een studie uitgevoerd gaat worden. Maar dat betekent nog niet dat het geplande onderzoek in de eerste plaats aan alle correctheidseisen voldoet. De statistische analyses bijvoorbeeld kunnen niet overeenkomen met de hypotheses die de onderzoekers proberen te toetsen.

Hebben jouw collega’s niet het idee dat preregistratie meer gedoe is omdat het extra tijd vergt?

“Het is eigenlijk niet meer dan een verandering in je workflow. Je zult altijd je methodologie en statistische analyses moeten opschrijven na afloop van het onderzoek. Alleen doe je dat nu in het begin. En eigenlijk is dat beter omdat je dan in de meest creatieve fase van je onderzoek zit.

Mijn vakgenoten, vooral binnen mijn departement, juichen preregistratie toe. Ik heb ook de indruk dat veel mensen, vooral de jongere onderzoekers, het echt een goed idee vinden omdat het hout snijdt. Bovendien raken mensen meer vertrouwd met open science, waaronder het open delen van je data.”

Mijn vakgenoten, vooral binnen mijn departement, juichen preregistratie toe.

Is preregistratie relevanter op jouw gebied, Klinische Psychologie, dan op andere gebieden?

“Het is van belang op alle wetenschappelijke gebieden waar data worden verzameld.”

Maar is het niet gemakkelijker om fraude te plegen bij Psychologie? Kijk maar eens naar alle schandalen die in het verleden boven water zijn gekomen.

“Nee. Psychologie kreeg een slechte reputatie na het onthullen van een paar grote schandalen, vooral in Nederland. Maar de grootste inspanningen tot verandering en meer transparantie zijn juist geleverd door onderzoekers binnen de psychologie, zoals Eric-Jan Wagenmakers van de Universiteit van Amsterdam. Tegenwoordig is het een stuk moeilijker om fraude te plegen. Maar om vals te spelen, heb je maar één persoon met slechte bedoelingen nodig.”

Zou preregistratie verplicht moeten worden gesteld?

“Nee. Ik zou daar wel de voorkeur aan geven, maar nee. Ik denk dat transparant onderzoek doen verplicht is en dat je preregistratie als een hulpmiddel kunt gebruiken om dat doel te bereiken.

We moeten niet over het hoofd zien dat er onderzoekers zijn die hun eigen preregistratie niet volgen. En natuurlijk is het moeilijk met het huidige reviewsysteem om te checken of de preregistratie gevolgd is. Nu is het zo dat je preregistratie wordt gecheckt door reviewers die al een zware werklast hebben, dus soms vertrouwen ze er maar op dat de preregistratie is gevolgd, ook al is dat dus niet altijd het geval. Er zijn uitgevers zoals Elsevier die miljoenen verdienen, zij zouden mensen moeten hebben die checken of de preregistratie zorgvuldig gevolgd is. Dat moet niet op het bordje van de reviewers liggen, academici die de eindjes aan elkaar moeten knopen. De uitgevers zouden methodologen moeten inhuren om dit soort dingen te checken en het theoretische deel van de papers aan de reviewers moeten overlaten.

Maar om vals te spelen, heb je maar één persoon met slechte bedoelingen nodig

Registered Reports gaat een stap verder dan preregistratie. Het is in feite een nieuw publicatieformat dat populariteit heeft verworven dankzij veel mensen, maar vooral door Chris Chambers van de Universiteit van Cardiff. Waarin liggen nu de verschillen? Stel dat in februari 2022 een onderzoeker aankondigt dat hij onderzoek gaat doen naar de relatie tussen gender en voorkeur in ijssmaken. De onderzoeker besluit het onderzoek te preregistreren. Maar in de vragenlijst wordt mensen alleen gevraagd om te rapporteren over drie smaken: vanille, chocola, aardbei. De onderzoeker zei dus wat hij of zij van plan was, maar misschien door onervarenheid of tijdsgebrek vertoont het onderzoek methodologische gebreken. Want er zijn natuurlijk veel meer ijssmaken. Die feedback krijg je ook terug van de reviewers, en je onderzoek is ongeschikt voor publicatie. Dus hoewel je je onderzoek gepreregistreerd hebt en je transparant genoeg was, betekent dat nog niet dat je onderzoeksopzet deugdelijk genoeg was om publicatie te garanderen.

Registered Reports beschermt onderzoekers tegen zulke vergissingen. In Registered Reports dienen auteurs hun introductie, methodologie en analyseplan in voorafgaand aan de dataverzameling. Dan beoordelen reviewers en redacteuren de bijdrage en als het theoretisch en methodologisch deugdelijk wordt bevonden is het artikel in principe geaccepteerd voor publicatie. Pas nadat het artikel geaccepteerd is, beginnen de auteurs met het verzamelen van data en/of de statistische analyse. Belangrijk om te weten is dat, als ze het geaccepteerde plan volgen, de paper gepubliceerd gaat worden, wat de uitkomsten ook mogen zijn. Maar let wel, preregistratie en Registered Reports zijn niet in beton gegoten. Je kunt je preregistratie altijd nog updaten. Doe wat je moet doen, zolang je maar eerlijk bent en laat de reviewers, redacteuren en je vakgenoten je studie dienovereenkomstig beoordelen.

Je doelt nu op de replicatiecrisis?

“Er zijn veel redenen voor de replicatiecrisis. Een daarvan, ook al is het niet duidelijk of dit de belangrijkste was, was dat de onderzoekers de data konden manipuleren net zolang tot ze significante resultaten vonden. Dit komt voort uit het idee dat tijdschriftredacties op zoek zijn naar interessante bevindingen om te publiceren. Als je resultaten je onderzoekshypothese niet steunden, werden ze traditioneel beschouwd als minder interessant. Dat was het hele gedoe met de replicatiecrisis. Onderzoekers moeten werken in een systeem dat hen opdraagt: publiceren, publiceren,, publiceren. Dus waren onderzoekers geneigd om met de data te spelen om iets significants te vinden waardoor resultaten niet gerepliceerd konden worden.

De situatie is  nu aan het veranderen met Registered Reports. Een studie die geen “significante resultaten” oplevert wordt niet langer beschouwd als een “probleem” omdat de onderzoeksopzet en de statistische analyse van te voren gecheckt zijn en in orde zijn bevonden.

Ik ben geen idealist, ik zeg niet dat alles goed gaat, maar over het algemeen denk ik dat er veel dingen verbeterd zijn vergeleken met hoe het er rond 2010 aan toeging.”