Preregistratie van onderzoek zorgt voor meer transparantie

YOUth is een langlopend onderzoek naar de ontwikkeling van kinderen. Bijna 10 jaar geleden ontving Chantal Kemner een zwaartekrachtsubsidie waarmee YOUth-onderzoek werd opgezet binnen een landelijke consortium (link naar CID). Al vanaf het begin draait het bij YOUth om Open Science. Zo zijn alle data die via YOUth verzameld worden beschikbaar voor andere onderzoekers, zogenaamde FAIR en open data. Maar open zijn is niet iets dat je zomaar even doet. Het is een lange weg die stap voor stap wordt afgelegd. En een van die stappen is de zogenaamde preregistratie. Het vooraf registreren van onderzoeksvragen past helemaal in de Open Science gedachte en zorgt voor meer transparantie.

Sinds 1 maart 2022 moeten onderzoekers die YOUth-data gaan gebruiken hun precieze plannen delen al vóór ze de data gaan analyseren. Zij doen dit op het Open Science Framework, een internationaal platform van het Center for Open Science (COS). Deze manier van werken, via preregistratie komt de betrouwbaarheid en transparantie van het onderzoek ten goede, legt projectmanager Coosje Veldkamp uit.

Via het YOUth-onderzoek verzamelen de Universiteit Utrecht en het UMC Utrecht een schat aan data over kinderontwikkeling. Van foetus tot tiener en van hersen- tot gedragsontwikkeling. “Als je met z’n allen zo veel investeert in goede en grootschalige dataverzameling, dan wil je natuurlijk dat die data zo lang en goed mogelijk gebruikt worden, ook door onderzoekers van buiten Utrecht”, vertelt Coosje Veldkamp. “Daarom is Open Science al sinds het begin van YOUth (in 2013) een speerpunt. Preregistratie past daarbij. Als je vooraf je hypothese(s) en analyseplannen deelt, bescherm je jezelf tegen het onbedoeld verkeerd interpreteren van je analyses. Daarnaast kunnen wetenschappers kritisch bij elkaar meekijken naar de juistheid van de geplande analyses en nagaan of de gepubliceerde resultaten daarmee overeenkomen.”

Een eigen plek voor YOUth-onderzoek

Nog een voordeel van preregistratie: onderzoekers kunnen elkaar tips geven, of kijken of ze kunnen samenwerken. Wereldwijd. “We hebben sinds kort een eigen plek (een ‘branded registry’) op het Open Science Platform.  Dat maakt studies die gedaan worden met onze data beter vindbaar binnen de hele academische gemeenschap. Ook komt het de vindbaarheid, en daarmee de duurzaamheid van onze (veilige) data zelf ten goede”.

Tijdsbesparing

Hoe werkt het precies, preregistratie? “We hebben de procedure waarmee onderzoekers YOUth-data kunnen aanvragen vernieuwd. Aanvragen kan nu in een online systeem, waarin we preregistratie meteen meenemen.” Coosje (die zelf promotieonderzoek deed naar preregistratie): “Aan de voorkant van het onderzoeksproces is het iets meer werk, maar uiteindelijk bespaart het je tijd:  als je de preregistratie gedaan hebt, heb je de inleiding en de methodensectie van je onderzoekspaper eigenlijk al klaar.”

Bescherming tegen de mogelijkheden van de statistiek

Coosje gaat ervan uit dat de preregistratie onderzoekers gaat helpen. “Het beschermt je tegen de mogelijkheden die de inferentiële statistiek biedt.” Hoe? Dat heeft alles te maken met het verschil tussen een hypothese toetsen of een hypothese genereren. Coosje Veldkamp: “Je moet bij preregistratie aangeven: we verwachten die en die relatie tussen dit en dat en testen dat met deze analyse in die groep. Formuleer je je onderzoeksvraag te breed, en meet en analyseer je álles wat daarover beschikbaar is in de dataset, dan vind je geheid een aantal relaties. Maar we weten: bij de meest gebruikte statistische methode (‘Null Hypothesis Significance Testing) is de kans dat een gevonden verband op toeval berust al 5%, en die kans wordt alleen maar groter als je meerdere analyses doet.

Daarom is beter om vooraf precies te formuleren welke variabelen je gebruikt en welke relatie je verwacht te vinden. Vind je in extra analyses toevallig een andere relatie, dan moet je dat resultaat beschouwen als een nieuwe hypothese die voortkomt uit dit onderzoek. Die moet dan nader onderzocht worden, met een andere dataset.” Bijkomend voordeel van preregistratie is dus dat je andere onderzoekers kunt inspireren om onderzoek te doen naar die nieuwe hypothese. 

Voor wie?

Preregistratie is ook relevant voor onderzoekers die geen hypotheses toetsen op basis van de meest gangbare statistiek. “Data-scientists bijvoorbeeld werken vaak met heel andere modellen. Ook dan is het goed om je plannen te delen, zodat andere wetenschappers je van constructieve feedback kunnen voorzien. Bovendien draag je met preregistratie bij aan een repository die een goed beeld geeft van al het onderzoek dat we doen.”