Beoordelen op kwaliteit in een wereld met te veel puzzelstukjes

Een van de thema’s in het Open Science Programma van de Universiteit Utrecht is het ontwikkelen van een nieuwe visie op Erkennen en Waarderen: onderzoekers zouden niet langer moeten worden beoordeeld op de impactfactor van het tijdschrift waarin ze hun onderzoeksresultaten publiceren of op hoe vaak hun artikel geciteerd wordt, vastgelegd in de zogenaamde Hirsch-index (ook wel afgekort tot h-index). Het wordt tijd om onderzoek te beoordelen op werkelijke kwaliteit, openheid en maatschappelijke impact.

Over deze ontwikkelingen en mogelijke gevolgen voor de publicatiestrategie van onderzoekers praten we met prof. dr. ir. Bert Weckhuysen, Hoogleraar Anorganische Chemie en Katalyse en Universiteitshoogleraar Katalyse, Energie & Duurzaamheid.

Wat zijn uw gedachten over deze ontwikkelingen rondom het loslaten van een cijfermatige benadering, als gerenommeerd onderzoeker met een h-index van rond de 100?

Laat ik bij het begin beginnen: ik ben niet opgegroeid met de h-index. Als PhD student in Leuven en later als postdoc in de VS in de jaren ’90 wist ik niet wat de h-index was, want Jorge Hirsch bedacht de naar zijn naam genoemde index pas in 2005.

Wat me wel opviel toen ik in Nederland kwam werken, was dat men hier voorop liep met dat tellen van citaties. De Universiteit van Leiden werkte bijvoorbeeld met de Van Raan-analyse, die onder meer gebruikt werd om wetenschappelijk onderzoek zowel kwantitatief als objectief te beoordelen. Ik heb dus de afgelopen decennia de kwantificering van wetenschappelijke output zien opkomen. Er is op zich niets mis met het proberen dingen te kwantificeren, maar wanneer het totaal disproportionele aspecten begint te krijgen, dan vlieg je de bocht uit.

Wanneer onderzoekers zeggen: ik wil alleen maar publiceren in tijdschriften zoals Nature, Science en Cell vanwege de hoge impactfactor, dan wordt publiceren een doel op zich. Dan is het niet langer wetenschap bedrijven, maar het afvinken van lijstjes. Ik denk dat we nu in deze situatie aanbeland zijn. En dus zie je momenteel een beweging tegen het gebruik van lijstjes en bijbehorende indexen. De pendule moet de andere kant opgeduwd worden, maar volgens mij wel ergens in het midden uitkomen. Waar ik wel voor wil waken is dat we nu niet gaan denken dat alle mensen die de afgelopen dertig jaar zijn benoemd, beoordeeld zijn op verkeerde criteria. Als je de kandidaten goed hebt geëvalueerd, als de commissie verder heeft kunnen kijken dan h-indexen en high impact papers, dan is er niets verkeerd gegaan.

Er is op zich niets mis met het proberen dingen te kwantificeren, maar wanneer het totaal disproportionele aspecten begint te krijgen, dan vlieg je de bocht uit.

Er wordt wel eens gezegd dat de wat oudere garde weerstand biedt tegen de lopende veranderingen in erkennen en waarderen. Daar ben ik niet zo van overtuigd omdat we net deze ontwikkelingen hebben zien plaatsvinden en ook wij vragen stelden. Misschien moeten we in het debat ook eens de vraag durven stellen hoe we tot dit kantelpunt gekomen zijn. Waarom waren we niet tevreden hoe het ging zoals het was en waarom hebben we de afgelopen 15-20 jaar stelselmatig een meer cijfermatige manier van beoordelen en waarderen ontwikkeld? We hoeven niet terug naar vroeger, maar we kunnen wel veel leren van de afgelopen periode om het nu beter en evenwichtiger te maken.

Door het tekenen van de DORA-verklaring, heeft de universiteit afscheid genomen van h-index en impactfactor. Wat is volgens u wel een goede graadmeter van succes?

De vraag is: waar beoordeel je iemand op als het gaat om het doen van wetenschappelijk onderzoek? Als ik ga kijken of iemand goed is, dan let ik op de volgende dingen: heeft hij of zij een eigen onderzoekslijn proberen te ontwikkelen? Is er sprake van creativiteit? Authenticiteit? Heeft iemand meerdere ideeën tot wasdom kunnen brengen? Wat is het puzzelstuk dat hij of zij toevoegt aan de grote puzzel van de wetenschap? En: heb je al iets tot stand gebracht?  Daarmee wek je vertrouwen en perspectief dat je nieuwe concepten kunt introduceren in een vakgebied of tussen verschillende vakgebieden. Trouwens eenzelfde redenering geldt ook voor het ontwikkelen van nieuwe onderwijsvormen en curricula.

Je merkt dat meer en meer mensen tegen dat kwantificeren zijn, maar als jij binnen een onderzoeksveld afspreekt wat kwaliteitsindicatoren zijn, dan is daar niks verkeerds aan. En dat kan ook het publiceren van een boek zijn met heel veel impact, ook dat is wel degelijk een manier om een wetenschapper op de spreekwoordelijke weegschaal te leggen. Je moet dus met elkaar wel durven benoemen wat je goed en minder goed noemt.

Kijk, in mijn vakgebied heb je naast Nature en Science ook heel respectabele vaktijdschriften, zoals The Journal of the American Chemical Society en Angewandte Chemie met weliswaar een wat lagere impactfactor, maar die heel goed gelezen worden door collega-onderzoekers. Als we daarin publiceren, dan kan dit ook impactvol onderzoek zijn dat het vakgebied een stap verder brengt. Ontdekkingen en nieuwe wetenschappelijke inzichten, al dan niet in een high-impact tijdschrift gepubliceerd, kunnen grote maatschappelijke implicaties hebben. Impactfactoren vertellen dus maar een deel van het verhaal. Uiteindelijk zal niet de keuze van het tijdschrift, maar de kwaliteit van het werk bepalen of iets van belang is voor de verdere ontwikkeling van de wetenschap en samenleving.

Geldt dat ook voor open access tijdschriften?

Dat kunnen zeker ook open access tijdschriften zijn. The Journal of the American Chemical Society heeft nu ook een open access variant: JACS Au, (spreek je uit als JACS Gold) en daar publiceren we dit jaar voor de eerste keer in. Ik denk dat het een heel goed blad met een breed bereik wordt. Laten we hopen dat het economische model leidt tot een duurzaam open access tijdschrift. Ik zou mijn studenten wel adviseren om daarin te publiceren, maar er zijn ook nog andere tijdschriften waar hun onderzoek goed tot hun recht kan komen.

Wat verandert er volgens u momenteel in het publicatiegedrag van wetenschappers?

Wetenschappers moeten op de eerste plaats doen waar ze voor aangesteld zijn: onderwijs, onderzoek en kennisvalorisatie. Onderzoekers willen dat hun werk gelezen wordt door collega-onderzoekers en wetenschappelijke tijdschriften of boeken maken dit onder andere mogelijk. Wij als academische gemeenschap moeten ervoor zorgen dat die tijdschriften of boeken zoveel mogelijk open access zijn of worden. Maar hoe dat verdienmodel precies werkt, daar moet je onderzoekers niet te veel mee lastig vallen. Dat vraagstuk ligt meer op het bordje van wetenschappelijke uitgevers, funding organisaties, zoals NWO, de Colleges van Bestuur en de academische bibliotheken. In Nederland is dit al best goed geregeld door het maken van grote deals met wetenschappelijke uitgevers, zoals Wiley-VCH en de American Chemical Society (ACS).

Ik wil wel opmerken dat we momenteel leven in een tijd met een overdaad aan informatie. Er is een wildgroei aan wetenschappelijke tijdschriften, boeken en artikelen, je kunt als wetenschapper amper je eigen veld volgen. Dus deze hele exercitie van open access, open data moet ook passen in het kunnen vinden van betrouwbare informatie. Er zijn dus veel te veel puzzelstukken. Daarom is het ook belangrijk om in open science niet alleen na te denken over het delen van kennis maar ook over de synthese van die kennis, waarbij uit het samenvoegen van die puzzelstukjes weer iets nieuws komt. Dit doen uitgevers trouwens al, maar de vraag is of we dit niet op een andere manier goed kunnen regelen.

Maar dan moet je wel weten van elkaars puzzelstukjes.

En ze goed begrijpen en de tijd hebben om alles te lezen en te internaliseren. Uiteindelijk gaan we naar de ‘database of everything’. En het gevaar dat daarin schuilt is dat onbetrouwbare of zelfs foute puzzelstukken ook onderdeel worden van die database. We hebben behoefte aan geverifieerde kennis waarbij papers overeind zullen blijven als betrouwbaar en andere zullen wegzakken als niet relevant of foutief.

In open science worden al onze papers, inclusief de achterliggende data, onderdeel van deze ‘database of everything’. En een zoekmachine zal bepalen welke informatie bovenaan komt te staan, want niemand gaat 20.000 pagina’s door scrollen. De macht van techreuzen zoals Google is dus groot. We zien nu al hoe dit uitpakt met algemene nieuwsitems over allerlei maatschappelijke onderwerpen. Informatie wordt verstrekt door algoritmen die impact meten aan de hand van clicks, likes of reacties. Hoe gaan we dat nu doen en vooral beter doen? Hoe gaan we weten of iets betrouwbaar is of niet? Er moet toch een vorm van validering komen, wetenschappelijke tijdschriften moeten ernaar streven een goede reputatie op te bouwen en te houden.

Dus daar ligt ook een verantwoordelijkheid voor de tijdschriftredacties?

Ja, en dat betekent ook dat er meer aandacht moet komen voor betrouwbaar publiceren en analyseren, inclusief het delen van de achterliggende data. Wij moeten de ‘database of everything’ weer onder controle krijgen. En dat betekent niet beperken, maar dat betekent ordenen in een nieuwe werkelijkheid waarbij we meer oog hebben voor het bedrijven van goede wetenschap. We verplichten ons een geloofwaardige partij te zijn voor samenleving, maatschappij en industrie. Hoe we dat precies gaan vormgeven is een zoektocht. Ik denk niet dat iemand dat al helemaal heeft uitgedacht. Dat zal een taak zijn van ieder van ons in de aankomende jaren.

We hebben behoefte aan geverifieerde kennis waarbij papers overeind zullen blijven als betrouwbaar en andere zullen wegzakken als niet relevant of foutief.

Is het nieuwe Erkennen en Waarderen ook een stap in het onder controle krijgen van die database?

Misschien wel omdat het een rem kan zetten op de wildgroei. Je moet teruggaan naar de vraag: wat is eigenlijk onze missie? Is het doel om de onderzoeksresultaten aan elkaar te melden om iets belangwekkends te vertellen, of is het doel om een paper te schrijven dat gepubliceerd wordt in een vooraanstaand tijdschrift? Ik denk het eerste. En als dat als afgeleid effect heeft dat het misschien terecht komt in een tijdschrift met een zeer hoge reputatie, dan is dat mooi meegenomen. Maar nu gaat het publiceren in zulke tijdschriften boven het delen van kennis, en dat kan volgens mij niet.

Hoe zou u impactful willen definiëren?

Dat is iets wat we met elkaar in een wetenschappelijke discipline afspreken, of iets aanvoelt als impactful. Voor maatschappelijke impact is dat denk ik wat eenvoudiger te definiëren, dan voor inzichten en ontdekkingen waar de directe toepassing of zelfs industriële of maatschappelijke implementatie nog niet helder is.

Maar aanvoelen is wel…

Subjectief.

En vaag.

In zekere zin wel, omdat het heel moeilijk is om te voorspellen of een nieuw inzicht of een grote ontdekking echt impact zal hebben. Voor sommige vakgebieden is het waarschijnlijk ook eenvoudiger om te laten zien of onderzoek mogelijk leidt tot directe maatschappelijke of technologische impact.

Tot slot:  u was te zien in een van de introductiefilmpjes van de opening van het academisch jaar. Op de stelling “Heeft de UU al een open blik en houding?” reageerde u niet met een volmondig ‘ja’.  

Inderdaad gaf ik aan dat we hier allemaal nog beter kunnen in worden. En dat begint toch op de eerste plaats bij jezelf. Terug naar de puzzelstukken. Door ze samen te leggen kom je vooruit. Maar je wilt ook erkenning voor jouw eigen puzzelstuk en al het harde werk dat ervoor nodig was. Een zekere vorm van egoïsme speelt hierbij een rol en dat is ook menselijk. Je moet dus in redelijkheid delen, maar niet naïef delen. Dat betekent dat we meer zullen moeten werken aan de ontwikkeling van team science, goede onderlinge samenwerking en bijhorende waardering. Dat is de opgave waar we met zijn allen voor staan.