‘Het is niet zwart-wit’

‘Universiteit Utrecht neemt afscheid van de impactfactor als maatstaf bij werving en selectie of promotie.’ Dit is afgelopen zomer te lezen op de website van Nature. Wereldwijd volgen talloze positieve reacties. Maar er klinkt ook kritiek. In een open brief op ScienceGuide waarschuwen Nederlandse (veelal) hoogleraren voor schadelijkheid van het nieuwe erkennen en waarderen. Als reactie betogen jongere wetenschappers hoezeer zij de veranderingen juist toejuichen. Wat zegt dit? Staan generaties lijnrecht tegenover elkaar?

In de groep van Bert Weckhuysen, hoogleraar Anorganische Chemie en Katalyse en universiteitshoogleraar Katalyse, Energie & Duurzaamheid, is het nieuwe erkennen en waarderen regelmatig onderwerp van gesprek. Wat is de beste manier om wetenschappers te beoordelen? En wat betekenen de veranderingen voor (individuele) academici? Het zijn complexe vraagstukken die om nuancering vragen, zo blijkt uit een gesprek met Weckhuysen en (jonge) universitair docenten Eline Hutter en Freddy Rabouw. Eén ding is volgens Weckhuysen in elk geval duidelijk: het is niet zwart-wit.

Oud versus jong

Kwaliteit uitdrukken puur op basis van wetenschappelijke publicaties is niet representatief voor het takenpakket van de moderne wetenschapper, zo stellen jonge academici op ScienceGuide. Ze zeggen: Jonge wetenschappers wachten met smart op een nieuw systeem van erkennen en waarderen. Oudere collega’s voorspellen op datzelfde platform dat het nieuwe systeem juist willekeur en verlies van kwaliteit teweegbrengt. Maar dat er wijdverbreid sprake zou zijn van ‘oud versus jong’ wordt in het gesprek met Bert, Eline en Freddy snel ontkracht.

Eline: De boodschap van de jonge wetenschappers in ScienceGuide komt niet overeen met wat ik in mijn omgeving hoor.

Freddy: Van veel leeftijdsgenoten horen we dat ze onzekerheid ervaren over waar ze in het nieuwe beoordelingssysteem aan moeten voldoen. De bètafaculteit heeft nu een criteriasysteem (TRIPLE) waarbij je wordt beoordeeld op de pijlers: team, research, impact, professional performance, leadership en education. Het wekt de indruk dat goed zijn in onderzoek en onderwijs lang niet voldoende is. Daar komt bij dat de prijzen die NWO uitreikt nu grotendeels zijn voor bijvoorbeeld team science en communications. Zijn dat dan nu de belangrijkste dingen en kan ik me dus maar beter daarop focussen dan op onderzoek?

Eline: Als excellentie in onderwijs en onderzoek voortaan gelijk worden gewaardeerd, is dat natuurlijk heel goed. Maar het lijkt er nu op dat het nieuwe beoordelingssysteem geïnterpreteerd wordt alsof iedereen overal in moet uitblinken.

Freddy: Voorstanders van erkennen en waarderen benoemen ook dat we ervoor moeten waken dat iedereen een schaap met vijf poten moet worden. Volgens hen is het ook niet de bedoeling van het systeem dat iedereen overal in excelleert. Tegelijkertijd zijn vier van de zes beoordelingspijlers niet onderzoek en onderwijs. Dat maakt toch onzeker: wat moet ik nou precies doen?

Horen gevoelens van onzekerheid niet bij elke verandering?

Bert: Ik denk het wel. Maar waar we eerst (onbedoeld) waren doorgeschoten in het afvinken van lijstjes en cijfers – dat is ook de reden dat we nu zo’n drang voelen om te veranderen - moeten we uitkijken dat we nu niet weer te ver naar de andere kant doorschieten. Mensen verengen tot een getalletje is niet goed. Een getal moet je in een context zien. Tegelijkertijd moet je de Hirsch-index bij wijze van spreken ook weer niet vervangen door het aantal volgers en likes van je twitteraccount.

Eline: Ik vind het zorgelijk dat het noemen van kwantitatieve, meetbare indicatoren bij NWO helemaal niet meer is toegestaan. Zo lijkt het er meer om te gaan of mensen zichzelf goed kunnen verkopen. Het zou goed zijn als we voor verschillende disciplines definiëren wat geschikte, meetbare output indicatoren zijn. Aanvullende activiteiten, zoals outreach, zijn op allerlei manieren ontzettend waardevol, maar een goede onderzoeker zijn is wel de basis.

Kwalitatieve en kwantitatieve indicatoren zouden naast elkaar moeten staan

Bert: Kwalitatieve en kwantitatieve indicatoren zouden naast elkaar moeten staan. Beide hebben hun merites. Maar, en daarin ben ik het eens met Eline, daarbij zouden de twee belangrijkste taken van een universiteit: 1. mensen opleiden (onderwijs) en 2. het verleggen van de grenzen van ons weten en denken (onderzoek), de basis moeten vormen. Onder meer valorisatie en outreach zijn daar afgeleiden van.

En voor team science geldt dat het geen doel op zich moet worden. Ik denk dat vrijwel elk onderzoek gebaat is bij meerdere partners/bloedgroepen, maar je kan niet zondermeer zeggen dat een project met vijftien partners sterker is dan een project met vier. Zowel een groot als een klein team kan voor- en nadelen hebben. Dus, team science en teamspirit zijn zeer waardevol, maar het is ook niet de holy grail.

De journal impact factor is geen goede graadmeter voor individuele kwaliteit, stellen de jonge academici in hun reactie op ScienceGuide. Eens?

Freddy: Over het getalletje kun je discussiëren, maar als je consequent artikelen weet te publiceren in een journal met een hoge impactfactor, betekent het dat reviewers jouw artikelen steeds heel streng hebben beoordeeld en goed genoeg vonden. Dat betekent voor mij weldegelijk iets.

Eline: Gemiddeld genomen betekent het inderdaad wel wat, maar individueel niet, denk ik. Hoe goed een paper wordt geciteerd is een betere maat voor de impact dan de gemiddelde citaties van het tijdschrift waarin het gepubliceerd staat. En ja, de selectie voor een tijdschrift als Nature is strenger, maar de criteria zijn ook wel biased.

Het kan bijvoorbeeld gebeuren dat een artikel wordt afgewezen als ik het instuur en dat hetzelfde artikel wordt geaccepteerd als een beroemde wetenschapper het opstuurt.

Bert: Ik denk dat Eline gelijk heeft als het gaat om het prescreening proces. Daar kom ik waarschijnlijk gemakkelijker doorheen. Maar daarna, in het referee-proces, kan het ook de andere kant op biased zijn vanwege jaloezie die soms een rol speelt.

Verder is er onderscheid tussen specialistische bladen en algemenere tijdschriften waarin verschillende vakgebieden in competitie zijn om de hoeveelheid pagina’s. Papers met bepaalde (bijvoorbeeld actuele) onderwerpen gaan systematisch naar die algemene journals en worden dan heel vaak geciteerd, terwijl iedereen in het vakgebied het erover eens is dat de meer specialistische journals, ondanks een wat lagere impactfactor, ook veel waard zijn.

Ook zijn er nog verschillen per vakgebied. Een Hirsch-index in de scheikunde of theoretische natuurkunde is bijvoorbeeld iets anders dan een Hirsch-index in de sociale wetenschappen of de geneeskunde. Alles bij elkaar betekent het dus dat getallen zoals de impact factor en Hirsch-index de juiste context verdienen. En daar gaat het wel mis. Je kan iemand niet enkel beoordelen op een hoge Hirsch-index, maar het simpel afdoen als iets dat totaal niets zegt over wetenschappelijke standing klopt ook weer niet. Knap lastig overigens dat ik, ondanks dat ik nuances maak, doorgaans wordt neergezet bij ‘de ouderen’.

Freddy: Herkenbaar. Als je als jongere onderzoeker niet achter alle aspecten van het nieuwe erkennen en waarderen staat, loop je - door de geschetste tegenstelling ‘oud tegen jong’ - het risico te worden gezien als iemand die niet met de tijd meegaat en word je in de categorie ‘oud’ geplaatst.

Eline: Misschien durven jonge wetenschappers er daardoor ook niet altijd voor uit te komen als ze het niet (helemaal) eens zijn met het nieuwe beleid. Veel jonge onderzoekers hebben nog geen vaste aanstelling, wat ze kwetsbaar maakt.

Is het nieuwe erkennen en waarderen onomkeerbaar?

Bert: Ik denk het wel. En dat is ook goed. Ik vind het heel belangrijk dat er aandacht is voor een genuanceerde beoordeling. Eén van de positieve dingen van het proces is dat er wordt voorkomen dat onderwijs een ondergeschoven kindje wordt. Mensen die goed zijn in onderwijs moeten we echt koesteren.

Freddy: Ik denk dat het op de korte termijn onomkeerbaar is. Maar op de lange termijn kan er weer een zwaai de andere kant opkomen. Vergelijk het met de citotoets. Jaren geleden moest die worden afgeschaft als meetinstrument omdat het niet goed was om kinderen te beoordelen op één serie toetsen. De beoordeling werd daarna gebaseerd op het redelijk subjectieve, kwalitatieve oordeel van de leraar. Maar toen kregen kinderen uit achterstandswijken systematisch lagere oordelen en werd besloten dat het toch wel belangrijk was om objectievere toetsen te doen. Misschien zal het in de academische wereld vergelijkbaar gaan.

Eline: Ik denk dat dit een prachtig voorbeeld is van dat ‘én én’ het beste zou zijn.

Bert: Er is, kortom, noodzaak om het beoordelingssysteem voortdurend te blijven evalueren zodat we ergens in het midden uitkomen.