Ber om betre forskingsevaluering

Av Kjerstin Gjengedal

Publisert 12. mars 2018

Altfor ofte får andre faktorar enn kvaliteten på forskingsprosjektet avgjere om prosjektsøknaden når opp i konkurransen eller ikkje, meiner Leiv K. Sydnes.

I førre utgåva av Forskerforum skreiv Sydnes, som er professor i kjemi ved Universitetet i Bergen, eit innlegg der han kom med ei rekkje døme på dårleg evaluering av prosjektsøknader. Han kjenner til fleire tilfelle der personleg og ugrunna synsing frå fagekspertane om meir eller mindre irrelevante moment, skal ha vore utslagsgjevande.

Ønskjer meir diskusjon

– Etter at innlegget kom på trykk, har fleire personar vendt seg til meg med liknande opplevingar som dei eg nemner der, seier Sydnes til Forskerforum.

– Eg trur ein med fordel kan sette grenser for kva fagekspertane kan uttale seg om, seier Leiv. K. Sydnes.

– Evaluering av forsking er sjølvsagt ingen eksakt vitskap, men eg meiner likevel det er for enkelt, under dekke av anonymitet, å slenge ut av seg meiningar som kan vere irrelevante, men få uforholdsmessig stor innverknad på poengsummen.

Slikt er ikkje like lett å sleppe unna med når ein må diskutere saman i ei gruppe, er erfaringa hans.

– Meir kontakt og diskusjon andlet til andlet er vegen å gå, etter mitt syn.

Sydnes hevdar at kompetansen til søkarane ofte blir dømd ut ifrå kva tidsskrift dei har publisert i, sjølv om tidsskriftet sin plass på rankinglistene ikkje seier noko om kvaliteten på éin einskild artikkel. I 2012 vart eit sett med retningsliner (San Francisco Declaration on Research Assessment, DORA) lansert nettopp for å hindre slik misbruk av tidsskriftrankingar.

– Men eg opplever at det framleis er utbreidd å bruke tidsskrift som mål på kvalitet, sjå berre på korleis institusjonane gjer eit stort nummer av at nokon får ein artikkel inn i Nature. Mange har ikkje eingong høyrt om DORA-retningslinene, seier han.

– Standardisering er viktig

Administrerande direktør i Forskingsrådet, John-Arne Røttingen, svarar på innlegget frå Sydnes. Der fortel han at Forskingsrådet ikkje nyttar anonyme ekspertar i vurderinga av søknader. Til Forskerforum utdjupar Røttingen korleis dei arbeider med å forbetre prosjektvurderingane:

– Vi har gjort ei eiga kunnskapsoppsummering av korleis ein kan sette saman og administrere fagpanel best mogleg, og har hatt eit pilotprosjekt i haust der vi har prøvd ut nokre endringar. Vi ser også på korleis vi kan standardisere utlysingskriteria på tvers av programma våre.

Røttingen kjenner seg ikkje att i kritikken frå Sydnes av at irrelevante detaljar i evalueringane ofte trekker ned poengsummen i ein elles god søknad, men vedgår at ulike program kan ha utvikla ulike rutinar for evaluering.

– Eg trur standardisering er viktig både for dei som skal evaluere søknadane, og for forskarar som gjerne søker midlar frå fleire av programma våre. Samstundes er det viktig at vi er tydelege på kva vi ønskjer tilbakemelding på frå ekspertane, utan at det blir for detaljert.

Misbruk av tidsskriftrangering

Professor Stephen Curry inviterer Forskningsrådet til å signere DORA-erklæringen.

I februar annonserte dei sju britiske forskingsråda at dei hadde signert DORA-erklæringa, og dei la samtidig fram ein enkel handlingsplan for implementering. Leiar for styringskomiteen for DORA, professor Stephen Curry ved Imperial College London, skriv i ein e-post til Forskerforum at tidsskriftrankingar ofte blir misbrukte ved evaluering av forsking fordi dei er lett tilgjengelege og gjev eit skinn av objektivitet.

– Difor har ikkje implementeringa av DORA-retningslinene gått så raskt som vi kunne håpe. Den største verknaden er at folk har byrja tenkje over dette med forskingsevaluering. No har DORA fått betre finansiering, og vi vonar å få fortgang i arbeidet. Dersom det norske Forskingsrådet ønskjer å forplikte seg til opne og nøyaktige evalueringsprosessar, ville vi bli glade om dei også ville signere erklæringa, seier Curry.

Spørsmål om ressursbruk

Røttingen fortel at Forskingsrådet sluttar seg til prinsippa i DORA, men førebels ikkje har signert.

– Vi har prinsippa i DORA-erklæringa med oss i arbeidet vi no gjer med å forbetre prosessane våre, og så signerer vi når vi meiner at vi er i stand til å etterleve dei, seier han.

I mellomtida følgjer dei med på korleis andre aktørar gjennomfører sine prosessar.

– Ved prosjektsøknader er jo den vitskaplege produksjonen til dei sentrale forskarane eit element i vurderinga, men det blir eit spørsmål kor mykje ressursar ein kan bruke. Korleis gjer andre aktørar dette, gjer dei ei skjønnsmessig vurdering av publikasjonslista til forskaren, eller går dei inn og les fleire einskildartiklar? Det siste tvilar eg vel på. Det er trass alt intensjonen med prosjektet og den faglege kvaliteten på dette som er det viktigaste, seier Røttingen.

  • Les mer