Av John-Arne Røttingen, administrerende direktør i Norges forskningsråd
Publisert 6. mars 2018 kl. 14:44
Fagfellevurdering er ikke en objektiv virksomhet. Det viser all forskning om nettopp fagfellevurdering. Forskere er klar over dette og er vant til å få fagfellevurderinger på sine forskningsartikler som kan sprike i ulike retninger og være av variabel kvalitet og omfang.
Som forskere er vi ikke ukjente med at en artikkel kan få en helt annen vurdering i tidsskrift nummer to enn det første vi forsøkte. Tilsvarende vil også fagfellevurderinger av prosjektsøknader sprike og kunne ha varierende kvalitet.
Som i redaktørenes jobb i fagtidsskriftene etterstreber vi i Forskningsrådet å sørge for at fagfellevurderingen er god og gir et riktig bilde og en konstruktiv tilbakemelding til søkerne. Det betyr at eksperter som ikke gjør grundig nok arbeid, ikke vil få fornyet tillit ved neste korsvei. Det betyr også at vi i Forskningsrådet benytter paneler som sammen kan gi en samlet vurdering av prosjektet.
I et innlegg i Forskerforum nr. 2/2018 retter professor Leiv K. Sydnes kritikk mot evalueringen av forskningsprosjekter i Forskningsrådet og andre institusjoner som finansierer forskning.
Sydnes hevder blant annet at det ikke er «måte på hva kompetente forskere og fagfolk får seg til å skrive anonymt uten faglig belegg».
I Forskningsrådet benyttes ikke anonyme eksperter i søknadsvurderingen. Alle navnene på fagekspertene publiseres på våre nettsider og er offentlig tilgjengelig når søknadsbehandlingen er avsluttet.
Fagekspertene er også klar over at navnene deres vil bli offentliggjort. Søkerne får opplyst hvilke eksperter som har deltatt i vurderingen av deres søknad. Mye av arbeidet med søknadene foregår i paneler med flere medlemmer som diskuterer seg fram til en felles vurdering som formidles til søkerne. Slik sikrer vi at det er flere fagpersoner involvert i evalueringsprosessen, og vi blir mindre sårbare med hensyn til eventuelle personlige synspunkter. Det legges ned mye arbeid i å sette sammen paneler med riktig kompetanse til å vurdere søknadene.
De siste årene har det pågått en interessant debatt om hvorvidt alle ledd i prosessen rundt fagfellevurderingen bør være offentlig tilgjengelige, og Forskningsrådet vil se nærmere på om vi skal gå enda lenger i retning av åpen fagfellevurdering.
Sydnes ønsker – med henvisning til DORA-erklæringen – at forskernes vitenskapelige produksjon skal leses og vurderes på bakgrunn av innholdet i publikasjonene og ikke ut fra hvilke kanaler de er publisert i.
Forskningsrådet støtter prinsippene i DORA og ønsker ikke at «impact factor» skal brukes i søknadsvurderingen. Vi har som mål å etterleve DORA i størst mulig grad, og vil alltid vurdere den faglige kvaliteten i prosjektsøknaden på egne ben. Men det er noen utfordringer knyttet til å vurdere søkernes tidligere forskning gjennom å studere enkeltartikler, særlig når søknadsomfanget er stort.
De siste årene har Forskingsrådet for eksempel mottatt mellom 1200 og 1400 søknader til FRIPRO alene. Det vil være en svært ressurskrevende oppgave for medlemmene i ekspertpanelene å lese et knippe utvalgte publikasjoner fra hver enkelt søker.
Det som ofte skjer i praksis, er da at fagekspertene foretar en skjønnsmessig vurdering av omfanget av søkernes vitenskapelige arbeid og hvor de har publisert innenfor de respektive fagfeltene. Dette inngår i en helhetlig vurdering av søkernes kompetanse, hvor også andre faktorer enn publiseringene blir lagt vekt på.
Forskningsrådet mottar årlig mellom 5000 og 6000 søknader til nye FoU-prosjekter. Innvilgelsesprosenten i mange av virkemidlene er svært lav grunnet tilgjengelig budsjettramme.
Det er ikke til å unngå at en del søkere blir skuffet over avslag, og mener fagekspertene enten tar feil eller at vurderingene er dårlig begrunnet.
Hverken Forskningsrådets system for søknadsbehandling eller annen fagfellevurdering er perfekt. Av og til skjer det feil, eller vurderingene er mangelfulle. Samtidig viser en undersøkelse fra NIFU at flertallet av søkerne opplever søknadsprosessen som nyttig, selv om de får avslag.
Også Forskningsrådets egne brukerundersøkelser viser at et stort flertall av både søkere og prosjektledere har et positivt helhetsinntrykk av vår virksomhet.
Dette betyr ikke at vi ikke kan bli bedre både når det gjelder kvaliteten på de vurderingene som gjøres, og tilbakemeldingene til søkerne. Forskningsrådet arbeider kontinuerlig med blant annet rutiner og metoder for valg av eksperter, hvordan ekspertpanelene settes sammen og arbeidet i panelene gjennomføres. Vi gjennomfører jevnlig evalueringer av virkemidlene våre og utvikler dem med sikte på bedre kvalitet i alle ledd av virksomheten, inkludert søknadsbehandlingen.
