Av Av Leiv K. Sydnes, professor, Universitetet i Bergen
Publisert 11. februar 2018 kl. 07:00
Å trekke på årene som forsker og samtidig lede en internasjonal komité som blant annet fokuserer på forskningsintegritet, har sine sider. En av disse er at yngre forskere (ikke bare fra Norge) tar kontakt for å lufte irritasjon og frustrasjon over prosjektevalueringer. Det har jeg involvert meg i fordi jeg tenkte at det kunne gi nyttig innsikt i hvordan personlige synspunkter, uten faglig relevans, kan påvirke bedømmelse av forskningsprosjekter.
Og innsikt har det gitt, men dessverre ikke av det oppløftende slaget; det er nemlig ikke måte på hva kompetente forskere og fagfolk får seg til å skrive anonymt uten faglig belegg.
Gang på gang, og i større grad i evalueringer av frie prosjekter enn programprosjekter, har jeg sett at uholdbare, irrelevante kommentarer synes å ha ført til lav poengtildeling. Kommentarene kan samles i tre hovedkategorier. En vesentlig gruppe består av omtale av søkernes kompetanse og vitenskapelige produksjon basert på hvilke tidsskrifter søkerne har publisert i. Dette er et åpenbart brudd på San Francisco Declaration on Research Assessment (DORA) som slår fast det selvfølgelige, at det er innholdet og ikke publiseringskanalen som dokumenterer vitenskapelig kvalitet. Derfor, sier deklarasjonen, skal det ikke argumenteres med impact factor og andre metriske indikatorer i bedømmelsen av vitenskapelig kvalitet; artikler skal leses og evalueres ut fra innholdet.
Dessverre er brudd på dette grunnleggende prinsippet temmelig utbredt, men det er ingen unnskyldning.
Velkjent er bruken av Nature-publikasjoner for å dokumentere briljant forskning, til tross for at det er dokumentert (av professor John M. Ball ved University of Oxford) at sannsynligheten for å bli sitert i vitenskapelige medier ikke er signifikant større om en solid publikasjon er publisert i Nature sammenlignet med et annet godt, relevant tidsskrift. Og direkte uetisk blir det når søkere med solid vitenskapelig produksjon oppnår middels uttelling fordi de har publisert i andre tidsskrifter på vårt nasjonale nivå 2 enn de fagkonsulenten i tidsskriftet setter høyest!
En annen gruppe kommentarer er knyttet til bedømmelsen av evner til å lede forskningsprosjekter. Her har jeg sett forbausende negativ synsing uten faglig belegg.
En del har gått ut over yngre forskere som har etablert samarbeid med velrenommerte kolleger. Dette burde etter mitt syn tale til deres fordel, og da forstår jeg godt at yngre forskere føler seg temmelig provosert av å lese at slikt samarbeid i stedet tolkes som dokumentasjon på at de ikke er i stand til å styre prosjekter på egen hånd.
En tredje kategori kaller jeg ubegrunnet nedvurdering på temmelig fritt og uklart grunnlag. Spesielt innen samfunnsfagene har jeg sett svin på skogen, og her dreier det seg som oftest om kritikk av den metodiske tilnærmingen som er valgt. Å gjøre greie for valg av metode i slike prosjekter er naturligvis viktig, men når vurderingen innskrenker seg til å slå fast at valget er dårlig eller direkte feil uten noen form for begrunnelse, blir evalueringen meningsløs. Det samme er resultatet når lovordene er mange, men på grunn av et par runde, irrelevante innvendinger, som ikke engang klargjøres, blir poengtildelingen 4–5. Og når ble det for eksempel et krav at prosjekter som fører fram til et eller annet produkt, for eksempel kjemiske forbindelser, skal gjøre produktene fritt tilgjengelige for kolleger før egenskaper er klarlagt og opphavsrettigheter ivaretatt?
Norges forskningsråd og tilsvarende organer i andre land har retningslinjer for hvordan gode evalueringer skal gjennomføres, men det er åpenbart ikke nok.
Eksemplene over, som på ingen måte er heldekkende, illustrerer at evalueringssystemet har korpsmedlemmer som ikke holder mål. Det er vel ikke akkurat overraskende, og det er derfor etablert systemer for innlevering av klage.
I grove tilfeller har jeg oppfordret søkere til å benytte seg av dette, men både i Norge og utlandet er det åpenbart få, om noen, som tror at det vil føre fram. Det klages derfor lite. Dette er urovekkende, fordi det fører til at tilliten til evalueringssystemet svekkes, og at forskere ikke søker.
Et spørsmål er derfor interessant å få besvart: Hvordan evaluerer Forskningsrådet (og andre organer) rapportene fra sine fagkonsulenter?
Les mer:
