Av Julia Loge
Publisert 12. juni 2020 kl. 12:18
Fagfellevurdering, eller peer-review, er det som skiller vitenskapelige tidsskrift fra sosiale medier, og for unge forskere kan de gi en kickstart eller bråstans. Men hvordan lærer man håndverket?
Fagfellevurderingene er en sentral del av den akademiske virksomheten, selve gullstandarden som hever publiserte forskningsresultater over synsing og kvakksalveri. Vurderingene skal gi tidsskriftredaktørene svar på om det er svakheter i forskningsmetoden, og om den bringer ny kunnskap.
Men selve prosessen foregår nærmest i mørket, eller i hvert fall ofte på kveldstid etter at ungene er lagt, det er ubetalt og gir ingen uttelling.
Så hva gjør man, første gang en forespørsel dumper inn på e-post? Hva skiller de gode fra de dårlige vurderingene? Vi har spurt fire forskere om deres råd og arbeidsmåter.
Kalle Moene, professor emeritus i samfunnsøkonomi, Universitetet i Oslo
– Ikke mist motet av en negativ tone. Les din første tilbakemelding sammen med veilederen din.
Jutta Dierkes, professor i klinisk ernæringsfysiologi, Universitetet i Bergen
– Ikke si ja hvis ikke du har tid til å gjøre en skikkelig jobb, men det er lov å be om utsettelse.
Pierre Lison, seniorforsker i informatikk ved Norsk Regnesentral
– Se til hva de andre refereene skriver hvis du er redd for å være for snill eller for kritisk.
Hilde Larsen Damsgaard, dosent i pedagogikk, Universitetet i Sørøst-Norge
– Bruk eksempler og skriv en tilbakemelding som gir forfatteren et grunnlag til å jobbe videre.
Les sammendraget nøye. Virker artikkelen interessant nok til at du er villig til å sette av en arbeidsdag til den? Vurder om dette er innenfor din ekspertise: Kan du nok om feltet til å yte rettferdighet til en som har jobbet lenge med denne artikkelen?
– Den vurderingen bruker jeg faktisk litt tid på, sier Kalle Moene.
Sitter du midt i en stor bunke eksamensbesvarelser, må du kanskje si nei, eller be om en utsatt frist. Eller hvis artikkelen er for nær en faglig konflikt du står i, er det kanskje også greit å si nei.
Siden arbeidet verken lønnes eller telles, kan det kanskje være fristende å ta noen snarveier. Forskerforum dristet seg til å spørre Jutta Dierkes hvilke snarveier man kan ta, men ble avvist:
– Nei, enten har man tid, eller så har man ikke tid. Det har med respekt å gjøre. Har man ikke anledning til å gjøre det skikkelig, så si nei.
Tilbakemeldingen skal bidra til at det akademiske fellesskapet beveger seg framover, si fra om eventuelle feil og peke på potensialet, hva som skal til for at det kan publiseres, utdyper Hilde Larsen Damsgaard.
– Fagfellevurdering er et stort ansvar, det kan lukke og åpne dører, og det handler om kvaliteten i forskningen vår.
Kalle Moene kan bruke en hel dag på å vurdere en god artikkel, mens en dårlig artikkel tar et par timer. Om han ikke jobber med artikkelen hele dagen, så tar den i hvert fall opp «tid i hodet» den dagen. Når han har lest artikkelen, lar han den ligge en stund, før han tar den opp igjen, går nøye gjennom og lager rapporten.
Da er det også lettere å trekke fram noe positivt, selv om den umiddelbare reaksjonen var at «dette er håpløst».
Når du jobber med vurderingen, må du ta to hensyn, mener Damsgaard. Du har ansvar for å sikre kvaliteten og for at forskningen er god, men samtidig må du være klar over at det sitter mennesker bak. For noen kan svaret ditt avgjøre om de blir værende i akademia.
– Å sikre kvalitet og ikke ta motet fra noen som er i startfasen av en karriere, det er en vanskelig balansegang, sier Damsgaard.
Dierkes mener likevel at man skal være ærlig og tydelig, de som sender artikler til tidsskrifter, er ferdig utdannet, og da må man forvente at de kan håndverket. Det betyr også at hun avviser artikler ganske ofte.
– Som hovedregel kan man spørre seg hvorfor det er viktig at den artikkelen publiseres, er det farlig hvis den ikke publiseres?
På den andre siden påpeker Kalle Moene at i tillegg til at artikler som kunne blitt gode, blir avvist for tidlig, så finnes også den motsatte feilen, at artikler aksepteres for tidlig og burde blitt jobbet mer med.
– Det er noen som benytter anledningen til å skjelle ut et paper, men det er feil, sier Kalle Moene.
Som redaktør for et internasjonalt økonomitidsskrift mottok han mange rapporter. Blant verstingene var de som tydde til sterke formuleringer.
– Noen bruker ord som at «dette er håpløst». De trenger ikke det, redaktørene trenger informative rapporter med et nøkternt språk. Må du, så kan du bruke sterke ord i et følgebrev til redaktøren.
Hilde Larsen Damsgaard mener det er viktig å ikke bare felle dom, men peke på veien videre. Hun gjør det ved å bruke eksempler fra teksten for å vise hvordan begreper kan bli tydeligere definert, eller hvordan det kan kuttes. For henne er konkrete tilbakemeldinger det beste grunnlaget for å jobbe videre, men det har også en annen positiv effekt:
– Det er en mer forskningsmessig tilnærming, for i forskning er vi opptatt av transparens og av at vi skal være tydelige om hva som ligger til grunn for konklusjonene vi trekker, sier hun.
Det er alltid noe som ikke er helt perfekt. Og selv om du skulle oppdage en graverende feil, så bør ikke det farge resten av vurderingen. Dierkes mener at ofte er eksperimentet eller forsøket som ligger til grunn, for dårlig beskrevet, men det betyr ikke nødvendigvis at forsøket er dårlig.
– Selve eksperimentet kan være ganske OK, sier hun.
Det er ikke uvanlig at unge forskere er strengere i sine vurderinger enn det egentlig er grunnlag for. Kalle Moene mener det kan skyldes at de vil signalisere til redaktøren at de er seriøse.
Når du har takket ja til en artikkel som ligger midt i interessefeltet, hender det også at du er uenig med forfatterne. Jutta Dierkes anbefaler å se ekstra nøye på referanselitteraturen og metodene når artikkelen skriver seg inn i en het faglig debatt, og for å kunne vurdere uavhengig av ditt eget standpunkt. Damsgaard advarer mot å bli negativ til hele arbeidet bare fordi ditt eget arbeid ikke er referert til.
– Man må vaksinere seg mot å ri kjepphester, ofte er det konkurranse om perspektiv på en sak, da er det viktig å ikke ri kjepphestene sine, sier Kalle Moene.
Altfor mange sier i realiteten at den som har skrevet artikkelen, egentlig burde skrevet en annen artikkel, fordi de vurderer perspektivet, ikke hvor godt forskningen er utført gitt det perspektivet som er valgt. Moene mener at de da går ut over den begrensede rollen en fagfelle skal ha, og over i det som bør være redaktørens rolle: å bestemme tidsskriftets fagpolitiske retning.
– Fire øyne ser mer enn to, sier Jutta Dierkes.
Hun fikk sin første fagfellevurdering som samarbeid med veilederen sin da hun jobbet med doktorgraden. Nå inviterer hun stipendiatene sine til å jobbe sammen med henne i vurderingene hun gjør. Slik kan fagfellevurderinger bli en viktig læringsarena for stipendiatene til de skal skrive egne artikler og beskrive egen forskning.
Det kan også være lurt å be en annen se på teksten hvis du er redd for at du er for snill eller for kritisk. Pierre Lison anbefaler også å lese og lære av de andre som vurderer samme tekst.
Sist, men ikke minst kommer Kalle Moenes råd: Første gang du mottar en slik tilbakemelding, kan det være lurt å lese den sammen med veilederen din for å ikke miste motet av negative formuleringer.
Hilde Larsen Damsgaard:
– Første gang jeg fikk en fagfellevurdering, tenkte jeg at jeg aldri skulle skrive mer. Jeg hadde lansert en diskusjon som kunne være relevant ut fra dataene, men ble kritisert fordi det var en interessekonflikt mellom det jeg mente burde diskuteres, og fagfellenes synspunkt. Jeg oppdaget at det var en stilltiende enighet om at dette ikke skulle diskuteres. Jeg var heller ikke vant til måten de jaktet på feil på. Slik tenkte jeg helt til noen forklarte meg at det er sånn det er. Det har gjort meg veldig bevisst på at en slik tradisjon vil ikke jeg være med på å videreføre.
Kalle Moene:
– Da jeg begynte å skrive tidlig i 1980-årene, var det ingen skriveopplæring på vårt institutt. Jeg skrev til et anerkjent tidsskrift og fikk full klaff på første forsøk. Så da sa jeg ikke noe om det, men tenkte det var vanlig, som når du sender innlegg til avisen. Senere har jeg lært at det ikke alltid er sånn.
Pierre Lison:
– Som ung forsker var jeg veldig spent. Og du venter i flere måneder, spent på om du er tatt inn til en konferanse eller ikke, for det kan skape karriere om man blir tatt inn. Det er et tilfeldighetselement der, man er avhengig av personen man får, om den hadde tid og likte artikkelen eller ikke. Noe de gjør på et par timer, kan påvirke en hel karriere.
Jutta Dierkes:
– Jeg fikk mine første oppgaver som referee fra min veileder da jeg var ph.d.-kandidat. Det er en lærerik prosess, for man må prøve og feile, og da må man ha noen forbilder. Så det er lurt at to leser og diskuterer. En ph.d.-student gjør det ofte på en veldig god måte, men de ser ikke helhetsbildet. Det er typisk når man er under utdanning, man ser gode poeng, men kommer ikke til et avrundet resultat.
Les også:
