Publisert 16. februar 2017 kl. 00:25
Dei siste åra er det blitt stadig meir snakk om ei «replikasjonskrise» i vitskapen, først og fremst innanfor psykologi og biomedisin, der det viser seg at ein stor del av forskingsresultat ikkje er reproduserbare. I Forskerforum nr. 1/17 skreiv vi at Nederland, som eit resultat av dette, har etablert det første offentlege programmet for etterprøving av tidlegare studiar, der tre millionar euro skal fordelast over tre utlysingsrundar.
Helge Waldum
Men sjølve forskinga er berre éi side av saka. Forskingsresultat «gjeld» ikkje før dei er publiserte, aller helst i eit velrenommert tidsskrift.
Kjempar om innpass
– Innanfor feltet mitt, som er syresekresjon i magesekken, er det mange som legg ned store ressursar i å få publisert banebrytande studiar i dei store tidsskrifta. Så går det nokre år, og ein høyrer ikkje meir til dei. Det får meg til å tenkje at dette mønsteret ikkje berre gjeld mitt eige felt, men at det er slik på andre område også, seier Helge L. Waldum.
Waldum er professor ved Institutt for kreftforsking og molekylær medisin ved NTNU, og stiller spørsmål ved kvifor ein legg så stor vekt på publiseringskanalen når ein skal vurdere forsking. Det kan freiste til publisering av upålitelege resultat, meiner han.
– Storparten av dei som vurderer forsking, ser berre etter kva for tidsskrift artikkelen er publisert i. Det fører til at mange vel å knytte til seg internasjonalt kjende namn som medforfattarar for å få innpass i dei store tidsskrifta. Det blir ein måte å posisjonere seg på, seier han.
Les Waldums innlegg: Hvorfor publiseres sensasjonelle ikke-reproduserbare studier?
Resultat av karrierebygging
Waldum meiner den utviklinga han skisserer, er eit naturleg resultat av måten karrierevegen for forskarar er lagt opp på. I staden for å vurdere kvaliteten på den forskinga ein person produserer over tid, blir namnet på tidsskriftet brukt som substitutt.
– I tillegg til presset for å publisere i dei rette tidsskrifta spelar ofte økonomiske interesser ei rolle for kvar ein kan publisere. I mine 30 år som forskar har eg til dømes fleire gonger opplevd at økonomiske interesser knytt til syrehemmande legemiddel gjer det vanskeleg å publisere andre syn, seier han.
Les også: Ekspertutvalg: Slik skal norsk forskning bli bedre
– Ja, det er ein konflikt mellom karrierebygging og samfunnet si nytte av forskinga, meiner Charlotte J. Haug. Ho er internasjonal korrespondent for New England Journal of Medicine (NEJM) og tidlegare sjefredaktør i Tidsskrift for den norske legeforening, og ho har delteke i internasjonale forum for tidsskriftredaktørar gjennom mange år.
– Incentivordningane som oppmodar til mest mogleg publisering, og i dei rette kanalane, er ikkje gunstige og kan føre til at folk kuttar hjørne. Men det er dette systemet vi har, og det er ikkje noko universiteta er blitt påtvinga. Dei har ønskt det sjølve.
Mange årsaker til krisa
Men ikkje-reproduserbar forsking er ei kompleks problemstilling som ikkje kan kokast ned til uærlege forskarar som tek snarvegar.
– I ei ideell verd fungerer forsking slik at ein legg fram resultata og metodane sine i så stor detalj at andre kan reprodusere resultatet, og først når det er reprodusert, blir det sant. Publiseringsindustrien er bygd opp kring det prinsippet. Men det er mange grunnar til at etterprøving kan vere vanskeleg. Store kliniske medisinske studiar kan til dømes vere etisk uforsvarlege å gjenta. Dersom studien har som utgangspunkt at ein behandlingsmetode har betre effekt enn ein annan, så utset ein per definisjon deltakarane for risiko, peikar ho på.
Les også: Universitet og forlag set hardt mot hardt
I tillegg er forsking blitt så komplekst at det i seg sjølv gjer det vanskeleg å reprodusere resultata, meiner ho.
– Vurder innhaldet, ikkje tidsskriftet
Det er godt mogleg at forskinga er blitt meir kompleks, og at det gjer det vanskelegare å vurdere, seier Helge Waldum. Han ønskjer likevel at dei som skal vurdere søknadar om prosjektmidlar eller stillingar, skal leggje meir vekt på sjølve innhaldet i forskinga.
– Det er klart at karriereutvikling spelar ei kjemperolle, og kanskje har ein ikkje tid til å vente ti–tjue år på at den faglege verdien av forskinga skal bli anerkjent. Men i dag startar dei fleste veldig tidleg, og den faglege utviklinga går raskt. Det burde vere mogleg å gjere ei skikkeleg vurdering av artiklar når dei er blitt nokre år gamle, i staden for å berre sjå på kva tidsskrift dei er publiserte i, meiner han.
Les også: – Vi er ikke forskere fordi det er så glamorøst og vi tjener så mye penger
Den sterke vektlegginga av tidsskrift gjer det dessutan vanskeleg å få publisert replikasjonsstudiar eller resultat som strider mot det som er blitt publisert i topp-tidsskrifta, hevdar han.
– Det at tidsskrift ikkje vil publisere replikasjonsstudiar, er ein myte. Kjem det inn ein solid replikasjonsstudie til NEJM, så kan eg love at han blir publisert, seier Charlotte Haug.
– Når det gjeld negative studiar, så finst det to typar: Er det ein sterk og god studie som viser at noko ikkje har effekt, så vil ein få det publisert. Men den andre typen er mykje meir vanleg: dårlege studiar som ikkje gjev grunnlag for å konkludere i noka retning. Slike studiar kjem sjeldan på trykk. Tidsskriftredaktørar vil sjølvsagt gjerne publisere gjennombrot, men dei er også heile tida på vakt mot å bli lurt. Det er noko alle dei store tidsskrifta har opplevd. Det er klart at problemet med å reprodusere forsking uroar redaktørar, men det ein ser mest av, er rett og slett dårlege studiar.
Les også: Vitenskapelig publisering: Lange titler gir færre siteringer
Forståing framfor posisjonering
Helge Waldum ser teikn til at pengane følgjer dei nyaste metodane og dei største internasjonale namna. Sjølv er han ofte blitt kritisert for å ikkje leggje tilstrekkeleg vekt på internasjonale samarbeidspartnarar. I staden har han fokusert på å forstå dei biologiske funksjonane.
– Vi er eit lite land, og det einaste vi kan konkurrere om, er idear og fagleg forståing, ikkje metodar og ressursar. Men ved å ikkje prøve å knyte til oss internasjonale namn går eg jo imot ein av dei sterkaste forskingspolitiske trendane, seier han.
Charlotte Haug nyttar nobelprisvinnarane May-Britt og Edvard Moser som døme på korleis rammevilkåra for forskarkarrierar har endra seg.
– Hadde ikkje trondheimsmiljøet gitt dei ro til å arbeide i lang tid før resultata byrja å kome, så ville det ikkje blitt nokon nobelpris. I dag må ein vise resultat fort, og kan ein ikkje det, er det ut. Dette har mykje å seie for kven som blir forskarar, og korleis ein tenkjer om forsking, seier ho.
– Må lære meir om statistikk
Forskarar må ta større ansvar for å bruke statistiske testar på rett måte, meiner tidlegare kreftforskar.
Det er foreslått mange tiltak som kan gjere forskingsresultat meir pålitelege, mellom anna publiserte eitt av tidsskrifta i Nature-gruppa nyleg «A manifesto for reproducible science» Mellom forfattarane var John Ioannidis, som vekte oppsikt då han i 2005 hevda at dei fleste publiserte forskingsresultat er upålitelege, og Brian Nosek, som er ein av initiativtakarane 0bak eit prosjekt som prøvde å reprodusere funna frå 100 kjende psykologiske studiar.
Betre statistikk-kunnskapar er ein gjengangar på listene over moglege tiltak.
– Det finst mange statistiske testar ein kan bruke på datamengdene ein har samla inn, og ein kan ofte greie å kna dei slik at ein endar opp med eit statistisk signifikant resultat. Difor er det viktig å forstå kva for testar som passar i ulike situasjonar, seier Sigrid Bratlie. Ho er rådgjevar i Bioteknologirådet og tidlegare kreftforskar, og har lenge etterlyst meir statistikk i forskarutdanninga.
– Statistikk er ikkje enkelt, og det er lite obligatorisk statistikkundervising på forskarutdanningane. Dei siste åra har dessutan biomedisinsk forsking generert stadig større mengder data. Då held det ikkje å kjenne til nokre grunnleggande metodar, ein må kunne svært mykje, seier ho.
I prinsippet skal feil bruk av statistikk eller feiltolking av resultat fangast opp i fagfellevurdering, men ein kan ikkje leggje heile dette ansvaret på fagfellar som må vurdere artikkelen på kort tid og utan betaling, meiner ho.
– Fagfellevurdering er eit godt forankra system, men ein greier ikkje å halde tritt med det enorme volumet av artiklar. Forskarar må ta meir ansvar for å bruke statistiske metodar rett, eller samarbeide med statistikarar. Det er veldig vanskeleg å vere ekspert både på sitt eige fagområde og på statistisk metodebruk.
Les også:
