Et oppgjør med forskningen

Av Aksel Kjær Vidnes

Publisert 3. januar 2020

Jon Helgheim får krass kritikk for å så tvil om forskningens troverdighet. Men har han ikke litt rett?

«Det finnes ingen standarder for hva som er reell forskning og ikke.»

Flere satte kaffen i halsen da Fremskrittspartiets stortingspolitiker Jon Helgheim sendte ut denne meldingen på Twitter i slutten av oktober.

Han hadde i lengre tid ergret seg over forskningsrapporter han hadde lest på immigrasjons- og justisfeltet. Han mente de var preget av forskernes egne oppfatninger og ikke det empirien tilsa.

– Klart det blir bråk

På sitt kontor på Stortinget sitter Frps innvandringspolitiske talsmann ganske så upåvirket av kritikken og debatten som fulgte utover i november og desember, i Dagbladet, TV2, Dagsnytt 18 og på Forskerforbundets forskningspolitiske seminar.

– Det er klart det blir bråk når man sier noe sånt, men innenfor akademia vet jeg jo at dette diskuteres, og det er et fenomen man er klar over. Men når en politiker sier det, blir det altfor mye for mange forskere, sier Helgheim.

Påstanden om at forskningen er uten standarder, falt mange tungt for brystet. Minnet ikke dette om Donald Trumps twittermeldinger, som har utviklet seg til ikke bare å omfavne «fake news», men også «fake science»?

Forskerforbundet svarte Helgheim i en lengre meldingstråd som skapte mye entusiasme.

«For det første bygger forskning på vitenskapelig metode, som handler om å teste teorier mot virkeligheten, for eksempel gjennom eksperimenter. Måleobservasjoner, statistikk eller historiske kilder er eksempler på empiri som kan bidra til å styrke eller svekke en teori», skrev Forskerforbundet.

Fagforeningen fortsatte med en rekke kvalitetskriterier for forskning, som at forskningsresultatene er reproduserbare, fagfellevurderte, at forskningsetikk følges, at resultatene kritiseres. Forskerforbundet oppsummerte: «I en tid hvor tilliten til vitenskapen er under press, fortjener forskerne å ha våre fremste folkevalgte i ryggen.»

– Hvis forskerne mener de fortjener en ukritisk støtte fra politikere, har de virkelig misforstått, svarer Helgheim.

– Det kunne vært en god start om forskningsmiljøet selv begynte å rydde opp. De burde tatt initiativ, med et snev av ydmykhet, til å se på at det kan være en grunn til at politikere kritiserer, legger han til.

Det føles som en felle, men … fristelsen er for stor. Skal vi ikke gjøre det vi gjør best i forskningen – se oss selv litt selvkritisk i kortene?

Reprodusere, prerusodere…

Vi dveler ikke ved Helgheims påstand om at norsk innvandringsforskning er politisert. Spørsmålet om standarder i forskning er større. Det handler om vi overhodet kan stole på forskning.

Øyvind Molberg i hvit frakk i sykehusgang
– Veldig mye a problemene i forskning handler ikke om at forskerne ikke gjør en god jobb, men strukturen, sier professor Øyvind Molberg. Foto: Aksel Kjær Vidnes

På Rikshospitalet i Oslo treffer vi professor Øyvind Molberg, som er opptatt av dette. Han leder forskningsgruppen for revmatologi, og han bekymrer seg for at tilliten til forskning er under press. Ikke nødvendigvis fra politikere, men fra forskningssystemene selv. Han mener forskningen har så mange problemer at vi bare kan rekke over et lite utsnitt. Han trekker frem manglende reproduserbarhet som et alvorlig problem:

– Vi er veldig opptatt av å finne ut mest mulig om en sykdom for å kunne forutse forløpet og sette inn de rette tiltakene på best mulig tidspunkt. Innenfor dette skjer det masse forskning, men forskningen er nesten utelukkende problematisk, for det er nesten umulig å reprodusere den.

Dette er et problem særlig innen medisin og psykologi, men også andre vitenskaper som samfunnsvitenskapene. Flere studier har avdekket at så mye som 50–60 prosent publisert forskning innen medisin ikke kan reproduseres. Da kan vi helt enkelt ikke vite om studiene stemmer.

Hvorfor er det slik? Det kan være naturlige forklaringer, som at det er vanskelig å få til helt like forhold når man forsker på ulike mennesker med utallige individuelle variabler. Men det er også strukturelle problemer. Manglende internasjonale databaser med gode forskningsdata i kombinasjon med kortsiktig finansiering gjør ikke saken bedre, mener Molberg.

– Vi er så avhengige av kortsiktig finansiering at folk bare blir opptatt av hva de kan hente ut her og nå, i stedet for å bygge opp langsiktige studier og forskningsgrupper som gir et mer robust grunnlag, sier Molberg.

Gode nyheter! Nei, forresten

Heldigvis har vi de vitenskapelige tidsskriftene, sier du. Selve navet i kvalitetskontrollen. Men det er jo de som publiserer all denne ikke-reproduserbare forskningen … For den intuitive leser vil det være åpenbart at vår neste gjest ikke har så gode nyheter, han heller.

– Hvis forskere er redd for tilliten til forskning, bør de feie for egen dør. Trekk tilbake de artiklene som må trekkes tilbake, sier Ivan Oransky i Retraction Watch. Foto: Privat

Hils på Ivan Oransky, som var med å grunnlegge Retraction Watch, bloggen som holder øye med tilbakekallelser av forskningsartikler som inneholder feil eller regelrett juks.

– Man sier ofte at hvis noe er galt i forskningen, vil det bli fanget opp og rettet. Hvis forskningen er feil, vil folk slutte å sitere den. Men jeg tror ikke det systemet fungerer så bra som vi skulle ønske. Å prøve å få tidsskrifter til å trekke forskning tar lenger tid enn det burde, sier Oransky på telefon fra New York.

Han er lege og redaktør i helsenettstedet Medscape, og til daglig underviser han i journalistikk ved New York University. Oransky forteller at antallet tilbakekallelser fra vitenskapelige tidsskrifter ikke er særlig høyt. Han mener det reflekterer manglende evne til å ta tak i problemene i forskning mer enn det reelle nivået på problematiske artikler.

– Av noen millioner artikler som blir publisert hvert år, er det kun 1400 tilbakekallelser. Det er åpenbart at det burde vært flere.

– Det er insentiver til å publisere, men ingen insentiver til å korrigere.

Ivan Oransky, en av grunnleggerne av Retraction Watch

Hans anslag, basert på studier der man har gått systematisk gjennom publiserte forskningsartikler og funnet feil, er at minst to prosent av publiserte artikler burde vært trukket. Han har ingen generell mistro til de vitenskapelige forskningsmetodene, men til systemene og insentivstrukturene.

– Det er insentiver til å publisere, men ingen insentiver til å korrigere. Vi har en rekke tilfeller der det er avdekket uetisk atferd, og hvor tidsskriftene ikke tilbakekaller artiklene eller at det tar to–tre år å gjøre det. Så når folk sier at forskningen er selvkorrigerende, sier jeg «joda, men det er mange tilfeller der det ikke skjer».

– Hvordan påvirker dette tilliten til forskningen?

– Hvis forskere sier at forskningen er selvkorrigerende, men det ikke skjer, da har vi et problem, og det påvirker tilliten. Hele ideen om tillit til forskning må baseres på at forskningen korrigerer seg selv hvis noe går galt. Vi må prøve å forbedre det systemet.

Utforbakke

Så hva er galt med systemet? Vi henvender oss til metaforskerne. Forskerne som ikke bare forsker på sitt foretrukne fagfelt, men på forskningens iboende vesen. Og det er mer et udyr enn noen skjønnhet, skal vi tro Paul E. Smaldino. Han er førsteamanuensis i kognitiv informasjonsvitenskap ved University of California, og har gjort seg bemerket i metavitenskapens verden med forskningsartikkelen «The natural selection of bad science», som han skrev sammen med Richard McElreath. Der viste de at det er en slags negativ evolusjon i forskningen, et system som forsterker de negative sidene, i stedet for at de stadig blir bedre. Vi lar Smaldino selv forklare hvordan det hele henger sammen:

– Politikere har ofte bakenforliggende motiver, men for å være ærlig så er ikke forskningsmiljøet perfekt det heller, sier Paul Smaldino. Foto: UCM

– Det er flere som ønsker seg jobb som forsker og å motta forskningsmidler, enn det er stillinger eller midler. Vi studerte hvem som kom gjennom nåløyet, og fant ut at forskere ikke blir belønnet ut ifra hvor smarte de er, eller hvor høy kvalitet arbeidet deres har, for det er vanskelig å vurdere. I stedet gjør man det som er lett, og vurderer hvor høy prestisje tidsskrifter har, og hvor mye forskerne publiserer der. Men når vi bruker disse stedfortredende målene, ignorerer vi det vi prøver å måle: kvalitet. Det fører til at systemet produserer folk som maksimerer utbyttet og kan systemet, sier han.

Resultatet, konkluderer Smaldino og McElreath, er at «bad science», det vil si forskning med svak forklaringskraft og som ikke nødvendigvis lar seg reprodusere, vinner frem. For den er lettere å produsere raskt, og forskerne bak får publisert mer. Dermed får de fyldige CV-er og går videre til å lede forskningsgrupper der de reproduserer dette mønsteret, og slik fortsetter det.

En som kjenner seg godt igjen, er Björn Brembs, professor i nevrobiologi ved Universitetet i Regensburg, Tyskland. Han har lenge vært engasjert i de negative effektene av publiseringssystemet for forskning. Og han sier rett ut at han selv sitter der han sitter, i professorstolen sin, på grunn av en artikkel i topptidsskriftet Science som ikke burde vært der. Når han sitter i bedømmingskomiteer, blir han sjokkert av hvor overflatisk kollegaer bedømmer andre forskere bare på bakgrunn av hvor de har publisert.

– De kaller det for zombie-artikler. Ingen leser dem, men vi betaler. Det er komplett galskap.

Björn Brembs, professor i nevrobiologi
– Et bevis på styrken i vitenskapen er at vi alltid prøver å kritisere oss selv både på forskningsnivået og på metanivået, sier Björn Brembs. Foto: privat

– For å få fast jobb som forsker må du ha publisert i visse tidsskrifter, som fokuserer på overraskende resultater. Da får du forskere som vil kjempe om å få overraskende resultater. Men gitt at alle disse funnene er overraskende, fordi ingen hadde forventet dem, er det ikke så rart at en del av dem er feil. Det kan være mer eller mindre ærlige feil, men faktum er at presset er enormt. Det er et eksistensielt press, sier Brembs.

Ivan Oransky i Retraction Watch mener publiseringspresset også bidrar til den manglende viljen til å trekke forskning.

– «Publish or perish» er virkelig. Hvis det eneste som teller for en forskers karriere, er å publisere i tidsskrifter, hvordan kan vi bli overrasket over at ingen ønsker å korrigere publiseringslistene sine?

– Ingen løsning å svartmale

Brembs mener tidsskriftene rett og slett bør legges ned, og viser til fysikkmiljøet som i et par tiår har publisert forskning på nettstedet Arxiv, hvor de får innspill og korrigeringer fra fagfeller, uten presset om å publisere oppsiktsvekkende funn for å få plass i tidsskriftene.

– Den eneste grunnen til at fysikere sender artiklene sine til tidsskrifter etter å ha publisert på Arxiv, er at de kan fylle opp publiseringslistene sine så de kan søke på jobber. Tidsskriftene eksisterer kun for at folk skal kunne putte det på CV-ene sine. De kaller det for zombie-artikler. Ingen leser dem, men vi betaler. Det er komplett galskap.

For Molberg på Rikshospitalet ligger ikke løsningen i å legge ned tidsskriftene, men i å endre finansieringen og å opprette større forskningsdatabaser og studier på tvers av landegrenser.

– Å ha finansiering i et tiårsperspektiv tilhører sjeldenhetene. Med midler fra Forskningsrådet eller helseforetaket får du tre år. Du hyrer inn postdoktorer og doktorgradsstudenter og setter i gang, men da er det tungt å skulle bidra inn til store internasjonale databaser. Du er avhengig av å prestere på kort tid, men skal du bidra til de store studiene som kan være løsningen på problemet, blir du bare medforfatter nummer 22 av 100, og sånt får du aldri finansiert videre forskning av. De kryssende hensynene i forskning er en begrensning for forskningsdrevet medisinsk forskning.

Jon Helgheim ble invitert til debatt på Forskerforbundets forskningspolitiske seminar i november. Foto: Julia Loge
Jon Helgheim ble invitert til debatt på Forskerforbundets forskningspolitiske seminar i november. Foto: Julia Loge

Forskerforbundets leder, Guro Elisabeth Lind, er selv kreftforsker ved Oslo universitetssykehus, forskningsgruppeleder og professor 2. At det er utfordringer i forskningen, er ingen nyhet for henne verken som fagforeningsleder eller forsker.

– Manglende reproduserbarhet og artikler som må trekkes tilbake, er et kjent problem som forsterkes av insentivsystemene, tellekantsystemene, målingen og veiingen og den beinharde konkurransen for å sikre seg en jobb. Men at det er mange tilbaketrekninger, belyser ikke bare at man må være kritisk selv til publisert forskning. Det belyser også at systemet fungerer, sier Lind.

For henne er ikke svaret på utfordringene i forskningen å svartmale, slik hun mener Helgheim gjør, men å finne løsningene.

– Hvordan forskningssystemet skal fremme kvalitet, er den diskusjonen vi trenger. Vi mener Helgheim har gått for langt. Vi må skille mellom hva som er hovedregelen, og hva som er unntakene som bekrefter hovedregelen. Vi mener hovedregelen er at forskningen er solid og til å stole på, sier Lind.

Tillit og kontroll

Lind ønsker å snu litt på det. Hun er ikke enig i premisset til Helgheim og mener hans kritikk føyer seg inn i en politisk retorikk der forskning diskrediteres for å skåre politiske poenger.

– Vi er opptatt av å styrke posisjonen til forskning nettopp fordi den er under press fra så mange hold, også politisk. Vi er avhengig av at vi har tillit til forskningen, og av at det er aktører som hjelper til med å snakke forskningen opp i en tid der Trump snakker om «fake science».

Ivan Oransky er ikke helt enig. Han mener kritikk må ønskes velkommen uansett politisk motivasjon eller ståsted.

– Hvis de tar feil, vis at de tar feil. Det er sånn vi bedriver vitenskap. Svaret er å se på kritikken, ikke hvem som kritiserer.

Han mener at det fra et vitenskapelig ståsted ikke henger på greip å mene at «forskerne fortjener å ha de folkevalgte i ryggen», som Forskerforbundet skrev på Twitter.

– Jeg skjønner ikke hva det betyr engang. Vi er mennesker, og forestillingen om at forskere er mer tillitvekkende enn andre, er feil. Vitenskapelig metode er noe vi kan stole på når den er brukt på en korrekt måte. Som Ronald Reagan, en president jeg ikke nødvendigvis er enig med i alt, sa: «Trust and verify.» Ha tillit, men sjekk at det stemmer.

Flere av dem vi prater med, understreker – til tross for sine dystre diagnoser – at mye også fungerer bra. Det gjøres feil, men de oppdages. Vi kunne selvsagt ha viet plassen her til å feire fremgangene, men hvor hadde vi vært om vi ikke dykket inn i problemene? Som Björn Brembs sier:

– Det store, globale perspektivet er at vitenskapen ikke er perfekt, men det er det beste vi har.

Brembs er pessimistisk, men begrunner et marginalt håp med vitenskapens iboende selvkritiske vesen.

– Det foregår mye kritikk på metanivå. Det er et bevis på styrken i vitenskapen at vi alltid prøver å kritisere oss selv både på forskningsnivået og på metanivået, sier han.

Med et sukk må vi innse at ordet fanger, og at vi får spandere på litt selvkritikk av Forskerforum også:

Guro Lind kan ikke unngå å ergre seg litt over at forskere (og deres fagblader?) så lett tyr til selvrefleksjon i stedet for å utfordre premisset når vitenskapen får kritikk.

– Det er interessant å se. Jeg syns man med fordel kan bruke mer tid på premissene, men betegnende nok for forskningsmiljøet går vi i oss selv og tenker på hvordan vi kan bli bedre.

Vi får gi henne rett, og reflektere litt over det. Vi har jo ikke engang forsøkt å finne ut av om Helgheims kritikk av innvandringsforskningen stemmer, eller stilt spørsmål ved hans motiver. More research is needed.


Er tilliten til forskning under press?

Helene Ingierd, fungerende direktør i De nasjonale forskningsetiske komiteene.

Helene Ingierd, fungerende direktør i De nasjonale forskningsetiske komiteene.

– Sakene vi har behandlet, viser at det er en del som trekker forskning i tvil, uten at det er gode grunner til å gjøre det. I visse tilfeller kan det være berettiget tvil. Men det kan også handle om at man har interesser selv som gjør at man har interesse av å trekke resultater i tvil.


Silvio Funtowicz, professor i vitenskapsfilosofi, Universitetet i Bergen

Silvio Funtowicz, professor i vitenskapsfilosofi, Universitetet i Bergen

– Det er ingen kollaps i tilliten til forskning. Europabarometeret viser at forskningen er den samfunnsinstitusjonen vi stoler mest på. Men forskningen må holde orden i sysakene og ta tak i sine interne problemer, og så må vi være forsiktige med å tro på at vitenskapen kan løse alle samfunnets problemer.