Nederland har etablert det første offentlege programmet for replikasjonsforsking. Målet er å gjere etterprøving av tidlegare forsking til ein sjølvsagt aktivitet i forskingsverda.
bouter-lex-head-high-resolution
– Eg kjenner førebels ikkje til tilsvarande offentlege forskingsprogram andre stader, seier Lex Bouter.

Dei siste åra har den såkalla «replikasjonskrisa» i vitskapen fått stadig meir merksemd. At vitskaplege  studiar skal vere moglege å reprodusere for andre forskarar, er ein føresetnad for at vitskapen skal ha legitimitet. Men dei seinare åra har det vist seg at store delar av det ein trudde var etablert vitskap, ikkje har vore mogleg å reprodusere. No har det nederlandske forskingsrådet NWO (Nederlandse Organisatie voor Wetenschappelijk Onderzoek) etablert eit eige forskingsprogram for replikasjon av såkalla hjørnesteinsforsking. Tre millionar euro skal fordelast gjennom tre søknadsrundar over like mange år.

Lite forsking på forsking

– Eg trur vi treng å skape merksemd om dette. Det har vist seg at berre 10-40 prosent av forsking er reproduserbar, og vi veit for lite om kvifor det er slik, seier Lex Bouter, som tok initiativ til programmet.

Bouter er opphavleg epidemiolog, og har tidlegare vore forskingsdirektør ved eitt av forskingssentera ved VU University Medical Center i Amsterdam og universitetsrektor. Då han etterpå førebudde seg til å gå tilbake til forsking, bestemte han seg for å arbeide meir med metodologi og etikk, og korleis ein kan unngå «tvilsame forskingspraksisar». Slike praksisar kan vere alt frå utilstrekkeleg datalagring eller tvilsam sitering, til talfiksing eller å berre rapportere dei resultata som passar best med det ein vil finne.

– Eg oppdaga at både i Nederland og internasjonalt er det veldig lite pengar retta inn mot forsking på forsking, fortel han.

Laga eige forskingsprogram

Bouter kontakta NWO og det medisinske forskingsrådet ZonMw, og dialogen har resultert i to forskingsprogram: Det eine er retta inn mot «responsible research practises», og det andre gjeld altså replikasjon av tidlegare forsking. Første søknadsrunde er no open, med frist i januar.

– Når det gjeld replikasjon, inviterer vi til to typar søknader: Anten kan ein ta eit eksisterande datasett og analysere det på nytt. Eller ein kan ta ein eksisterande forskingsprotokoll og nytte den til å samle inn nye data og analysere dei, forklarer Bouter.

Sidan midlane er relativt små, er programmet avgrensa til å gjelde biomedisinsk og samfunnsvitskapleg forsking i denne omgang. For å få best mogleg utbyte av innsatsen, er det meininga at programmet skal støtte etterprøving av «hjørnesteinsforsking», svært viktig forsking som ikkje er replikert.

Replikasjon «annanrangs»

– Vi vil gjere noko som er bryet verd. I søknaden må forskarane grunngje kvifor det er viktig å etterprøve studien dei ønskjer å replikere. Det kan til dømes vere forsking som ligg bak kliniske praksisar, eller forsking som har fått stor plass i lærebøker, eller det kan vere økonomisk forsking som er brukt som grunnlag for politikkutforming, for å nemne noko.

Bouter har møtt stor interesse for programmet i forskingsmiljøa. Vanlegvis er det ikkje lett å få pengar til replikasjon, og mange er overraska over at no er mogleg å søke om dette. Replikasjonskrisa er også eit hovudtema på den neste verdskonferansen om forskingsetikk som går av stabelen i Amsterdam til våren, og som Bouter er med på å organisere.

– Den underliggjande agendaen vår er at replikasjon ideelt sett bør vere sjølvsagt i all forsking. Vi vil gjere replikasjonsforsking vanleg. No er det vanskeleg både å få pengar til, og få publisert, replikasjonsstudiar. Dei har ikkje tilstrekkeleg nyhendeverdi til å bli vurdert som interessante, og forskarar oppfattar replikasjonsstudiar som annanrangs forsking.

Handplukkar forskingsresultat

Etter kvart som replikasjonskrisa har fått større merksemd, er forlaga likevel blitt meir opne for å publisere replikasjonsstudiar enn før, hevdar han.

– Den viktigaste grunnen til krisa er sannsynlegvis selektiv rapportering. Mange vel å ikkje rapportere resultat som ikkje støttar hypotesen. Dette er sjølvsagt tvilsam praksis, og fleire og fleire innser det, seier Bouter.

Mange meiner difor at medisinske forskingsprosjekt må registrerast, og at protokollar må skrivast, før forskinga blir utført. Det gjer det lettare halde oppsyn med at resultata faktisk blir rapporterte anten dei er positive eller negative, slik at ein får eit sannare bilete av kva som er kunnskapsstatus innanfor eit gitt felt.

Treng detaljerte oppskrifter

– Kvar ligg utfordringane i å utføre replikasjonsstudiar?

– Ei utfordring kan vere å få tak i interessante datasett. Mange forskarar likar framleis ikkje tanken på å dele datasetta sine med andre. Ei anna utfordring er å få tak i tilstrekkeleg detaljerte forskingsprotokollar.

Det varierer sterkt mellom fagfelt i kva grad det er vanleg å skrive forskingsprotokollen – oppskrifta som fortel korleis ein vil utføre studien – før forsøket startar. I mange fag kan ein gjere det etterpå, og ofte er ikkje protokollane tilstrekkeleg detaljerte til at andre kan bruke dei til å gjenta forsøket. Også på dette området er det likevel endring på gang. I august i år introduserte til dømes tidsskriftet Cell svært strukturerte og utfyllande retningsliner for å skrive metodedelen i artiklane. Det skal setje fagfellar i stand til å finne standardisert informasjon om alt frå prosedyrar til kva for utstyr og ingrediensar som er brukt, inkludert informasjon om kvar dei er kjøpt. Poenget er nettopp at andre skal kunne etterprøve forskinga.

I tillegg til forskingsprogrammet, har det nederlandske vitskapsakademiet sett ned ein komité som skal utarbeide råd for replikasjonsstudiar. Komiteen skal levere rapporten sin før sommaren 2017. Kva som er føresetnadene for replikasjon, og kor store replikasjonsstudiar bør vere, er ein diskusjon som framleis går friskt, fortel Bouter. Det er ein av grunnane til at ein legg opp til tre utlysingsrundar. Dermed kan ein lære av dei første søknadane når ein skal formulere neste utlysing.

– Kva skal eigentleg til for at ein studie kan reknast som replikert? Det er eit komplisert spørsmål som blir vanskelegare og vanskelegare di meir ein tenkjer på det. Det blir spennande å sjå kva søkarane oppfattar som kriterium for replikasjon, seier Bouter.

  • Eystein Skjerve

    Jeg lLeste med interesse artikkelen «I bresjen for påliteleg forskning». FF har også hatt andre artikler om dette. Dette er vel egentlig i kjølvannet av artikkelen «Why Most Published Research Findings Are False» av John P. A. Ioannidis. En annen artikkel med samme budskap er «An investigation of the false discovery rate and the misinterpretation of p-values» av David Colquhoun. Det virker imidlertid ikke som disse artiklene er forstått – de viser kort og godt at de fleste forskere ikke forstår hva p-verider og sannsynligheter betyr, og at det er forventet at mange resultater ikke kan replikeres. Dette her ikke direkte med juks å gjøre, men kort og godt manglende forståelse for eget forskningsarbeid. Jeg anbefaler forskere og forskningsjournalister å bruke litt tid på å lese disse artiklene. De viser også at det IKKE er slurv hos forskere som er hovedårsaken til at særlig de høyste rangerte tidsskriftene bringer resultater som ikke kan replikeres.