KRONIKK

Uheldig forskningspraksis kan undergrave kunnskap

KRONIKK

Uheldig forskningspraksis kan undergrave kunnskap

Av Monica Melby-Lervåg, professor og forskningsdekan

Publisert 8. januar 2015 kl. 14:27

Betenkelig forskningspraksis er et stort problem for utviklingen av ny kunnskap. Det kan i det lange løp være ødeleggende for kunnskapsbygging, skriver forskningsdekan Monica Melby-Lervåg.

Monica Melby-Lervåg, professor og forskningsdekan ved det utdanningsvitenskapelige fakultet, Universitetet i Oslo.

Betenkelig forskningspraksis innebærer at resultatene av en undersøkelse påvirkes slik at de blir tydeligere. For å gjøre en ting klart først: Metodene som brukes til betenkelig forskningspraksis, er i seg selv ikke ulovlige. Det betyr altså ikke nødvendigvis at forskere som bruker slike metoder, er juksemakere. I mange tilfeller er det helt akseptert praksis, og i noen tilfeller helt nødvendig. Det er imidlertid slik at dersom metoder som faller inn under betenkelig forskningspraksis, brukes av mange og uten god berettigelse, kan det bidra til å forvitre den kunnskapen som forskningen er ment å skulle frembringe.

Felles for metodene som ofte omtales som betenkelig forskningspraksis, er at de kan påvirke om man får et så tydelig resultat at det er liten sannsynlighet for at det har oppstått tilfeldig. På «forskerspråk» snakker vi da altså om å få et signifikant resultat.

Her er noen eksempler på hva betenkelig forskningspraksis er:

Det er svært vanlig blant forskere å unnlate å rapportere mål man hadde samlet inn data på i undersøkelsen. I 2012 publiserte John og kolleger(1) en studie hvor de hadde undersøkt et utvalg på 2000 forskere og deres bruk av metoder som kan karakteriseres som betenkelig forskningspraksis. Mer enn 60 prosent av forskerne i undersøkelsen innrømmet å ha unnlatt å rapportere alle utfallsmål i en undersøkelse. Mange forskere vil imidlertid nok ikke tenke på dette som uheldig, men heller som en naturlig del av forskningsprosessen. Det er altså ikke snakk om bevisst å forsøke å jukse. Nesten halvparten (46 prosent) svarte også at de hadde drevet selektiv rapportering og fokusert rapporteringen på det som gav signifikans. Hvorfor kan dette være uheldig? Jo, fordi det i ytterste konsekvens kan innebære at man går på en «fisketur» i de data man har samlet inn, og uten å ha noen hypoteser på forhånd tester man ut hva som blir signifikant.

Dette er imidlertid ikke sort-hvitt: Innenfor samfunnsvitenskapen er det jo ofte ikke slik at hypotesene er skrevet i sten på forhånd, men de blir tydeligere gjennom en vekselvirkning hvor man analyserer data. Dette kan i utgangspunktet være greit, men det åpner også opp for gale resultater: Hver gang man undersøker om noe er signifikant på et datasett, øker risikoen for at et signifikant resultat bare har oppstått ved tilfeldighet. Dersom man tester om noe er signifikant tjue ganger på samme datasett, er det faktisk hele 65 prosent sjanse for at et signifikant resultat bare skyldes tilfeldigheter. Ved utelukkende å rapportere resultater som blir signifikante, og utelate de andre analysene eller ikke kontrollere for at man har gjort mange tester, er det altså stor risiko for at man faktisk rapporterer noe som ikke er riktig.

Mange forskere innrømmet også å ha bestemt seg for å stoppe å samle inn data eller å samle inn mer data etter å ha smugtittet på resultatene. Fordi signifikante resultater er enklere å få dersom man har med mange i en undersøkelse, kan man på denne måte påvirke tilfeldighetenes gang og øke sannsynligheten for å få signifikante resultater.

Det er også en del forskere som er for kreative når det gjelder å slette personer eller enheter i en undersøkelse som får et totalt avvikende resultat sammenlignet med de andre i studien. Det er akseptabelt å slette slike personer fra en undersøkelse, men da bør kriteriene for dette være bestemt på forhånd. Hvis det ikke er bestemt på forhånd, kan man gå inn i etterkant å se hvordan det endrer resultatene dersom man sletter eller beholder disse uteliggerne med avvikende resultat, noe som selvsagt er svært uheldig.

En annen måte er å runde av sannsynlighetsverdier slik at et resultat ble såkalt statistisk signifikant, altså si at 5,4 prosent er under 5 prosent. Om lag en femdel av forskerne innrømmet å ha brukt denne typen tvilsom avrundingspraksis.

Selv om det har vært stor oppmerksomhet knyttet til saker de siste årene hvor forskere har fabrikkert data, tyder mye på at dette heldigvis ikke er noe stort og utbredt problem. Bare 0,6 prosent av forskerne i John og kollegers undersøkelse innrømmet å ha gjort dette. Metodene som kan være betenkelig forskningspraksis, er altså langt vanligere og kan dermed over tid potensielt være mer skadelige for det akademiske prosjekt. Når denne praksisen brukes bevisst eller ubevisst av mange, kan det bidra til gale resultater som ikke lar seg gjenskape i tilsvarende undersøkelser.

Den betenkelige forskningspraksisen kan dessverre delvis forklares av hvordan forskning drives. En av de mest vesentlige mekanismene har vært at vitenskapelige tidsskrifter av høy kvalitet har vektlagt å publisere signifikante resultater med høy nyhetsverdi. Dette skyldes ikke bare at slike undersøkelser er de mest interessante, men også at det å vise at noe ikke virker, eller at det ikke er noen sammenhenger, er krevende. Man kan da ofte argumentere med at undersøkelsen ikke inneholder nok personer til at man ikke kan oppdage sammenhenger, og resultatene er upålitelige. Denne usikkerheten rundt såkalte nullresultater har nok også i stor grad bidratt til tidsskriftenes manglende vilje til å publisere dette. Siden både faste ansettelser, prosjektmidler, prestisje og forfremmelser i forskningsverdenen er tett knyttet opp mot hva og hvor du har publisert, bidrar dette selvsagt til å forsterke problemet med betenkelig forskningspraksis.

Som forsker har jeg selv ofte stått ovenfor flere av disse problemstillingene, og jeg har erfart at avveininger knyttet til dette kan være vanskelige. Det er derfor viktig med oppmerksomhet mot at bevisst eller ubevisst påvirkning av resultater gjennom uheldig forskningspraksis kan bidra til å undergrave kunnskap. Det kan skape usikkerhet om betydningen av forskning og forvirring knyttet til at resultater ofte peker i ulike retninger. Det har derfor stor betydning å fokusere på dette og å finne tiltak som kan forhindre de problemene dette skaper.

Så hva kan gjøres med denne betenkelige forskningspraksisen?

• Et viktig tiltak kan være å innføre en ordning med forhåndsregistrering (preregistrering) av studier. Det betyr at man før man gjør undersøkelsen, registrerer forskningsspørsmål, hva man vil samle inn data om, og hvordan man vil gjøre analysene. Dermed kan tidsskriftene til en viss grad sikre seg mot at resultatene blir «sminket» i etterkant.
• Det har også vært foreslått at man i artikler skal rapportere hva det ble samlet inn data om, og eventuelt om grunnen til at alt ikke er rapportert.
• Flere tidsskrifter oppmuntrer også nå at man skal legge ut hele datasettet sitt åpent tilgjengelig.
• Flere tidsskrifter har nå også endret praksis slik at de også publiserer resultater hvor man ikke finner effekt.
• Det er også viktig å sikre dyktige forskere «arbeidsro» gjennom stabile og forutsigbare rammevilkår, slik at ikke alt står på spill dersom en undersøkelse ikke gir forventet resultat.
• Det er selvsagt også avgjørende at kommende forskere blir opplært i en tradisjon hvor man tydelig kommuniserer at en slik bevisst påvirkning av resultater kan være uønsket og uetisk. Dersom man bruker metoder som faller innenfor dette, bør forskeren opplyse om det og redegjøre for hvorfor.