En gruppe forskere ledet fra Sverige har undersøkt hvordan forsker finner svar. Kort fortalt samlet de data om hjerneaktivitet og sendte datasettet og ni hypoteser til 70 forskjellige forskergrupper fra hele verden. Allerede før svarene var i boks, ble det tydelig at det er mange veier til målet, for ingen grupper valgte samme framgangsmåte for å analysere dataene, ifølge en artikkel i tidsskriftet Nature. Selv om flere grupper fant samme svar på noen av hypotesene, var det ingen som fant sammenfallende svar for alle ni.
«Resultatene framhever hvor viktig det er å validere og dele komplekse analyse-former og demonstrerer behovet for å utføre og rapportere om flere analyser av samme data», står det i Nature-artikkelen.
Prosjektet ble satt i gang av Anna Dreber og Magnus Johannesson fra Handelshögskolan i Stockholm. En av forskerne som deltok i studien, Gustav Nilsonne, fra Karolinska Institutet i Sverige, mener at studien viser hvor viktig det er å se på samlede resultater heller enn enkeltfunn.
– Alt i alt har forskningen kommet fram til mange pålitelige resultater. Man kan kanskje skille mellom forskning på et aggregert nivå, som har gitt uendelig mange verdifulle resultater, og ett enkelt funn, som ofte ikke kan betraktes som pålitelig, ihvertfall ikke før det har blitt gjentatt av noen andre, sier Nilsonne til nettstedet Forskning & Framsteg.
Selv om denne enkeltstudien var innenfor nevrovitenskap, tror han at man kan få lignende resultater i alle fag som gjør komplekse dataanalyser.
Forskerne bak studien har flere anbefalinger. De mener det er forskere deler dataene og kodene sine, og gjerne også offentliggjør hvordan de har planlagt å gjøre analysen på forhånd, slik at de ikke kan beskyldes for å tilpasse analysen for å få signifikante resultater.
– Det er høyst problematisk at hvert forskerteam sitt resultat var så avhengig av analysemetoden, spesielt fordi detaljene i analysemetoden ofte er dårlig beskrevet i forskningsartikler, skriver Nature i en nyhetsartikkel om forskningen.
– Arbeidet kommer til å starte en livlig diskusjon, forutsier Martin Lindquist i nyhetsartikkelen.
