I Forskerforum nr. 5/2018 har Hans Petter Kjæstad en kritisk gjennomgang av p-verdier. Disse størrelsene spiller en stor rolle i statistisk analyse.
Vi er enige med Kjæstad i at man godt kan ta en kritisk titt på p-verdiene, men det er neppe lurt å skrote dem slik han foreslår.
Man kan si at heldigvis for kreftpasienter foregår ikke analyse av data om kreftbehandling på den naive måten Kjæstad antyder
Kjæstad gir et eksempel med levetider ved kreftbehandling, der han mener at et fokus på p-verdier gir en meningsløs konklusjon. Det er likevel klart at ingen seriøs analyse av levetider ved kreftbehandling ville basere seg utelukkende på p-verdier. For å se hvordan dette foregår i praksis, kan man ta en titt i sentrale medisinske tidsskrifter. For å få forståelse av hvordan god statistisk analyse skal se ut, bør man se på dem med høy kvalitet, f.eks. New England Journal of Medicine
, som publiserer mange av de store gjennombruddene i kreftbehandling (f.eks. immunterapi som er spesielt aktuelt nå). Disse artiklene inneholder p-verdier, men også konfidensintervaller som nettopp er noe av det Kjæstad etterlyser. Konfidensintervaller er obligatoriske i enhver seriøs statistisk analyse. Og de viser tydelig størrelsen på effektene, altså den reelle signifikansen som Kjæstad savner. Man kan si at heldigvis for kreftpasienter foregår ikke analyse av data om kreftbehandling på den naive måten Kjæstad antyder.
Men Kjæstad har rett i at det er diskusjon rundt p-verdier. Dette skyldes flere forhold. For det første er det mye dårlig statistisk analyse som publiseres. For det andre er det ofte en svak forståelse av hva p-verdiene kan gi av kunnskap. For eksempel brukes de iblant som en sorteringsmekanisme der man tester igjennom et stort antall hypoteser hvorav mange er generert av de dataene man ser på. Dette blir nødvendigvis misvisende slik statistikere har påpekt i utallige kurs gjennom årene. Dette er et misbruk av p-verdier som har bidratt til å bringe dem i miskreditt. Det finnes også seriøse korreksjonsmetoder som kan bringe kontroll over dette problemet.
P-verdiene har blitt en slags inngangsbillett til forskningslitteraturen
Et annet forhold er at p-verdiene har blitt en slags inngangsbillett til forskningslitteraturen. Hvis man ikke har en p-verdi under 0.05, blir gjerne ikke artikkelen publisert. Dette er en uheldig praksis. For det første fører det til at viktige artikler, men med negative funn, ikke publiseres. For det andre er grensen på 0.05 ganske vilkårlig og antagelig for høy. Det er ikke noe kvalitetsstempel i seg selv at en p-verdi er under 0.05.
Et annet aspekt ved p-verdien er at det er et vanskelig begrep. Det er ikke en enkel intuitiv størrelse og misforståes ofte. En veldig god gjennomgåelse av begrepet ble
publisert i tidsskriftet Nature av Rigina Nuzzo. Den anbefales på det varmeste. Nature har også publisert flere populære artikler om statistikk fordi det oppfattes som et stort problem at mange forskere som bruker statistikk, har for dårlige kunnskaper. Dette fører blant annet til at mange funn ikke kan replikeres.
Det bør også nevnes at det finnes flere måter å analysere statistiske data på. De såkalte Bayesianske metoder er viktige, og særlig populære i analyse av komplekse data i medisinsk og biologisk grunnforskning. De er basert på en litt annen tenkemåte enn de mer klassiske metodene. Men akkurat som p-verdier og konfidensintervaller krever de en god forståelse, og de kan også manipuleres og misbrukes. Det finnes ingen snarvei inn i statistikken og alle forskere må bruke tid og krefter på å lære seg de grunnleggende begrepene.
https://www.forskerforum.no/alt-kvantitative-data-ikke-forteller/
