Hva gjør vi når dataene er feil?

Av Maja Todoroska, seniorkonsulent UiO, National research school in population-based epidemiology

Publisert 21. september 2018

Kan Nifus funn av lite effektive forskerskoler være et resultat av mangelfult tallgrunnlag, spør Maja Todoroska, som jobber for en av de evaluerte forskerskolene.

NIFU har nylig publisert en evaluering av de nasjonale forskerskolene i Norge. Rapporten konkludere med at det ikke er noe forskjell på om en ph.d.-kandidat deltar i en forskerskole eller ikke, når det gjelder gjennomstrømmingen. På bakgrunn av denne rapporten og Norges Forskningsråds vurdering av denne problematikken, vil Kunnskapsdepartementet avgjøre forskerskolenes fremtid, står det i artikkelen på Forskerforum.

Maja Todoroska har har sett på dataene for forskerskolen hun jobber for og mener de skiller seg fra dataene som står i Nifu-rapporten. Foto: UiO

Både Furevik og Spengler og ph.d.-kandidaten Mari Salberg har skrevet veldig gode svarinnlegg om hva som bør være hensikten med forskerskoleordningen og ph.d.-utdanning generelt.

Les innleggene:

Alle de tre åpner et veldig viktig spørsmål som har preget offentlig sektor i Norge. Hvorfor knytter vi kvalitet utelukkende til effektivitet? Finnes det ikke andre parametere og kriterier som vi heller bør fokusere på når det gjelder kvalitet i ph.d.-utdanningen?

Dette gjelder ikke bare forskerskolene. Styringsparameteren for kvalitet i ph.d.-utdanningen, som er satt av Kunnskapsdepartementet for universitetene, er nemlig at flere skal gjennomføre ph.d.-graden innen seks år. Men hvorfor er dette det eneste parameter for kvalitet? Måler vi kun dette fordi det er det enkleste å måle?

Til tross at jeg er enig med Furevik og Spengler og Salberg, ble jeg likevel nysgjerrig nok til å se nærmere på statistikken for effektivitet.

I tabellen for «Effects on completion time» står det at EPINORs (National research school in population-based epidemiology) medlemmer har brukt 5,3 år fra oppstart til disputas og at det var tre ph.d.-kandidater som var med i denne beregningen.

Det er flere problematiske aspekter med denne påstanden som får meg umiddelbart til å stille spørsmål.

Først og fremst, hvordan er disse tre valgt? Er de tilfeldig valgte? Og for det andre, hvordan kan vi konkludere noe om effektiviteten av en forskerskole når vi bare velger å se på tre ph.d.-kandidater?

I perioden 2014-2017 har 47 EPINOR-medlemmer disputert. Seks har disputert på NTNU, elleve på UiB, 14 på UiT og 16 på UiO. 47 er langt fra tre.

Vi som jobber administrativt med EPINOR har sett på tallene for våre medlemmer og har beregnet nøyaktig nettotid og bruttotid for alle 47 som disputerte frem til slutten av 2017. Vi bruker data fra FS (Felles studiesystem), en database for universiteter og høyskoler i Norge som utvikles og forvaltes av Unit (Direktoratet for IKT og fellestjenester i høyere utdanning og forskning). Dataene som ligger i FS oppdateres jevnlig på fakultetsnivå på hvert universitet.

Snittet på gjennomføringsgraden for alle EPINOR-medlemmer som disputerte i perioden 2014-2017 er 3,034 nettotid (reelt tid brukt på utdanningen) eller 3,706 bruttotid (hele perioden fra start til disputas, uten hensyn til permisjoner og lengre sykefravær).

Ph.d.-utdanningen i Norge er normert til tre år, og i lys av dette har EPINOR-medlemmene veldig gode resultater, det vil si at de bruker like mye tid som er beregnet for denne type utdanning.

NIFU skriver i rapporten at de kun ser på bruttotiden, men igjen er 5,3 år langt større enn 3,7.

Jeg lurer på hvorfor NIFU har valgt bare tre kandidater av EPINORs 47 kandidater og hvordan har de kommet frem til et så høyt gjennomsnitt for gjennomføringstid?

Hvis dataene for EPINOR har så stort avvik, kan det så hende at beregningene er feil også for de andre skolene.

En ting er spørsmålet om videre finansiering av forskerskolene skal være avhengig kun av en bestemt form for effektivitet. Men enda mer problematisk er når selve dataene for denne formen for effektivitet er feilberegnet eller feilopplyst, slik denne rapporten foreligger i dag.