Publisert 3. mai 2017 kl. 19:38
Hvert tredje år kommer resultatene fra den internasjonale skoletesten PISA, som måler 15-åringers kunnskaper i matematikk, naturfag og lesing. OECD-undersøkelsen får mye oppmerksomhet i offentligheten og har hatt stor innflytelse på lands skolepolitikk.
Men PISA-undersøkelsen er ikke mye verdt, skal vi tro de to danske forskerne og statistikerne Peter Allerup og Inge Henningsen. I den nye boken Pisa-matematik kommer de med knallhard metodisk kritikk av det som er verdens største elevtest.
Les også: Profilert skoleforsker får kritikk
– Bare underholdning?
Pedagogikkprofessor Peter Allerup sier til nyhetsportalen Alltinget at PISA «ikke har predaktiv validitet – altså evnen til å bruke resultatene fremadrettet».
– Den kan ikke brukes til å forutsi noe som helst om hva barn kan. Man må derfor spørre seg hvorfor i huleste de lager undersøkelsen. Er det bare for daglig underholdning og sammenligning skolene imellom. Er det bare et fastelavnseventyr? spør han.
Forskerne er for eksempel svært kritiske til elevinndelingen som PISA legger opp til på bakgrunn av PISA-scoren. Her legger man i, ifølge forskerne, opp til at 17-18 prosent av elevene i samtlige land havner i kategorien «funksjonelle analfabeter», sier de i en i en pressemelding. Dette tallet er «fullstendig tilfeldig» valgt, ifølge forskerne.
– PISA-konsortiumet har på forhånd bestemt at det skal være 18 prosent, og ikke for eksempel 12 eller 14 prosent, funksjonelle analfabeter. Selv om denne gruppen, som har fått den laveste PISA-scoren, har forbedret seg, vil det i PISAs beregninger stadig være 18 prosent funksjonelle analfabeter, sier Inge Henningsen i pressemeldingen.
PISA-sjokk i Norge
PISA-resultatene får fyldig dekning i norske medier når de legges frem. De middelmådige resultatene i 2001 ga Norge «Pisa-sjokk», og daværende utdannings- og forskningsminister Kristin Clemet (H) uttalte at det var «nesten som å komme hjem fra et vinter-OL uten en eneste norsk medalje». PISA-resultatene var mye av bakgrunnen for den store skolereformen Kunnskapsløftet i 2006.
Men ifølge de danske forskerne er det en rekke feil i PISA-undersøkelsen, og Peter Allerup beskylder statistikerne i OECD for å jukse. Hver PISA-undersøkelse har nemlig ekstra oppmerksomhet rettet mot ett fag. I 2015 var det naturfag, og i 2012 var det matematikk.
– Hvis matematikk er hovedfaget, får for eksempel 4000 en matteprøve. Men gruppen deles i to, hvor 2000 får en leseprøve og 2000 får en såkalt science-prøve. Men jammen viser ikke de internasjonale dataene at alle elevene har svart på begge prøvene, sier Allerup, ifølge Alltinget.
Han utdyper:
– Man gjetter på hva elevene ville fått i den prøven de ikke har tatt. Resultatet i den ene prøven brukes til å gjette på hvordan de vil klare seg i den andre. Det legger man inn som verdi i databanken. Med det er jo juks og bedrag. Juks heter på teknisk språk «imputation». OECD imputerer de manglende verdier, sier Allerup.
Les også: Tror ikke masterutdanning for lærere gjør yrket mer attraktivt
–Er ikke et forskningsprosjekt
Professor emeritus Svein Sjøberg ved institutt for lærerutdanning og skoleforskning ved Universitetet i Oslo har markert seg som en skarp kritiker av PISA-undersøkelsen.
– Dette er en veldig viktig kritikk. Det blir aldri kommunisert at det er store problemer med måten de beregner denne scoren på. Det er veldig usikkert hvordan dette tallet oppstår. Og hvis vi ikke kan stole på tallene, hva kan man stole på da? spør han.
Han synes det blir feil å felle dommer over elevene på bakgrunn av en to timers test.
– Og å kalle nesten 20 prosent av elevene for funksjonelle analfabeter, blir som «tenk på et tall», sier han.
Sjøbergs største innvendinger mot PISA handler imidlertid ikke om metode.
– Det blir omtalt som et forskningsprosjekt, men det er det ikke. Det er et rent politisk og normativt prosjekt. OECD, i sin uendelige visdom, finner ut hva slags kompetanser barn i alle land må ha for å møte en usikker fremtid. Tallet som kommer ut av det brukes som målestokk for hele utdanningssystemets kvalitet, uten å ta innover seg at ulike land har ulike verdier, kulturer og grunnlag for å lage skole, sier han.
-I tillegg så viser altså denne danske boken at det er store metodeproblemer med å regne seg fram til de tallene som blir publisert. Selv fageksperter har problemer med å forholde seg til dette, avslutter han.
De danske forskerne anfører også at man ikke uten videre kan måle elevenes kompetanser uten å ta hensyn til variabler som kultur, nasjonalitet og sosiokulturell bakgrunn.
Slik svarer de norske PISA-forskerne
Det er forskere ved Institutt for lærerutdanning og skoleforskning (ILS) ved Universitetet i Oslo som lager den norske PISA-rapporten. Slik svarer forsker Fredrik Jensen og førsteamanuensis Marit Kjærnsli ved ILS på PISA-kritikken:
Påstand: PISA har ikke har predaktiv validitet – altså evnen til å bruke resultatene fremadrettet.
Svar: Dette er ikke riktig. Det er blitt gjort flere studier der man har fulgt opp elevgrupper som har deltatt i PISA, og funnet at det er en sammenheng mellom disse elevgruppenes prestasjoner i PISA og hvordan de klarer seg i videre utdanning og yrkesliv. Blant annet en studie i Canada der man fulgte opp elever som hadde deltatt i PISA 2000 og fant at elevgrupper som presterte på de laveste nivåene i lesing hadde større risiko for ikke å fullføre videregående skole og for å være arbeidsledig senere.
Påstand: Man legger opp til at 17-18 prosent av alle elevene i samtlige land havner i kategorien «funksjonelle analfabeter». Dette tallet er «fullstendig tilfeldig».
Svar: Mestringsnivåene som er brukt i PISA er godt begrunnet og laget av grupper bestående av anerkjente fagdidaktiske forskere innen lesing, matematikk og naturfag. Det er seks nivåer som er detaljert beskrevet for hvert fagområde. Nivå 2 blir ofte brukt som en slags nedre grense for hva 15-åringer bør ha av kompetanse for å være forberedt for videre utdanning og yrke. Dette er en poenggrense relatert til vanskegraden til oppgavene, og ikke en fast prosentandel. Prosentandelene under dette nivået varierer. I matematikk var 22 % av de norske elevene under dette nivået i 2012, mens i 2015 var 17 % under dette nivået. Til sammenlikning hadde Finland 14 % under dette nivået i 2015.
Påstand: Man gjetter på hva elevene ville fått i den prøven de ikke har tatt. Dette er juks.
Svar: Hensikten med PISA og andre internasjonale studier er ikke å gi resultater på individnivå, men å finne fram til så nøyaktige populasjonsestimat av elevenes kompetanser som mulig, ved at et representativt utvalg av elever gjennomfører prøven. For å måle et så stort omfang som mulig, er PISA-prøven sammensatt av oppgaver som det ville tatt 7–10 timer å besvare, og hver elev svarer bare på en del av dette. Det finnes andre statistiske modeller som kunne ha blitt brukt, men denne blir brukt i PISA fordi den har vist seg å gi mest presise resultater på populasjonsnivå.
Påstand: PISA-resultatene brukes som målestokk for hele utdanningssystemets kvalitet, uten å ta hensyn til ulike kulturer og verdier.
Svar: PISA-undersøkelsen måler selvsagt ikke hele skolesystemet. Det er derfor viktig at den brukes med fornuft og at resultatene settes i en nasjonal kontekst. Landenes kunnskapsdepartementer og andre utdanningsmyndigheter må bruke PISA-resultatene kritisk og bruke resultatene de selv mener er relevante for sitt land.
Les også:
