Spørreskjemaer er en billig måte å samle mye data av lav kvalitet

Det første jeg vil si er at jeg utbringer en hjertelig takk til Sigve Høgheim og Eirik S. Jenssen sin kronikk i Forskerforum 13. mai. De har gitt utfyllende uttrykk på det jeg i sin tid leste i 8.utgave av Anthony Giddens og Philip W. Sutton sin grunnbok i sosiologi, der det nevnes noen betenkeligheter med spørreskjemaer. Høgheim og Jenssen setter disse problemene i en praktisk sammenheng.

Det helt sentrale spørsmålet som enhver bruker av spørreundersøkelser bør stille seg, er: Kan man tallfeste menneskelig opplevelse, og er noen få menneskers opplevelse overførbar til andre situasjoner?

Ikke grunnlag for matematisk formel

Spørsmålet kan illustreres med et eksempel fra egen praksis, vibrasjoner fra T-banen. Mine kolleger og jeg har vært i over 100 hus de siste 12 årene for å måle vibrasjoner fra T-banen. Vi har, der det har vært mulig, bedt beboerne om å rangere opplevelsen av vibrasjoner med et tall fra 0 til 4:

• 0 betyr merker ikke
• 1 betyr merker, men blir ikke plaget
• 2 betyr noe plaget
• 3 betyr plaget
• 4 betyr svært plaget

Når vi så plotter tallet for opplevelse mot en entallsverdi for vibrasjoner ser man at de 100 husene og beboerne vi har lagt inn så langt ikke gir grunnlag for noen matematisk formel eller statistisk analyse. Man burde heller ikke forvente det med en såpass liten studie.

Det man kan si, er at det ikke finnes noen nedre terskel for hvor lave vibrasjonsnivåer som kan oppleves som svært plagsom, derimot finnes det en øvre terskel for et nivå som alle opplever som plagsomt. Det er en svak tendens til at folk blir mer plaget når det er mer vibrasjoner, men den dominerende faktoren er en individuell variasjon. Det må tilføyes at regler og retningslinjer må forholde seg til objektive data for å gi en forutsigelig saksbehandling.

Vesentlig med kvalitativ del

Psykologen og statistikeren Ronny Klæboe skrev i sin doktoravhandling fra 2006 at man trengte «several hundred» intervjuer for å finne ut noe om hvordan folk opplever trafikkstøy med utgangspunkt i spørreskjemaer. Betegnende nok brukte Klæboe nesten 4000 informanter i mesteparten av sitt arbeid, og han hadde solid støtte fra både akustikere og trafikkforskere.

Det er ingen tvil om at spørreundersøkelser om folks opplevelse av miljøfaktorer som støy og vibrasjoner har liten verdi uten objektive data å koble svarene til. Et annet problem med spørreskjemaer er at ting som forskeren ikke har tenkt på ikke kommer med å betraktningen.

Det kan derfor være vesentlig at studien også har en kvalitativ del. Vi har hatt god erfaring med bruk av semistrukturerte dybdeintervjuer for å finne ut hva slags støy folk er plaget av, hva de gjør for å tilpasse seg og kanskje også hva de synes er positivt med sin livssituasjon.

Data av lav kvalitet

I nyere tid er innsamling av kvalitative data også kommet til medisinen. Fra CauseHealth-prosjektet finnes en bok av Rani Lill Anjum, Samanta Copeland og Elena Rocca der det tydelig anbefales en kvalitativ del av ethvert prosjekt eller behandlingstilfelle.

En foreløpig konklusjon for hvordan man studerer hvordan miljøfaktorer og medisinske forhold påvirker oss mennesker må bli:

Objektive data gir mulighet for å vurdere konkrete løsninger. Kvalitative studier gir informasjon om hva som oppleves som problemet og forslag til løsning.

Spørreskjemaer er en billig måte å samle mye data av lav kvalitet og har egentlig bare en viss orienterende verdi. De kan ikke brukes som grunnlag for viktige avgjørelser.

Juks, resultatfisking og overforenkling: P-verdien får skulda for mykje, men utvegen er ikkje enkel.