Av Forskerforum
Publisert 9. februar 2012 kl. 09:33
Erling Moxnes, professor i systemdynamikk, Universitetet i Bergen
I Aftenposten 2. januar 2009 beskrev jeg en rekke grunner til ineffektivitet i bruken av forskningsbevilgningene. Kritiske kommentarer har også kommet fra andre både før og etter, i form av innlegg fra enkeltpersoner og i utredninger. Jeg hadde også forslag til ei radikal endring av dagens system: «Det alternative systemet er slik: Pengene fordeles til alle som søker i henhold til hva de har produsert av forskning over for eksempel siste tiårsperiode. Produksjon er et viktig kriterium også i dagens system, men en har ingen garanti for at den vektlegges i praksis.»
Kunnskapsdepartementet har ikke vist interesse for mitt forslag til radikale endringer av systemet. Da blir det desto viktigere for Forskningsrådet (NFR) å sikre at produksjon vektlegges i praksis. Mitt poeng her er at NFRs vurderingsskjema og dagens bruk av dette med stor sannsynlighet fører til skeivheter og redusert nytte–kostnads-brøk.
Det vurderingsskjemaet som ble benyttet i 2011, har fire poster og en «overall assessment of the referee/panel» (sluttkarakter). En av de fire postene er en vurdering av «the project manager and project group» (søkeren). Denne posten er den eneste som reflekterer tidligere produksjon eller suksessrate hos forskerteamet. De tre andre gjelder prosjektsøknaden med hensyn til «scientific merit», «feasibility» og «dissemination and communication of results» (søknaden).
Det kritiske spørsmålet her er hvordan sluttkarakteren settes. Her er noen hypoteser som NFR bør undersøke ved hjelp av data fra for eksempel siste års søknader. Sluttkarakteren kan tenkes å være basert på gjennomsnitt, median eller utelukkende søknaden. Den siste hypotesen trenger nærmere forklaring. Tversky og Kahneman påviste i en artikkel i Science i 1974 at folk har en tendens til å ignorere a priori informasjon når data er til stede («representativeness heuristic»). Altså, når en har data om søknaden, så vil a priori informasjon om søkeren bli tillagt lite eller ingen vekt.
Ett datapunkt fra vår siste søknad viser at «representativeness heuristic» kan være dominerende. Sluttkarakteren var identisk med karakteren for «scientific merit», mens søkeren fikk dobbelt så høy karakter (karakterene for «feasibility» og «dissemination» var ikke lavere enn for «scientific merit»).
Nullhypotesen er gitt av Bayes’ teorem, et relativt ukjent teorem i mange fagmiljøer som rekrutterer til ekspertpanelene. Dette teoremet forteller hvordan a priori informasjon bør kombineres med data for å etablere a posteriori sannsynlighet. Avgjørende for resultatet er hvor sikre indikatorer for suksess de to typene informasjon er. For et forenklet tilfelle, hvor et prosjekt enten er suksessrikt (S) eller mislykket (M), kan teoremet skrives:
[wip4: photo=472418 width=512 align=middle]
hvor informasjon om søknaden (data) vurderes som god (G). D erstatter G i formelen dersom søknaden vurderes å være dårlig (D). P(S) er a priori sannsynlighet for suksess basert på informasjon om søkeren. Tabellen under viser eksempler på a posteriori sannsynligheter for suksess for god og dårlig søknad og for sterk og svak søker.
|
P(S) |
G |
D |
|
0.4 |
0.61 |
0.22 |
|
0.9 |
0.95 |
0.79 |
Det som kan overraske her, er at en dårlig søknad (D) fra en sterk søker med a priori sannsynlighet for suksess P(S)=0.9 dominerer en god søknad (G) fra en svak søker med P(S)=0.4. Omsatt til NFRs vurderingsskjema så sier nullhypotesen at posten for søker skal ha større effekt på sluttkarakteren enn et veid gjennomsnitt av de tre postene for søknad. Relativt lav karakter for søker skal trekke ned, og relativt høy karakter skal trekke opp. Utslaget av å legge for lite vekt på søker blir dermed ulikt for ulike prosjektsøknader, noe som betyr redusert nytte–kostnads-brøk.
Hvor stor betydning a priori informasjon skal ha, avhenger av graden av usikkerhet. At en søker har vel dobbelt så stor sannsynlighet for suksess som en annen, er ikke uvanlig målt ved antall publikasjoner og «impact factor». Anslaget på usikkerhet i sammenhengen mellom oppfattet kvalitet på søknad og suksess for prosjektet synes også realistisk (P(G|S)=0.7, P(D|S)=0.3, P(G|M)=0.3 og P(D|M)=0.7). Det er usikkerhet fordi ekspertpanel oppfatter søknader ulikt. For eksempel, ved to vurderinger av samme prosjektforslag i NFR-systemet har vi fått karakter på «scientific merit» på henholdsvis 6 og 2. Det er også betydelig usikkerhet fordi det ligger i forskningens natur at suksess ikke kan predikeres.
NFR har som oppdrag å få mest mulig ut av forskningspengene og bør derfor undersøke de hypotesene jeg har framsatt. Om nullhypotesen forkastes, bør vurderingsskjemaene endres slik at de stimulerer til evalueringer som er mer i tråd med Bayes’ teorem.
Dette er spesielt viktig for forslag fra små fagområder, flerfaglige prosjekt og prosjekt som avviker fra «mainstream» forskning. Disse vurderes i dag av ekspertpanel med manglende spesialkompetanse. Følgende kommentar fra et panel illustrerer: «The reported state-of-the-art research addresses many very different pieces of work, but none of it is central or critical to educational research. This is because the proposers are not educational researchers, but come from geography and psychology.» Ekspertpanelet gir tydelig til kjenne manglende kunnskap om psykologifagets rolle i «educational research». For denne typen søknader vil manglende spesialkompetanse føre til stor usikkerhet og systematisk undervurdering av søknader.
Et kostbart tiltak vil være å identifisere og benytte høyt kvalifiserte eksperter til å vurdere hvert enkelt prosjektforslag i denne kategorien. Et rimeligere og bedre tiltak vil være å basere seg på objektiv informasjon om kvaliteten på søker og bevisst tillegge oppfattet kvalitet på søknaden svært liten vekt. Med objektiv informasjon tenker jeg her på opplysninger fra CV og/eller publikasjonsdatabaser, til forskjell fra ekspertpanel som delvis baserer sin karakter for søker på argument som har med kvaliteten på søknaden å gjøre. NFR bør også sjekke denne hypotesen ettersom en slik tendens ytterligere svekker vekten på søker.
Direktør Arvid Hallén har selv uttalt at NFR til tider forkaster ikke bare de dårligste, men også de aller beste prosjektideene. Feilaktig bruk av vurderingsskjema og ekspertpanel vil nettopp ha dette som konsekvens.
