Når ble velpolert det samme som ambisiøst?

Flere forskere har allerede advart mot at Forskningsrådets nye søknadssystem belønner de mest forførende fabuleringene, og at vi risikerer å finansiere de beste selgerne fremfor de beste prosjektene.

Jeg deler uroen. Argumentet treffer noe ekte og fortjener å bli tatt på alvor.

Men jeg deler ikke diagnosen. Jeg mener at vi har et større problem å fokusere på. La meg først utfordre en antakelse som ligger under hele denne debatten om søkerportalen. Forskere bruker stadig mer KI til å skrive søknader og finansiørene bruker stadig mer KI til å vurdere dem. Hvis begge sider konvergerer mot det samme verktøyet, blir polering ren støy. Da er det bare ideen, originaliteten og den faglige substansen som kan skille søknadene fra hverandre.

Det burde være gode nyheter, ikke en krise, sant? Med mindre vurderingsapparatet vårt aldri egentlig har målt substans, bare overflate.

Velpolert vs. ambisiøs og original

Det er ingen tvil om at KI gjør det for lett å skrive søknader. NordForsk-direktør Arne Flåøyen skriver i Khrono at finansiørene må forberede seg på en strøm av KI-genererte søknader, og at de må utvikle evalueringsprosesser som sikrer at den beste og mest originale forskningen fortsatt slipper gjennom. Khrono har beskrevet tilstanden som en flodbølge av «KI-skvip», der KI angivelig gjør det enklere å «sminke» en uoriginal idé med fine formuleringer.

Men dette handler egentlig ikke om søkerportalen. En portal (altså et IT-system) er per definisjon noe vi utformer, prøver ut, øver inn, justerer og bygger om. CV-feltet som i dag jevner ut de faglige forskjellene kan gjøres om til en opplasting i morgen. De trange tekstboksene kan få mer plass. Dette er reelle forbedringer som bør gjøres. Min innvending er at dette er parametere og ikke sykdommen.

For hva er det vi egentlig innrømmer når vi sier at velpolerte søknader er en trussel? Vi innrømmer at evaluatorene ikke klarer å skille mellom polert språk og solid tenkning. Og hvis det er tilfellet har vi et langt større problem enn for mange søknader. Og problemet fantes lenge før ChatGPT – for et velskrevet sammendrag aldri har vært det samme som en god idé. Så når ble «velpolert» synonym for «ambisiøs», «original» eller «gjennomtenkt»?

Kampen mot subjektivitet

Jeg mener at det er her det virkelige problemet ligger. I en situasjon med ekstrem konkurranse og lav tilslagsprosent vokser makten til hver enkelt evaluator dramatisk. En evaluator for europeisk forskning sa til meg at så mange søknader får toppkarakter at terskelen mister sin mening, og vurderingen blir binær: bestått eller ikke.

Da kan en eneste kritisk merknad senke en ellers utmerket søknad: et prosjekt kan score 7 på virkning og 7 på prosjektgruppe, men dras ned til 5 av ett enkelt kriterium. Internasjonal forskning om fagfellevurdering peker i samme retning: at panelene i liten grad treffer på hvilke prosjekter som faktisk lykkes, og at enkeltpersoner kan blokkere ideer de ikke liker når tilslaget er lavt.

Forskningsrådet har selv innrømmet at all vurdering av forskningsideer har et element av subjektivitet, og at det ikke finnes noe objektivt korrekt svar. Det er en ærlig erkjennelse.

Subjektivitet kombinert med avgjørende makt og lav etterprøvbarhet er en farlig blanding. Da blir to spørsmål uunngåelige: Hvilket vern har vi mot evaluatorer som misbruker den makten de har fått? Og på hvilket grunnlag skiller dagens evaluatorer egentlig genuint ambisiøs forskning fra forskning som bare høres ambisiøs ut?

Hva kan gjøres i stedet?

Ett konkret grep kan være å innføre en skissefase for alle utlysninger. La alle levere et forhåndsforslag på én side: idé, originalitet og faglig grunnlag, og la bare de som inviteres videre, skrive en full søknad. Modellen er ikke ny. Forskningsrådet brukte nettopp en todelt skissemodell da 122 fagmiljøer søkte om de nye KI-sentrene.

Fordelene er åpenbare. En skissefase flytter oppmerksomheten fra polering til premiss: på én side er det vanskeligere å skjule tomhet bak velformulerte avsnitt, enten de er skrevet av et menneske eller en maskin. Det sparer tid og ressurser for alle, ikke minst for forskerne selv, som i dag bruker utallige årsverk på fullstendige søknader som aldri hadde noen reell sjanse. Og den demper «flodbølgen» ved kilden, slik at evaluatorene kan bruke tid og kompetanse på de ideene som faktisk fortjener en grundig vurdering.

KI har bare gjort systemets svakheter synlige. Løsningen er å måle det som faktisk teller, ideen, og å bygge vern mot misbruk av den makten vi har lagt i hendene på den enkelte evaluator.