Publisert 4. februar 2014 kl. 08:44
I staden for å lite på renomméet til tidsskriftet, tek stadig fleire til orde for å måle gjennomslaget til kvar artikkel direkte.
– Vil vi verkeleg dyrke fram dei forskarane som gjer alt dei kan for å få artikkelen sin publisert i Nature eller Science, spør Björn Brembs.
– Rangering av tidsskrift er eit dårleg mål på kvalitet, seier Martin Fenner.
– Eg har ingen draum om å publisere i Nature og Science, seier Jørn Hurum. Her med preparant May-Liss Funke, som har den tolmodkrevjande jobben med å lime i hop øgleskjeletta Jørn Hurum har med heim frå Svalbard.
– Teljekantsystemet er laga for å dekke alle institusjonar og fagfelt, og det har ført til tiltrengt stimulering av forskingspublisering, seier Gunnar Sivertsen.
– Eg visste vi kom til å trenge sponsorar til Svalbard-utgravingane. Då måtte vi ha ein heilskapleg formidlingsstrategi. Barneboka om Svalbard-funna kom ut same dagen som dei vitskaplege artiklane vart publiserte, fortel Jørn Hurum.
Du kjenner formuleringa – den vesle setninga som får forskarhjartet til å slå litt sterkare. Den som er gøymt vekk heilt i slutten av pressemeldinga som kommunikasjonsavdelinga sender ut, men som avgjer verdien til alt det andre som står der. «Resultata er publiserte i det prestisjetunge tidsskriftet Science.»
Som eit Soria Moria lyser dei på horisonten, topp-tidsskrifta, dei som alle les og siterer, dei som publiserer den mest originale og banebrytande forskinga. Dei som kan velje og vrake. Dei som potensielt kan opne døra til siteringar, karriereframsteg, konferanseinvitasjonar, spennande samarbeid, forskingsmidlar og høgare løn for den heldige forskaren som kan føre dei opp på publikasjonslista si. Så dersom eitt av desse tidsskrifta seier at dei vil publisere artikkelen din, må det vere eit teikn på at du har produsert noko stort, noko som vil setje spor etter seg. Må det ikkje?
Kan ikkje lese alt
– Det er ein massiv fordel med å bruke tidsskriftet sitt renommé som mål på kvaliteten til forskinga som er publisert der, og det er at ein slepp å lese artiklar. Når det blir produsert så enormt mykje forsking, er det uråd å lese alt, seier Björn Brembs på telefon frå Universitetet i Regensburg i Tyskland. Han er professor i nevrobiologi, men har dei seinare åra brukt stadig meir tid på å studere vitskapleg publisering.
– Dersom eg sit i ein komité som skal vurdere søkjarar til prosjektmidlar eller ei stilling, er sjansen for at eg vil forstå forskingsartiklane deira, veldig liten. Det er difor vi likar slike mål som tidsskriftrangering er. Det sparar oss for å måtte forstå kva folk eigentleg har gjort. Og det gjer det lettare å grunngje kvifor vi gav pengar til noko.
Når Brembs likevel er ein skarp kritikar av tidsskriftrangering som kvalitetsmål, er det fordi det, som han seier, er ein antivitskapleg praksis. Meir om det seinare.
Publiserer mot straumen
– Draumen for mange er å få publisert artikkelen sin i Science eller Nature, og i tillegg få redaksjonell omtale av forskinga. Ingen les artikkelen, for det er ingen som forstår han. Difor er redaksjonell omtale viktig. Det er så mange tidsskrift, ein kan ikkje berre publisere ein eller annan stad og vone at nokon kjem til å lese, seier førsteamanuensis ved Naturhistorisk museum, Jørn Hurum.
Då tida kom til å publisere artiklane om øgleskjeletta som gruppa hans hadde funne på Svalbard, vart det gjort i Norwegian Journal of Geology (NJG), eit tidsskrift med låg Impact Factor, som er eit gjennomsnittsmål på kor ofte artiklane i tidsskriftet blir sitert av andre forskarar. Eit gjennomtenkt formidlingsopplegg kring publiseringa, og open tilgang til artiklane, gjorde at dei likevel nådde opp i konkurransen om merksemda. Når forskarar blir oppmoda om å publisere i dei mest prestisjetunge tidsskrifta, dei som er på nivå 2 i det norske teljekantsystemet, så har det forskingspolitiske og ikkje faglege grunnar, meiner han.
– Eg har fast stilling, så eg gidd ikkje bruke energi på å publisere på dei rette stadene. Institusjonsleiarane har eit politisk system å ta omsyn til, men eg har berre forskinga. Og dessutan er det jo vi forskarar som skapar prestisjen til tidsskrifta, utifrå kva vi publiserer der.
Måler artikkel-gjennomslag
Då valet om den globalt ukjende publiseringskanalen NJG vart teke, hadde Hurum allereie bak seg eit anna utradisjonelt publiseringsstunt, nemleg Ida-funnet, det eldste komplette apeskjelettet i verda. Ida-artikkelen vart publisert med open tilgang i nett-tidsskriftet PLOS ONE, ei kontroversiell avgjerd den gongen, då både PLOS ONE og open tilgang var nær ukjende storleikar i forskingsverda.
[wip4: photo=694290 width=180 align=left]
Ida-artikkelen er den mest lesne, nedlasta og omtala artikkelen nokon norsk forskar har publisert i PLOS ONE. Då vi klikka på «metrics»-fana på toppen, hadde artikkelen hatt 121 127 visingar sidan mai 2009. Av desse har nesten ti tusen lasta ned pdf-versjonen. Han var sitert om lag 150 gonger, ifølgje data frå ulike siteringsdatabasar. Han er bokmerkt nær 300 gonger via akademiske bokmerketenester. Og han er nemnd på Wikipedia og på forskingsbloggar, og delt gjennom sosiale medium som Facebook. I tillegg kjem all den generelle omtalen som ikkje kan førast tilbake til eit klikk på sjølve forskingsartikkelen.
PLOS starta med å vise slik statistikk, såkalla «article level metrics» for artiklane sine i 2009.
– Den korte forklaringa på kvifor vi gjorde det, er at rangering av tidsskrift er eit dårleg mål på kvalitet. Eg trur den innsikta er mykje meir akseptert i dag enn i 2009, seier leiar for teknologisk utvikling i PLOS-gruppa, Martin Fenner, til Forskerforum.
Statistikk til alle føremål
Han fortel at behovet for alternativ til tidsskriftrangering vart akutt då ein lanserte PLOS ONE, det database-baserte megatidsskriftet som publiserer alle artiklar så lenge metodar og gjennomføring slepp igjennom fagfellevurderinga. Så blir det opp til ettertida å avgjere kva som viser seg å vere viktig i det lange løp.
– PLOS ONE publiserer alt mogleg rart, og dermed vart tidsskriftrangering heilt ubrukeleg som mål på innhaldet. Alternative måtar å måle på kan dessutan gjere det lettare å finne relevant lesestoff, seier Fenner.
PLOS var mellom dei, om ikkje den, første til å samle inn slik variert statistikk i stor skala og gjere det ope tilgjengeleg. No gjer fleire og fleire utgjevarar det same, mange ved hjelp av programvaren som er utvikla hos PLOS. Fenomenet har fått den generelle nemninga «altmetrics», og det er danna fleire firma som tilbyr statistikkpakker til ulike aktørar, som forleggjarar, forskarar og bibliotek. Somme, slik som ImpactStory, hjelper forskaren å spore statistikk ikkje berre om forskingsartiklar, men om bloggpostar forskaren har skrive, eller datasett og programvare som forskaren har gjort tilgjengeleg for andre. Nettopp det å kunne samle statistikk om forsking i andre format enn tradisjonelle forskingsartiklar er ein av fordelane som er blitt framheva ved altmetrics.
– Antivitskapleg rangering
– Eg legg ikkje merke til kva tidsskrift ein artikkel er publisert i lenger, seier Björn Brembs i Regensburg.
Han byrja interessere seg for tidsskriftrangering via den veksande diskusjonen om open tilgang og behov for reformering av vitskapleg publisering.
– Det viktigaste problemet med tidsskriftrangering, særskilt Impact Factor, er at ein konstruerer eit tal som skal fortelje kor viktig og godt eit tidsskrift er, men det talet er ikkje noko ein kjem fram til på ein vitskapleg måte. Det finst døme på at det er ope for fusk og forhandling, og talet er ikkje mogleg for andre å reprodusere. Då eg byrja undersøke litt, gjekk det opp for meg at dette med å rangere tidsskrift faktisk ikkje er ei naturlov, som tyngdekrafta. Det er eit menneskeskapt system, og vi kan endre på det, seier han.
I lag med kollegaer gjekk han igjennom forskingslitteraturen på tidsskriftrangering for å undersøke om dei mest prestisjetunge tidsskrifta verkeleg publiserer den beste forskinga. Dei fann for det meste ingen, eller ein svært svak, samanheng mellom plasseringa tidsskriftet hadde på rankinglistene, og kvaliteten på forskinga som var publisert der. Derimot er det ingen tvil om at dei mest prestisjetunge tidsskrifta også kallar tilbake flest artiklar, mellom anna fordi dei ikkje berre trekkjer til seg dei beste forskarane, men også dei verste – dei som skriv artiklar baserte på ulike grader av fri fantasi. Det er også eit velkjent problem at all den originale og banebrytande forskinga som blir publisert i topp-tidsskrifta, ofte viser seg å bli mindre banebrytande di fleire som prøver å reprodusere resultata, anten det kjem av overfortolking hjå forskarane eller dårleg dømekraft hjå redaktørane. Slike artiklar samlar gjerne flest siteringar, noko som set spørjeteikn ved kor brukande siteringar er som mål på kvalitet.
Vit kva du vil måle
– Eg vil gå så langt som til å seie at den som nyttar tidsskriftrangering som kvalitetsmål, diskvalifiserer seg sjølv som forskar. Då er det betre å kaste terning for å avgjere kva for søknad som skal få pengar, eller kven som skal få jobben. Det er meir transparent, og resultatet blir like bra, seier Brembs.
På den andre sida bør ikkje forskarar vere framande for tanken at ein treng ulike mål avhengig av kva ein vil undersøkje, meiner han.
– Siteringar er ikkje noko objektivt mål, for dei kan kome av mange ulike grunnar, der alle kan vere like gyldige. Og ulike fagfelt har ulik siteringspraksis. Dette må ein undersøke før ein bestemmer seg for om siteringar er eit relevant mål i kvart enkelt tilfelle. Slike avvegingar bør falle naturleg for forskarar som gjennom heile karrieren må finne ut kva det er dei ønskjer å måle før dei måler det, seier han.
Jørn Hurum meiner ein må tenkje over kva tilnærming ein har til forsking når ein avgjer kor ein vil publisere.
– Nokre fagfelt, som utstyrskrevjande naturvitskap og medisin, er ferskvare. Etter to år kan artiklane vere heilt uinteressante. For oss paleontologar er det annleis. Vi sit der med eit skjelett, det einaste eksemplaret i verda. Artikkelen vil bli referert dei neste hundre åra, og det må vi ha i bakhovudet når vi skriv. No kan dei som vil lese om Svalbard-øglene, finne alt om funnet – historikk, avsetningar, alt – på same plassen, i staden for å måtte kjøpe seg tilgang til hundre ulike tidsskrift frå ulike utgjevarar. Men ein må våge å bryte nokre uskrivne reglar, og det er opp til oss etablerte forskarar å gjere det. Eg vil ikkje råde phd-ar til å gamble med karrieren sin. Sjølv har eg ingen draum om å publisere i Nature og Science. Eg er nok meir driven av indre motivasjon enn av den pin-samlarmentaliteten som systemet legg opp til.
Kvar kjem forsking til nytte?
[wip4: photo=504072 width=180 align=right]
Det norske teljekantsystemet, som nyleg vart evaluert, tildeler som kjent poeng utifrå publiseringskanal. Det er fordi ein ønskjer å påverke den samla forskingspubliseringa i retning av høgare kvalitet. Valet av kanalar til dei ulike nivåa er ikkje knytt til Impact Factor, men til råd frå fagmiljøa, fortel Gunnar Sivertsen ved Nordisk institutt for studier av innovasjon, forskning og utdanning. Han er hovudarkitekten bak systemet.
– Om du lurer på kvifor vi går vegen om publiseringskanalar og ikkje berre nyttar direkte siteringar, så kjem det av at ikkje alle fagfelt er like godt dekte i dei databasane som kartlegg siteringar. Vi ønskte ikkje å skape splid mellom fagområde, og valde difor å ikkje bruke direkte siteringar som mål.
Samstundes ønskte ein at norske forskarar skal publisere der dei får den mest kompetente kritikken på forskinga si, altså i dei tidsskrifta som trekkjer til seg dei beste forskarane i verda. Difor vart det laga ei nivåinndeling.
– Trur du teljekantsystemet vil bli endra no når det blir utvikla så mange andre måtar å måle gjennomslaget til artiklar på?
– Det som blir kalla altmetrics, er i stor grad kommersiell programvare knytt til firma som måler ulike parametrar for deg utan at du får tilgang til dataa som ligg bakom. Førebels kan ikkje vi som driv med bibliometri, heilt sjå korleis ein kan nyttiggjere seg dette utan å gjere utrekningane sjølv. Alle desse nye måla står i kontrast til ein etablert og veldefinert måte å måle og referere artiklar og siteringar på. Men eg ser ein tendens til å vilje undersøke samfunnsverknader av forsking, som i seg sjølv er positiv. Det vi har fått til i Noreg, er ein utstrekt offentleg samtale om publisering av vitskap. Det er blitt noko alle forskarar kjenner seg omfatta av.
Må kunne tolke tala
Martin Fenner i PLOS meiner at tekniske løysingar for innsamling av statistikk i stor grad er på plass. Det neste steget vil bli vanskelegare.
– No må ein bli flinkare til å sette desse tala i samanheng, vite kva dei tyder. Vitskap er ein kreativ og subjektiv prosess, akkurat som kunst. Det finst betre og dårlegare målarstykke, men ein kan ikkje setje eit tal på det. Det er viktig å hugse at altmetrics måler merksemd, ikkje kvalitet. Kvalitet er eit abstrakt omgrep som er uråd å definere. Det er difor ein snakkar om gjennomslag i staden. Men gjennomslag kan vere mange ulike ting. Om ein artikkel fører til at allmennlegar endrar praksis, så er det ei anna form for gjennomslag enn om ein artikkel får mange siteringar.
Dette er ikkje noko bibliometrikarane kan finne ut av på eiga hand, det krev involvering frå forskingspolitikarar og administratorar, meiner han.
– Eg trur alle veit at vitskap er blitt ein konkurranse om tal, og at tradisjonelle siteringsmål blir brukte til føremål som dei ikkje passar til. Vi treng å tenkje nøyare gjennom korleis vi evaluerer vitskap. Statistikk kan hjelpe deg å ta avgjerder, men i siste instans må du alltid bruke skjønn, avsluttar han.
[wip4: photo=694302 width=512 align=middle]
