Skal avdekke slagsider i fagfellevurderinger med kunstig intelligens

Skal avdekke slagsider i fagfellevurderinger med kunstig intelligens

Av Julia Loge

Publisert 8. januar 2020

Er reviewer 2 faktisk ekstra krass? Dømmes kvinner hardere enn menn? Ny datateknologi analyserer fagfellevurderinger.

– Jeg er bekymret for at vi har systematiske slagsider i fagfellevurderingene som ikke blir rettet opp, sier professor Mike Thelwall fra University of Wolverhampton til Times Higher Education. Han viser til studier som viser at fagfellene er mer kritiske til forfattere fra fattigere land og mindre prestisjefulle universiteter.

Han står bak programmet PeerJudge som skanner fagfellevurderinger og plukker ut negative eller positive utrykk for å finne ut om enkelte forfattergrupper forskjellsbehandles og om artikler blir avvist til tross for gjennomgående positive tilbakemeldinger.

De har allerede funnet ut at fagfellene er mindre strenge mot forfattere fra sitt eget hjemland, ifølge Times Higher Education.

Thelwall håper at PeerJudge kan gi redaktører bedre oversikt over eventuelle slagsider og samtidig oppdage røvertidsskrift med mangelfulle vurderinger. Thelwall undersøker også mulighetene for å automatisere mer av fagfelleprosessen, og hvordan det kan gjøres uten at dataprogrammene lærer seg å gjenta eksisterende skjevheter.

– Fagfellevurderinger er gullstandarden i forskning og vi blir alle vurdert, så vi burde gjøre det riktig, men jeg vet ikke om vi alltid gjør det, sier Mike Thelwall.

  • Les også: