Plinius

fredag, juni 7, 2013

P 23/13: Misbruk av NVI

Filed under: debatt — plinius @ 12:49 am

Vårt fakultet for samfunnsfag har vedtatt å bruke publiseringspoeng til å vurdere enkeltpersoner.

Plinius er mektig forbauset. Styrets vedtak bryter med et hovedprinsipp i CRIStin og NVI (Norsk Vitenskapsindeks). Publiseringsindikatorene er rett og slett ikke beregnet på å måle individer.

Gunnar Sivertsen, som jo er den faglige hovedpersonen  bak NVI har sagt tydelig fra om dette helt fra starten av. I fjor ble han intervjuet i tidsskriftet Prosa. Intervjueren spør hvordan systemet skal brukes:

  • Du har ofte måttet gjenta at tellekantene er ment å virke på institusjonsnivå, ikke på individnivå.
  • Men en utilsiktet virkning av systemet er jo at det fungerer nettopp på individnivå.
  • Et eksempel er hvordan læresteder som BI og Handelshøyskolen i Bergen faktisk utbetaler publiseringspoeng-penger direkte til forskeren som har stått for publiseringen, som en slags bonus.

Sivertsen svarte:

  • Akkurat den ordningen har de to lærestedene selv etablert, uavhengig av tellekantsystemet.
  • Et mye mer begrenset antall topptidsskrifter inngår i den ordningen.
  • Men mange har vært urolige for at systemet i for stor grad brukes på individnivå, selv om dette aldri har vært hensikten.

Den nye ordningen SAM har innført viser at uroen har vært berettiget.

Også den kollektive bruken kan ha sine problemer. Artikkelen om ulikheter i publiseringsmønstre mellom fagområder, av Piro, Aksnes og Rørstad (2013), gir et aktuelt eksempel. De lar jeg imidlertid ligge i denne sammenhengen.

Et bredere perspektiv

Det er ikke urimelig å tildele tid etter innsats. Men HiOA er ikke et tradisjonelt forskningsuniversitet og bør ikke ha som mål å bli det. Profesjonene har et bredere perspektiv enn de klassiske disipliner. FoU omfatter både akademisk forskning, produksjon av lærebøker, utvikling av digitale undervisningsformer og læringsmidler, formidling i alle retninger samt utviklingsarbeid og innovasjon i praksisfeltet. Denne bredden klarer man ikke å måle med enkle og billige indikatorer.

Det holder ikke at publiseringspoeng er korrelert med reell FoU/produksjon.  Sammenhengen er for diffus. Høyde og intelligens er også positivt korrelert. Men vi bruker ikke høyde som kriterium ved ansettelser. Men se Lagestad (2013) ….

Det å tildele individuell forskningstid er en vanskelig avgjørelse. Når det foreligger et måleinstrument som kan erstatte faglig skjønn og samtale, er det vanskelig å motstå fristelsen. SAM har falt i fellen – godt hjulpet av den ukritiske bruk av tellekantene som har preget HiOAs interne disksujoner. Man griper til det man har for hånden.  Den som har hammer, ser spiker overalt.

Det trege handlingsfeltet

SAM gir de ansatte klar beskjed. Hvis du satser på fagfellevurderte artikler, er du trygg.  Hvis du konsentrerer deg om utviklingarbeid, lever du farlig. Praktiske resultater i det trege handlingsfelt teller ikke. Det er bedre å skrive om Sartre og le champ practico-inerte.

Ved å telle poeng trenger man ikke å vurdere ulike former for FoU-virksomhet opp mot hverandre. Telleapparatet erstatter de faglige vurderingene og hopper bukk over de faglige diskusjonene.

Det pussige er at SAM velger denne linjen samtidig som fagmiljøer og politikere har blitt mer skeptiske til de enkle tellingene. Avstanden mellom teoriproduksjon og praktisk nytte (impact) diskuteres heftig i Norge,  i Europa og i USA. Innovasjonsfeltet får større oppmerksomhet. Bloggen Impact of Social Sciences fra London School of Economics er en god inngang til denne internasjonale debatten.

Nyhetene på NIFUs hjemmesider viser den samme dreiningen i norsk forskningspolitisk debatt. SAM kaster seg på toget i det det senker farten.

Er vi helt nødt?

I Norge skal hele tellekantsystemet nå evalueres.  Bruk på individnivå vil bli diskutert, sier Sivertsen:

  • Dette blir også en sentral del av evalueringen.
  • Vi må kartlegge hvordan systemet brukes lokalt
  • Kanskje vil dette munne ut i en felles bruksanvisning som sier noe om hva tellekantene kan og ikke kan brukes til.

Slegger er glimrende redskaper for å knuse stein. De er mindre egnet til hasselnøtter.

Ressurser

Plinius

TTidsskrifter

VEDLEGG

Vedtaket

Vedtaket i fakultetsstyret ble gjort etter at et FoU-utvalg under ledelse av prodekan Ivan Hasløf hadde utredet saken.

  • Hasløf sa at utvalget har gått inn for et så enkelt system som mulig, og at kravene bare skulle gjelde publisering i tellende publikasjoner med fagfellevurdering.
  • Her ville fakultetstyret det annerledes, og ga en åpning for at ikke-tellende publisering også skal gi grunnlag for tildeling av tid til forskning.

Profiler

While many studies have compared research productivity across scientific fields, they have mostly focused on the “hard sciences,” in many cases due to limited publication data for the “softer” disciplines; these studies have also typically been based on a small sample of researchers.

In this study we use complete publication data for all researchers employed at Norwegian universities over a 4-year period, linked to biographic data for each researcher. Using this detailed and complete data set, we compare research productivity between five main scientific domains (and subfields within them), across academic positions, and in terms of age and gender.

The study’s key finding is that researchers from medicine, natural sciences, and technology are most productive when whole counts of publications are used, while researchers from the humanities and social sciences are most productive when article counts are fractionalized according to the total number of authors. The strong differences between these fields in publishing forms and patterns of coauthorship raise questions as to whether publication indicators can justifiably be used for comparison of productivity across scientific disciplines.

A macro analysis of productivity differences across fields: Challenges in the measurement of scientific publishing

  1. Fredrik Niclas Piro,
  2. Dag W. Aksnes,
  3. Kristoffer Rørstad

Journal of the American Society for Information Science and TechnologyVolume 64, Issue 2, pages 307–320, February 2013

6 kommentarer »

  1. Det er etter mitt syn bortkasta tid å befatte seg med indikatorer som er like «lure» som å handle på TV-shop. Fellestrekket «impact-factor» og TV-shop er det på TV-shop også varer som «alle vil ha» som blir markedsført, og dermed er TV-shop velidg bra sted å handle… Interessant men ikke overraskende at ledelsen ved Høgskolen i Oslo ikke ser ut til å ha fått med seg debatten som har foregått på dette feltet. I andre nyheter så har jo ikke beredskapen i Politiet blitt bedre etter 22. juli, så ting går som vanlig ser det ut til.

    Kommentar av Pål Lykkja — fredag, juni 7, 2013 @ 11:38 am

  2. […] P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer […]

    Tilbakeping av P 24/13: Svak kontakt med praksis | Plinius — lørdag, juni 8, 2013 @ 10:51 am

  3. […] P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer […]

    Tilbakeping av P 25/13: Forskning på akkord | Plinius — søndag, juni 9, 2013 @ 5:08 pm

  4. […] P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer […]

    Tilbakeping av P 27/13: Produksjon uten poeng? | Plinius — onsdag, juni 12, 2013 @ 5:26 pm

  5. […] P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer […]

    Tilbakeping av P 33/13: Frisk debatt med Frode | Plinius — fredag, september 13, 2013 @ 1:47 pm

  6. […] P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer […]

    Tilbakeping av P 45/12: Faglig frihet ved HiOA? | Plinius — mandag, oktober 7, 2013 @ 11:36 pm


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Blogg på WordPress.com.

%d bloggers like this: