P 23/13: Misbruk av NVI

Vårt fakultet for samfunnsfag har vedtatt å bruke publiseringspoeng til å vurdere enkeltpersoner.

Plinius er mektig forbauset. Styrets vedtak bryter med et hovedprinsipp i CRIStin og NVI (Norsk Vitenskapsindeks). Publiseringsindikatorene er rett og slett ikke beregnet på å måle individer.

Gunnar Sivertsen, som jo er den faglige hovedpersonen  bak NVI har sagt tydelig fra om dette helt fra starten av. I fjor ble han intervjuet i tidsskriftet Prosa. Intervjueren spør hvordan systemet skal brukes:

• Du har ofte måttet gjenta at tellekantene er ment å virke på institusjonsnivå, ikke på individnivå.
• Men en utilsiktet virkning av systemet er jo at det fungerer nettopp på individnivå.
• Et eksempel er hvordan læresteder som BI og Handelshøyskolen i Bergen faktisk utbetaler publiseringspoeng-penger direkte til forskeren som har stått for publiseringen, som en slags bonus.

Sivertsen svarte:

• Akkurat den ordningen har de to lærestedene selv etablert, uavhengig av tellekantsystemet.
• Et mye mer begrenset antall topptidsskrifter inngår i den ordningen.
• Men mange har vært urolige for at systemet i for stor grad brukes på individnivå, selv om dette aldri har vært hensikten.

Den nye ordningen SAM har innført viser at uroen har vært berettiget.

Også den kollektive bruken kan ha sine problemer. Artikkelen om ulikheter i publiseringsmønstre mellom fagområder, av Piro, Aksnes og Rørstad (2013), gir et aktuelt eksempel. De lar jeg imidlertid ligge i denne sammenhengen.

Et bredere perspektiv

Det er ikke urimelig å tildele tid etter innsats. Men HiOA er ikke et tradisjonelt forskningsuniversitet og bør ikke ha som mål å bli det. Profesjonene har et bredere perspektiv enn de klassiske disipliner. FoU omfatter både akademisk forskning, produksjon av lærebøker, utvikling av digitale undervisningsformer og læringsmidler, formidling i alle retninger samt utviklingsarbeid og innovasjon i praksisfeltet. Denne bredden klarer man ikke å måle med enkle og billige indikatorer.

Det holder ikke at publiseringspoeng er korrelert med reell FoU/produksjon.  Sammenhengen er for diffus. Høyde og intelligens er også positivt korrelert. Men vi bruker ikke høyde som kriterium ved ansettelser. Men se Lagestad (2013) ….

Det å tildele individuell forskningstid er en vanskelig avgjørelse. Når det foreligger et måleinstrument som kan erstatte faglig skjønn og samtale, er det vanskelig å motstå fristelsen. SAM har falt i fellen – godt hjulpet av den ukritiske bruk av tellekantene som har preget HiOAs interne disksujoner. Man griper til det man har for hånden.  Den som har hammer, ser spiker overalt.

Det trege handlingsfeltet

SAM gir de ansatte klar beskjed. Hvis du satser på fagfellevurderte artikler, er du trygg.  Hvis du konsentrerer deg om utviklingarbeid, lever du farlig. Praktiske resultater i det trege handlingsfelt teller ikke. Det er bedre å skrive om Sartre og le champ practico-inerte.

Ved å telle poeng trenger man ikke å vurdere ulike former for FoU-virksomhet opp mot hverandre. Telleapparatet erstatter de faglige vurderingene og hopper bukk over de faglige diskusjonene.

Det pussige er at SAM velger denne linjen samtidig som fagmiljøer og politikere har blitt mer skeptiske til de enkle tellingene. Avstanden mellom teoriproduksjon og praktisk nytte (impact) diskuteres heftig i Norge,  i Europa og i USA. Innovasjonsfeltet får større oppmerksomhet. Bloggen Impact of Social Sciences fra London School of Economics er en god inngang til denne internasjonale debatten.

Nyhetene på NIFUs hjemmesider viser den samme dreiningen i norsk forskningspolitisk debatt. SAM kaster seg på toget i det det senker farten.

Er vi helt nødt?

I Norge skal hele tellekantsystemet nå evalueres.  Bruk på individnivå vil bli diskutert, sier Sivertsen:

• Dette blir også en sentral del av evalueringen.
• Vi må kartlegge hvordan systemet brukes lokalt
• Kanskje vil dette munne ut i en felles bruksanvisning som sier noe om hva tellekantene kan og ikke kan brukes til.

Slegger er glimrende redskaper for å knuse stein. De er mindre egnet til hasselnøtter.

Ressurser

• Per Solberg. Alt blir klart og (u)betydelig. Prosa,
• Pål Lagestad. Does size matter? Short and tall officers policing the street. Professions & Professionalism. Vol 3 (2013), no. 1.
  • “You resolve the most by being big, strong, and ugly. Had all been like him, it would have been quiet here in town.”

Plinius

• P 22/13: Vi må tråkke opp nye stier. Internasjonale forskere gir HiOA gode råd om internasjonalisering.
• P 21/13: Forskningsbarometeret varsler urolig vær. Det å måle kunnskapsproduksjon var ikke så enkelt likevel …
• P 16/13: Forskning, penger og praksis. Staten vil ha problemløsende forskning.
• P 13/13: Studenter støtter Åmås. Prioritering av forskning rammer undervisningen
• P 12/13: Kontroll i stedet for kvalitet
• P 11/13: Dobling på tre år? Halsbrekkende målsetting fra HiOA

TTidsskrifter

• Produksjon og innovasjon. Kunnskapsbasert praksis i norske folkebibliotek. Dansk Biblioteksforskning: Tidsskrift for informations- og kulturformidling, nr. 2/3, årg. 6  (2010), s. 99-101.
• Fyll ikke profesjonene med forskere. Forskerforum, 2010, Nr. 6, s. 34-35.

VEDLEGG

Vedtaket

Vedtaket i fakultetsstyret ble gjort etter at et FoU-utvalg under ledelse av prodekan Ivan Hasløf hadde utredet saken.

• Hasløf sa at utvalget har gått inn for et så enkelt system som mulig, og at kravene bare skulle gjelde publisering i tellende publikasjoner med fagfellevurdering.
• Her ville fakultetstyret det annerledes, og ga en åpning for at ikke-tellende publisering også skal gi grunnlag for tildeling av tid til forskning.

Profiler

While many studies have compared research productivity across scientific fields, they have mostly focused on the “hard sciences,” in many cases due to limited publication data for the “softer” disciplines; these studies have also typically been based on a small sample of researchers.

In this study we use complete publication data for all researchers employed at Norwegian universities over a 4-year period, linked to biographic data for each researcher. Using this detailed and complete data set, we compare research productivity between five main scientific domains (and subfields within them), across academic positions, and in terms of age and gender.

The study’s key finding is that researchers from medicine, natural sciences, and technology are most productive when whole counts of publications are used, while researchers from the humanities and social sciences are most productive when article counts are fractionalized according to the total number of authors. The strong differences between these fields in publishing forms and patterns of coauthorship raise questions as to whether publication indicators can justifiably be used for comparison of productivity across scientific disciplines.

A macro analysis of productivity differences across fields: Challenges in the measurement of scientific publishing

1. Fredrik Niclas Piro,
2. Dag W. Aksnes,
3. Kristoffer Rørstad

Journal of the American Society for Information Science and Technology. Volume 64, Issue 2, pages 307–320, February 2013