P 39/13: Hvordan virker tellekantene?

Universitets- og høgskolerådet har satt i gang en utredning av tellekantsystemet. Mandatet sier bl.a.:

Hovedhensikten med evalueringen er å undersøke om formålet med publiseringsindikatoren er innfridd: Har indikatoren stimulert til mer forskning, og forskning av høyere kvalitet?

Dokumentasjonen i CRISTIN viser at antall fagfellevurderte publikasjoner har økt kraftig. I den forstand har vi åpenbart fått mer forskning (F).  Jeg er også trygg på at vi har fått mer forskningsbasert kunnskap.

Men det er svært lite sannsynlig at kunnskapsmengden har økt i samme takt som papirmengden. Systemet fremmer publisering – ikke kunnskapsutvikling i og for seg.

Hva betyr dette på bakkenivå?

Når det gjelder kvalitet, har systemets «gudfar» (Gunnar Sivertsen) selv sagt at indikatoren ikke måler kvalitet. Opprinnelig het det

Gjennom betre måling av forskingsresultat … ønskjer departementet … å stimulere universitet og høgskolar til å få fram forskingsresultat av høg kvalitet.

Det høres tilforlatelig ut. Men departementet snakker fra de høyere luftlag. Nede på bakken – som for meg er bibliotekfeltet – skulle dette bety at bedre måling av forskningsresultater i bibliotekfag skal føre til flere forskningsresultater av høy kvalitet. 

Departementets allmenne språk treffer ikke vår faglige virkelighet. Dette spørsmålet har våre fagfolk faktisk forsket på. Forfattere som Richardson (2002) og tidsskrifter som EBLIP har undersøkt både den formelle kvaliteten og de praktiske konsekvensene av det som publiseres som bibliotekforskning.

Ny kunnskap møter motstand

Resultatene var ikke oppløftende. Dersom bibliotekforskningen ikke knyttes tett til endring av praksis, blir den stående som en bauta. Selv praktisk rettede prosjekter møter store problemer. Hvis ny kunnskap innebærer forandringer, møter den motstand.

Også tellekantsystemet fungerer slik. Når departementet først har bestemt seg, lever systemet sitt eget liv.

Siden tellekantene ikke stimulerer til praktisk innovasjon, bidrar de lite til bibliotekenes faglige utvikling. Endringsarbeidet skjer gjennom andre tiltak og mekanismer (kurs, verksteder, utviklingsprosjekter, faglig veiledning, strategidebatt, osv.).

Dette blir bekreftet av de mange høringsuttalelsene til Fagerbergutvalget. De tunge kunnskapsaktørene, inkludert Høgskolen i Oslo og Akershus,  savner vektlegging av innovasjon og samfunnsnytte.

Fagfelt er forskjellige

 I evalueringen inngår å vurdere indikatorens innvirkning på publiseringsmønsteret og på forskningen.

Det er bra at dette blir undersøkt her i Norge. Internasjonalt er det allerede gjort foretatt en god del studier-

Videre inngår vurdering av egenskaper ved indikatoren – hvor vidt den er fagfeltnøytral og hvor vidt nivåinndelingen ivaretar kvalitetsdimensjonen.

Hvorfor spør departementet om noe vi for lengst vet svaret på? Indikatoren er selvsagt ikke fagfeltnøytral. Vi har mengder av bibliometrisk forskning, også fra forrige århundre, som viser det motsatte.  Danske Birger Hjørland (som vi har hatt som gjesteforeleser i Oslo) er en ledende ekspert på feltet.

Vi tar det som gitt at forskere må forholde seg til kunnskapsstatus før de prøver å etablere ny kunnskap. Jeg så gjerne at departementet gjorde det samme. Nivåinndelingen (20% på nivå 2) er primitiv.  Vi har lenge hatt en livlig internasjonal debatt om rangering av fagtidsskrifter, spesielt fra siteringsdata og de mange ulike siteringsindikatorene som har blitt foreslått. Det virker som om mandatet ikke forholder seg til faglitteraturen på feltet.

Forbuden frukt

Den faglige og administrative organiseringen av indikatoren ønskes også belyst, samt tilsiktet og utilsiktet bruk av indikatoren til andre formål enn budsjettfordeling mellom institusjoner.

Alle som følger med i debatten ser at indikatoren jevnlig brukes til andre formål. Det er CRISTins design som leder oss inn i fristelse.  Når systemet gir oss informasjon om publisering helt ned på individnivå, klarer vi ikke å dy oss. Vi bruker slike data både internt og i offentlige diskusjoner om hvem som bidrar mye, lite og ikke i det hele tatt. Forbuden frukt smaker best.

Jeg har ikke sett at departementet eller NIFU har tatt til orde mot denne praksisen.

Hold fram som du stevner!

Evalueringen skal ha et fremadskuende perspektiv med hensyn på hvordan publiseringsindikatoren kan utvikles videre.

Rammen er klar. Den norske publiseringsindikatoren er grunnleggende bra. Den kan utvikles videre, men ikke forkastes.

Ressurser

• Richardson, John V. and Matthew Saxton (2002). Understanding Reference Transactions: Turning an Art into a Science. Library and Information Science Series. New York: Academic Press.
• Mandat for evaluering av publiseringsindikatoren

Teksten er revidert onsdag morgen.

VEDLEGG A

Universitets- og høgskolerådet har tatt initiativ til å evaluere den norske publiseringsindikatoren og fikk i januar 2013 tilsagn om støtte til gjennomføring fra Kunnskapsdepartementet. Oppdraget ble lyst ut den 18. april. Referansegruppen behandlet innkomne tilbud i møte 13. juni og endelig kontrakt ble signert fredag 28. juni 2013. Dansk Center for Forskningsanalyse (CFA) er tildelt oppdraget.

Evalueringen skal gjennomføres i løpet av høsten 2013, og sluttrapport vil bli presentert i januar 2014.

Full fart, altså. Det er bra!

http://www.uhr.no/aktuelt_fra_uhr/dansk_center_for_forskningsanalyse_cfa_skal_evaluere_den_n

V