P 34/13: Tellekanter på individnivå

På høyskolens avis Khrono løper det en debatt om tellekantsystemet.

En av mange problemstillinger er: På hvilket aggregatnivå (institusjon, fakultet, institutt, individ) er det fornuftig, legitimt, rimelig eller metodisk korrekt å anvende tellekantindikatorene.

Denne bloggposten er også publisert i Khrono. Bildet: Et snodig instrument.

Jeg har kritisert vårt samfunnsfaglige fakultet for å bruke tellekanter helt ned på individnivå.  Ivan Harsløf, som er prodekan for FoU, har svart.

Debatten fortsetter.

Svar til SAM

Takk til Ivan Harsløf for godt svar. Jeg følger med glede opp.

Du skriver:

– «Bemerk at SAM ved fordeling av FoU-tid nettopp IKKE bruker tellekantssystemet, hvis vi med dette mener systemet for oppgjøring av publiseringspoeng ut ifra publiseringskanal (nivå-kategorisering), -type (artikkel/monografi mm) og forfatterandeler. Det er korrekt at vi – som utgangspunkt – sier at publikasjoner må være tellende.»

Jeg kan gjerne presisere at SAM ikke bruker hele tellekantberegningen, men at de holder seg tellekantlisten over godkjente tidsskrifter og forlag for å avgjøre om en artikkel skal regnes som tellende ved fakultetet eller ikke.

– «Terskelen for hva som kan nomineres som tellende er nok så lav – først og fremst må det være rutiner for fagfellevurdering.»

Hvis vi holder oss til fagtidsskriftene, er det riktig at mange av de godkjente tidsskriftene ligger på et lavt nivå. Rutinene for fagfellevurdering er ofte slappe, og mange merkelige tekster slipper gjennom filteret. La meg sitere Richard Horton, sjefredaktør av «The Lancet»,

‘peer review to the public is portrayed as a quasisacred process that helps to make science our most objective truth teller, but we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong’.

Kilde: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2688014/

Et dårlig instrument

For meg er dette et argument mot dagens system, enten det nå brukes av Kunnskapsdepartementet eller SAM. Indikatorene måler ikke det vi ønsker å måle. Selve instrumentet er for dårlig.

Mange høyt kompetente fagfolk – som Øyvind Østerud, Svein Sjøberg, Nils Roll Hansen, Raino Malnes og Bill Lafferty – er enige i dette. Men forskningsbyråkratiet tier stort sett stille. Det har vært nesten mulig å få i gang en debatt om metodikken med de som har laget systemet.

– «Fordeling av FoU-tid på SAM skjer i medarbeidersamtalen, der det er rom for skjønn. Utgangspunktet er konkrete planer for det faglige arbeid.»

Høyskolen satser på å bli et universitet. Dette universitetet skal ha en profesjonsfaglig og yrkesrettet profil. Men anerkjennelsen av pedagogisk og praktisk utviklingsarbeid ser ut til å forsvinne underveis.

Jeg erkjenner at den akademiske forskningsfriheten gikk tapt rundt 1990. Nå er det medarbeidersamtalene med nærmeste overordnede som bestemmer. Spørsmålet er om tid til utviklingsarbeid skal telle som FoU-tid.

Systemtvang

Systemene påvirker måten vi diskuterer på. Vi ser at PISA former norsk skoledebatt. Tellekantene gjør det samme med FoU-debatten. Vi som bruker mye tid på utviklingsarbeid, innovasjon og formidling må forsvare oss. De som bruker tida på tellende artikler, har sitt på det tørre. Hvis U-en ikke synliggjøres (og det finnes mange måter å gjøre det på), vil den akademiske publiseringen dominere.

– Fagfellevurdering og offentliggjøring er formkrav BÅDE når det kommer til forskning og utvikling.

Dette svarer knapt til norsk virkelighet.  La oss ta en titt på instituttsektoren. HiOA har som mål å produsere 0,8 poeng pr. faglig årsverk i 2015. Vi har statistikk for femtito norske forskningsinstitutter.  Sytti prosent av de norske instituttene , som i prinsipp skal bruke alle sine faglige årsverk på forsknings- og utviklingsarbeid, la lavere enn dette i treårsperioden 2010-2012.

Det skyldes neppe at de produserer lite, men heller at mye av produksjonen ikke blir fagfellevurdert og offentligjort i tellende tidsskrifter. Den formidles heller gjennom rapporter uten formell fagfellevurdering. Av og til holdes også resultatene skjult med tanke på konkurrenter.

Dokumentasjon her: https://plinius.wordpress.com/2013/06/11/p-2713-produksjon-uten-poeng/

Forøvrig blir store deler av verdens medisinske forskning heller ikke offentliggjort, slik dagens The Guardian forteller:

 many trials are not registered before they are done, while results are held as private documents that cannot be scrutinised by patients or independent experts. The practice skews the information available to doctors because trials that show new experimental drugs in the best light are more likely to be published, and results that could prevent harm may never see the light of day. Often, trials that indicate a new treatment is not effective are never published.

Dokumentasjon

– «Utvikler du en ny metode for profesjonell praksis, en ny læringsform e.l. må din fremgangsmåte og dine resultater selvsagt dokumenteres og gjøres til gjenstand for uavhengig vurdering av andre innen feltet.»

Jeg er helt enig i dette.  JMin personlige erfaring gjelder utvikling av nye metoder innenfor bibliotekstatistikk. Dokumentasjon er essensielt. Men profesjonsfagene trenger først og fremst å nå praktikerne.

– «Heldigvis finnes det relevante og tellende publiseringskanaler innen det spektre av profesjoner vi jobber mot der slikt utviklingsarbeid kan offentliggjøres.»

Min erfaring i bibliotekfeltet er at formidling av ny praktisk kunnskap primært skjer gjennom foredrag, kurs og verksteder (som tar mye av min arbeidstid)  og i svært liten grad gjennom akademiske tidsskrifter.  Det finnes i og for seg tellende kanaler (og jeg bruker disse også), men de er ikke relevante for praktikerne jeg ønsker å nå.

Med andre ord: tellekantsystemet er beregnet på forskere i akademiske disipliner og ikke på praktikere i høyskolens profesjonsfag. Jeg er ikke mot forskning, men jeg er mot ensidighet. Skal vi komme tilbake på riktig kurs, må vi sørge for at utvikling, innovasjon og formidling i praksisfeltet får samme vekt som den mer akademiske profesjonsforskningen.