Plinius

fredag, september 13, 2013

P 33/13: Frisk debatt med Frode

Filed under: debatt, forskning — plinius @ 1:10 pm

En interessant debatt om tellekantene har startet på HiOA-veven.

Under en (lokal) TV-debatt om universitetssatsingen 5.9. sendte jeg inn denne kommentaren: – Tellekantsystemet er dårlig tilpasset profesjonsfagene. Jeg har prøvd å få i gang en diskusjon om dette ganske lenge – sist i en kronikk i Forskerforum for to dager siden: Kronikk i Forskerforum: http://www.forskerforum.no/wip4/et-uprofesjonelt-instrument/d.epl?id=2150372

Prorektor Frode Eika Sandnes (bildet) svarte:

«Gratulerer med en knakende god kronikk i Forskerforum som jeg leste med stor interesse. Jeg synes du har mange gode poenger og jeg er glad for at du engasjerer deg i å synliggjør problemene med tellekantsystemet i lys av HiOA unike profesjonsprofil.»

I etterhånd skrev Frode litt mer om (bl.a.) tellekantene. I dag har jeg svart slik:

Hei Frode

Takk for at du tar min vurdering av tellekantsystemet på alvor. Da er det mulig å få en mer kunnskapsbasert debatt om denne delen av styringssystemet. Jeg har disse kommentarene:

Du skriver:  

«Til tross for at tellekantsystemet er langt fra perfekt gir det samlet statistisk sett en indikasjon på tilstanden og det reelle bidraget. «

Tellekantene har blitt en helt sentral styringsparameter for høyskolen. Vi er innstilt på å bruke svært mye tid, penger og oppmerksomhet på å heve antall publiseringspoeng per faglig årsverk til 0,8 i 2015. Da synes jeg det er rimelig å kreve at styringsindikatoren ikke bare gir en slags indikasjon, men at den gir et ganske presist og dekkende bilde av det vi faktisk ønsker å måle.

Alle er enige om to ting. Det ene er at forskningspublisering ikke er et gode i seg selv. Hvis publikasjonene ikke blir lest og tatt i bruk, bidrar de ikke til fagets utvikling. For det andre er ikke publisering det eneste fagfolk bør bruke tid på. At vi må undervise, er selvsagt. Men vi bør også engasjere oss i praktisk og pedagogisk utviklingsarbeid, i samarbeid med offentlige og private aktører, i innovasjon og entreprenørskap, i formidling og internasjonalt samarbeid, osv., osv.

Det jeg ønsker å måle når det gjelder FoU er vårt bidrag til profesjonsfagenes praktiske og teoretiske kunnskapsutvikling. Tellekantene fanger bare opp noen deler av dette.

Publiseringspoengene tar sikte på å måle kunnskapsproduksjonen innenfor akademisk forskning.  «Kunnskapsmåling» (informetri, scientometri) er en krevende disiplin.  Det jeg hevder, er at tellekantene (1) gir et skjevt bilde av forskningsinnsatsen samtidig som (2) indikatoren er blind for utvikling og innovasjon i praksisfeltet. Dette slår særlig sterkt ut i de kortere profesjonsfagene.

Så vidt jeg kan se har de som har utviklet det norske tellekantsystemet aldri undersøkt denne problemstillingen. Alle fag skjæres over samme kam: «Any customer can have a car painted any colour that he wants so long as it is black». (Ford, 1909)

Ta for eksempel en tidsskriftartikkel på nivå-2. Den er antatt av tidsskriftet igjennom en kvalitetssikrende og silende fagfellevurderingsprosess som sier noe om at arbeidet holder en viss kvalitet og gir et visst bidrag til verdens kunnskap. 

Alle vurderingssystemer, uansett hvor dårlige de er, sier noe. Det eneste unntaket er vurdering ved terningkast. Spørsmålet er ikke om indikatoren har en viss sammenheng med det vi ønsker å måle, men om sammenhengen er sterk og tydelig nok. Også et dårlig kompass peker i nordlig retning. Men skal vi bruke noen titalls millioner på å styre høyskoleskipet i riktig retning, trenger vi bedre instrumenter enn dette.

Det at fagmiljøene (igjennom de nasjonale fagrådene) har rangert tidsskriftet til nivå-2 sier noe om at de ser på dette som en spesielt viktig kanal som representerer den 20% delen av det ypperste innen feltet. 

Det er vanskelig å diskutere dette for alle fag under ett. Jeg holder meg til profesjonsfagene.   Jeg har prøvd å se på hvordan systemet virker innenfor bibliotek- og informasjonsfaget. Her holder de nitten tidsskriftene på nivå 2 høy akademisk standard – men de er tungt tilgjengelige og blir nesten ikke lest av praktiserende bibliotekarer. Innholdet er sjelden direkte relevant for praksis.

De fleste av våre publiseringspoeng kommer fra tidsskrifter på nivå 1. Her kan bibliotekarene velge mellom hundre og åtti tidsskrifter. Bare en håndfull har artikler på norsk, svensk eller dansk. Mitt inntrykk, fra epostlister, blogger, bransjetidsskrifter og egen kursvirksomhet i miljøet, er at denne litteraturen har svært liten betydning for bibliotekarenes løpende praksis. Koplingen mellom forskningsartikler og praksisfelt er lite utviklet.

Jeg har diskutert dette mer utførlig, med konkrete eksempler, i en artikkel fra 2003: http://home.hio.no/~tord/perm/ifla/why.htm

Vi vet at det er mange feilkilder og store variasjoner, men statistisk sett fra institusjonsnivå gir tellekantsystemet informasjon av verdi.

Dette virker veldig vagt og uforpliktende. Hvor mye verdi? Hva slags verdi? Hvilke konkrete eksempler vil du vise til? Er disse eksemplene rimelig representative for dagens situasjon?

Hvis vi sammenlikner likeartede institusjoner, kan dette være riktig (men det bør undersøkes og begrunnes). Men  sammenlikninger på tvers av institusjonstyper blir neppe holdbare. Fra 2004 til 2010 økte publiseringen ved Universitetet i Bergen med 30%. Det er jo respektabelt. I samme periode økte publiseringen ved den tidligere høyskolen – nå Universitetet i Stavanger med 300%. Hvordan er det mulig? Er dette verdifull informasjon?

Dokumentasjon: http://samstat.wordpress.com/2011/05/25/st-2811/

Siden tellekantsystemet slår svært ulikt ut for ulike fag, vil dette også slå ut på institusjonsnivå. Dette dreier seg, kan vi si,  om fordelingen av FoU-innsats på henholdsvis F og U.  En profesjons- og praksisrettet høyskole vil normalt drive med mye utviklingsarbeid og pedagogisk produksjon som ikke gir publiseringspoeng. U i seg selv teller ikke. Skal vi konkurrere med typiske forskningsinstitusjoner, der F dominerer, må vi enten flytte ressurser fra U til F, det vil si redusere utviklingsarbeidet, eller gjøre mer F i tillegg til det vi gjør i dag.

Dessuten må jeg nevne at det er farlig fristende å bruke tellekantene på nivåer under institusjonen, det vil si på fakulteter, institutter, grupper og individer. Ved HiOA har folk forlengst begynt å diskutere og sammenlikne poengproduksjonen ved ulike studiesteder (Kjeller versus Oslo), ulike fakulteter (samfunnsfag på topp …), institutter (hurra for journalistene!) og for enkeltpersoner (Rune Ottosen – som selv er kritisk til systemet – toppet listen!).

Ingen ser ut til å si fra dette er ukorrekt bruk av tellekantene.

Systemet sniker seg også inn i beslutningsapparatet. Ved fakultet for samfunnsfag  blir publisering innenfor tellekantsystemet brukt til å fordele FoU-tid.:

Fakultetsstyret ved SAM har vedtatt nye regler som betyr at det blir stilt krav om resultater for at de faglig tilsatte skal få beholde tiden de kan bruke på forskning (FoU-tid). En professor ved fakultetet må publisere i tre tellende vitenskapelige publikasjoner på tre år for å få lov til å bruke 45 prosent av arbeidstiden på forskning. En førstelektor eller førsteamanuensis kan bruke 35 prosent av arbeidstiden på forskning mot å ha to tellende publiseringer på tre år, mens en høgskolelektor får bruke 25 prosent av tiden mot å publisere en gang i løpet av tre år.

Dekan Dag Jenssen understreker at dette er minimumskrav og at fakultetets forventninger er høyere. I saksframlegget til styremøtet står det at en tilsatt i førstestilling forventes å publisere tilsvarende 1,5 publikasjonspoeng per år.

Den eneste måten å få tilstrekkelig tid til U/tviklingsarbeid, er altså ved å levere F/orskningsartikler i stedet for å jobbe med utvikling.

Jeg håper rektoratet og høyskolens ledelse ser at dette er et reelt problem. De metodiske svakhetene skyldes ikke HiOA, men ligger i systemet som helhet. Tellekantene er et lettvint, men misvisende, instrument. Departementet sier: bruk det. Da bør vi svare: vi har sterke faglige innvendinger og ber om en faglig begrunnelse.

Jeg ser fram til neste runde i denne debatten.

Ressurser

Artikler i samme gate

Plinius 2013

Plinius 2012

Plinius 2011

3 kommentarer »

  1. […] P 33/13: Frisk debatt med Frode. Hvordan fungerer tellekantene i profesjonsfagene? […]

    Tilbakeping av P 42/13: San Francisco erklæringen | Plinius — lørdag, september 28, 2013 @ 11:41 pm

  2. […] P 33/13: Frisk debatt med Frode. Hvordan fungerer tellekantene i profesjonsfagene? […]

    Tilbakeping av P 45/12: Faglig frihet ved HiOA? | Plinius — mandag, oktober 7, 2013 @ 11:36 pm

  3. […] P 33/13: Frisk debatt med Frode. Hvordan fungerer tellekantene i profesjonsfagene? […]

    Tilbakeping av P 55/13: Hvor skriver bibliotekforskerne? | Plinius — fredag, oktober 25, 2013 @ 8:23 am


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Blogg på WordPress.com.

%d bloggers like this: