P 33/13: Frisk debatt med Frode

En interessant debatt om tellekantene har startet på HiOA-veven.

Under en (lokal) TV-debatt om universitetssatsingen 5.9. sendte jeg inn denne kommentaren: – Tellekantsystemet er dårlig tilpasset profesjonsfagene. Jeg har prøvd å få i gang en diskusjon om dette ganske lenge – sist i en kronikk i Forskerforum for to dager siden: Kronikk i Forskerforum: http://www.forskerforum.no/wip4/et-uprofesjonelt-instrument/d.epl?id=2150372

Prorektor Frode Eika Sandnes (bildet) svarte:

«Gratulerer med en knakende god kronikk i Forskerforum som jeg leste med stor interesse. Jeg synes du har mange gode poenger og jeg er glad for at du engasjerer deg i å synliggjør problemene med tellekantsystemet i lys av HiOA unike profesjonsprofil.»

I etterhånd skrev Frode litt mer om (bl.a.) tellekantene. I dag har jeg svart slik:

Hei Frode

Takk for at du tar min vurdering av tellekantsystemet på alvor. Da er det mulig å få en mer kunnskapsbasert debatt om denne delen av styringssystemet. Jeg har disse kommentarene:

Du skriver:  

«Til tross for at tellekantsystemet er langt fra perfekt gir det samlet statistisk sett en indikasjon på tilstanden og det reelle bidraget. «

Tellekantene har blitt en helt sentral styringsparameter for høyskolen. Vi er innstilt på å bruke svært mye tid, penger og oppmerksomhet på å heve antall publiseringspoeng per faglig årsverk til 0,8 i 2015. Da synes jeg det er rimelig å kreve at styringsindikatoren ikke bare gir en slags indikasjon, men at den gir et ganske presist og dekkende bilde av det vi faktisk ønsker å måle.

Alle er enige om to ting. Det ene er at forskningspublisering ikke er et gode i seg selv. Hvis publikasjonene ikke blir lest og tatt i bruk, bidrar de ikke til fagets utvikling. For det andre er ikke publisering det eneste fagfolk bør bruke tid på. At vi må undervise, er selvsagt. Men vi bør også engasjere oss i praktisk og pedagogisk utviklingsarbeid, i samarbeid med offentlige og private aktører, i innovasjon og entreprenørskap, i formidling og internasjonalt samarbeid, osv., osv.

Det jeg ønsker å måle når det gjelder FoU er vårt bidrag til profesjonsfagenes praktiske og teoretiske kunnskapsutvikling. Tellekantene fanger bare opp noen deler av dette.

Publiseringspoengene tar sikte på å måle kunnskapsproduksjonen innenfor akademisk forskning.  «Kunnskapsmåling» (informetri, scientometri) er en krevende disiplin.  Det jeg hevder, er at tellekantene (1) gir et skjevt bilde av forskningsinnsatsen samtidig som (2) indikatoren er blind for utvikling og innovasjon i praksisfeltet. Dette slår særlig sterkt ut i de kortere profesjonsfagene.

Så vidt jeg kan se har de som har utviklet det norske tellekantsystemet aldri undersøkt denne problemstillingen. Alle fag skjæres over samme kam: «Any customer can have a car painted any colour that he wants so long as it is black». (Ford, 1909)

Ta for eksempel en tidsskriftartikkel på nivå-2. Den er antatt av tidsskriftet igjennom en kvalitetssikrende og silende fagfellevurderingsprosess som sier noe om at arbeidet holder en viss kvalitet og gir et visst bidrag til verdens kunnskap. 

Alle vurderingssystemer, uansett hvor dårlige de er, sier noe. Det eneste unntaket er vurdering ved terningkast. Spørsmålet er ikke om indikatoren har en viss sammenheng med det vi ønsker å måle, men om sammenhengen er sterk og tydelig nok. Også et dårlig kompass peker i nordlig retning. Men skal vi bruke noen titalls millioner på å styre høyskoleskipet i riktig retning, trenger vi bedre instrumenter enn dette.

Det at fagmiljøene (igjennom de nasjonale fagrådene) har rangert tidsskriftet til nivå-2 sier noe om at de ser på dette som en spesielt viktig kanal som representerer den 20% delen av det ypperste innen feltet. 

Det er vanskelig å diskutere dette for alle fag under ett. Jeg holder meg til profesjonsfagene.   Jeg har prøvd å se på hvordan systemet virker innenfor bibliotek- og informasjonsfaget. Her holder de nitten tidsskriftene på nivå 2 høy akademisk standard – men de er tungt tilgjengelige og blir nesten ikke lest av praktiserende bibliotekarer. Innholdet er sjelden direkte relevant for praksis.

De fleste av våre publiseringspoeng kommer fra tidsskrifter på nivå 1. Her kan bibliotekarene velge mellom hundre og åtti tidsskrifter. Bare en håndfull har artikler på norsk, svensk eller dansk. Mitt inntrykk, fra epostlister, blogger, bransjetidsskrifter og egen kursvirksomhet i miljøet, er at denne litteraturen har svært liten betydning for bibliotekarenes løpende praksis. Koplingen mellom forskningsartikler og praksisfelt er lite utviklet.

Jeg har diskutert dette mer utførlig, med konkrete eksempler, i en artikkel fra 2003: http://home.hio.no/~tord/perm/ifla/why.htm

Vi vet at det er mange feilkilder og store variasjoner, men statistisk sett fra institusjonsnivå gir tellekantsystemet informasjon av verdi.

Dette virker veldig vagt og uforpliktende. Hvor mye verdi? Hva slags verdi? Hvilke konkrete eksempler vil du vise til? Er disse eksemplene rimelig representative for dagens situasjon?

Hvis vi sammenlikner likeartede institusjoner, kan dette være riktig (men det bør undersøkes og begrunnes). Men  sammenlikninger på tvers av institusjonstyper blir neppe holdbare. Fra 2004 til 2010 økte publiseringen ved Universitetet i Bergen med 30%. Det er jo respektabelt. I samme periode økte publiseringen ved den tidligere høyskolen – nå Universitetet i Stavanger med 300%. Hvordan er det mulig? Er dette verdifull informasjon?

Dokumentasjon: http://samstat.wordpress.com/2011/05/25/st-2811/

Siden tellekantsystemet slår svært ulikt ut for ulike fag, vil dette også slå ut på institusjonsnivå. Dette dreier seg, kan vi si,  om fordelingen av FoU-innsats på henholdsvis F og U.  En profesjons- og praksisrettet høyskole vil normalt drive med mye utviklingsarbeid og pedagogisk produksjon som ikke gir publiseringspoeng. U i seg selv teller ikke. Skal vi konkurrere med typiske forskningsinstitusjoner, der F dominerer, må vi enten flytte ressurser fra U til F, det vil si redusere utviklingsarbeidet, eller gjøre mer F i tillegg til det vi gjør i dag.

Dessuten må jeg nevne at det er farlig fristende å bruke tellekantene på nivåer under institusjonen, det vil si på fakulteter, institutter, grupper og individer. Ved HiOA har folk forlengst begynt å diskutere og sammenlikne poengproduksjonen ved ulike studiesteder (Kjeller versus Oslo), ulike fakulteter (samfunnsfag på topp …), institutter (hurra for journalistene!) og for enkeltpersoner (Rune Ottosen – som selv er kritisk til systemet – toppet listen!).

Ingen ser ut til å si fra dette er ukorrekt bruk av tellekantene.

Systemet sniker seg også inn i beslutningsapparatet. Ved fakultet for samfunnsfag  blir publisering innenfor tellekantsystemet brukt til å fordele FoU-tid.:

Fakultetsstyret ved SAM har vedtatt nye regler som betyr at det blir stilt krav om resultater for at de faglig tilsatte skal få beholde tiden de kan bruke på forskning (FoU-tid). En professor ved fakultetet må publisere i tre tellende vitenskapelige publikasjoner på tre år for å få lov til å bruke 45 prosent av arbeidstiden på forskning. En førstelektor eller førsteamanuensis kan bruke 35 prosent av arbeidstiden på forskning mot å ha to tellende publiseringer på tre år, mens en høgskolelektor får bruke 25 prosent av tiden mot å publisere en gang i løpet av tre år.

Dekan Dag Jenssen understreker at dette er minimumskrav og at fakultetets forventninger er høyere. I saksframlegget til styremøtet står det at en tilsatt i førstestilling forventes å publisere tilsvarende 1,5 publikasjonspoeng per år.

Den eneste måten å få tilstrekkelig tid til U/tviklingsarbeid, er altså ved å levere F/orskningsartikler i stedet for å jobbe med utvikling.

Jeg håper rektoratet og høyskolens ledelse ser at dette er et reelt problem. De metodiske svakhetene skyldes ikke HiOA, men ligger i systemet som helhet. Tellekantene er et lettvint, men misvisende, instrument. Departementet sier: bruk det. Da bør vi svare: vi har sterke faglige innvendinger og ber om en faglig begrunnelse.

Jeg ser fram til neste runde i denne debatten.

Ressurser

Artikler i samme gate

•  Improving practices. Statistical standards in global libraries. Paper for IFLA Standards Committee in Singapore, August, 2013.
•  Indicators without customers.. Paper for IFLA satellite in Turku, August 7-8, 2012.
• Produksjon og innovasjon. Kunnskapsbasert praksis i norske folkebibliotek. Dansk Biblioteksforskning: Tidsskrift for informations- og kulturformidling, nr. 2/3, årg. 6  (2010), s. 99-101. [publisert i 2011]
• Innovasjon, teori og praksis i det norske bibliotekfeltet. Ms. 2011.
• Fyll ikke profesjonene med forskere. Forskerforum nr. 6, 2010, s. 34-35.
• Why is quality control so hard? Paper for IFLA Library Theory and Research Section, Berlin, August 2003.

Plinius 2013

• P 27/13: Produksjon uten poeng?. Instituttene produserte under 0,6 poeng pr. faglig årsverk i 2011. For mye utvikling, kanskje?
• P 26/13: Vurdering i og utenfor markedet. Publisering (push) og etterspørsel (pull) drar i hver sin retning
• P 25/13: Forskning på akkord. Navigare non necesse est. Publicare necesse est.
• P 24/13: Svak kontakt med praksis. Også medisinen har problemer med å utnytte forskningen
• P 23/13: Misbruk av NVI. Norsk vitenskapsindeks måler miljøer, ikke personer
• P 22/13: Vi må tråkke opp nye stier. Internasjonale forskere gir gode råd om internasjonalisering.
• P 21/13: Forskningsbarometeret varsler urolig vær. Det å måle kunnskapsproduksjon var ikke så enkelt likevel …
• P 19/13: Jentene på gjerdet. Klassedannelse 2013
• P 16/13: Forskning, penger og praksis. Staten vil ha problemløsende forskning.
• P 13/13: Studenter støtter Åmås. Prioritering av forskning rammer undervisningen
• P 11/13: Dobling på tre år?. Halsbrekkende målsetting fra HiOA

Plinius 2012

• P 62/12: Diffracted realfantast. Barnehagene trenger en annen ordens pedagogikk i et kybernetisk perspektiv
• P 57/12: Nyttig kunnskap. Debatt med Ragnar Audunson (5)
• P 56/12: Tillit til forskning. Debatt med Ragnar Audunson (4)
• P 55/12: Byråkratiske begreper. Debatt med Ragnar Audunson (3)
• P 54/12: Bibliotek er ikke medisin. Debatt med Ragnar Audunson (2)
• P 53/12: Forskning eller innovasjon i sentrum? Debatt med Ragnar Audunson (1)
• P 52/12: Mer tiger enn teknikk. Kunnskapsbasert praksis stiller nye krav til bibliotekene

• P 34/12: Tydelig profil. Omgitt av tåke …
• P 32/12: Kunnskapsmaskinen. En fabrikk som fungerer
• P 31/12: Ut vil jeg, ut …. Markedet lokker, men høyskolen kvir seg
• P 30/12: Det eneste kartet vi har. Elle, melle, jeg kan telle
• P 29/12: Mer til forskning – mindre til undervisning. Livets lov ved HiOA
• P 27/12: Den store kjærligheten? Heller et fornuftig ekteskap.
• P 23/12: Ja, vi forsker. Er det forskning eller FoU eller tellekant?

Plinius 2011

• P 185/11: Bøyg og butikk. Overskridelse og innovasjon.
• P 182/11: Bengalsk belysning. Det gnistrer når entreprenørene i høyere utdanning møtes
• P 181/11: Den beste av alle verdener. Gjesteblogger Helge Høivik vurderer HiOAs strategiprosess
• P 180/11: Forvaltningsspråket. Vis meg hva du sier og jeg skal si deg hvem du representerer
• P 179/11: Kommunikasjon og fag. Konstruktivt møte med ny kommunikasjonsdirektør
• P 178/11: Innovasjon betyr endring i praksis. Innovasjon må kreves. Forskning fører bare til mer forskning.
• P 175/11: Åpen og opplyst. Statens retningslinjer for debatt er helt fine …
• P 174/11: Likestilt kommunikasjon. Gjør som Staten sier – og ikke som Staten gjør.
• P 173/11: Spent mellom fag og forvaltning. Faglige ledere i UH-systemet havner i krysspress.
• P 167/11: Et annenrangs universitet? Hvilke stier finnes opp mot toppen?
• P 155/11: Her og nå. Drømmen om praktiske samtaler.
• P 154/11: Maraton i gummistøvler. Dobbelt sett av regler ved høyskolen.
• P 150/11: En middels bystat. HiOA har nesten tjue tusen “innbyggere”. Hvordan kan vi da diskutere viktige saker?
• P 149/11: Bred, kritisk og åpen. Rektoratet ønsker livlig debatt om universitetsstrategien
• P 120/11: Fagdebatt 2011. Ut av glassbollen
• P 119/11: Profesjonell faglighet. Uenighet er en dyd
  
• P 84/11: Full forvirring. FoU-basert utdanning
• P 83/11: Veksten flater ut. Publiseringsveksten reduseres i UH-sektoren
• P 81/11: Fra adel til borger. Hva er den riktige definisjonen av FoU-basert utdanning?
• P 80/11: FoU-innsatsen er ukjent. HiO måler poeng – men vi vet lite om hva de betyr.
• P 65/11: Hva sier vitenskapen? Det er felles praksis som holder bibliotekfaget sammen.
• P 60/11: Innovasjon, forskning og praksis. Artikkel til BIBINs jubileumsbok
• P 52/11: Forskning med store hull. EBLIP gjennomgår hundre fagartikler
• P 51/11: Bibliotekfagets kunst. Kommentar til en lederartikkel om kunnskapsbasert praksis i EBLIP
• P 50/11: Hvem skal vokte vokterne?. Tidsskriftet The Lancet publiserte Sudbøs artikkel på tross av dansk advarsel om grove feil.
• P 49/11: Når faglig kvalitet kollapser. Det akademiske publiseringssystemet er i krise.
• P 48/11: Pragmatisk kunnskap. Om disiplin- og profesjonskunnskap – i lys av Habermas
• P 47/11: Lær ved å undersøke. Debatt med Vårheim om forholdet mellom forskning og praksis
• P 46/11: Forskning i skyene?. Bibliotekarer leser praktisk litteratur – ikke forskningsartikler
• P 45/11: Team Jensen tar over. Et håp om kunnskapsbaserte strategiske debatter
• P 35/11: Pliktløp og forskning. Publiseringspoeng svelges rått.
• P 34/11: Kvalitet på nettet. HiO-veven kan kvalitetssikres bedre
• P 33/11: Ulike typer faglighet. Debatten med Kari Toverud Jensen fortsetter
• P 32/11: Farlig gammeldags. Debatt med Kari Toverud Jensen
• P 31/11: Debatt om faglighet. Kari Toverud Jensen (rektorkandidat) markerer samholdet mellom “faglig” og “administrativt” ansatte