Plinius

søndag, februar 27, 2011

P 35/11: Pliktløp og forskning

Filed under: forskning, høyskolevalg, statistikk — plinius @ 10:57 am

Vi som jobber ved høyskoler og universitet har en blandet hverdag.

Undervisningen er pliktløpet. Den må forberedes og gjennomføres uansett dagsformen. Vi kan ikke skalte og valte med timene. Når studentene tropper opp, må læreren være klar. Resultatene viser seg ved eksamen.

Alt det andre er frivillige øvelser. Det betyr ikke at vi kan ta fri resten av tida, men det betyr at vi har betydelig frihet når det gjelder valg og gjennomføring av oppgavene – og også når det gjelder å rapportere om resultatene.

Akademisk frihet

Ved de gamle universitetene har friheten vært uvanlig stor. Så lenge du ivaretok din obligatoriske undervisning kunne du faktisk gjøre som du ville resten av tida. Enkelte professorer tok jobber på si’, mens andre pleiet sine personlige hobbyer i kontortida. Det var ikke populært i miljøet, men juridisk hadde de sitt på det tørre.

Men dette var unntakene. Det store flertall jobbet – og jobber fortsatt – langt utover vanlig arbeidsuke med faglige oppgaver de selv har valgt. Det er disse oppgavene jeg jeg vil se litt nærmere på – og da med høyskolene som eksempel. Hva gjør vi med vår tid utenfor selve undervisningen (som inkluderer studentveiledning og eksamensarbeid)?

Frascati

Vi bruker ord som innovasjon, forskning, utviklingsarbeid og formidling for å betegne disse andre aktivitetene. Det går ingen klare grenser mellom dem. Men dersom vi ønsker å dokumentere og styre virksomheten, blir vi tvunget til å måle dem. For å skille mellom grunnforskning, anvendt forskning og utviklingsarbeid er det vanlig å henvise til Frascatimanualen. Men den er bare et hjelpemiddel for å lage FoU-statistikk.

Jeg siterer:

  • FoU-virksomhetens natur er slik at det ikke er mulig å gi operasjonelle definisjoner som kan anvendes til en entydig klassifisering av enhver aktivitet.
  • I praksis kommer den som skal rapportere om FoU-aktiviteter ikke utenom å måtte foreta en rekke skjønnsmessige vurderinger, både m.h.t. hvilke aktiviteter som faller under FoU-begrepet og hvilke som ikke gjør det, og m.h.t. hvilke kategorier en bestemt FoU-aktivitet skal klassifiseres under.

Den som leser hele manualen, vil finne mange eksempler på aktiviteter som inngår i faglig arbeid på høyt nivå, men som ikke teller som forskning i statistisk forstand. Det er viktig å huske på at det statistiske kartet ikke er identisk med det faglige terrenget. Systematisk datainnsamling av, la oss si trafikkdata på bibliotek, er ikke i seg selv forskning.

Lite refleksjon

Faglig bruk av FoU-statistikk krever derfor en vedvarende analyse av statistikkens validitet: måler tallene faktisk det vi ønsker å måle?

Styringsdokumentene fra HiO legger svært liten vekt på dette. Det styret i praksis gjør, er å identifisere forskning med publisering. Jo flere publiseringspoeng vi oppnår i Cristin (tidl. Frida), jo mere forsker vi.

Men dette er ingen nødvendig sammenheng. Problemet er det samme som i kriminal- eller helsestatistikken. Når antall innbrudd eller antall Alzheimerpasienter stiger, må vi alltid spørre: er dette en reell økning, eller skyldes den bedre registrering.

Økt registrering

I årsrapporten om FoU-virksomheten for 2009 heter det:

  • Høgskolen må fortsatt øke publiseringen betydelig for å nå det ambisiøse målet for publisering som er satt i FoU-strategien.
  • For å øke publiseringen ytterligere er det flere virkemidler som må tas i bruk. HiO må fortsette å øke FoU-kompetansen,
    1. det må legges arbeid i å nominere publiseringskanaler til Universitets- og høgskolerådet
    2. og i å heve aktuelle tidsskrifter til nivå 2.
    3. Dessuten må de tilsatte bli enda flinkere til å registrere arbeidene i Frida

Skal vi analysere HiOs FoU-virksomhet over tid, må vi skille mellom økt forskning og bedre registrering. De tre siste tiltakene dreier seg om registrering. De øker antall poeng uten å øke den faktiske forskningsvirksomheten.  Men de færreste tar hensyn til dette. Tallene dunkes i bordet som om tellekantene uten videre måler det vi ønsker å måle.

Oslo og Akershus

Spesielt interessant blir dette i forhold til Akershus.

I fjorårets debatt var det flere som la vekt på at HiAk hadde langt mindre forskning pr. faglig ansatt enn HiO. Men dersom vi bruker andre indikatorer enn Cristin/Frida, slik Fagerberg-utvalget har gjort, ligger Narvik på forskertoppen – mens HiAk havner  foran HiO. Utvalget har kombinert data fra Frida (vekt = 1/3) med to indikatorer fra ISI-systemet (samlet vekt = 2/3).

UiO-rektor Ottersen var  – naturlig nok – svært misfornøyd med resultatet. Han vil beregne FoU-produktivitet på andre måter – se Tull med tall. Det er et ønske jeg kan støtte. Men det betyr at vi må gå inn i faglige diskusjoner knyttet til utvikling og tolkning av kunnskapsindikatorer.

På HiO ønsker administrasjonen å bli tatt på alvor som fagfolk. Det er et godt utgangspunkt. En fagperson er en person som stiller opp i faglige diskusjoner.

Vi kan begynne med å se på fordeler og ulemper ved Cristin og ISI. Ute i verden har det vært lange og heftige  diskusjoner rundt ISI, som jo er det ledende internasjonale systemet, i flere tiår. I Norge har det vært en interessant, men atskillig mer begrenset debatt, om validiteten til Frida/Cristin.

Ressurser

Aftenposten

Andre

VEDLEGG

Fagerberglisten

1. Høgskolen i Narvik
2. Norges Idrettshøgskole
3. Universitetet i Stavanger
4. NTNU
5. Universitetet i Oslo
6. Norges Veterinærhøgskole
7. Universitetet i Tromsø
8. UMB Ås
9. Høgskolen i Molde
10. Universitetet i Bergen
11. Høgskolen i Lillehammer
12. Høgskolen i Bergen
13. Høgskolen i Gjøvik
14. Høgskolen i Vestfold
15. Høgskolen i Buskerud
16. Høgskolen i Akershus
17. Høgskolen i Oslo
18. Høgskolen i Agder
19. Norges Handelshøgskole
21. Høgskolen i Telemark
22. Høgskolen i Bodø (Nå Universitetet i Nordland)
23. Handelshøgskolen BI

Siden vi foreløpig mangler en database for all vitenskapelig publisering i alle tre sektorer, er datagrunnlaget for den illustrasjonen som vi gir her, hentet fra en database hos NIFU STEP med norske artikler i tidsskrifter som indekseres for ISI Web of Knowledge.

  • Disse data, som er hentet fra året 2006, dekker anslagsvis mellom halvparten og to tredjedeler av de tre sektorenes vitenskapelige publisering.
  • De dekker ikke bokpublisering og i liten grad artikler i norskspråklige tidsskrifter.
  • Dette betyr at humaniora og samfunnsfag vil være underrepresentert, noe som igjen betyr at særlig høgskolene vil være underrepresentert mens særlig helseforetakene vil være overrepresentert.

Ottersens liste

  1. UiO
  2. UiB
  3. NTNU
  4. NIH
  5. UMB
  6. NHH
  7. UiS
  8. UiT
  9. HiL
  10. Samisk høyskole
  11. NVH
  12. UiA
  13. HiVolda
  14. HiO
  15. HiMolde
  16. HiBodø (Nå Universitetet i Nordland)
  17. HiGjøvik
  18. HiNarvik
  19. HiV
  20. HiHedmark
  21. HiSH
  22. HiBu
  23. HiHarstad
  24. HiBergen
  25. HiNesna
  26. HiST
  27. HiF
  28. HiØ
  29. HiT
  30. HiSF
  31. HiNT
  32. HiÅlesund
  33. HiAk

Tar vi gjennomsnittet 2007-2009 av alle publikasjonspoenger i Cristin og ser disse mot gjennomsnittet av bevilgninger i samme periode for noen utvalgte universiteter og høyskoler i Norge, avtegner det seg et bilde som er ganske forskjellig fra det som ble presentert i Aftenposten 30. januar.

  • Ved en slik beregningsmetode basert på offentlig tilgjengelige tall, dominerer universitetene og de vitenskapelige høyskolene.
  • Vår gjennomgang viser at det er grunn til å advare mot målinger basert på ufullstendig datagrunnlag.
  • Produktivitet og effektivitet i forskning er kompliserte begreper, og det er vanskelig å finne én enkelt standardisert måte å måle disse på. ….
  • Vi må også minne om at en ensidig vurdering av publikasjonspoeng gir et høyst ufullstendig bilde av universitetenes og høyskolenes innsats i det norske samfunn. ..
  • Men hvis den dagen kommer da universitetene blir vurdert og målstyrt på samme linje som en produksjonsbedrift, har vårt samfunn blitt fattigere.

CRISTIN

Hvordan Cristin virker

  • Trinn 1 vil være det samme i alle sektorer: Dokumentasjon av vitenskapelige publikasjoner i en felles database ut fra felles definisjon og avgrensning.
  • Trinn 2 vil kunne variere noe mellom sektorene: Publikasjonene gis poeng gjennom vekting av publikasjonsform, publiseringskanal og medforfatterskap.
  • Trinn 3 vil være forskjellig: Bruk av publiseringspoeng sammen med andre indikatorer
    i en gitt finansieringsmodell.

Aktører på trinn 2 og 3:

  • Kunnskapsdepartementet (KD) definerer årlige krav til rapportering fra institusjonene til Database for statistikk om høgre utdanning (DBH). Dermed defineres blant annet hvordan vitenskapelig publisering skal avgrenses og vektes som publiseringspoeng. KD beslutter også hvordan publiseringspoeng brukes til resultatbasert omfordeling i budsjettene til institusjonene.
  • Universitets- og høgskolerådet (UHR) har på oppdrag fra KD etablert et permanent publiseringsutvalg som gir råd til departementet om videreutvikling av modellen for beregning av publiseringspoeng. Utvalget har også ansvar for godkjenning av forslag til nye vitenskapelige publiseringskanaler og for nominering og godkjenning av publiseringskanaler på nivå 2.

Ottersen

Ottersen

– det er utrolig mange lovpålagte arbeidsoppgaver på et universitet. Man skal drive med forskning, utdanning, innovasjon, formidling. Gjennom et livsløp vil det være litt forskjellig hva man bruker mest tid på. Det er helt feilaktig å ha som problemstilling hvordan bare én av disse lovpålagte oppgavene utføres. Samtidig vet vi at det kan ta veldig lang tid før prosjekter munner ut i en publikasjon. Universitetene er ikke vanlige produksjonsbedrifter,

Indikatordebatt

  1. More work is needed on the “performance paradox”, that is, weak correlation between indicators and performance itself.
  2. There is a knowledge gap concerning whether and how PRFS indicators deteriorate over time and how they incentivise academics.
  3. Contexts and actors’ strategies shape and are shaped by PRFSs and more work is needed to understand these dynamics. …
  4. Over time, indicators have been fine-tuned, but criticisms remain, particularly regarding their relevance, field-specificity and reward structure.
  5. There have been few formal evaluations of PRFSs, but the evidence suggests positive effects on research outputs and research management. However, it is difficult to attribute these effects directly to the schemes, as the funding environment is multifaceted.
  6. Negative and unintended effects were also highlighted, such as a narrowing of research focus.
  7. While several countries have introduced PRFSs, there is no “ideal” methodology and there is intense debate about indicators and the intended and unintended consequences of systems.
  8. The objectives of transparency and accountability have been achieved, and there has been an improvement in the information management systems of universities.
  9. However, claims and counterclaims continue regarding game playing, citations, risk averseness and research collaboration.
  10. Over the next few years, universities will be confronted with challenges on the content of their “social contract” and will also face pressures to do more with less.
  11. International comparative studies of the impacts of PRFSs that draw on in-depth knowledge of national systems could be of great benefit to national authorities and universities in their efforts to increase the effectiveness and efficiency of institutional funding.

Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings, December 2010

This publication presents a collection of papers presented at a June 2010 OECD workshop on performance-based funding for public research in tertiary education institutions. It takes stock of current thinking and practice around performance-based funding for public research in tertiary education institutions, as a tool to help governments meet their research goals. These funding models are essentially systems of ex-post evaluation of research outputs and outcomes from universities and other tertiary institutions, and are generally based on peer review, bibliometrics or other quantitative indicators. Their results are used to inform government decisions about how much and which institutions to fund.

An online annex (pdf) provides additional detail of the performance-based funding systems in place in Australia, Austria, Belgium (Flemish Community), the Czech Republic, Denmark, Finland, Germany, New Zealand, Norway, Poland and the United Kingdom.

1 kommentar »

  1. I dag var det valgmøte på JBI.

    Her gjorde Olgunn Ransedokken (HiAk) oppmerksom på at HiAk havnet nederst på Ottersens liste fordi data fra Forskdok (som HiAk hittil har brukt til å registrere publikasjoner) ennå ikke er overført til Cristin.

    Hvorfor de da har fått noen poeng (0,08 mot UiOs 0.75) ver jeg ikke.

    Ottersen sier forøvrig:

    Når det gjelder «nevneren» i produktivitetstallet kan man med fordel bruke rene statsbevilgninger og eksterne forskningsbidrag som samlet gir et enkelt tilgjengelig og pålitelig bilde av ressursgrunnlaget både for små og store institusjoner.

    Ottersens indikator tar imidlertid ikke hensyn til antall studenter pr. ansatt. Denne tellemåten «kan man med fordel bruke» for institusjoner med få studenter pr. ansatt.

    Det er trolig derfor Samisk Høyskole – med 1.6 studenter pr. faglig årsverk havner på linje med Norske Veterinærhøyskole (2.1) – og godt foran HiO (12.4) når det gjelder forskningsproduktivitet …

    Kommentar av plinius — mandag, februar 28, 2011 @ 8:36 pm


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Opprett en gratis blogg eller et nettsted på WordPress.com.

%d bloggers like this: