Plinius

fredag, september 20, 2013

P 37/13: Uhildet og grundig?

Filed under: debatt, forskning — plinius @ 3:23 pm

Vår nye nettavis Khrono gjør sitt beste for å bygge en levende offentlighet ved HiOA.

Min gode høyskolekollega Knut Seip har svart på kronikken om tellekanter – og jeg følger opp.

Utvikling blir ikke målt

Hei Knut og takk for svar. Du sier at

det er viktig at den kunnskap vi formidler ( både F og U) er så god som mulig. “. Den beste måten å få det til på er ved fagfellevurdering . Den eneste måten jeg kjenner til for uhildete og grundige vurderinger er ved fagfellevurderinger i » godkjente» tidsskrifter.  

Her synes jeg for det første at du setter den “klassiske” vitenskapsmodellen opp som en modell for alle fagområder og alt faglig endringsarbeid. Modellen beskriver en ideell versjon av kunnskapsproduksjonen i disiplinfagene.

Denne beskrivelsen er ikke dekkende for faglig utviklingsarbeid, inkludert innovasjon og formidling, i de typiske profesjonsfagene ved høyskolen. Også disiplinfagene har sine problemer, men den diskusjonen får andre ta seg av.

Vår kontekst er en profesjonshøyskole som ønsker å bli et profesjonsuniversitet. Da må vi konsentrere oss om tellekantsystemets virkninger i profesjonsfagene.

Fagfellesystemet vakler

For det andre presenterer du fagfellevurderingene som uhildede og grundige. Det stemmer dårlig med den internasjonale debatten. På enkelte fagområder og i noen tidsskrifter fungerer nok systemet rimelig bra.  Men som en beskrivelse av dagens situasjon, spesielt med tanke på høyskolens sentrale fag, blir det feil.

Jeg har allerede sitert  Richard Horton, sjefredaktør av The Lancet:

we know that the system of peer review is biased, unjust, unaccountable, incomplete, easily fixed, often insulting, usually ignorant, occasionally foolish, and frequently wrong’.

 Mange andre sentrale fagfolk sier det samme. Sitater følger.

Diskuter kunnskapssystemet

Men først et synspunkt på selve diskusjonen.

Skal vi diskutere fornuftig (kunnskapsbasert) om de norske tellekantene, må vi undersøke hvordan vitenskapelig kommunikasjon og  kunnskapsutvikling faktisk har utviklet seg de siste 20-30 årene.  Du henviser til dine egne gode erfaringer. Det er selvsagt legitimt, men gir i utgangspunktet en begrenset innsikt. Ulike personer fra ulike fag kan ha svært ulike erfaringer.

Når en høyskole med godt over tusen fagansatte skal velge en langsiktig kunnskapsstrategi, bør vi også forholde oss til de sentrale nasjonale og internasjonale fagdebattene om kunnskapsproduksjon, faglig kommunikasjon, fagfellevurdering og statlige styringssystemer.

Bare halvparten blir målt

La meg likevel si litt om mine egne erfaringer i bibliotek- og informasjonsfaget.

Her ser jeg at artikler i fagfellevurderte tidsskrifter spiller svært liten rolle for det utviklingsarbeidet jeg selv har deltatt i (referansekvalitet, information literacy, bibliotekstatistikk). Vanlige bibliotekarer leser knapt slike artikler. Den praktiske verden er treg. Den yter motstand mot endring. Når artiklene dokumenterer svakheter i bibliotekarenes praksis, og kommer med forslag til forbedringer, fortsetter feltet som før.

Det siste tiåret har jeg skrevet flere artikler om denne tregheten, altså om gapet mellom teori og praksis i bibliotekfeltet. De har blitt rimelig godt mottatt, og har også gitt publiseringspoeng, men fører heller ikke til noen ny praksis. Utviklingsarbeidet krever først og fremst en arbeidsinnsats på bakken. Skal jeg bidra til reell endring, må jeg jobbe like mye politisk-pedagogisk som faglig-akademisk. Det betyr at tellekantene bare måler halve arbeidsinnsatsen.

Den norske debatten

I Norge har vi hatt en ganske bred faglig debatt rundt tellekantsystemet helt siden det ble innført. De fleste innleggene har vært rimelig kritiske. Å summere opp vil ta for mye plass. Men jeg kan jo sitere noen folk med ulik fagbakgrunn:

  • Kjell Lars Berge. “Tellekantsystemet for studiepoeng og vitenskapelig publisering har møtt systematisk kritikk fra forskningsmiljøene siden systemet ble etablert”
  • Svein Sjøberg . “Vitenskapens etos, verdier og idealer er under et veldig press i dag. … Lønnsomhet og tellekanter dominerer, og utfordrer vilkårene for akademisk dannelse”.
  • Ole Petter Ottersen: “Når man ser på resultater i form av publiseringspoeng og siteringer, sier det mest om forskersamfunnets bruk av forskningen, det gir ikke et større bilde av samfunnets nytte av forskningen”

Når HiOA prøver å satse på samfunnsnytte, dannelse og tellekanter samtidig, får vi raskt et problem.

Berge er professor i tekstvitenskap. Sjøberg er vitenskapsteoretiker og professor i naturfagsdidaktikk. Ottersen er medisiner og rektor ved UiO. De som vil sette seg bedre inn i fagfeltet (informetri og insentivsystemer), kan gjerne starte med artikkelen om bibliometri i Wikipedia.

Den internasjonale diskusjonen

De internasjonale debattene er selvsagt langt grundigere og mer omfattende enn de norske. Ønsket om å måle FoU-produksjonen og å styre (i det minste) den offentlig finansierte forskningen ut fra indikatorer eller systematiske vurderinger (research reviews) er sterk i mange land. Her får jeg også nøye meg med noen få sitater:

Den norske utgaven av Frascatimanualen sier:

  • FoU-virksomhetens natur er slik at det ikke er mulig å gi operasjonelle definisjoner som kan anvendes til en entydig klassifisering av enhver aktivitet.

  • I praksis kommer den som skal rapportere om FoU-aktiviteter ikke utenom å måtte foreta en rekke skjønnsmessige vurderinger, både m.h.t. hvilke aktiviteter som faller under FoU-begrepet og hvilke som ikke gjør det, og m.h.t. hvilke kategorier en bestemt FoU-aktivitet skal klassifiseres under.

London School of Economics utgir en utmerket fagblogg der denne typen spørsmål diskuteres løpende. Et sitat fra en bloggpost om peer review  fra 2012:

  • To the extent that peer review is intended to block publication of ‘sub-standard’ science, it actually doesn’t work in its current form: if an author is persistent enough, the majority of articles will eventually get published in a ‘peer reviewed’ journal somewhere.
  • Equally, once a broader audience beyond the closed referees view the articles after publication, they often identify problems that the referees missed, leading to ‘Letters of Concern’ that are often published in other journals and are not linked to the original paper.

Siden jeg jobber mye med fagfolk i sør tar jeg også med et sitat herfra.

  • Unequal access to and distribution of public knowledge is governed by Northern standards and is increasingly inappropriate in the age of the networked “Invisible College”.
  • Academic journals remain the primary distribution mechanism for research findings, but commercial journals are largely unaffordable for developing countries; local journals—more relevant to resolving problems in the South—are near-invisible and under-valued.
  • Kilde: Chan L, Kirsop B, Arunachalam S (2011) «Towards Open and Equitable Access to Research and Knowledge for Development». PLoS Med 8(3):

De andre kommentarene får jeg komme tilbake til. Denne bloggposten har blitt lang nok som den er.

Artikler

2 kommentarer »

  1. […] P 37/13: Uhildet og grundig? Fagfellesystemet vakler. […]

    Tilbakeping av P 42/13: San Francisco erklæringen | Plinius — lørdag, september 28, 2013 @ 11:40 pm

  2. […] P 37/13: Uhildet og grundig? Fagfellesystemet vakler. […]

    Tilbakeping av P 45/12: Faglig frihet ved HiOA? | Plinius — mandag, oktober 7, 2013 @ 11:35 pm


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Blogg på WordPress.com.

%d bloggers like this: