Plinius

lørdag, september 28, 2013

P 42/13: San Francisco erklæringen

Filed under: debatt, forskning, innovasjon, utvikling — plinius @ 3:05 pm

Kritikken er sterk og voksende.

I land etter land begynner enkle administrative indikatorer å erstatte forskernes faglige vurderinger og diskusjoner. Forskningens kvalitet og kvantitet blir målt, og deretter styrt, ved å telle antall publikasjoner eller siteringer.

Det forenkler administrasjonen av forskning. En førstekonsulent med juss eller økonomi som bakgrunn trenger ikke fagkunnskap i sykepleie for å telle «godkjente» artikler i sykepleiefaget.

  • Bildet: Fra farmasiutdanningen (HiOA)

Men nå begynner forskersamfunnet å slå tilbake. I desember i fjor startet en rekke ledende redaktører arbeidet med en kritisk erklæring om vurdering av forskning.

«San Francisco Declaration on Research Assessment» (DORA) – med undertittelen «Putting science into the assessment of research»,  ble publisert i mai 2013.

DORA åpner fyndig: –  There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties. 

The outputs from scientific research are many and varied, including:

  • research articles reporting new knowledge
  • data
  • reagents
  • software
  • intellectual property
  • highly trained young scientists.

I arbeidsliv og profesjonsfag er også nye og nyskapende produkter, tjenester og arbeidsformer viktigere enn publikasjoner i de akademisk riktige kanalene.

Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely. 

Selv om erklæringen konsentrerer seg om fagfellevurderte artikler, er forfatterne klar over at

  • Andre typer resultater vil bli relativt viktigere i framtida
  • Vi må anerkjenne datasett som et viktig forskningsprodukt

DORA er godt forankret i faglitteraturen på feltet (for tida skrives det flere hundre artikler i året med indikatorer og fagfellevurdering som tema). Den klassiske artikkelen til (norske) Per O. Seglen (1997) står også på lista.

Profesjonsfagene

Det som er problematisk i disiplinfagene er dobbelt problematisk i profesjonsfagene. Den levende forskningen i matematikk, kjemi, historie og sosiologi er er tross alt disse fagenes kjerne. Men sykepleiere og lærere er ikke primært forskere. De er yrkesrettede praktikere.

Også profesjonsfagene kan ha nytte av klassisk forskning. Men det er ingen selvfølge at faglærerne først og fremst bør være teoretikere – slik våre publiserings- og rekrutteringssystemer nå legger opp til. Praktisk erfaring stjeler jo tid fra forskningen.

I profesjonsfagene foregår det en interessekamp mellom teoretisk skolerte og praktisk kyndige. Siden kampen føres med ord, står teoretikerne sterkt.  Men ser vi på koplingen mellom teori og praksis – altså andre typer resultater enn fagfellervurderte artikler – blir bildet annerledes.

Autopilot

HiOs kommentar til Fagerbergutvalget var ganske klar:

  • Hvis ikke viktige områder for variasjon i FoU-profil fanges opp vil et forskningsbarometer kunne bli en autopilot innstilt på akademisk drift.
  • Mindre variasjon i forskningssystemet, svakere oppmerksomhet mot velferdsvirkninger ulike forskningssektorer skal ivareta, og mer (halv)akademisk middelmådighet peker seg ut som eksempel på ganske sannsynlige virkninger av for ensidige indikatorer for forskningskvaliteter

Den akademiske drift er sterk. Tidsklemma fører til en strøm av middelmådige artikler, mens utviklingsarbeid og innovasjon havner på sidelinjen. Disiplinforskerne ønsker å ta definisjonsmakten tilbake. De vil selv vurdere sine fagfelt:  «quality is ultimately judged by scientists» (Simons).

Det bør også profesjonsfagene gjøre.

Ressurser

Plinius

VEDLEGG

The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an  article. [JIF] has a  number of well-documented deficiencies as a tool for research assessment.

These  limitations include:

  • citation distributions within journals are highly skewed
  • the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews
  • Journal Impact Factors can be manipulated (or “gamed”) by editorial policy 
  • data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public

Kai Simons

  • There are no numerical shortcuts for evaluating research quality.
  • What counts is the quality of a scientist’s work wherever it is published.
  • That quality is ultimately judged by scientists, raising the issue of the process by which scientists review each others’ research.
  • … unless publishers, scientists, and institutions make serious efforts to change how the impact of each individual scientist’s work is determined, the scientific community will be doomed to live by the numerically driven motto, “survival by your impact factors».

The misused impact factor

Advertisements

1 kommentar »

  1. […] P 42/13: San Francisco erklæringen. Verdens forskere vil selv vurdere kvalitet og kvantitet […]

    Tilbakeping av P 57/13: Utvikling skjer gjennom praksis | Plinius — søndag, oktober 27, 2013 @ 9:53 pm


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Opprett en gratis blogg eller et nettsted på WordPress.com.

%d bloggers like this: