P 57/13: Utvikling skjer gjennom praksis

Høgskolen i Oslo og Akershus er landets største lærested for profesjonsutdanning.

Profesjonene er praktiske fagområder. Studenter blir ikke lærere, ingeniører, journalister og sykepleiere fordi de vil bli forskere, men fordi de vil bli praktikere.

Jeg ser at de profesjonene jeg kjenner best, det vil si bibliotekarer og pedagoger, er i stadig utvikling.  Det forskes mye i bibliotekfag og pedagogikk. Men det er ikke de fagfellevurderte artiklene som er den viktigste drivkraften i utviklingsarbeidet.

Det som først og fremst dytter oss framover, er de utallige eksperimentene og forsøkene i praksisfeltet, der lærere og bibliotekarer prøver ut nye måter å arbeide på.

En utmerket studie om bibliotekarers bruk og ikke-bruk av forskning er Koufogiannakis. How Academic Librarians use Evidence in their Decision Making: Reconsidering the Evidence Based Practice Model. PhD-avhandling, 2013.

Det er tydelig at spenningen mellom profesjonsfag og (akademiske) disiplinfag engasjerer. Jeg har skrevet tre kronikker om dette; to i Forskerforum og en i høyskolens nettavis Khrono. I morgen (mandag 28. oktober) skal jeg innlede på et lunsjmøte ved høyskolens Senter for profesjonsstudier. Sist jeg sjekket, hadde artikkelen i Khrono en hale med tredve kommentarer.

Dagens situasjon

Tellekantdebatten dreier seg ikke spesielt om Norge og ikke spesielt om profesjonsfagene. Det er framtida til institusjonene i høyere utdanning vi diskuterer. Tilsvarende debatter foregår i hele Europa, i USA og Canada, i Australia, og en lang rekke andre land.

• There is a pressing need to improve the ways in which the output of scientific research is evaluated (San Francisco-erklæringen)
• Universities need a «cultural change» towards teaching (Universitetsminister David Willetts, UK)

Den historiske bakgrunnen er den samme: overgangen fra industrisamfunn til kunnskapssamfunn. Eller mer presist:

• overgangen fra nasjonalt styrte økonomier med industriell masseproduksjon som ledende sektor
• til en åpen verdensøkonomi med innovativ kunnskapsproduksjon som ledende sektor

Denne prosessen innebærer at utdanning får langt større betydning som konkurransefaktor. Europeiske instrumenter som PISA og TIMSS måler effektiviteten i skoleverket. Norske DBH, eller Database for høyere utdanning., måler kunnskapsproduksjonen i høyere utdanning og forskning.

Kvalitet kreves

Plinius er ikke motstander av måling, og heller ikke av forskning. Men som statistiker (av fag) og forsker (av og til) er jeg opptatt av tre ting:

1. at forskningen er solid og relevant
2. at instrumentene og målingene er faglig tilfredstillende
3. at kunnskapsproduksjonen i størst mulig grad styres av fagfolkene selv

Den norske og den internasjonale debatten stemmer godt overens med egne erfaringer og egen forskning. Jeg vil oppsummere slik:

1. dagens belønningssystemer fører til produksjon av store mengder irrelevant og dårlig fundert forskning
2. dagens kvantitative instrumenter (siteringsanalyse, tellekanter) for å måle FoU-produksjon er faglig svake
3. den faglige kunnskapsproduksjonen blir i økende grad styrt av systemer og personer utenfra

Dette gjelder både de tradisjonelle akademiske fagene («disiplinene») og de kortere profesjonsfagene («velferdsstatens fag»).

Hvilken modell?

Innenfor Akademia er det igjen betydelig forskjell på STEM-fagene: science, technology, engineering, medicine, på den ene siden, og samfunnsfag og humaniora, på den andre. Dette er Snows to kulturer i en ny setting.

Den diskusjonen får ligge. Men det er verdt å merke seg at også profesjonsfagene er preget av disse polene. Personer i helsefag, tekniske fag og lærere i yrkesfag, naturfag og matematikk ligger nærmere en naturvitenskapelig kultur. Andre lærere, journalister, kommunalkandidater osv. orienterer seg mot humsam.

Svake publikasjoner, skjeve instrumenter og sterkere administrativ styring er problemer i alle fagområder. Men det er viktig at systemene vi diskuterer er laget ut fra en naturvitenskapelig modell:

1. forske
2. publisere
3. anvende

I samfunnsfag og humaniora er det ofte umulig å peke på anvendelser. Hva vil det si å anvende Braudel, Habermas og Elster? Men det foregår i hvert fall interessante og vedvarende faglige diskusjoner om alle tre.

Profesjonenes faglige sentrum

Profesjonsfagene ligger ennå fjernere fra systemets lineære logikk. De starter ikke med forskning, men med praksis.  Deres praksis er i vesentlig grad erfarings- og refleksjonsbasert. Deres faglige sentrum ligger ikke i forskningsfeltet, men i praksisfeltet.

Jo mer profesjonene lar seg styre av dagens systemer, jo større blir gapet mellom det de trenger og det de belønnes for. I den forstand er profesjonsfagene mer utsatt for skader enn disiplinfagene.

Men profesjonenes forankring i praktisk og konkret virksomhet gir dem også større muligheter til å forsvare seg mot en forenklet og primitiv styringslogikk.  Vi har en levende praksis å vise til. Hvis det blir for mye tom publisering, blir ikke tekstene lest. Hvis det blir for mye teoretisk undervisning, får studentene praksissjokk.

Staten tviler

Staten er langsom, men ikke dum. Regjeringen er ikke interessert i kunnskap på papir, men kunnskap med praktiske konsekvenser. Både her og i Europa er det en voksende skepsis til dagens styringsinstrumenter.

På Khrono trakk Bjørn Smestad nettopp fram en fersk artikkel i The Economist:  Scientific research has changed the world. Now it needs to change itself. Stoffet er kjent for de som har fulgt disse debattene i noen år. Men at The economist slår det opp er et viktig signal.

Med andre ord: HiOA trenger ikke løpe som besatt for å rekke toget. Lokomotivet er i ferd med å stanse.

Tid for ettertanke.

Ressurser

1. Tellekanter dårlig tilpasset profesjonsfag, Khrono, 16. september, 2013
2. Et uprofesjonelt instrument. Forskerforum, 2013.
3. Fyll ikke profesjonene med forskere. Forskerforum nr. 6, 2010, s. 34-35.
4. P 42/13: San Francisco erklæringen. Verdens forskere vil selv vurdere kvalitet og kvantitet

SITATER

Fra San Francisco-erklæringen

There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.  It is …  imperative that scientific output is measured accurately and evaluated wisely.

Do not use journal-based metrics [som det norske skillet mellom nivå 1 og nivå 2]  as a  surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research  publications, and consider a broad range of impact measures including  qualitative indicators of research impact, such as influence on policy and practice.

The Economist

Failures to prove a hypothesis are rarely even offered for publication, let alone accepted.

• “Negative results” now account for only 14% of published papers, down from 30% in 1990.
• Yet knowing what is false is as important to science as knowing what is true.
• The failure to report failures means that researchers waste money and effort exploring blind alleys already investigated by other scientists.

The hallowed process of peer review is not all it is cracked up to be, either.

• When a prominent medical journal ran research past other experts in the field, it found that most of the reviewers failed to spot mistakes it had deliberately inserted into papers, even after being told they were being tested.
• Peer review should be tightened—or perhaps dispensed with altogether, in favour of post-publication evaluation in the form of appended comments.
• That system has worked well in recent years in physics and mathematics. 

The Guardian 21. oktober 2013

• Universities need a «cultural change» towards teaching, the universities minister, David Willetts, has argued, as a survey of UK undergraduates showed they were being set less work and received notably less tutor feedback than did their peers 50 years ago.
• Willetts, …  says the higher education system has become «so lopsided away from teaching» that universities need to fundamentally rethink their role and priorities.

Science 17. mai 2013

The most destructive result of any automated scoring of a researcher’s quality is the «me-too science» that it encourages.

• Any evaluation system in which the mere number of a researcher’s publications increases his or her score creates a strong disincentive to pursue risky and potentially groundbreaking work, because it takes years to create a new approach in a new experimental context, during which no publications should be expected.
• Such metrics further block innovation because they encourage scientists to work in areas of science that are already highly populated, as it is only in these fields that large numbers of scientists can be expected to reference one’s work, no matter how outstanding.
• The leaders of the scientific enterprise must accept full responsibility for thoughtfully analyzing the scientific contributions of other researchers. To do so in a meaningful way requires the actual reading of a small selected set of each researcher’s publications, a task that must not be passed by default to journal editors.

Editorial

Fagerbergutvalget

Høgskolen i Gjøvik støtter etableringen av en god forskningsindikatormodell på visse vilkår.

• Våre klareste råd til det videre arbeidet med indikatormodeller er at de bør gjennomgå grundige konsekvensanalyser før de operasjonaliseres, og at det må være tilstrekkelig mangfold og bredde i modellene til å fange opp all ønskelig aktivitet, unngå flukt fra ønskelige, men indikatorblinde aktiviteter, og dempe effektene av utilsiktet negative konsekvenser. 
• Vi tror empirisk forskning over lang tid er nødvendig for å finne fram til gode indikatormodeller for norsk forskning. Det er lite trolig at den første indikatormodellen som blir introdusert for sektoren er den beste.
• Denne forskningen bør etableres sammen med indikatormodellen.

Høringssvar fra HiG. 31. oktober 2010.

I rapporten er det diskutert at det er vanskelig å anslå samfunnsnytten av forskningen og at denne diskusjonen derfor er redusert til et minimum i rapporten.

• Vi mener at rapporten kunne forslå å etablere et utviklingsarbeid for metoder til å vurdere samfunnsnytten av forskning heller enn enda en gang å vurdere om penger brukt til forskning gir uttelling i tilstrekkelig antall publikasjoner, uten at relevans av forskningen blir vurdert.
• Praksisnær forskning og aksjonsbasert forskning er underrepresentert i Norge i dag … For å øke denne type forskning må forskningsmiljøene i langt større grad være i nært samarbeid med praksisfeltene og nært de som har problemstillingene inn på livet.
• Dersom utvalgets forslag om å etablere et Forskningsbarometer følges opp videre bør derfor de indikatorer som omhandler publisering og siteringer tones ned til fordel for indikatorer som ivaretar relevans og formidling av forskningsresultater til praktisk nytte for samfunnet.

Høringssvar fra HiNT, 19. oktober 2010

Mindre variasjon i forskningssystemet, svakere oppmerksomhet mot velferdsvirkninger ulike forskningssektorer skal ivareta, og mer (halv)akademisk middelmådighet peker seg ut som eksempel på ganske sannsynlige virkninger av for ensidige indikatorer for forskningskvaliteter.

• Før denne typen forskningsbarometer tas i bruk utenfor forskningssystemets kjerneområde, de etablerte universitetene, er det behov for oppfølgingsarbeid og tiltak for å få større oppmerksomhet mot innslag av oppgavevariasjon i det norske forskningssystemet. 
• Fra analysene til Fagerbergutvalget går det fram at det er svak faktisk støtte for skillet i uttelling for forskningspublisering mellom nivå 1 og nivå 2. Å få denne type nivåskille til å fungere rimelig dekkende for nyere forskningsfelt, som mange høgskolerettede FoU-områder er, må en regne med er enda vanskeligere enn for mer etablerte disipliner og spesialområder.
• Den vekten som Fagebergutvalgets arbeid gir til tverrgående fellestrekk i forskningssystemet gjør samtidig at en i veldig liten grad fanger opp særskilte mål og utfordringer for slike nykommere av institusjoner og oppgavefelt.
• Framhevingen blant annet av forskningsbasert profesjonsutøvelse og kunnskapsbasert næringsliv i hele landet trenger videre oppfølging blant annet med vurdering av: 
  • hva som er vesentlige resultatområder for forskning med varierte oppgaver og mål, 
  • behov for oppmerksomhet også mot publiseringskanaler som ikke først og fremst har forskerkolleger som målgruppe, og 
  • bredere behov for forskerkvalifisering (for kunstnerisk, faglig og pedagogisk utviklingsarbeid) som doktorgradsutdanningene ved de etablerte universitetene sjelden ivaretar.

 Høringssvar fra HiOA, 20. oktober 2011