Plinius

søndag, april 5, 2009

SK 14/09: Indikatorblogging

Filed under: Uncategorized — plinius @ 8:19 am

palm-fanfareABM-utvikling har begynt å blogge!

Bravo for det.

Bloggen heter Nasjonale indikatorer for norske universitets- og høgskolebibliotek – og skal gi fagmiljøet mulighet til å gi tilbakemeldinger på et forslag til et nytt indikatorsett.

Forslaget til indikatorer legges nå ut på åpen blogg, administrert av ABM-utvikling, for diskusjon, innspill og kommentarer. Alle interesserte oppfordres til å bidra. Bloggen vil avsluttes 4. mai 2009.

Dette er et viktig bidrag til den faglige debatten om bibliotekstatistikk. Vi har jo mer enn to hundre bibliotekblogger i Norge, og det diskuteres livlig både her, på biblioteknorge og på sentrale nettsteder.

Hittil har de offisielle nasjonale aktørene vært svært lite til stede i den digitale offentligheten. Nå kommer ABMs egne fagfolk på banen – og jeg er sikker på at det vil gi en mer levende og lærerike diskusjoner.

Bloggstruktur

På den nye bloggen har Plinius skrevet en kommentar om indikatorer for virtuell trafikk – se vedlegg. Jeg har også kommentert selve organiseringen av bloggen:

Jeg foreslår at dere bruker den hierarkiske page-strukturen (og ikke den kronologiske post-strukturen) i WordPress til å organisere stoffet på en mer oversiktlig måte.

Hver indikator kan jo være en page – og lagt under hver sin hovedgruppe. Da kan kommentarene knyttes direkte til hver enkelt indikator – noe som bør bidra til oversikten. Alternativt kunne dere brukt en Ning – slik det framifrå pedagogiske nettverket d&b (Del & Bruk) har gjort – det egner seg bedre for sekvensielle faglige debatter.

Historien bak bloggen går tilbake til 2007.

Da opprettet ABM-utvikling, i samarbeid med Universitets- og høgskolerådets bibliotekutvalg (UHR B), en prosjektgruppe for  ”Benchmarking med bruk av resultat- og styringsindikatorer”.  Gruppen skulle utvikle verktøy for evaluering og styring av eget bibliotek, og for sammenlikning med andre bibliotek. Den skulle komme fram til et felles anbefalt sett av indikatorer som skulle si noe om bibliotekenes kvalitet/prestasjon/aktivitet.

Prosessen

ABMU har lagt opp til følgende prosess i vår:

  1. Forslaget er lagt ute å åpen blogg, administrert av ABM-utvikling, for diskusjon, innspill og kommentarer.
  2. Alle interesserte oppfordres til å bidra.
  3. Bloggen vil avsluttes 4. mai 2009.
  4. Forslag til supplerende indikatorer må leveres i full tekst etter samme mal for indikatoren som foreligger i dette dokumentet.
  5. Prosjektgruppen vil revidere dokumentet etter en gjennomgang av innspillene.
  6. Etter revideringen vil forslaget bli sendt ut på formell høring til et utvalg sentrale instanser.
  7. Alle interesserte bibliotek oppfordres  til å prøve ut indikatorene og sende sine erfaringer og kommentarer.
  8. Prosjektgruppen vil prøve ut indikatorene i egne bibliotek i perioden mars til juni 2009.
  9. En endelig anbefaling om bruk vil bli gitt etter høringen og publisert på ABM-utvikling sine nettsteder.

Det er altså direktoratet som styrer prosessen og som tar den endelige beslutning om bruk – etter høringsrunden.

Da er det viktig, tenker Plinius, å håndtere dette som en faglig prosess. Det å utvikle nyttige indikatorer er en utpreget faglig oppgave. Det å utforme felles anbefalinger, kombinerer fag og forvaltning. Det å godkjenne rådgivende eller bindende normer er en forvaltningsoppgave.

Prosjektgruppa – forteller rapportenanbefaler at alle eller et utvalg av indikatorer tas i bruk som et styringsverktøy.

  1. Det ville være hensiktsmessig med en rapporteringsmulighet også for de dataene som ikke rapporteres i forbindelse med den årlige offisielle statistikken, slik at institusjonene får et effektivt verktøy for sammenlikning.
  2. Når indikatorene har vært i bruk, bør det vurderes om det vil være hensiktsmessig å velge ut et sett basisindikatorer.
  3. Det vil også være behov for å følge opp arbeidet med indikatorene gjennom årlige analyser, evalueringer og oppfølgingsprosjekter.

Dette er fornuftig tenkt. Skal nye prosedyrer etableres, bør institusjonene planlegge vedlikehold og oppfølging fra starten av, mens hjernen fortsatt er varm.

Lærende nettverk

Det som særpreger faglige diskusjoner er at samtalene skjer i fora der formålet er innsikt og der deltakelsen baseres på faglig kompetanse. Det ABM-utvikling risikerer, er å organisere også det faglige arbeidet som en politisk og administrativ høringsprosess.

Indikatorgruppa har hatt seks møter, men valgte – i likhet med folkebibliotekgruppa – ikke å publisere noe som helst underveis.  Sluttforslaget består utelukkende av konklusjoner. Den faglig diskusjonen om fordeler, ulemper og relevans ved de konkrete valgene mangler.

Statistisk sentralbyrå gjennomførte en liknende utviklingsprosess i forbindelse med de nye bibliotekindikatorene i KOSTRA. Den var i utgangspunkt lagt mere åpent an, men ble i praksis kontrollert av SSBs fagfolk – som ikke var særlig åpne for faglig debatt. Til slutt mobiliserte bibliotekmiljøet – med litt hjelp fra en engasjert statistiker – og vi fikk til et bedre resultat.

Men noen faglig diskusjon i åpent lende ville ikke fagfolkene fra SSB være med på.

Utvikling av nye indikatorer er en form for kollektiv læring og kunnskapsproduksjon. Når den foregår i lukkede rom, får det ytre miljøet ikke noe eierskap til prosessen. Når bare konklusjonene legges på bordet – i et dokument som er stivt og tungt å lese – kan miljøet heller ikke lære noe særlig om indikatorutvikling. Det vil i neste omgang begrense spredning og bruk av de verktøyene som gruppen har foreslått.

Penger og praksis

Jeg betrakter imidlertid bloggen som et stort skritt framover – og har skrevet denne Pliniusposten som en oppfordring til å fortsette videre i samme retning.

Indikatorbloggen står heller ikke alene. Arne Gundersen har opprettet en fellesblogg for de fire bibliotekene som nå samarbeider om å utvikle kurs- og veiledningstiltak i digital kompetanse.

De senere årene har ABM-utvikling vært en svært viktig støtte for norske 2.0-prosjekter. Flere hundre bibliotekarer har fått opplæring i blogger og andre 2.0-verktøy gjennom prosjektbevilgninger fra direktoratet.

Hvis de som bevilger penger til nye arbeidsformer, også prøver ut arbeidsformene, styrker de sin egen bevilgningskompetanse – tenker Plinius denne palmesøndagen.

Ressurser

Plinius

Høsten 2006 skrev jeg et notat om statistisk utviklingsarbeid for ABM-utvikling. I vår legger direktoratet opp til diskusjon og utprøving av nye indikatorer både i fag- og folkesektoren. Jeg har derfor begynt å oppdatere dette notatet slik at det kan brukes i dennne diskusjonen. De to første kapitlene ligger her:

  1. Statistiske indikatorer: innledning
  2. Statistiske indikatorer: operasjonalisering

SSB-prosessen edr dokumentert her:

VEDLEGG 1

Indikator B6, som beskriver forholdet mellom virtuelle og fysiske bibliotekbesøk – bør ikke brukes i den foreslåtte formen.

Hensikten med indikatoren, sier utvalget, er:

  • å vise i hvor stor grad bibliotekets brukere benytter bibliotekets elektroniske tjenester
  • å indikere behov for videre satsing på digitale bibliotektjenester

For det første er begrepene “elektroniske tjenester” og “digitale bibliotektjenester” svært uklare.Utvalget sier:

  • Bruk av “bibliotekets elektroniske tjenester” defineres ved at en bruker etablerer forbindelse til bibliotekets hjemmeside og får fremvist en eller flere sider.
  • Søk i bibliotekkatalogen, fagdatabaser og andre spesielle databaser skal ikke tas med.

Her begrenses elektroniske/digitale tjenester til nedlasting fra bibliotekets nettsted via hjemmesiden. Dette dekker ikke nedlasting direkte fra underliggende sider – som er svært vanlig – og heller ikke bruk av bibliotekressurser/tjenester som befinner segpå andre lokale servere eller andre steder på nettet – f.eks. bibliotekblogger.

For det andre er det uheldig å begrense bruk til virtuelle besøk. I den nye danske nettstatistikken brukes tre indikatorer

  • antall nedlastede sider
  • antall besøk
  • antall unike brukere i en gitt tidsperiode (uke, måned, år)

Det oppsettet bør både fag- og folkebibliotek i Norge følge, mener jeg (som et første skritt i retning av en fungerende nettstatistikk).

For det tredje er det meningsløst å legge sammen fysiske og virtuelle besøk. Et fysiske besøk i et fagbibliotek varer typisk ti til femti ganger så lenge som et virtuelt besøk. Virtuelle besøk bør telles for seg. Dette har jeg skrevet mye om på Plinius …

Formelen A/ (A+B) x 100 [prosent] – der A= antall virtuelle og B= antall fysiske besøk- vil etter hvert bli totalt dominert av A. Da forteller indikatoren ingen ting om “behov for videre satsing på digitale bibliotektjenester”

For det fjerde blir det alt for strengt å kreve samme type telling, samme periode, og samme logganalyseprogram. Med slike krav blir det nesten umulig å foreta komparative analyser. Det er en fordel med standardisering, men vi kan ikke vente til alle bibliotek går fram på samme måte.

Sammenlikninger av trafikk – enten det dreier seg om fysiske eller virtuelle besøk – krever en innsikt i lokale årsaksfaktorer. Det kan dreie seg om bibliotekets fysiske utforming (hvor er det trådløs dekning?), om nettstedets layout (arkitektur), om læringsformene (LMS? OER) o.s.v.

Kilde

VEDLEGG 2

Med bakgrunn i UHR-B s forslag til indikatorer for NOKUT(Nasjonalt organ for kvalitet i utdanningen), har prosjektgruppen kommet frem til 28 målbare indikatorer som den mener kan si noe om det enkelte biblioteks ”kvalitet”, og dets plassering i forhold til andre bibliotek det er naturlig å sammenligne seg med.

Indikatorene kan også brukes ved intern evaluering av biblioteket og intern organisasjonsutvikling/forandring (som styringsverktøy).

De foreslåtte indikatorene er dels hentet fra tidligere kilder, og eventuelt bearbeidet for å passe til norske forhold, og dels konstruert av prosjektgruppen.

Alle indikatorene skal prøves ut i operative bibliotek før endelig anbefaling. Prosjektgruppen vil prøve ut indikatorene i egne bibliotek i perioden mars til juni 2009.

Prosjektgruppen har diskutert et stort antall indikatorer. Mange er blitt forkastet da prosjektgruppen ikke kunne se at de oppfylte kravene som lå til grunn for arbeidet med indikatorene.

  • Enkel tilgang til data
  • Hensiktsmessig for sammenlikning (internt/eksternt)
  • Relevant for aktiviteten/oppgavene i et universitets- og høgskolebibliotek

Kilde

VEDLEGG 3

God informasjon om egne resultater er en forutsetning for at statlige virksomheter skal kunne tilpasse seg endringene i samfunnet, og prestere godt i forhold til målene for virksomheten.

Mange virksomheter opplever at kravene fra politiske myndigheter og forventningene fra brukere og samfunnet er store. Samtidig er ressursene begrenset. Klare prioriteringer og god styring er viktig for å oppnå god kvalitet på tjenestene og utnytte ressursene effektivt. På denne måten kan staten gi et bedre tjenestetilbud til flere mennesker og oppnå bedre resultater for samfunne

Mål- og resultatstyring er det grunnleggende styringsprinsippet i statlige virksomheter. Det innebærer at overordnede, politisk fastsatte mål for den enkelte virksomhet må konkretiseres på en slik måte at resultatene kan måles, vurderes og følges opp gjennom nødvendige utviklings- og forbedringstiltak

Statlig virksomhet er kompleks, og det er mange utfordringer knyttet til måling av resultater. Resultatene kan ofte ikke måles i økonomiske termer. Nettopp derfor er resultatmåling spesielt viktig i statlige virksomheter.

I denne veilederen gis en grunnleggende innføring i hvordan resultater kan måles, og hvordan informasjon om resultater kan brukes i den interne styringen av statlige virksomheter.

De fleste statlige virksomheter måler allerede sine resultater. Formålet med veilederen er å bidra til å
videreutvikle resultatmålingen. Da bør man kunne svare på følgende spørsmål:

Har vi klare overordnede mål som resultatmålingen kan ta utgangspunkt i?

Gode mål er et viktig utgangspunkt for å måle og vurdere resultater. Gir de overordnede målene og fortolkningen av disse gjennom dialogen mellom overordnet myndighet og underliggende virksomhet, og mellom virksomhetsledelsen og øvrige nivåer i organisasjonen, et klart og konsistent bilde av hva som skal oppnås for brukere og samfunn og for egen
organisasjon?

Har vi oversikt over de viktigste tjenestene og aktivitetene?

Å ha oversikt over virksomhetens viktigste tjenester og aktiviteter er en forutsetning for å beslutte hva som skal prioriteres i styringen. Har virksomheten kartlagt de viktigste tjenestene og aktivitetene som inngår i produksjonen av tjenestene?

Har vi en klar strategi?

Har virksomhetens ledelse en strategi som klargjør de viktigste veivalgene og endringene som må gjennomføres i de nærmeste årene for å nå virksomhetens overordnede mål? Er det vurdert hva som er viktigst å lykkes med for å gjennomføre disse endringene, og hvilke utfordringer og risikoer som kan påvirke muligheten for å lykkes?

Har vi gode styringsparametere og passende ambisjonsnivå for disse?

Gir styringssystemet en helhetlig og balansert informasjon om virksomhetens resultater? Har virksomhetens ledelse samtidig sørget for styringsparametere som er fokusert på det som er viktigst for aktivt å følge opp prioriterte endringer i den daglige styringen? Er det samlede antallet av prioriterte styringsparametere håndterbart, og er det god sammenheng mellom overordnede mål, styringsparametere, ambisjonsnivå og risiko?

Måler vi både eksterne og interne resultater og gir det en hensiktsmessig styring?

Er sammensetning av de ulike typene styringsparametere hensiktsmessig for ledelsens styringsbehov? Måler vi både eksterne og interne resultater? Vet vi hvordan produktiviteten utvikler seg, og kjenner vi kvaliteten på tjenestene? Vet vi noe om effektene av virksomhetens arbeid?

Hvordan følges styringsparameterne opp?

Er styringsprosessene godt forankret i ledelsen? Brukes informasjon om resultater til å ta beslutninger om forbedringstiltak? Suppleres den løpende resultatmålingen med gjennomføring av grundigere analyser og evalueringer? Sørger ledelsen for at medarbeiderne involveres i styringsprosessene, slik at det skapes en kultur for læring og utvikling i hele virksomheten?

Kilde. Mål- og resultatstyring i staten. En veileder i resultatmåling. Senter for statlig økonomistyring

Referanse SSØ

Fra side 10:

Undersøkelser har vist at styringsdialogen mellom departement og virksomhet og også mellom nivåene internt i virksomheten er blitt mer strukturert og tydeligere etter at mål- og resultatstyring har vært praktisert en del år.

Det er derimot et stort forbedringspotensial når det gjelder mål- og resultatstyring som teknikk og metode 6:

  • Styringsparametere og ambisjonsnivå formuleres gjerne som generelle prioriteringssignaler og oppgavebeskrivelser, og i mindre grad som konkrete og etterprøvbare parametere for mål knyttet til brukere og samfunn. Mål- og resultatstyring blir dermed en form for styring av oppgaver.
  • Resultatrapporteringen viser ofte ikke hvor mye ressurser som er anvendt for å oppnå de aktuelle resultatene, dvs. ressursforbruk knyttes ikke til resultatene.
  • Resultatrapporteringen presenteres ofte som statistikk, mens vurdering mangler. Det er også vanskelig å finne eksempler på endrede mål og prioriteringer med begrunnelse i resultatvurderingen.

Resultatinformasjonen brukes dermed i liten grad til å oppnå forbedringer, slik hensikten er.

Det pekes også på at det er store forskjeller mellom virksomhetene når det gjelder i hvilken grad mål- og resultatstyring er tatt i bruk.

Fra side 36

Alle statlige virksomheter bør imidlertid gjennomføre en eller annen form for tidsfordeling, minimum gjennom grove anslag på antall årsverk knyttet til de ulike tjenestene. Dette gjør det er mulig å følge opp fordelingen av arbeidstid pr. tjeneste og dermed arbeidsproduktiviteten.

4 kommentarer »

  1. […] 14/09. Indikatorblogging Kommentarer […]

    Tilbakeping av P 55/09: Fra plan til arbeid « Plinius — mandag, april 6, 2009 @ 1:07 pm

  2. […] 14/09. Indikatorblogging. ABM-utvikling legger fram forslag til indikatorer for UH-bibliotek på […]

    Tilbakeping av P 57/09: Resultatkjeden « Plinius — onsdag, april 8, 2009 @ 12:43 pm

  3. […] 14/09. Indikatorblogging. ABM-utvikling legger fram forslag til indikatorer for UH-bibliotek på […]

    Tilbakeping av Folkebibliotekforslaget « Samstat — lørdag, januar 16, 2010 @ 9:15 pm

  4. […] har et stort forbedringspotensial når det gjelder mål- og resultatstyring, skrev Senter for statlig økonomistyring for seks år siden.  Styringsparametre og ambisjoner formuleres på et generelt og uforpliktende […]

    Tilbakeping av ST 61/12: « Samstat — fredag, september 28, 2012 @ 3:13 pm


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Opprett en gratis blogg eller et nettsted på WordPress.com.

%d bloggers like this: