Plinius

fredag, juni 6, 2014

P 3/14: Kandidatundersøkelsen 2013

Filed under: statistikk, utdanning — plinius @ 1:13 pm

Den nyeste kandidatundersøkelsen fra NIFU tar for seg masterstudentenes situasjon et halvt år etter fullført utdanning våren 2013.

De som stilte til valg i det gamle Roma bar hvit toga – derav ordet kandidat (candidus: lys, klar, gjennomsiktig; strålende, skyfri; hvit)

Hele rapporten er på nærmere hundreogfemti sider. I denne kommentaren ser jeg på tre spørsmål:

  • i hvilken grad er mastergradene tilpasset dagens arbeidsmarked
  • hvordan vurderer de nyutdannede kandidatene utdanningen de har tatt
  • hvordan vurderer de nyutdannede kandidatene lærestedet de har vært på

Jeg har også noen kritiske kommentarer til metodikken.

Mastergrad og arbeidsmarked

Mistilpasning dreier seg om overutdanning, undersysselsetting og irrelevant arbeid.

Nærmere halvparten (44 prosent) av de som svarte kan defineres som overutdannede, ved at de har en jobb som krever et lavere utdanningsnivå enn det de faktisk har; for eksempel bachelor i stedet for master.

  • Dette er samme andel som i 2011.
  • Andelen er høyest blant humanistene.
  • Andelen overutdannede er betydelig lavere i alle grupper noen år etter fullført utdanning.

Undersysselsetting, det vil si at en jobber deltid men ønsker heltid, er en annen form for mistilpasning.

  • Humanistene har høyest andel undersysselsatte.
  • Dernest kommer kandidater i helse- og sosialfag og pedagogiske fag.

Det er få (6 prosent) som er i såkalt irrelevant arbeid, der ett av kriteriene er at  arbeidet ikke krever høyere utdanning.

  • Blant humanister er tallet mer enn dobbelt så høyt.

Begrepet irrelevant omfatter bare sysselsatte som mener at høyere utdanning er helt uten betydning for arbeidet og i tillegg opplyser at innholdet i utdanningen passer dårlig med arbeidsoppgavene.

Er utdanningen relevant?

Vurderingen av  utdanningens arbeidslivsrelevans varierer mye med fag.

  • Humanister er minst fornøyde med  relevansen.
  • Jurister er mest fornøyde

Fornøyd med utdanningen?

Omtrent 2600 kandidater fra de ti største masterinstitusjonene svarte på undersøkelsen (i november 2013). Blant disse var

  • 1 prosent svært misfornøyd
  • 4 prosent litt misfornøyd
  • 3 prosent verken/eller
  • 33 prosent litt fornøyd
  • 60 prosent svært fornøyd med utdanningen

Kandidater fra de nyeste universitetene (Nordland, Agder, Stavanger) + Høgskolen i Oslo og Akershus var mer negative enn kandidater fra de gamle universitetene. I «vår gruppe» var

  • 2 prosent svært misfornøyd
  • 6 prosent litt misfornøyd
  • 4 prosent verken/eller
  • 37 prosent litt fornøyd
  • 52 prosent svært fornøyd med utdanningen

Disse tallene er også typiske for HiOA (112 svar).

Fornøyd med lærestedet?

Vurderingen av selve lærestedet var noe mer kritisk. Her var:

  • 1 prosent svært misfornøyd
  • 5 prosent litt misfornøyd
  • 6 prosent verken/eller
  • 39 prosent litt fornøyd
  • 49 prosent svært fornøyd med lærestedet

HiOA og Universitetet i Stavanger fikk de svakeste vurderingene. Ved Høgskolen (111 svar) var

  • 1 prosent svært misfornøyd
  • 9 prosent litt misfornøyd
  • 10 prosent verken/eller
  • 48 prosent litt fornøyd
  • 32 prosent svært fornøyd

I Stavanger (104 svar) var tallene

  • 2 prosent svært misfornøyd
  • 13 prosent litt misfornøyd
  • 5 prosent verken/eller
  • 49 prosent litt fornøyd
  • 32 prosent svært fornøyd

Hva fungerer – og hva ikke?

Kandidatene ble også bedt om å vurdere utbyttet av utdanningen.

  • De fleste grupper er fornøyd med  læringsutbyttet når det gjelder å jobbe selvstendig
  • Mange er også fornøyd med utbyttet når det gjelder teoretisk kunnskap og skriftlig kommunikasjonsevne.
  • Færre er fornøyd med utbyttet når det gjelder yrkesspesifikk kunnskap og muntlig kommunikasjonsevne.

På Khrono har HiOA hatt en interessant debatt om teoretisk kunnskap (flyttbar,  dekontekstualisert, verbal) på den ene siden, og praktisk kunnskap (konkret, handlingsrettet, yrkesspesifikk) på den andre. Her bringer kandidatundersøkelsen ved til bålet …

Litt om metodikken

Svært mange samfunnsfaglige surveyundersøkelser, både i Norge og i verden forøvrig, har klare metodiske svakheter når det gjelder å presentere og tolke data. Den vanligste feilen er å bruke probabilistiske metoder som signifikanstesting og konfidensintervaller uten at datainnsamlingsmetoden gir grunnlag for det.

Andre typiske feil er

  • manglende analyse av målefeil, inkludert konsekvensene av frafall;
  • publisering av data uten å bearbeide dem intellektuelt;
  • overfladiske tabellkommentarer uten kopling til forskningsspørsmål, -hypoteser og modeller.

Dette betyr, for å si det enkelt, at den viktigste delen av forskningsarbeidet – som jo er å tolke empiri i forhold til relevant teori og praksis – dyttes over på leseren. Tekstprodusentene leverer ikke forbruksvarer, men halvfabrikata.

Denne NIFU-rapporten illustrerer dette. Det betyr ikke at den er svakere enn det norske gjennomsnittet, men at den er typisk for en utbredt og skjødesløs praksis. Siden NIFU skal være et brohode for forskningsbasert kunnskap, håper jeg institusjonen tar denne faglige komentaren på alvor.

Frafallsanalyse?

Kandidatundersøkelsen 2013 gikk ut til nesten alle nyutdannede masterkandidater våren 2013. Den var altså en fullstendig telling, ikke en utvalgsundersøkelse. Omtrent halvparten av de som fikk spørreskjema, svarte. Frafallet lå på 52 prosent.

Alle tallene i rapporten gjelder (selvsagt) de som faktisk svarte. Konsekvensene av frafallet er i liten grad vurdert. Gjennomsnittsleseren vil derfor lett tro at dette er forskningsbaserte tall.

Her er kjønn et unntak. Rapporten nevner at kvinner jevnt over har en  større tilbøyelighet til å svare enn menn. Ved å sammenlikne svarene med hele populasjonen, viste det seg at kvinneandelen var 62 prosent blant dem som har besvart undersøkelsen, mot 58 prosent i populasjonen.

Siden undersøkelsen først og fremst dreier seg om tilpassing til arbeidsmarkedet og kandidatenes vurdering av utdanningsttilbudet, burde en frafallsanalyse legge vekt på hvordan ulike verdier på disse variablene kan påvirke frafallet. Jeg kan bare antyde muligheter:

Generelt vil spørreundersøkelser ha vanskeligst for å fange opp personer som er mindre integrert eller mindre konforme enn gjennomsnittet. Jeg vil derfor tro at kandidater

  • som har hatt en vellykket tilpassing til arbeidsmarkedet
  • som har vært fornøyd med sine studier

vil ha høyere svarprosent enn de misfornøyde eller mistilpassede. Det ville i så fall bety at resultatene får en positiv bias.

Karakterfordeling

En måte å undersøke dette på, ville være å sammenholde karakterfordelingen i populasjonen (p.t. ukjent) med fordelingen blant de som svarte

  • 15 prosent hadde fått karakteren A
  • 54 prosent B
  • 29 prosent C
  • Delsum: 98 prosent

Dersom karakterene i populasjonen lå lavere, ville det innebære at svakere kandidater hadde større frafallsprosent enn gjennomsnittet.

Når det gjelder karaktersetting, må vi skille mellom

  • karakterer på alle delemner på mastergradsnivå
  • karakterer for selve mastergradsoppgaven
  • beregnet sluttkarakter for hele mastergraden

Database for høyere utdanning (DBH) har ikke (?) tall for sluttkarakterene. Karakterene for oppgavene finnes i databasen, men er vanskelige å hente ut. Men det går i hvert fall an å sammenlikne med karakterene på alle deleksamener på masternivå (N: 88 tusen) våren 2013.

Der fikk

  • 16 prosent  A
  • 31 prosent  B
  • 31 prosent  C
  • Delsum: 78 prosent*

Her er altså den relative fordelingen A:B:C = 1 : 2 : 2 – mens den blant kandidatene som besvarte spørreundersøkelsen var 1 : 3,6 : 2.

Dette peker i hvert fall i retning av hypotesen om høyere frafall ved svakere karakterer. Dessuten bør KD kunne levere de korrekte tallene for ferdige kandidater …

Meningsløse tall

Rapporten oppgir tall for signifikans. Siden tellingen i utgangspunktet er fullstendig, er dette statistisk meningsløst. Når halvparten av de spurte ikke svarer, blir forøvrig alle tall usikre på grunn av frafall. Det betyr at tall bør oppgis med to heller enn med tre gjeldende siffer.

Et eksempel: Tabell 4.8 på s. 40 (Binomisk logistisk regresjon av sannsynligheten for å være arbeidsledig blant personer i arbeidsstyrken) er dobbelt misvisende. Forutsetningene for å gjennomføre en signifikansanalyse mangler – og tallene er presentert med en nøyaktighet som det ikke er dekning for.

Av og til har tallene blitt kopiert direkte fra datamaskinen helt uten redaksjonell vurdering. I Figur 4.1. på s.  41 blir  Beregnet sannsynlighet for å være arbeidsledig et halvt år etter eksamen oppgitt å være

  • 0,059488728 for personer uten innvandringsbakgrunn,
  • 0,125224698 for personer med afrikansk bakgrunn
  • og 0,16709492 for personer med asiatisk bakgrunn.

Her kunne man med fordel sagt: et halvt år etter eksamen var arbeidsledigheten blant de som svarte

  • 5,9 % for personer uten innvandringsbakgrunn (N: ca. 2800)
  • 13% for personer med afrikansk bakgrunn (ca. 50)
  • 17% for personer med asiatisk bakgrunn (ca. 130)

Nøyaktighet …

Det første gjeldende sifferet for «Afrika» (0,1) tilsvarer fem personer (ti prosent av 50). Det andre sifferet (0,02) tilsvarer én person (to prosent av 50). Det tredje (0,005) tilsvarer en kvart person.

Det siste gjeldende sifferet (0,000 000 008) tilsvarer 30 milligram av en person (på åtti kilo) …

Men rett skal være rett. Den verbale kommentaren er helt grei: Når karakterer og andre forhold er like, har mastere med afrikansk bakgrunn dobbelt så stor sannsynlighet for å være arbeidsledig sammenliknet med en ellers like mastere uten innvandringsbakgrunn, og en master med bakgrunn fra Asia har nesten tre ganger så stor sannsynlighet for å være arbeidsledig.

*Note

Videre fikk

  • 12 prosent D
  • 5 prosent E
  • 5 prosent F

Ressurser

En gjennomtenkt amerikansk formulering av retningslinjer for statistiske undersøkelser:

TILLEGG

Survey Response Rates

Standard 1.3: Agencies must design the survey to achieve the highest practical rates of response, commensurate with the importance of survey uses, respondent burden, and data collection costs, to ensure that survey results are representative of the target population so that they can be used with confidence to inform decisions.

Nonresponse bias analyses must be conducted when unit or item response rates or other factors suggest the potential for bias to occur.

Data Editing

Standard 3.1: Agencies must edit data appropriately, based on available information, to mitigate or correct detectable errors.

Nonresponse Analysis and Response Rate Calculation

Standard 3.2: Agencies must appropriately measure, adjust for, report, and analyze unit and item nonresponse to assess their effects on data quality and to inform users. Response rates must be computed using standard formulas to measure the proportion of the eligible sample that is represented by the responding units in each study, as an indicator of potential nonresponse bias.  …

Evaluation

Standard 3.5: Agencies must evaluate the quality of the data and make the evaluation public (through technical notes and documentation included in reports of results or through a separate report) to allow users to interpret results of analyses, and to help designers of recurring surveys focus improvement efforts.

 

 

4 kommentarer »

  1. Jeg ser nå at Universitas i 2009 skrev en artikkel som antydet at Universitetet i Oslo var slepphendte med karakterene siden halvparten av de nye mastergradskandidatene fikk A eller B som sluttkarakter.

    I NIFUs materiale er det imidlertid atskillig flere av kandidatene som fikk A eller B, nemlig 69 prosent. Dette tyder også på en overrepresentasjon av de gode studentene blant de som svarer …

    http://universitas.no/nyhet/47504/halvparten-far-a-eller-b

    Vi må skille mellom sluttkarakter og karakter på selve masteroppgaven (som imidlertid er et viktig element i sluttkarakteren). Rapporten Karakterbruk i UH-sektoren 2009 forteller at 70% av masterarbeidene fikk A eller B. Tallet for mastergrad samlet var 44 %.

    http://www.uhr.no/documents/Karakterrapport_2009_Sluttrapport.pdf

    Kommentar av plinius — lørdag, juni 7, 2014 @ 9:01 am

  2. […] P 3/14: Kandidatundersøkelsen 2013 […]

    Tilbakeping av P 6/14: Humanistene på markedet | Plinius — tirsdag, juni 10, 2014 @ 12:06 pm

  3. […] P 3/14: Kandidatundersøkelsen 2013 […]

    Tilbakeping av P 10/14: Bokfylket Rogaland | Plinius — søndag, juni 15, 2014 @ 1:05 pm

  4. […] P 3/14: Kandidatundersøkelsen 2013 […]

    Tilbakeping av P 13/14: Khrono på banen | Plinius — lørdag, juni 28, 2014 @ 9:58 am


RSS feed for comments on this post. TrackBack URI

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s

Blogg på WordPress.com.

%d bloggers like this: