Lærer offentligt ansatte noget af at få målt og vejet deres præstationer?

I løbet af de sidste tre årtier er mængden af data i den offentlige sektor vokset og vokset. Vi måler og vejer præstationer og resultater på livet løs.

Men hvad får vi ud af alle disse målinger? Kan de offentligt ansatte for eksempel bruge den til at lære noget om, hvor godt de gør det, og hvordan de kan forbedre sig?

Det har vi undersøgt i et nyt studie med udgangspunkt i danske gymnasielærere.

Resultatmål: Hvor går det godt, og hvor går det skidt?

Siden introduktionen af New Public Management – idéen om, at den offentlige sektor kan effektiviseres ved at bruge ledelsesværktøjer fra det private – i 1980'erne er anvendelsen af såkaldt resultatinformation i den offentlige sektor blevet mere og mere udbredt.

Resultatinformation dækker over de enorme mængder af data, som offentlige organisationer, såsom sygehuse og uddannelsesinstitutioner, i dag måles og vejes på.

Eksempelvis indsamler en almindelig folkeskole informationer om elevernes trivsel, karakterer og fravær. Sygehusene måles på opfyldelse af behandlingsstandarder, patienttilfredshed, ventetid osv.

Et af de centrale formål med indsamlingen af resultatmål er, at data kan bruges af offentlige ledere og medarbejdere til kritisk at vurdere udviklingen i organisationen. Tanken er, at man kan identificere områder, hvor det går godt eller mindre godt.

Vil lærere og sygeplejersker acceptere resultatmålingernes præmisser?

Skoler, der har en meget lav grad af elevtrivsel, kan for eksempel starte undersøgelser af, hvorfor eleverne ikke trives og iværksætte initiativer, der skal forbedre trivslen. Skolerne kan også hente inspiration fra andre skoler, hvor elevtrivslen er høj.

I den ideelle verden kan resultatinformation altså fungere som et nyttigt læringsredskab for offentlige organisationer, fordi informationen viser områder, hvor der er behov for ekstra opmærksomhed.

En væsentlig forudsætning for at det giver mening at bruge resultatmålingerne ude på skoler, sygehusene, jobcentrene osv. er imidlertid, at de ansatte accepterer præmisserne for resultatmålingen og opfatter de anvendte mål som retvisende og brugbare.

Hvis ikke dette er tilfældet, har resultatmålingerne formentlig ikke den store gennemslagskraft som læringsredskab.

Spørgsmålet er, om ledere og medarbejdere kan acceptere præmisserne for resultatmålingen uafhængigt af deres egen præstation.

\ Læs mere

Ny bog: New public management har fejlet

Hvis psykologiforskningen har ret, nytter resultatmålinger ikke meget

Fra psykologisk forskning ved vi, at vi mennesker har en tendens til at tillægge en større værdi til information, der bekræfter eller understøtter vores selvopfattelse, mens information, der truer eller udfordrer vores selvopfattelse i højere grad afvises eller ignoreres.

Hvis det er tilfældet, vil offentligt ansatte afvise den information, der kommer ud af resultatmålingen, i de tilfælde hvor man selv eller ens organisation præsterer dårligt i målingen.

I så fald er det svært at se, hvordan resultatmålingerne for alvor kan virke som læringsredskab. Hvis informationen forkastes af netop dem, der præsterer dårligt, går en væsentlig del af værdien ved informationen tabt.

Vores eksperiment – sådan gjorde vi

I vores studie undersøgte vi, i hvilken grad gymnasielæreres accept af 'løfteevne' som resultatmål afhænger af, hvordan deres eget gymnasium klarer sig på målet.

Gymnasiernes løfteevne er et mål, hvor karaktererne på gymnasiet korrigeres for elevernes socioøkonomiske baggrund samt deres karakterer ved folkeskolens afgangseksamen. Hensigten med målet er dermed at måle, hvor godt gymnasiet kan 'løfte' eleverne i forhold til den baggrund, de kommer med.

Udregningen foretages af Undervisningsministeriet. For at undersøge om gymnasielærernes accept af løfteevnemålet afhænger af deres eget gymnasiums præstation på målet, designede vi et eksperiment.

Først inddelte vi alle danske gymnasier med STX-linje i tre lige store kategorier baseret på deres løfteevne. Den bedste tredjedel, den midterste tredjedel og den dårligste tredjedel.

Dernæst inddelte vi lærerne inden for hvert gymnasium i to grupper ved hjælp af lodtrækning: en gruppe, hvor lærerne fik tildelt information om deres eget gymnasiums løfteevne (dvs. om deres gymnasium er placeret i den 'bedste', 'midterste' eller 'dårligste' tredjedel) og en gruppe, der ikke modtog nogen information om deres gymnasiums løfteevne.

Derved kunne vi sammenligne de gymnasielærere, der modtog information om deres gymnasiums løfteevne med de lærere, der ikke gjorde.

Denne sammenligning lavede vi for gymnasier i alle tre løfteevnekategorier. Konkret undersøgte vi lærernes opfattelse af løfteevnemålet som validt, legitimt og anvendeligt.

Desuden spurgte vi også gymnasielærerne ind til, hvilke aktører og omstændigheder, de mener, der har betydning for et gymnasiums løfteevne.

Vi indlejrede vores eksperiment i en spørgeskemaundersøgelse med svar fra 1.988 gymnasielærere.

Det fandt vi ud af

Vores resultater viser, at præstationerne for gymnasielærernes eget gymnasium påvirker deres accept af løfteevnemålet som et validt mål, et legitimt redskab og et brugbart redskab.

Dette ses i figur 1, som viser effekten af at modtage information om gymnasiets løfteevne for henholdsvis de gymnasier, der er i den bedste, midterste og dårligste kategori på løfteevne.

Hvis vi først ser på opfattelsen af løfteevne som et validt mål (den øverste række i figur 1), kan vi se en negativ effekt af at få viden om sit eget gymnasiums præstation på opfattelsen af målet. Omvendt ses en positiv effekt, hvis gymnasiet klarer sig godt på løfteevnemålet.

På samme måde ser vi en forskel på gymnasier fra den dårligste og bedste løfteevnekategori, når vi kigger på opfattelse af løfteevnemålet som et legitimt og anvendeligt mål.

Lærere tager ansvaret for det gode – og skyder skylden på reformer for det dårlige

Som nævnt undersøgte vi også, hvorvidt information om egen placering havde betydning for, hvem gymnasielærerne placerede ansvaret for et gymnasiums løftevne hos.

Som forventet, og i tråd med psykologiforskningen, gav gymnasielærerne sig selv mere ansvar, når de fik at vide, at deres gymnasium var placeret i den bedste tredjedel, og mindre ansvar, når de modtog information om, at deres gymnasium var placeret i den laveste eller midterste tredjedel.

Dog havde information om eget gymnasiums præstation ingen betydning for, hvor meget ansvar gymnasielærerne placerede på de studerende eller deres ledelse. Det indikerer, at gymnasielærerne ikke prøver at skyde ansvaret for gode eller dårlige resultater over på andre aktører internt i organisationen.

Til gengæld fik Undervisningsministeriet og reformer i højere grad ansvaret for løfteevnemålet, når gymnasielærerne fik at vide, at deres gymnasium lå placeret i den laveste tredjedel.

\ Læs mere

Mistrivsel i 5. klasse går ud over elevernes karakterer fem år senere

Hvilke spørgsmål rejser resultaterne?

Vores resultaterne viser, at offentligt ansattes opfattelse af resultatmål i høj grad er påvirket af deres egen organisations præstationer.

Det rejser to centrale spørgsmål:

1) Er det muligt at reducere de psykologiske biases, der gør det svært at vurdere resultatinformation objektivt? Og 2) nytter det noget at producere en masse resultatinformation i det offentlige, hvis ikke informationen kan bruges som et læringsredskab?

Resultatinformation er andet end læring

For at besvare det første spørgsmål er der studier i den psykologiske litteratur, der indikerer, at det er muligt, at reducere sådanne bias.

Disse handler blandt andet om at adskille resultatmålingerne fra den enkeltes selvbillede og skabe et 'sikkert' miljø, hvor man kan fremlægge mindre gode resultater uden at blive sat i negativt lys.

Om sådanne tiltag fungerer i offentlige organisationer forbliver dog et åbent spørgsmål.

Med hensyn til det andet spørgsmål kan vi med vores undersøgelse ikke afvise, at resultatinformation bliver anvendt til læring i offentlige organisationer. Vi kan blot konstatere, at psykologiske biases udgør en udfordring for en læringsorienteret anvendelse af resultatinformation.

Derudover er det værd at huske på, at resultatinformation tjener andre formål end læring. Eksempelvis fungerer resultatinformation som en kilde til viden for politikere, når de skal vurdere effekten af reformer eller bringe nye initiativer til at forbedre offentlige organisationer på banen.

Desuden kan borgerne bruge resultatinformation til at træffe mere oplyste beslutninger om, hvilken offentlige institution de ønsker at få leveret services fra (for eksempel skole- eller sygehusvalg).

Vi har brug for mere forskning på området for at blive endnu klogere på, hvad vi kan få ud af de mange data fra resultatmålinger.

\ Læs mere

Elever lærer mere, når de har det godt med læreren