Én af de mest udbredte metoder til at evaluere kvalitet på hospitaler, i skoler, i kantiner og på efteruddannelser kan give et fuldstændigt forkert resultat.
Det afslører to uafhængige undersøgelser af de populære tilfredshedsundersøgelser, den ene fra Region Hovedstaden, den anden fra Handelshøjskolen, Aarhus Universitet.
Ph.d. Nicolai Kristensen fra Handelshøjskolen, Aarhus Universitet har analyseret testresultater på 3.500 kursister, indsamlet før og efter de tog på efteruddannelse.
Entydig konklusionForskeren har sammenholdt resultaterne med kursisternes egne svar i en tilfredshedsundersøgelse; et spørgeskema, hvor kursisterne fortæller om deres oplevelser af kurset.
Konklusionen er entydig.
\ Fakta
VIDSTE DU
Tilfredshedsundersøgelser eller selvevalueringer er billige og lette at lave. Derfor bliver de tit brugt i stedet for mere komplicerede og dybdegående evalueringer, som også tager højde for f.eks. indlæring, helbred eller økonomi.
»Man kan ikke bruge tilfredshedsmålinger til at sige noget om, hvad folk har lært. Det er ikke er en god måde at evaluere på. Det siger noget om kursisternes tilfredshed, men intet om, hvor meget de har lært,« konstaterer Nicolai Kristensen, som netop er blevet ansat som seniorforsker ved Anvendt KommunalForskning.
Glæde trods lægefejlNicolai Kristensens konklusion bakkes op af en undersøgelse fra Enheden for Brugerundersøgelser under Region Hovedstaden. Undersøgelsens resultater er publiceret i internationale tidsskrifter.
»Hvis folk føler, at lægen har været god til at informere og kommunikere og medinddrage patienten, kan man komme ud for, at folk der har oplevet deciderede lægefejl alligevel svarer, at de har et samlet positivt indtryk af indlæggelser på sygehuset. Der er ikke nogen dokumenteret sammenhæng mellem patienternes tilfredshed og behandlingsresultatet,« fortæller Morten Freil, tidligere chef for Enheden for Brugerundersøgelser under Region Hovedstaden og nu direktør i paraplyorganisationen Danske Patienter.
Omvendt kan en behandling blive rangeret dårligt, selvom patienten er blevet rask.
Kan giver mere jobglædeBåde Nicolai Kristensen og Morten Freil påpeger, at man sagtens kan bruge tilfredshedsundersøgelser. Man skal bare være klar over, at de kun siger noget om netop tilfredshed, ikke noget om hvor meget de for eksempel har lært på efteruddannelsen.
»Man skal heller ikke undervurdere betydningen af, at man føler sig tilfreds. Det kan for eksempel øge jobglæden, men man skal bare forestå, at det er det, man får for sine efteruddannelseskroner. Så hvis man er interesseret i, at medarbejderne lærer noget, og at det er det, man gerne vil evaluere, så skal man passe på med at bruge selvevalueringsmetoder som tilfredshedsundersøgelser,« siger Nicolai Kristensen.

Den skrå, stiplede streg viser, hvordan kurven ville have set ud, hvis folks tilfredshed stemte helt overens med, hvor meget de rent faktisk lærte. (Grafik: Nicolai Kristensens afhandling 'Evaluating the Impact of Training', Handelshøjskolen, Aarhus Universitet)
Supplerende hjælpDirektør Morten Freil understreger, at han er tilhænger af, at man laver patientundersøgelser inden for sundhedsvæsnet, fordi de indikerer, hvor man kan forbedre kvaliteten. Det er eksempelvis kun patienterne selv, der kan fortælle, at det giver høj kvalitet, når man er tilfreds med informationen, eller om behandlingen hos den praktiserende læge hænger ordentligt sammen med behandlingen på hospitalet.
»Derfor kan de bruges til noget, men de er et supplerende redskab til at give et billede af behandlingskvaliteten. Konklusionen i én af vores artikler er, at man også skal bruge andre redskaber og kombinere forskellige kvalitetsmål, hvis man vil have et ordentligt billede af den samlede kvalitet,« siger Morten Freil.
God pointe for politikerePolitikere, virksomheder og arbejdsgivere bruger tilfredsundersøgelser som hjælp til at vurdere, hvordan pengene skal fordeles, og om de er godt givet ud.
Ifølge Venstres videnskabsordfører, Malou Aamund, sørger politikerne i Folketinget allerede for at inddrage andre målinger og tilgange, når de for eksempel diskuterer uddannelse på universiteterne - men det er godt at blive gjort opmærksom på, at tilfredshedsundersøgelserne kan være misvisende.
»Konkret har regeringen en plan om, at man får brugerundersøgelser for de studerende for at se, om de er tilfredse med deres studium. Der kan man meget let havne i den situation, at de er meget tilfredse, men alligevel kunne lære langt mere, end de gør. Derfor er det vigtigt at være opmærksom på, at kvalitet også er mange andre ting, og det her er en god pointe på den måde, at man skal passe på, at man ikke bare stirrer sig blind på tilfredshedsundersøgelser og tror, de er fyldestgørende,« mener Malou Aamund.
\ Kilder
- 'Do Patients Differentiate Between Aspects of Healthcare Quality?', Mathiesen TP, Freil M, Willaing I. et. al., Journal for Healthcare Quality, 2007.
- 'How Do Patients With Colorectal Cancer Perceive Treatment and Care Compared With the Treating Health Care Professionals?', Mathiesen TP, Willaing I, Freil M. et al., Medical Care 2007.
- Nicolai Kristensens profil (AKF)
- Enheden for Brugerundersøgelser (Region Hovedstaden)
\ Om undersøgelserne
Afhandlingen fra Handelshøjskolen, Aarhus Universitet
Undersøgelsen af folks udbytte af efteruddannelsen er en del af Nicolai Kristensens afhandling 'Evaluating the Impact of Training - Microeconometric Models, Methods and Measures', der blev forsvaret i august ved Handelshøjskolen, Aarhus Universitet.
Nicolai Kristensen har lavet undersøgelsen i en anonym dansk virksomhed med 15.000 ansatte, der ofte deltager i efteruddannelse. Data, indsamlet af analysefirmaet Cue Consult, stammer fra 2004 og 2005 og bygger på 3.696 kursister.
Undersøgelsen viser, at der er stor forskel på, hvordan kursisten subjektivt evaluerer et kursus og kursisten rent fagligt har fået ud af det, når man sammenligner objektive test-scores før og efter kurset.
Nicolai Kristensen påpeger, at der er et misforhold mellem, hvad man spørger om i de subjektive tilfredshedsundersøgelser (»Var du glad for kurset?«) og hvad man måler i de objektive test-scores (ren viden). Det har foreløbig fået Cue Consult til at inkludere et ekstra spørgsmål i evalueringerne. Ifølge Nicolai Kristensen har senere evalueringer kun understøttet den overordnede konklusion: At der er et misforhold mellem, hvad man oplever, man får ud af et kursus, og hvad man objektivt kan måle.
Undersøgelsen fra Region Hovedstaden
Enheden for Brugerundersøgelser og Forskningscenter for Forebyggelse og Sundhed under Region Hovedstaden har lavet en undersøgelse af patienters oplevelse af behandlingen i sundhedsvæsnet.
Forskerne har sammenlignet tilfredshedsundersøgelser med spørgeskemaer, som personalet har svaret på og parret dem med mere objektive oplysninger i kliniske databaser, som indeholder lægefaglige oplysninger om hver enkelt del af behandlingen af en patient.
Arbejdet er lavet i samarbejde med Danish Colorectal Cancer Group og Sundhedsstyrelsen.
Artiklerne blev publiceret i 2007.






























