Når vi som samfund ønsker at forbedre den offentlige sektor, spørger vi gerne forskningen til råds.
\ Historien kort
- Politikere trækker ofte på kræfter fra eksisterende forskning, når de skal træffe beslutninger om den offentlige sektor – i form af forskningsoversigter.
- Disse forskningsoversigter tager ikke altid højde for forskelle mellem de enkelte projekter for eksempel i tid, sted eller empiri.
- Der er en risiko for, at forskningen på den måde giver misvisende svar til de problemer, offentlige myndigheder forsøger at løse.
Hvis vi skal finde ud af, om for eksempel en tolærerordning i skolen er hensigtsmæssig, så kan vi – frem for at investere i ny forskning – granske i den eksisterende forskning og måske finde svaret her.
Vi kan basere vores viden om tolærerordningen ikke bare på én undersøgelse, men på al forskning om tolærerordningen. Ja, hvorfor ikke?
I dag udvikles systematiske forskningsoversigter af konsulenthuse, forskningsinstitutioner og i flere styrelser. De bruges til at besvare en lang række af spørgsmål om uddannelse, sundhed og sociale forhold.
Systematiske forskningsoversigter trækker principielt set på al viden, vi allerede har fra forskningen, og derfor kan oversigterne få betydelig indflydelse på, hvilke nye initiativer der bliver prioritet politisk og iværksat i praksis på skoler og i daginstitutioner.
Manglende overblik over indflydelse
Spørgsmålet er, hvordan den eksisterende forskning bliver behandlet, tolket og forstået i disse forskningsoversigter? Hvordan er oversigterne kommet frem til de samlede konklusioner fra forskningen? Hvad er det for metoder, der bruges?
Det er nogle af de spørgsmål, jeg er optaget af i min ph.d.-afhandling.
Systematiske forskningsoversigter er et relativt nyt evaluerings- og forskningsprodukt, som vinder frem inden for udvikling af den sociale sektor.
Det er min vurdering, at vi ikke helt ved, hvor meget indflydelse systematiske forskningsoversigter bør få, og hvordan vi bør bruge dem, men der er behov for at få mere indsigt i arbejdsmetoderne og dermed i grundlaget for oversigternes konklusioner.
Som det er nu, er der noget, der tyder på, at de anvendte metoder fortsat ikke er tilstrækkelige, og at vi derfor bør være særligt ydmyge over for, hvad vi bruger konklusioner og anbefalinger til.
\ Læs mere
Forskningen tolkes af mindst tre omgange
Min ph.d.-afhandling viser, at systematiske forskningsoversigter ikke bør betragtes sådan, at der 'blot' foregår en formidling af forskning. Arbejdet med systematiske forskningsoversigter er en forskningsdisciplin, hvor der udvælges metoder.
Vi kender det fra forskning i almindelighed, at metoder og konklusioner hænger sammen, og det samme er tilfældet med systematiske forskningsoversigter.
Det er min erfaring, at vi med systematiske forskningsoversigter bør være varsomme med at konkludere på tværs af forskningen uden at have været grundigt inde i de enkelte forskningsundersøgelsers forudsætninger.
I ph.d.-afhandlingen viser jeg, at der er mindst tre faser i arbejdet med systematiske forskningsoversigter, hvor der vælges metoder og fremgangsmåder.
For det første vælges der fremgangsmåder, når hver enkelt forskningsrapport læses, og studierne skal forstås og tolkes individuelt.
For det andet vælges der fremgangsmåder, når de enkelte forskningsundersøgelser tolkes og vurderes på tværs af andre forskningsundersøgelser.
For det tredje besvares et overordnet spørgsmål, hvor der også er flere fremgangsmåder at vælge mellem.
\ Læs mere
Forskningen genfortolkes
Det, min ph.d.-afhandling bidrager med, er opdagelsen af disse rammer, som ethvert arbejde med systematiske forskningsoversigter er forbundet med, men som ikke tidligere er beskrevet.
\ Hvilke syntesemetoder?
Metaanalyse er en statistisk syntesemetode, som bruges til at syntetisere på tværs af forskningsundersøgelser med henblik på at udledes undersøgelsernes samlede effektmål.
Metaetnografi er en syntesemetode, hvor forskningsundersøgelser bearbejdes i en fortolkningsproces med fokus på for eksempel begrebsmæssige ligheder og forskelle.
Realistisk syntese er en syntesemetode, hvor der fremsættes en indledende programteori (hypotese), der efterhånden ændrer karakter i lyset af forskningsundersøgelsernes fund.
Inden for udvikling af systematiske forskningsoversigter findes en række velkendte syntesemetoder, såsom meta-analyse, meta-etnografi og realistisk syntese.
Forskellen mellem disse syntesemetoder kan netop spores i de fremgangsmåder og metoder, der tilvælges i de tre faser, som jeg identificerer og arbejder videre med i min ph.d.-afhandling.
For hver af de tre faser får den oprindelige forskning en ny betydning, og det er derfor, jeg mener, at systematiske forskningsoversigter ikke bør betragtes som blot en formidling af den eksisterende forskning.
Tilvalg af fremgangsmåder i faserne har indvirkning på, hvordan den oprindelige forskning tolkes, og de, som udvikler systematiske forskningsoversigter, kan forvalte faserne med inspiration hentet fra enten kvalitative eller kvantitative tilgange samt mixed methods-traditionen.
Inspiration fra den kvalitative metodologi
Udviklere af systematiske forskningsoversigter kan i fase 1 eksempelvis være inspireret af den kvalitative metodologi ved, at der undersøges et betydningsunivers, som hver forskningsundersøgelse skriver sig ind i.
Såfremt der eksempelvis indhentes den samlede forskning omkring tolærerordningen, er det sandsynligt, at en undersøgelse fra 1980'erne forstår ordningen på en anden måde end en undersøgelse fra 2017.
Derudover bør resultaterne af studierne, det vil sige om studierne måler positive eller negative effekter af ordningen, ses i lyset af de kulturelle, sociale og implementeringsmæssige skel, der findes i tidspunktet for studiernes gennemførelse.
Med nogle af de kvalitative evidenssynteser, der allerede findes og er afprøvet, forsøger man at forstå, hvorfor en forskningsundersøgelse kommer frem til de resultater, som den gør.
På den måde giver den kvalitative metodologi god mening, når man i systematiske forskningsoversigter arbejder med undersøgelser, der er gennemført på tværs af tid, kontekst og historik.
Analyse af forskningsoversigter
I min ph.d.-afhandling analyser jeg 19 systematiske forskningsoversigter i lyset af de tre faser. Jeg ønsker at finde frem til, hvilke metoder og fremgangsmåder, der anvendes. De 19 forskningsoversigter er udviklet af EPPI-Centre ved Londons Universitet i perioden 2006-2010.
EPPI-Centre var nogle af de første med systematiske forskningsoversigter på uddannelsesområdet, og systematiske forskningsoversigter fra EPPI-Centre er relevante at tage fat i, fordi de sandsynligvis har inspireret mange andre institutioner, herunder også i Danmark, i måden, oversigtsarbejdet foregår.
I min undersøgelse finder jeg frem til, at grundlaget for konklusionerne i de 19 systematiske forskningsoversigter er, at studierne begrebsmæssigt i samtlige tre faser kvantificeres og lægges sammen på tværs.
Denne metode vælges, når man mener, at en flerhed af forskningsundersøgelser vurderes at skulle have behandlet det samme under de samme omstændigheder.
Konklusioner udelader mellemregningerne
I afhandlingen viser jeg imidlertid, at denne metode kan afgive tvivlsomme konklusioner, fordi den eksisterende forskning i de 19 forskningsoversigter på tværs er meget forskellig.
Der er både er tale om forskellige programmer, deltagere i de enkelte undersøgelser, geografiske kontekster, implementeringsomstændigheder, typer af outcome-mål og meget andet.
Typisk tages der i de 19 systematiske forskningsoversigter eksplicit forbehold for studiernes geografiske kontekst, der ofte er amerikanske undersøgelser.
Det er min vurdering, at der er mange andre variable, som forskningsoversigterne bør tage forbehold for, idet resumeer af de enkelte forskningsundersøgelser tydeligt viser store variationer på tværs.
Selvom de 19 systematiske forskningsoversigter til en vis grad 'fremlægger' studiernes forskellige karakteristika gennem resumeer af de enkelte undersøgelser, medtages denne viden ikke i konklusionerne.
Derimod skæres viden fra, og der syntetiseres på tværs i en overbevisning om, at studierne – til trods for tydelige forskelle – alligevel kan lægges sammen som ét og det samme.
Meget af den viden, som skæres fra, kan imidlertid – ved brug af andre syntesemetoder – bruges hensigtsmæssigt og stadig konkludere på, hvad der virker for hvem og hvorfor.
\ Læs mere
Mangler at stille kritiske spørgsmål
I afhandlingen viser jeg, at såfremt forfatterne til de 19 systematiske forskningsoversigter havde indarbejdet mere viden fra undersøgelserne frem for at afskrive den, havde konklusionerne og dermed anbefalingerne til politik og praksis taget sig anderledes ud.
For at illustrere denne pointe kan vi tage eksemplet med tolærerordningen. En systematisk forskningsoversigt kunne for eksempel konkludere, at tolærerordningen virker positivt i skolen, fordi fem forskningsundersøgelser påviser dette.
\ ForskerZonen
Denne artikel er en del af ForskerZonen, som er stedet, hvor forskerne selv kommer direkte til orde. Her skriver de om deres forskning og forskningsfelt, bringer relevant viden ind i den offentlige debat og formidler til et bredt publikum.
ForskerZonen er støttet af Lundbeckfonden.
Bagom denne konklusion er benyttet én fremgangsmåde ud af flere, men de 19 systematiske forskningsoversigter bruger i beskedent omfang andre metoder.
Man fravælger at bruge metoder, hvor man spørger til, hvorfor den ene af de fem forskningsundersøgelser, hvor tolærerordningen er undersøgt i for eksempel Montana, påviser positive resultater, mens andre forskningsundersøgelser, hvor tolærerordningen kun har været implementeret i to år, også viser det samme?
Hvad er forskellen mellem de fem forskningsundersøgelser, og hvad er lighederne?
Når der ikke stilles disse spørgsmål til forskningsundersøgelserne i de 19 systematiske forskningsoversigter, mener jeg, at der fraskrives viden, der kunne have kvalificeret og nuanceret konklusionerne om effekten af tolærerordningen.
\ Læs mere
Kan ende med at afgive misvisende svar
Min afhandling bidrager til evidensdebatten på uddannelses- og socialområdet på den måde, at den stiller skarpt på den type af vidensrapporter, der bruges til at formidle forskningsresultater til politik og praksis.
Min afhandling viser, at der er brug for metodeudvikling og ikke mindst metodebevidsthed, når det gælder systematiske forskningsoversigter. Det kan og må gøres bedre.
Hvis de 19 systematiske forskningsoversigter, der danner udgangspunkt for min analyse, er udtryk for måden, der foretages systematiske forskningsoversigter på, er der risiko for, at der afgives alt for simple svar – i værste fald fejlslutninger – fra forskning til politik og praksis.
