Lodtrækningsforsøg giver os ikke (hele) sandheden om effekterne af sociale tilbud

Når vi som samfund investerer i indsatser i børnehaver, skoler, hospitaler og plejehjem, vil vi gerne vide, at det nytter. Vi vil gerne vide, om det gør en forskel, at pædagoger laver læsetræning med børnene, at skolerne laver trivselsindsatser, og plejehjemmene serverer sundere mad.

Men hvordan ved vi, at en given indsats har effekt? Hvornår er der solid videnskabelig dokumentation for det? Og er de populære lodtrækningsforsøg (mere om dem om lidt) bedre end andre måder at finde ud af det på?

Den diskussion har bølget frem og tilbage i videnskabelige kredse i årtier (se for eksempel her og her).

På det seneste har Videnskab.dk også sat fokus på det, blandt andet med artiklerne ’Kommunernes dilemma: Ikke muligt at få videnskabelig evidens for alle sociale tilbud’, ’Hvorfor er det så svært at finde ud af, om sociale indsatser virker?’, og ’Psykiatere: Populært socialt tilbud sælger sig selv på tyndt videnskabeligt grundlag’ under temaet ’Interventionsforskning: Forskning søger løsninger’.

Det er et kærkomment indspark. I denne artikel vil vi argumentere for, at selvom lodtrækningsstudier er gode, så kan de ikke stå alene, når vi vil vide, om en social indsats virker eller ej.

\ Læs mere

Hvorfor er det så svært at finde ud af, om sociale indsatser virker?

Strid om nytten af lodtrækningsstudier

Når man gennemfører et lodtrækningsforsøg, fordeler man tilfældigt forsøgsdeltagerne i to grupper. Den ene gruppe modtager den indsats, man er interesseret i at undersøge. Den anden gør ikke.

Hvis forsøget er gennemført under ideelle omstændigheder, vil de to grupper være ens på alle andre parametre end indsatsen. Over tid kan man så følge, om den ene gruppe klarer sig bedre end den anden – og man vil fortolke eventuelle forskelle som en effekt af indsatsen.

Som i mange andre sammenhænge bliver omdrejningspunktet i diskussionen på Videnskab.dk selve brugen af lodtrækningsforsøg. Nogle mener, at det er etisk uforsvarligt, at man i videnskabens tjeneste trækker lod mellem mennesker, der alle har behov for hjælp, se for eksempel her og her.

De påpeger samtidig, at effekterne af det sociale arbejde sjældent lader sig måle.

Andre mener, at det omvendt er uforsvarligt at tilbyde indsatser til samfundets svageste, hvis vi ikke har sikkerhed for, at de rent faktisk kan hjælpe med at bringe folk ud af misbrug, øge deres trivsel og sundhed eller hjælpe dem tættere på arbejdsmarkedet, se for eksempel her og her.

Og de vil fastholde, at lodtrækningsforsøg er den uomtvisteligt bedste metode til at måle en effekt.

Begge synspunkter har deres berettigelse. Desværre bringer ingen af dem os nærmere en afklaring af de styrker og svagheder, der er indbygget i lodtrækningsforsøg, og hvordan vi meningsfuldt kan inddrage effektstudier i udviklingen af det sociale område.

Sådan ser et (forsimplet) lodtrækningsstudie ud

Tankegangen og metoden bag lodtrækningsforsøg er intuitiv, og derfor kan det virke mærkeligt at så få sociale indsatser er afprøvet på den måde.

Her er et forsimplet eksempel på et lodtrækningsstudie: Forestil dig, at vi har en gruppe unge som lider af angst, og som har behov for en indsats. Vi laver en måling af gruppens livskvalitet, symptomhåndtering med mere, og efterfølgende deler vi gruppen tilfældigt op i to lige store grupper.

Den ene halvdel får tilbudt psykologbehandling i tre måneder (interventionsgruppen). Den anden får ikke tilbudt noget (kontrolgruppen).

Efter de tre måneder er gået, måler vi igen på samme parametre. Hvis de unge i interventionsgruppen i gennemsnit har fået det bedre i sammenligning med kontrolgruppen, siger vi, at indsatsen har positiv effekt.

Har de to grupper det lige godt, er der ingen effekt og hvis interventionsgruppen ligefrem har det dårligere end kontrolgruppen, taler vi om negativ effekt.

Men er det virkelig så simpelt? Lad os gå bag om lodtrækningsstudiet.

Hvad er det egentlig for en effekt, vi måler?

Det hviler på et sæt af både praktiske forudsætninger og antagelser om, hvordan vi kan fastslå en sikker sammenhæng mellem en indsats og en efterfølgende effekt.

Først og fremmest er det vigtigt, at alle de unge, som deltager i forsøget, modtager samme indsats. Og i praksis kan det være meget svært at håndhæve og måske også etisk problematisk.

Når det handler om at hjælpe unge med angst som i eksemplet ovenfor, oplever behandlerne ofte, at nogle har større behov end andre. Behandlerne kan derfor ønske, at de unge, som har det dårligst, får mere hjælp end de øvrige deltagere i forsøget.

Men hvis de giver dem mere hjælp, kan det efterfølgende blive svært at sige noget om, hvad det er, der virker. Det er derfor vigtigt, at indsatsens indhold og omfang er veldefineret og afgrænset.

Tit er det imidlertid sådan, at deltagere i sociale tilbud gør brug af flere tilbud på samme tid, og det gør det vanskeligt at måle, hvilken indsats som er den egentlige årsag til en eventuel effekt.

Hvis for eksempel nogle, men ikke alle af deltagerne i ovennævnte eksempel, både modtager psykologbehandling gennem lodtrækningsforsøget og andre trivselsfremmende indsatser – for eksempel onlineterapi – kan det være meget vanskeligt at afgøre om en eventuel positiv effekts skyldes psykologhjælpen i lodtrækningsforsøget eller onlineterapien.

Vi kan aldrig måle indsatsen isoleret fra omgivelserne

Dette peger samtidig på et principielt og ikke bare et praktisk problem.

Problemet består i, at sociale indsatser altid gennemføres i en kompleks social virkelighed, som i en vis forstand er unik. Det betyder, at det i princippet kan være umuligt at teste en afgrænset indsats.

Når man tester, om gratis psykologbehandling har en effekt på at reducere mistrivsel blandt unge med angst, er der altid en række forhold i den unges omgivelser, som har indflydelse på, om indsatsen virker eller ej.

Disse forhold kalder vi den sociale kontekst, som indsatsen testes i. Effekten af den gratis psykologhjælp vil for eksempel være afhængig af den unges relation til sin sagsbehandler, klub-, sport- og fritidstilbud i kommunen samt kultur og pædagogik i kommunens skoler med mere.

Konkret betyder det, at vi aldrig kan måle effekten af selve indsatsen, men altid effekten af indsatsen i samspil med andre forhold.

Problemet? Resultaterne kan ikke generaliseres

Dette er et principielt problem, som i øjeblikket bliver diskuteret intenst inden for en række forskningsfelter, som har fokus på at evaluere effekten af sociale tilbud (se for eksempel her og den efterfølgende diskussion).

For hvis vi accepterer præmissen om, at vi aldrig kan måle effekten af en afgrænset indsats, men altid vil måle effekten af indsatsen i samspil med andre sociale forhold, hvordan kan vi så generalisere vores resultater?

Konsekvensen er, at vi øjensynligt aldrig kan komme frem til for eksempel at sige: ’Gratis psykologhjælp har positiv effekt. Det reducerer symptomerne på mistrivsel blandt X procent af alle unge, som modtager tilbuddet’.

Derimod bliver vi altid nødt til at sige: ’Gratis psykologhjælp viste sig at have positiv effekt blandt unge med mistrivsel i kommune x, y og z, som er kendetegnet ved at have følgende skole- og fritidstilbud med mere. Hvorvidt en ordning med gratis psykologhjælp vil have samme effekt i andre kommuner, kan vi ikke sige med sikkerhed’.

\ Læs mere

Evig krig om pædagogik: Skal små børn lære eller lege?

Flere metoder må i spil på samme tid

Alt håb er dog ikke ude. Vi kan komme langt tættere på at sige noget med sikkerhed, hvis vi holder op med at forsøge at måle kun på selve indsatsen og i stedet undersøger indsatsen i samspil med andre forhold.

Og det kræver andre metoder og tilgange end lodtrækningsforsøget i sig selv.

En solid evaluering af, hvorvidt en indsats har den ønskede effekt eller ej, kræver en grundig afdækning af, hvordan indsatsen gennemføres og hvilke sociale forhold, som kan have betydning for indsatsens effekt.

Vi kan med andre ord kun forvente at få solid viden om, hvorvidt en indsats har effekt, hvis vi supplerer vores lodtrækningsforsøg med undersøgelser af, om alle deltagere i forsøget reelt modtager samme indsats, samt hvilke sociale forhold indsatsen spiller sammen med – i vores eksempel var det forhold som skole- og fritidstilbud med mere.

Solid viden giver det bedste afkast til samfundet

Vi kan sjældent opnå fuldstændig viden som et sikkert grundlag for beslutninger, og vi har derfor en forpligtigelse til at kende til svagheder i de forsøgsdesign, vi anvender.

Lodtrækningsforsøg kan bidrage med nyttig viden, men de kan ikke stå alene, hvis vi er interesseret i at undersøge effekterne af sociale indsatser.

Her er der brug for at kombinere resultaterne af lodtrækningsforsøg med viden om de sociale forhold, der skal være til stede, hvis vi ønsker at arbejde med indsatsen i en anden sammenhæng end lige dér, hvor den er testet.

Og hvis et forsøg med en social indsats på én skole eller et plejehjem ikke kan overføres til andre, så svinder værdien af at lave det alt andet lige ind.

\ Læs mere

Kommunernes dilemma: Ikke muligt at få videnskabelig evidens for alle sociale tilbud

\ Læs mere

Psykiatere: Populært socialt tilbud sælger sig selv på tyndt videnskabeligt grundlag