Manifest: Få styr på tal og statistik

»Ost kan øge risikoen for at blive kvalt i sengetøj.«

Skørt. Men i princippet kunne det være overskriften på en historie i et kulørt medie. For statistik viser, at antallet af folk, der døde af at blive filtret ind i deres sengetøj, steg, i takt med at folk spiste mere ost i USA mellem 2000 og 2009.

Du skal selvfølgelig være på vagt, hvis du ser sådan en overskrift i dit Facebook-feed. Vent lige med at dele, like eller kommentere, til du har læst hele artiklen.

Det kan godt være, at der er en statistisk sammenhæng mellem stigningen i ostespisning og kvælning i sengelinned, men det betyder ikke, at det er osten, der medfører, at man bliver kvalt i sit sengetøj.

Statistisk kan snyde

Forestil dig nu overskriften: »Sociale medier øger risikoen for at få en depression.«

Den lyder mere troværdig. Man kan sagtens forestille sig, at man kan blive deprimeret af at bruge sociale medier. Og antallet af danskere, der er på sociale medier, stiger ovenikøbet, samtidig med at flere bliver ramt af depression.

Men tøv en kende:

Det er ikke sikkert, at det er sociale medier, der medfører, at flere får depressioner. Sammenfaldet mellem stigningen i antallet af SoMe-brugere og depressionsdiagnoser kan være et tilfælde.

Måske får flere en depression, fordi der er mere opmærksomhed på sygdommen, eller fordi folk er mere pressede i skolen og på jobbet. Tilfældigvis kommer flere på sociale medier i den samme periode.

Ligegyldigt hvilken statistisk sammenhæng, du læser om, skal du være opmærksom på:

• Statistiske sammenhænge er ikke altid det samme, som at der er en årsagssammenhæng – det ene medfører ikke nødvendigvis det andet.
• Tal kan snyde.

Statistik er hot

Vær for eksempel opmærksom, når du læser om forskning i sundhed. I danske medier bliver der ofte skrevet om statistiske studier, der viser, at et eller andet øger risikoen for en eller anden sygdom.

Den slags forskning kaldes registerstudier, befolkningsundersøgelser, kohortestudier eller epidemiologisk forskning og er ofte baseret på data om tusindvis eller millioner af danskere.

I udlandet er danske forskere anerkendte for at lave den type forskning. De er gode til det, fordi vi i Danmark har alle mulige registre, hvor vi er registeret under vores CPR-nummer.

Oplysninger om os er gemt for eksempel hos Danmarks Statistik, i diverse patientregistre, og hver gang vi er hos lægen eller på hospitalet, bliver årsagen registeret.

Forskerne samler data fra de forskellige registre blandt andet for at holde øje med, hvordan vores sundhed udvikler sig over tid. På den måde finder de alverdens statistiske sammenhænge.

For eksempel skev vi for nyligt om et registerstudie baseret på oplysninger om over to millioner danskere, der viser, at folk, der har haft hjernerystelse eller kraniebrud, oftere får en demensdiagnose end andre.

Selv om de danske registerstudier ofte bliver rost for deres størrelse, skal du være opmærksom på at en enkelt statistisk sammenhæng (en korrelation) ikke nødvendigvis er det samme som en årsagssammenhæng (kausalitet), ligegyldigt hvor stort studiet er.

Forskning tager lang tid

Et enkelt statistisk studie kan aldrig bevise, at der er en årsagssammenhæng.

Der skal laves rigtig meget forskning, før man kan være nogenlunde sikker på, at en korrelation er det samme, som at det ene medfører det andet.

Sandsynligheden for, at der er tale om en årsagssammenhæng, stiger, hvis:

• Flere undersøgelser lavet af forskellige forskere i forskellige lande og blandt forskellige befolkningsgrupper har fundet den samme korrelation.
• Der er en logisk/plausibel forklaring. Det er for eksempel ikke logisk, at man bliver kvalt i sit sengetøj, fordi man spiser meget ost.
• Forskerne har taget højde for mulige fejlkilder. I studiet om hovedskader og demens har forskerne for eksempel brugt statistiske metoder til at udelukke, at det er alkoholmisbrug, psykiske lidelser eller livsstilssygdomme, der har medført, at folk, som har haft hjernerystelse eller kraniebrud, oftere får demens.

Læs mere om fejlkilder og om, hvordan du skelner mellem korrelation og kausalitet i artiklen 'Korrelation eller kausalitet: Hvornår er der en årsagssammenhæng?'

Tal og procentsatser kan drille

Altså: Vær på vagt, når du ser en overskrift, som konkluderer, at forskere har fundet en årsagssammenhæng i et statistisk studie.

En anden ting, der kan snyde og skabe unødig bekymring, er tal og procentsatser.

I de store registerbaserede studier ender forskerne ofte med en masse tal, grafer og procentsatser, som kan være svære at tolke, hvis man ikke selv er statistiker.

Journalister kan også have svært ved det, så de kan komme til at overdrive resultaterne, skrev vi i artiklen 'Statistik får journalister til at overdrive forskning'.

Et klassisk eksempel på en overdrivelse er, at risikoen for flystyrt øges med 100 procent på et år, hvis der det ene år er to flystyrt, og det næste år er fire fly, som styrter ned.

Hvis man kun får at vide, at der er 100 procents øget risiko for flystyrt, lyder det meget skræmmende. Men når man sætter antallet af flystyrt i forhold til de mange millioner fly, der hvert år letter, er risikoen for, at et af dem styrter ned, minimal.

Læger: Medierne spreder unødig frygt

Overdrivelse fremmer altså ikke altid forståelsen.

Det skabte også mere forvirring end afklaring, da et stort registerstudie ifølge en række danske medier viste, at p-piller øger risikoen for brystkræft med 20 procent.

Umiddelbart lyder 20 procent som meget, og mange kvinder, der tager p-piller, blev muligvis så bekymrede, at de overvejede at droppe pillerne.

I tiden efter de foruroligende overskrifter i medierne, fik de praktiserende læger ihvertfald travlt med at besvare henvendelser fra bekymrede p-pille brugere, lød det fra Dansk Selskab for Almen Medicin, som klagede over, at medierne skabte frygt uden grund.

Kun en lille øget risiko

På Videnskab.dk kiggede vi nærmere på tallene, og det viste sig, at 20 procent øget risiko for brystkræft ikke er specielt meget, når man sætter det i forhold til, hvor mange mennesker der reelt bliver ramt af brystkræft.

Studiet viste, at der kun var 13 flere tilfælde af brystkræft hos 100.000 p-pille-brugerne end hos 100.000 kvinder, der ikke har brugt hormonel prævention.

Når man stiller tallene sådan op, er 20 procent kun en ganske lille øget brystkræftrisiko – i øvrigt primært hos kvinder over 40 år – skrev vi i artiklen 'Skal jeg lægge p-pillerne på hylden for at undgå brystkræft?'.

Sammenfatning: Læs ikke kun overskriften

Når du scroller ned ad dit Facebook-feed, er der en god chance for, at opsigtsvækkende overskrifter om ny forskning fanger din opmærksomhed.

Måske står der at 'Omskæring kan skade drenges urinveje', eller at 'Cyklister har 40 procent lavere risiko for tidlig død'.

Men tro ikke, at du har forstået forskningen, hvis du kun læser overskriften. Artikler om nye forskningsresultater er fyldt med nuancer, som det er vigtigt at få med, men som en overskrift ikke kan rumme.

Problemet ved kun at læse overskrifter er, at videnskabsjournalister i overskriften koger et omfattende studies konklusion ned i en enkelt sætning.

Overskriften er sjældent direkte forkert, men den er bombastisk og nogle gange overdreven, for journalisten er interesseret i at fange din interesse, så du får lyst til at læse videre. Vigtige forbehold, tal og fejlkilder bliver ofte først nævnt langt nede i artiklen. Så tag dig tid og læs det hele.

På Videnskab.dk prøver vi at undgå at overdrive resultater eller drage for bombastiske konklusioner, når forskere har fundet en statistisk sammenhæng. Men vi kan altid blive bedre.

Læs om, hvordan vi arbejder, og hvordan du kan hjælpe os, i de to bokse under artiklen.

Du kan også blive klogere på emnet i vores guide: 'Bliv en kritisk læser af nyheder om forskning' og i 'Guide: Otte spørgsmål du bør stille til statistik'.

Lad musen glide henover på de røde ikoner i grafikken herunder og bliv endnu klogere på, hvordan du gennemskuer nyheder om forskning.

Gør os klogere

Videnskab.dk har lavet journalistik om videnskab i mere end 10 år.

I den tid har vi set og selv lavet en masse fejl, så vi efterhånden har lært en del om at navigere i junglen af forskningsnyheder og andre udmeldinger om videnskab.

Alligevel er de 5 bud i vores manifest ikke hugget i sten. Manifestet er baseret på vores erfaringer som journalister, men vi vil også gerne høre dine råd om, hvordan man navigerer i strømmen af videnskabshistorier. Du kan hjælpe os med at blive klogere.

Er der noget, vi har glemt? Er der ting, vi selv skal gøre bedre, når Videnskab.dk dækker døgnets forskningsnyheder?

Så skriv til os på redaktion@videnskab-wp.wp.stage.combell.peytz.dk.

Vi får hjælp af forskerne

Rundt om i verden forskes der i, hvordan man bedst formidler forskning og bedriver videnskabsjournalistik.

Den forskning arbejder vi med i vores Center for Faglig Formidling. Her indsamler vi viden om faglig formidling, skaber nye formidlingsformater og tester, om det virker i praksis.

I forbindelse med dette manifest udvikler vi for eksempel et »Troværdighedsbarometer«, som skal give mediebrugere en visuel hjælp til at gennemskue kvaliteten af et forskningsresultat.

Alt det gør vi i godt samarbejde med forskere, universiteter og almennyttige fonde. Så har du en idé til et projekt, eller har du et formidlingsproblem, du kæmper med, så skriv til os på formidling@videnskab-wp.wp.stage.combell.peytz.dk