Forskere ledte opmærksomheden væk fra negative resultater, viser gennemgang

Fra tid til anden konkluderer forskningsstudier, at en behandling ikke virker, men de negative fund bliver ikke opfattet som interessante.

Forskning viser, at positive resultater i langt højere grad bliver publiceret i tidsskrifter med store læserskarer, ifølge et studie fra 2014. Det kan derfor være fristende at lade de skuffende resultater og fund gå i glemmebogen.

En rundspørge, foretaget i 2015 af forskning.no, videnskab-wp.wp.stage.combell.peytz.dk's norske søstersite, blandt norske forskere fra flere forskellige fagområder, tydede også på, at en del af forskerne havde arkiveret uvelkomne resultater i skrivebordsskuffen.

Det hænder også, at forskerne i stedet tvinger fokus væk fra studiets negative hovedfund, ifølge en ny gennemgang, som forskere fra USA og Pakistan har foretaget.

Risiko for fejlbehandling og fejlbrug af ressourcer

Det kan føre til, at vi får et forkert indtryk af, hvor effektiv behandlingen er med efterfølgende risiko for fejlbehandling og fejlbrug af ressourcer.

Forskerne gennemgik 93 hjertekar-studier, som var publiceret i seks tidsskrifter med store læserskarer, og som mange andre forskere citerer fra i deres egne studier.

Ikke én af de 93 artikler havde fundet et positivt svar på hovedspørgsmålet, rent statistisk set.

Alligevel skrev mange af forskerne bag studierne om resultaterne på en måde, som tvang opmærksomheden væk fra dem, ifølge det svenske Dagens medisin.

Kendte ikke effekten af behandlingen

Når forskerne skriver en videnskabelig artikel om et studie, skal de fra starten af klarlægge, hvilket hovedspørgsmål de ønsker at finde svaret på.

De skal så svare på spørgsmålet i artiklens konklusion.

Et eksempel: I et studie om behandling af for højt blodtryk kan hovedspørgsmålet være, om en bestemt behandling resulterede i en reduktion af blodtrykket blandt forsøgsdeltagerne i forhold til en sammenlignelig kontrolgruppe, som ikke modtog den samme behandling.

Hvis resultaterne viser en forskel de to grupper imellem, der er stor nok til, at det er sandsynligt, at behandlingen har effekt, har forskerne opnået et såkaldt positivt fund.

Resultatet er 'statistisk signifikant', som det hedder på fagsproget.

Manipulerer sproget i artiklerne

Men det er lige så vigtigt for læserne - andre forskere, behandlere og øvrige interesserede - at vide, at effekten ikke kunne påvises i studiet.

Derfor mener forskerne bag den nye gennemgang, at deres fund bør tages alvorligt.

Studiet indikerer, at forskerne ofte manipulerer sproget i artiklerne om randomiserede, kontrollerede hjertekar-studier uden signifikante hovedfund for at lede opmærksomheden væk fra et neutralt hovedfund, skriver de i artiklen.

LÆS OGSÅ: Hvad er P-værdi, og hvad betyder statistisk signifikans?

Ledte opmærksomheden væk fra negativt fund

Randomiserede kontrollerede studier anses for at levere de bedste svar på, om for eksempel tiltag mod sygdom virker eller ej.

De bliver brugt til at danne grundlag for behandlingen af patienter.

Forsøgsdeltagerne bliver tilfældigt inddelt i to grupper, hvor den ene gruppe modtager den behandling, som skal testes. Derefter sammenlignes de to grupper.

Men hvor ofte bliver disse studier præsenteret på en måde, som kan vildlede læseren, og hvor alvorlig er denne manipulation? Det ønskede forskerne at afdække.

Fandt én eller anden form for manipulering

De fandt én eller anden form for manipulering i mange af de 93 artikler.

Forskerne fandt det i:

• 10 af overskrifterne
• 53 af de indledende resuméer
• 62 af hovedteksterne

Derudover indeholdt 50 artikler fordrejning af den afsluttende konklusion, hvor forskerne opsummerer resultatet, og hvilke følger det får.

Eksempler på en potentielt vildledende præsentation kan være, at forskerne pegede på de fordele, behandlingen havde, eller at der var enkelte forsøgsdeltagere, der havde fået det bedre, efter at have modtaget behandlingen.

Andre forskere fokuserede på forskelle behandlingsgrupperne imellem.

I de fleste tilfælde fandt forskerne et lavt niveau af vildledende præsentation i konklusionerne. I disse tilfælde erkendte forskerne, at hovedfundet ikke var statistisk signifikant, og de efterlyste yderligere forskning.

Skader forskningens integritet

Det går ud over forskningens integritet, mener forskerne.

For hvis forskere præsenterer deres fund mere positivt, end der er grundlag for, for eksempel ved at sløre, at en type behandling ikke lader til at have effekt, er der risiko for, at patienterne ikke får den bedst mulige behandling.

Det kan også føre til større mistillid til forskningen i befolkningen, skriver forskerne, som fremhæver vaccinemodstanderne som eksempel.

LÆS OGSÅ: Ernæringsforsker: Forskning til markedsføring af 'superfoods' er styret af penge

I strid med forskningsetiske retningslinjer og krav

Direktør for Norges Forskningsetiske Komité Espen Engh, mener, at forskernes fund er bekymrende.

»Læserne kan blive forledt til at tro, at resultatet er et andet, end det faktisk er. Det kan resultere i et ringere beslutningsgrundlag,« skriver han i en email til forskning.no.

Han understreger, at forskerne ikke bør fremstille deres resultater på en misvisende måde, selv om han mener, at studiet afslører, at mange alligevel gør det.

»Denne praksis er i strid med nationale forskningsetiske retningslinjer og krav om ikke at fordreje eller forfalske noget, samt krav om at formidle den grad af sikkerhed og præcision, som kendetegner forskningsresultaterne,« skriver han.

Presset til at publicere positive resultater

Men det sker alligevel. Forskerne bag den nye artikler peger på flere årsager.

Hvis det lykkes en forsker at få en artikel publiceret i et tidsskrift, som bliver citeret hyppigt, og som har en stor læserskare, kan det gavne karrieren og finansieringsmulighederne.

»Måske har forskerne en naturlig tendens til at fremhæve en positiv tilgang til deres resultater. Vi tror, at der vil være mindre risiko for fordrejning, hvis studier med et negativt resultat havde lige så stor chance for at bliver publiceret, « skriver forskerne i artiklen om fundene.

Nogle gange er det pressemeddelelser fra tidsskriftet, forskernes arbejdsplads eller finansieringskilder, som fokuserer på studiets positive fund, selv om de er defineret som mindre afgørende.

Det kan bidrage til en yderligere fordrejning af, hvad som egentlig var det vigtigste resultat, ifølge forskerne.

Flere står med ansvaret

»Tidsskriftforlagene er bevidste om problemstillingen omkring negative fund, og der vil til sidst komme tidsskrifter med fokus på publiceringen af dem,« siger Espen Engh.

Han mener, at der er øget bevidsthed blandt dem, som driver tidskrifterne, og som bestemmer, hvilke studier som bliver publiceret.

»Det bidrager det aktuelle studie til. Hvis man læser tidsskrifternes retningslinjer, står det ofte klart, at det er kvaliteten af studiet - og ikke resultaterne - som er afgørende. Problemet er, at disse intentioner ikke altid bliver afspejlet i praksis.«

Bedre oplæring af fagfæller?

I tillæg til redaktørerne på de videnskabelige tidsskrifter, som gennemgår artiklerne, bliver de også sendt til andre fagfolk, som kritiserer og kommenterer.

Det er en vigtig kvalitetssikring af forskningen, som kaldes peerreview eller fagfællebedømmelse.

Men i det nye studie advarer forskerne om, at kvalitetssikringen tilsyneladende ikke er tilstrækkelig, og at læserne bør holde sig det for øje, når de læser forskningsartiklerne.

»At fagfællebedømmelsen ikke altid fungerer efter intentionen, er måske studiets vigtigste pointe,« skriver Espen Engh i emailen til forskning.no.

LÆS OGSÅ: Sådan kan vi forbedre peer review-processen

Forskningsinstitutionerne bør sikre, at deres forskerne bliver undervist tilstrækkeligt i forskningsetik, men tidsskrifterne skal også sikre, at den kvalitetskontrol, som de bliver betalt for, slår til, skriver Espen Engh. han tilføjer:

»Måske indikerer studiet, at fagfællerne har behov for bedre oplæring i, hvad de skal se efter, og hvordan de kan evaluere teksten op mod resultatet.«

Espen Engh har tiltro til en ny ordning, som et stigende antal tidsskrifter har taget til sig. Ordningen indebærer, at forskerne fremlægger en plan for studiet, før de gennemfører det. Hvis planen 'består' fagfællebedømmelsen, forpligter tidsskrifter sig til at publicere studiet uanset hvad.

»Det vil muligvis føre til mere nøgterne gengivelser af resultaterne,« skriver Espen Engh.

Høj standard

Forskerne bag gennemgangen fandt hjertekar-artiklerne i en åben database for medicinske forskningsartikler.

En af redaktørerne bag det helt nye tidsskrift Jama Network Open, Stephan D. Fihn, har skrevet en kommentar, som akkompagnerer studiet.

Han understreger, hvor vigtigt det er at publicere negative forskningsfund; for eksempel at en type behandling ikke har positiv effekt.

»Vi gør alt, vi kan, for at favne velfunderede negative resultater lige så entusiastisk som positive fund,« skriver han.

Ser det ofte

»Selv om negative studier ikke får lige så meget opmærksomhed, er de ofte afgørende for forhindre, at vi drager forkerte konklusioner fra tidligere studier eller for at afkræfte udbredte fejlopfattelser,« skriver Stephan D. Fihn.

Han forklarer, hvordan tidsskriftets redaktørermødes to gange om ugen for at gennemgå de artikler, som forskerne har sendt.

»Der er næsten altid en eller flere artikler, hvor forskerne udstiller deres resultater i et mere heldigt lys, end vi mener, resultaterne retfærdiggør,« skriver han.

JAMA Network Open-redaktøren nævner ingen eventuelle forbedringer tidsskriftet selv vil foretage for at forbedre kontrollen med den forskning, de publicerer.

Han understreger dog den forpligtelse, de har for at opretholde de allerede høje standarder.

©Forskning.no. Oversat af Stephanie Lammers-Clark

LÆS OGSÅ: 800 forskere advarer: Statistisk signifikans og p-værdien giver ikke retvisende forskningsresultater

LÆS OGSÅ: Sådan læser og forstår du en videnskabelig artikel