Der er ikke noget nyt i, at studier bliver publiceret online før peer review, men det er kun noget, man har gjort indenfor lægevidenskaben i omkring fem år.
Med pandemien steg omfanget hurtigt: Fra januar til maj 2020 blev der offentliggjort mere end 50.000 preprints (se faktaboks) om covid-19, ifølge et review publiceret på webstedet github.com af bibliotekarerne Nicholas Fraser og Bianca Kramer.
Advarselslamperne blinker. Er forskningens troværdighed i fare?
»Det er muligt, at preprints skaber udfordringer for troværdigheden. Kvalitetskontrollen er begrænset, og det kan være vanskeligt for lægfolk at forstå forskellen på et preprint og en peer-reviewed artikel,« siger Daniel Quintana, der er forsker ved Institut for Psykologi ved Universitetet i Oslo.
Han mener dog, at fordelene opvejer ulemperne. Han er selv en ivrig bruger af forskellige preprint-platforme: Han udgiver udkast til forskningsartikler, modtager feedback, retter og genudgiver.
»Preprints har virkelig forbedret mit arbejde og arbejdsgang.«
\ Hvad er et 'preprint'?
Et preprint er et manuskript, som ikke er blevet peer reviewet (fagfællebedømt), der uploades på en åben webplatform.
På den måde bliver resultaterne hurtigt tilgængelige for offentligheden, forskerne får et større ejerskab over teorien, og de kan få feedback fra kolleger.
Kilde: artiklen 'Preprint er kommet for at blive' af Ragnhild Ørstavik
D-vitamin mod COVID-19
Preprint-platforme er selvstændige websteder, hvor forskerne kan poste deres arbejde, før de er blevet peer-reviewed. Nogle af platformene er knyttet til tidsskrifter, som The Lancets 'Preprints with The Lancet'.
Problemerne opstår, når de uafsluttede undersøgelser tages ud af kontekst. Det skete med et studie offentliggjort i 'Preprints with The Lancet' i vinteren 2021.
Her blev det hævdet, at behandling af COVID-19 patienter med såkaldt aktiveret D-vitamin (caldifediol) kunne resultere i 60 procent færre dødsfald og 80 procent færre intensivpatienter.
Den britiske parlamentspolitiker David Davis beskrev undersøgelsen som 'meget vigtig' på det sociale netværk og mikro-blogging-værktøj, Twitter.
I et senere tweet opfordrede han til øjeblikkelig at tage stoffet i brug i Storbritannien. Studiet blev slået stort op og omtalt bredt internationalt, også i Norges nationale public service-udbyder af radio og tv, NRK.
Kommentarfeltet på preprint-platformen blev dog hurtig fyldt med kritiske spørgsmål, især om hvorvidt der virkelig var tale om et randomiseret (se faktaboks, red.) studie, som forskerne hævdede. Efter nærmere undersøgelse besluttede magasinet at fjerne artiklen fra siden og offentliggøre en forklaring.
Studiet blev også sendt til peer review i The Lancet. Her blev det afvist.
\ Hvad er et randomiseret studie?
- Ved 'randomiserede undersøgelser' eller lodtrækningsforsøg bliver forsøgsdeltagerne tilfældig inddelt i to grupper, som enten får placebo eller et virksomt middel.
- I lodtrækningsforsøg er der større sandsynlighed for, at et sammenfald er tegn på, at der er årsagssammenhæng, end i studier, hvor forskerne udelukkende observerer og laver beregninger på baggrund af data.
- Læs mere i artiklen 'Korrelation eller kausalitet: Hvornår er der en årsagssammenhæng?'
Deles stadig
John McConnell, redaktør for tidsskriftafdelingen Lancet Infectious Diseases, omtalte episoden på Verdenskonferencen om forskningsintegritet i juni.
»Selvom vi har fjernet studiet, får det fortsat opmærksomhed. Folk re-tweeter stadig David Davis' originale tweet. Fuldtekstversionen af studiet er blevet set næsten 160.000 gange, og studiet bliver stadig omtalt i medierne, « siger John McConnell.
I juni var linket til studiet blevet tweetet eller gen-tweetet næsten 26.000 gange, tilføjede han. Det var også blevet beskrevet som 'publiceret i The Lancet'. Men i virkeligheden havde tidsskriftet ikke foretaget nogen kvalitetskontrol, da studiet blev offentliggjort.
»Man siger, at en løgn kan nå verden rundt på få timer, mens sandheden knap nok er kommet på benene. Jeg tror, det er det, vi har set i de seneste 18 måneder,« siger John McConnell.
Både John McConnell og Daniel Quintana understreger, at peer review heller ikke giver nogen garanti.
»Et dårligt peer-reviewed studie kan skabe endnu større problemer for forskningens troværdighed på lang sigt,« mener Daniel Quintana.
John McConnell påpeger dog, at preprints øger problemets omfang. Ved konferencen stillede han spørgsmål ved, hvorvidt preprint-platformene vil overleve pandemien.
Ingen kontrol over spredningen
Også Ragnhild Ørstavik, assisterende chefredaktør på Tidsskrift for Den norske legeforening (dansk = lægeforening, red.), er bekymret. Formålet med preprints var, at diskussionen skulle foregå på preprint-platformene, påpeger hun.
»Men i dag er meget diskussion flyttet over til de sociale medier, og her har man ikke styr på formidlingen af forskningsresultater. Derudover henter medierne sager fra preprint-platformene og slår dem op som nyheder.«
- Hvordan kan man imødekomme dette?
»Jeg synes, det skal tages op, før resultaterne har spredt sig. Det skal gøres tydeligere, at disse resultater er mere usikre end andre.«
Hun mener, at den, der formidler nyheden, har ansvaret for også at formidle usikkerheden – hvis nyheden overhovedet skal formidles. Hun mener desuden, at vi allerede i skolen skal lære om videnskabelige metoder, og hvordan forskningen kvalitetssikres.
»Men det er et svært mål at nå, så jeg mener, at ansvaret først og fremmest ligger hos de journalister og forskere, der formidler nyhederne.«
Ragnhild Ørstavik påpeger, at det har været en særlig situation i løbet af pandemien. Under andre omstændigheder vil det være mindre presserende, men også her skal man være varsom med at formidle foreløbige resultater,« mener hun.
»Derudover skal tidsskrifterne se betydningen af at være hurtigere i behandlingen af manuskripter.«
Usikre langtidseffekter
Karin Magnusson er forsker ved Folkehelseinstituttet (FHI) i Norge, der svarer til Sundhedsstyrelsen i Danmark, og medforfatter på to preprints, der har fået stor opmærksomhed.
Et af dem handlede om de langsigtede effekter af COVID-19. Ifølge dette studie, som endnu ikke er blevet peer-reviewed, er langtidseffekterne mindre, end man kan få indtryk af i medierne.
»Etisk set kan det være mere korrekt at gå ud med foreløbige fund end at holde viden for sig selv i længere tid,« mener hun.
Langtidseffekterne af COVID-19 er noget, beslutningstagerne har brug for hurtig viden om, ifølge Karin Magnusson. Det har nemlig betydning for de politiske tiltag.
Men for noget tid siden blev hun kontaktet af en kollega, der kommenterede, at hun havde skrevet om et preprint på Twitter. Han spekulerede på, hvad hun syntes om preprints.
»Det er der sikkert mange, der er optagede af, især den ældre garde,« siger Karin Magnusson.
Generelt mener hun, at preprint-publicering bidrager til åbenhed i forskningen. Alle kan tage kontakt og give input, og forskningen bliver bedre, forklarer hun.
Ekstra krav til forskere
Karin Magnusson mener også, at det hastværk, som pandemien har medført, har gjort hende og hendes kolleger endnu mere grundige på et tidligt stadie i forskningsprocessen.
Mange versioner af forskellige studier har cirkuleret internt på FHI for at få kritiske indspil, og både hvad angår metode og tilslutning af store registerdata, som hun selv arbejder med, har de brugt interne fora hyppigere end ellers.
»Når man går ud med resultater i preprints, og man ved, at mange er interesserede, og at der måske bliver medieomtale, stiller det ekstra krav til forskere på et tidligt stadie,« påpeger Karin Magnusson.
Hun og hendes kolleger er også hele tiden åbne omkring, at resultaterne ikke er blevet peer-reviewed.
For at gøre preprint-resultaterne kendt, har de hovedsagelig lagt resultaterne ud på FHI's hjemmeside. Resultaterne om senfølger blev dog først sendt til et udvalgt medie.
»Vi ønskede at bidrage til resultaterne, som betød, at langtidseffekterne efter COVID-19 formentlig er begrænsede, faktisk fik omtale. Medierne har en tendens til kun at skrive om undersøgelser med skræmmende resultater.«
Nævnt i sidste sætning
Det var Aftenposten, der skrev om sagen først, under titlen 'Norsk studie med 2 millioner personer: De fleste får ikke senfølger af COVID-19'.
- At det var et preprint, blev først nævnt i brødtekstens sidste sætning. Synes du det er godt nok?
»Ja, jeg synes, det er nok at skrive det ét sted i teksten. Populærvidenskabelig kommunikation skal være kort og koncis. Men vi kan som forskere opfordre medierne til kort at beskrive forskellen på en preprint-artikel og en peer-reviewed artikel.«
Karin Magnusson peger også på en styrke i FHI's datamateriale: FHI's resultater er baseret på Beredskabsregisteret for COVID-19, som består af oplysninger fra en række norske registre. Det omfatter to millioner nordmænd.
»Selvom vores fund er foreløbige, ved vi, at vi har gode data, og at vi har brugt gode metoder, og vi har et ansvar for at informere om, hvad vi finder.«
Ansvaret for at rette op
Hvilket ansvar har forskere egentlig, når urigtige forskningsresultater spredes i befolkningen? Skal de så ud og rette deres egne eller andres resultater?
»Hvis jeg havde indsendt et preprint om et lægemiddel mod COVID-19, som senere viste sig ikke at holde stik, ville jeg have følt et ansvar for at formidle det,« siger Ragnhild Ørstavik.
Daniel Quintana er enig. Alt efter hvilken fejl der er tale om, bør forskeren enten rette og informere om fejlen på preprint-platformen eller tage hele studiet ned, mener han.
»En rigtig god ting ved preprint er, at det er meget nemmere at rette fejl. Hvis studiet først er publiceret, er det sværere.«
- Men hvad nu, hvis resultaterne allerede er spredt i offentligheden?
»Det er svært, for ting spreder sig hurtigt. Men man bør prøve at rette op på det. Hvis en journalist har skrevet om det, kan du kontakte vedkommende.«
Han synes også, at forskerne selv burde have en offentlig platform, såsom en blog eller en åben konto på sociale medier. Hvis man forsker i et emne, der optager unge, kan man bruge TikTok eller Instagram, foreslår han.
Her kan man også informere om eventuelle fejl i egen research.
- Har man et ansvar, hvis det gælder en anden forskers resultater?
»Hvis jeg opdagede noget, ville jeg anmelde det og vedhæfte et link. Det tager ikke lang tid. Men jeg synes ikke, vi har et ansvar for at opsøge andres fejl. Til gengæld skal vi være grundige i vores eget arbejde.«
Internationale retningslinjer
ASAPbio er en forskningsdrevet, ikke-kommerciel organisation, der arbejder for åbenhed og innovation i forskningskommunikation. I 2020 gennemførte de en spørgeundersøgelse om preprint blandt grupper som bibliotekarer, forskere og journalister. Ifølge resultaterne var folks største bekymring muligheden for tidlig mediedækning.
Set i bakspejlet har ASAPbio gennem projektet 'Preprints in the Public Eye' foreslået nogle retningslinjer for kommunikation om preprints.
De opfordrer blandt andet forskere til eksplicit at påpege, at resultaterne ikke har været igennem peer review. De bør også forsøge at præsentere forskningen, så resultaterne ikke kan misfortolkes, og de bør ikke overdrive betydningen af resultaterne.
Journalister opfordres til at overveje at forklare, hvad et preprint er, og hvad peer review indebærer. De skal linke til preprintet, de skal ikke henvise til det som 'publiceret', og de skal indeholde oplysninger om studiets begrænsninger.
\ Læs mere
Usikkerhed om tidsplanen
Aysa Ekanger, rådgiver ved Universitetsbiblioteket ved UiT Norges arktiske universitet, mener, at rådene er nyttige. Hun mener, at forskere, medier, tidsskrifter, forskningsinstitutioner og skolevæsen har et ansvar. Forskningsinstitutionerne bør formidle metoder til at præsentere usikkerhed i forskningen til studerende og ansatte.
Skoler og gymnasier bør informere om begrebet videnskabelig usikkerhed.
Det er vigtigt, at alle forstår, hvad det er, og at forskernes usikkerhed om visse ting ikke betyder, at al forskning er forkert, mener Aysa Ekanger.
Ragnhild Ørstavik mener, at den videre udvikling kan gå i flere mulige retninger.
»Hvis der spredes flere forkerte resultater, kan det selvfølgelig svække tilliden til forskningen, siger hun.
Men hun kan også forestille sig det modsatte: en mere åben forskningsproces, konstruktiv kritik, der tages i betragtning, og tydelig markering eller fjernelse af resultater, der ikke holder.«
»Det kan skabe en større forståelse for den videnskabelige proces og den lange og ofte svære vej til det, vi kan betegne som sikkert og sandt. Det afhænger helt af udviklingen fremadrettet,« siger Ragnhild Ørstavik.
Denne artikel er publiceret hos magasinet Forskningsetikk. Læs den oprindelige artikel her. Oversat af Stephanie Lammers-Clark.
