Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer?

Græsk-amerikanske John Ioannidis er kendt som en forsker, der kan få sine videnskabelige kolleger til at ryste i bukserne.

Gennem en årrække har Stanford-professoren - som en anden videnskabsdetektiv - tilbagevist det ene publicerede forskningsresultat efter det andet.

»Det kan bevises, at de fleste påståede forskningsresultater er usande,« skrev han i sin artikel ‘Why Most Published Research Findings Are False’ fra 2005, der er notorisk kendt som en af de mest citerede videnskabelige artikler overhovedet.

Men nu - under corona-krisen - har John Ioannidis smagt lidt af sin egen medicin. Tidligt i pandemien turede professoren frem med forskning, der kritiserede de globale nedlukninger og nedtonede virussens farlighed. Studiet blev siden haglet ned af fagfæller. John Ioannidis' forskning blev tilbagevist.

Som så mange andre corona-studier lagde John Ioannidis sit studie op som en preprint-artikel, der ikke har været igennem tidsskrifternes snørklede kvalitetskontrol - det såkaldte peer review.

Og pointen? Den kommer Jesper Wiborg Schneider, professor på Dansk Center for Forskningsanalyse ved Aarhus Universitet, med her:

»Ioannidis-studiet vidner om, at den videnskabelige kontrol, som vi altid forbinder med tidsskrifternes peer review, også finder sted, når forskningen lægges op i preprint udenom tidsskrifterne,« siger han til Videnskab.dk.

»Studiet blev samlet op og kritiseret. Og det var ikke bare Twitter-pjat. Det var statistikere og relevante forskere, der gennemgik det på kryds og tværs og påpegede nogle forhold, der var virkelig problematiske,« uddyber Jesper Wiborg Schneider.

\ Læs mere

Virker mundbind? Sådan bruger du evidenspyramiden til at finde svar

Er tiden løbet fra peer review?

For Jesper Wiborg Schneider er det endnu et eksempel på, at tiden er løbet fra den snørklede og anonymiserede videnskabelige proces, hvor forskere sender et studie til et tidsskrift, der finder bedømmere, der kritiserer studiet og sender det til forskeren, der så retter til:

»Det er et levn fra tiden, hvor man skulle printe tingene og komme ud i trykt form. Hvis et studie er kommet med stærke påstande, men er dårligt, skal det nok blive kritiseret, og hvis det er godt, skal det nok få et liv. Vi skal simpelthen stole mere på det videnskabelige samfund,« lyder det fra professoren.

Forskningen under corona-krisen er blevet omtalt som en global og fælles ‘science in the making’-erfaring; en oplevelse af at se til og følge med fra første parket, mens forskerne pumper derudad: Studier, papers, kritik, debat.

Mange forskere har udgivet deres studier i preprints, og samtidig har flere tidsskrifter fremskyndet deres publikationsproces, så corona-studier udkommer med en hidtil uset hast, hvilket ikke har givet dårligere forskning, hævder Jesper Wiborg Schneider.

Disse erfaringer har gjort den videnskabelige proces (og dens mangler) tydeligere for mange flere: de videnskabelige tidsskrifter og deres peer review-system er blevet testet, debatteret og kritiseret som aldrig før.

»Vil pandemien ændre de videnskabelige processer for altid?« spørger Nature i en artikel, der er en del af en serie, som undersøger, hvordan videnskaben vil se ud efter pandemien.

»Har peer review stadig sin berettigelse i COVID-19-æraen?« spurgte den amerikanske hjertelæge, Milton Packer, i et indlæg hos lægemediet MedPage Today allerede i maj. Hans konklusion var et klart ‘nej’.

Omvendt lød det i en leder i tidsskrifter The Lancet, hvor det blev fremhævet, at corona-krisen netop har vist, at peer review er et »fuldstændigt essentielt redskab for videnskaben«.

\ Læs mere

Corona-forskning får store fondsbevillinger: Går det for stærkt?

Dansk mundbind-sag er et skoleeksempel

I skrivende stund er vi vidner til en sag, hvor danske forskere holder på resultaterne fra et stort og omfattende mundbind-studie, fordi de venter på at få det vurderet og bragt i et videnskabeligt tidsskrift.

Forskerne bag har sagt til BT, at det er »det suverænt bedste studie, man overhovedet kan lave af den her slags«.

Men hvis studiet er det bedste og fortæller afgørende nyt om mundbind, bør forskerne lægge resultaterne frem i et preprint, så vi alle kan forholde os (kritisk) til dem, lyder kritikken fra et hav af forskere.

Heriblandt professor i forskningsformidling Charlotte Wien. Ifølge hende er mundbind-sagen »skoleeksemplet på«, hvad der er i vejen med tidsskrifternes peer review-system i dag:

»Forskere vil gerne have det udgivet, men på en måde, hvor der ikke er en finger at sætte på det,« siger professoren, der også forskningschef på Syddansk Universitetsbibliotek, og fortsætter:

»Men i den situation, vi er i nu, er vi nødt til at have væsentlig forskning tilgængelig. Jeg forstår ikke, hvorfor de ikke bare overgiver sig og sender det i preprint. Og så tager vi simpelthen diskussionen derfra.«

\ Læs mere

Professor: Ophedet debat om dansk mundbindsforsøg afspejler uvidenhed

»Grotesk, at peer review er så hemmeligt«

Egentlig er kritikken af peer review en klagesang, der er lige så gammel som selve systemet, der blev udbredt i 1960’erne og -70’erne. Og der er sandsynligvis ingen videnskabsfolk, der ikke vil medgive, at peer review har visse svagheder (se faktaboksen).

Man kunne altså skrive en lang afhandling om problemerne med peer review, men for Charlotte Wien er det altoverskyggende problem den manglende gennemsigtighed, som vi lige nu ser i sagen med det danske mundbind-studie.

»Det helt groteske ved peer review i dag er, at det er så hemmeligt. Vi kræver transparens i alle mulige dele af den videnskabelige verden, men lige præcis den her proces er fuldstændigt mørklagt, og den videnskabelige dialog bliver hæmmet af det,« lyder kritikken fra Charlotte Wien.

Fagfællebedømmerne, der laver peer reviews, er oftest anonyme, og deres kritik af et givent studie bliver aldrig lagt frem, når artiklen endelig udgives i et tidsskrift.

Meningen med anonymiteten er blandt andet, at den beskytter bedømmerne og fremtvinger en form for neutralitet, så det er bolden og ikke manden, der tackles. Men det argument giver Charlotte Wien ikke meget for:

»Jeg har været i den her business i mange og har hørt alle argumenter for, at peer review skal beskyttes. Problemet er, at du antager, at forskere ikke er professionelle mennesker. Som forsker skal vi kunne give og tage en kritik upfront, selvfølgelig skal vi da det.«

»Ønsker om eksklusivitet bremser for åbenhed«

»Der er slet ingen tvivl om, at man kunne gøre mange ting anderledes, der går hen imod mere transparens og åbenhed i forskningsprocessen,« lyder det fra Jesper Wiborg Schneider, der er helt enig i Charlotte Wiens kritik.

Ifølge ham vokser problemet blandt andet ud af, at vi overvurderer den rolle, som de store og "fine" tidsskrifter som Science, Nature, The Lancet og The New England Journal of Medicine, der i medierne ofte omtales som ‘velansete’ eller ‘højt estimerede’, bør spille.

Den slags tidsskrifter når langt ud til mange mennesker, bliver oftere citeret af andre forskere, og det betragtes generelt som en kæmpe - og for nogle karriere-ændrende - bedrift at udkomme i dem. Men de store tidsskrifter er ingen garant for god forskning:

»Det her med, at en høj afvisningsrate fra et tidsskrift (hvor mange procent af de tilbudte studier, som tidsskrifterne afviser, red.) giver cremen af cremen holder ikke. Det er ikke en fejlfri proces. Sådanne tidskrifter vil gerne publicere sensationsstudier og gør det på bekostning af kvaliteten, så der er også bias og faldgruber hos dem,« siger Jesper Wiborg Schneider.

Det største problem ligger dog ifølge Jesper Wiborg Schneider ikke i, at tidsskrifterne ikke er fejlfri - det er forskningen nemlig aldrig - men i de store tidsskrifters eksklusivitet:

»Tidsskrifterne ønsker at være eksklusive. Forskning handler om konkurrence, og hvor du publicerer betyder meget. Men den slags mekanismer står i vejen for åbenhed,« siger han og nævner den såkaldte 'Ingelfinger-regel' som et eksempel.

Ingelfinger-reglen blev indført hos The New England Journal of Medicine (NEJM) i 1969 af tidsskriftets daværende redaktør, Franz J. Ingelfinger. Reglen går i al sin enkelthed ud på, at NEJM ikke vil bringe studier, der på nogen måde er omtalt eller bragt i andre tidsskrifter eller medier.

Det er lige præcis den regel, der er udbredt i alle de store medicinske tidsskrifter, som det danske mundbind-studie sandsynligvis også ”lider” under i øjeblikket, påpeger Jesper Wiborg Schneider.

»Men man behøver jo ikke ligge under for publiceringsræset. Det står jo en frit for at fremlægge ens resultater, som i tilfældet med Ioannidis,« tilføjer han.

\ Læs mere

Ikke al forskning giver lige meget evidens: Lær at skelne

Overlæge: Der findes ikke bedre alternativer

Man kan hurtigt få fornemmelsen af, at platformen brænder under peer review-systemet i dag, men det er ikke alle forskere, der er enige i den vurdering.

Der laves dårlige peer reviews, og der udgives forskning med fejl. Det kan vi ikke lave om på, lyder det fra overlæge og forsker i forskningsmetoder Karsten Juhl Jørgensen:

»Der er ingen garantier i forskningen, og der er klare svagheder ved peer review, men der er ikke et bedre system. Det er et system, der har bestået i mange år, og der er ikke rigtig nogen, der er kommet med et bedre alternativ,« forsvarer overlægen, der også er konstitueret direktør for Det Nordiske Cochrane Center ved Rigshospitalet.

Karsten Juhl Jørgensen er også tilhænger af, at forskere udgiver i preprint og lægger deres arbejde frem til diskussion, hvis resultaterne er for vigtige til, at de kan lade vente på sig:

»Men det er jo altid en individuel afvejning, om ens arbejde er vigtigt nok til, om man kan vente eller ej. Og der er ikke noget rigtigt eller forkert svar på, hvornår man skal gøre det eller lade være. Det kan være en rigtig svær vurdering for forskerne,« forklarer Karsten Juhl Jørgensen.

Han bakkes op af Peter Hokland, der er redaktør på det engelske tidsskrift British Journal of Haematology, som bringer forskning i blodsygdomme.

»Hvis det danske mundbind-studie er ekstremt vigtigt, så skal det da ud i et preprint nu. Men jeg kan ikke se, at den sag udstiller tidsskrifterne eller peer review-processen, som den er i dag,« lyder det fra Peter Hokland, der også er professor i blodsygdomme på Aarhus Universitet.

»Jeg er ikke i tvivl om, at hvis NEJM havde fundet mundbind-studiet interessant, så havde de også fået det bedømt og publiceret ekstremt hurtigt,« tilføjer redaktøren, der har skrevet en kommentar til Videnskab.dk’s Forskerzonen, hvor han advarer mod, at corona-pandemien har ført til en forringet kvalitet i forskningen.

»Derudover kan jeg slet ikke genkende, at systemet skulle være lukket. Det har for mig at se en uheldig klang. Der er mange steder i samfundet, hvor man får anonyme bedømmelser. Det gør man også, når man søger om forskningsmidler,« påpeger Peter Hokland.

\ Læs mere

Pornomodel, sci-fi-forfatter og afdød forsker står bag fup-studiet, som fik WHO til at stoppe vigtige corona-forsøg

Åbne reviews kan være vejen frem

Jesper Wiborg Schneider og Charlotte Wien er dog ikke i tvivl om, at det nuværende peer review-system har brug for en reformation.

Det betyder ikke, at vi bør lukke tidsskrifterne og lægge alt op i et anarkistisk preprint-system. De taler begge i stedet for idéen om en såkaldt åben peer review-proces:

»Ideelt set ville det fungere sådan, at forskerne sender deres studie til tidsskriftet, hvor en redaktør så kigger på det og enten afviser det med det samme eller sender det i peer review. Helt som vi kender det i dag,« forklarer Charlotte Wien.

Forskellen i åbent peer review er så, at alt fra dette punkt sker med fuldstændig åbenhed. Hvis tidsskriftet vil arbejde videre med studiet, så lægger de studiet op, som det er, inden det bliver peer reviewed.

»Når det er lagt op, skal der selvfølgelig stå med store bogstaver i artiklen, at den endnu ikke er peer-reviewed. Så vælger redaktøren bedømmerne, der gør præcis det samme, som de gør nu. Den eneste forskel er, at deres kritik også lægges frem, så alle kan læse den,« uddyber Charlotte Wien.

Når forskerne bag studiet, tidsskriftets redaktør og fagfællebedømmerne, der står for peer review, bliver enige om en endelig artikel, lægges den naturligvis også frem. På den måde er hele processen fuldstændig gennemsigtig.

»Den eneste forskel er, at alt det, der nu foregår i det skjulte, lægges frem i det åbne. Det vil gøre det nemmere for alle at vurdere, hvordan artiklen er blevet til, og om peer reviewet har været fair,« forklarer Charlotte Wien.

Kan det ikke forvirre mere end det gavner og føre til, at folk misbruger endnu ikke peer reviewed forskning til at underbygge deres synspunkter?

»Det sker jo allerede. Ethvert menneske, der har adgang til Google, kan cherry picke (at plukke den information, der underbygger ens synspunkt, og se bort fra den, der ikke gør, red.) alt muligt revl og krat. Det er så slemt, som det kan blive. Det eneste, der kan sættes ind imod det, er uddannelse,« siger Charlotte Wien.

\ Læs mere

Dansk Open Access-strategi får høvl af eksperter

Vigtigt at skelne mellem peer reviews

Jesper Wiborg Schneider tilføjer, at det åbne peer review-system ville give et mere realistisk billede af, hvordan hele processen fungerer.

»Peer review bliver brugt som et kvalitetsstempel, ofte i fuldstændig blinde. Det er blandt andet det, som fup-tidsskrifterne (også kendt som ‘predatory journals’, red.) lever af. Men peer review er ikke altid garanti for kvalitet,« siger han og fortsætter:

»Mange er ikke klar over, at peer reviews laves vidt forskelligt fra tidsskrift til tidsskrift og fra bedømmer til bedømmer. Man kan få bedømmelser til samme studie, hvor den ene siger, at studiet er accepteret uden rettelser, mens en anden siger, at studiet slet ikke bør bringes.«

»Peer review kan typisk luge det værste ud, men herefter opstår uenigheden, og den bliver oftest kun større, når antallet af bedømmere vokser,« lyder det fra professoren.

For Jesper Wiborg Schneider er det vigtigt, at der i fremtiden kommer et større fokus på, hvordan et peer review er lavet. Det kan åbne peer reviews og den mere udbredte brug af preprints, som vi har set under corona-virussen, hjælpe med, pointerer han.

\ Læs mere

Sådan kan vi forbedre peer review-processen

Tidsskriftsredaktør: Åbne peer reviews er en illusion

Ikke alle er dog lige så positivt stemte overfor idéen om åbne peer reviews. Tidsskriftsredaktøren Peter Hokland er bekendt med systemet, der »umiddelbart lyder fornuftigt«, men i realiteten er urealistisk, mener han:

»Man kan være meget idealistisk og tale for, at alt skal være åbent, så man kan vide, at ‘Doktor X’ har bedømt manuskriptet og sagt, at det er noget lort. Men jeg tror ikke, at det holder. Jeg tror, at det er en illusion, og jeg tror, at det vil betyde en forringelse af forskningen,« siger han og fortsætter:

»Der er jo en grund til, at peer review i sin oprindelse er anonymt, og det er for at sikre, at bedømmerne kan være så åbne og ærlige som muligt uden at skulle frygte for deres karrierer eller tvistigheder med andre forskere.«

Desuden fungerer systemet allerede på en måde, hvor man har mulighed for at klage over et dårligt peer review til tidsskriftets redaktør.

Peter Hokland påpeger også, at en af de største udfordringer for tidsskrifter i forvejen er at finde relevante bedømmere, og han mener, at et åbent peer review-system vil gøre det endnu sværere.

Mange forskere har, som John Ioannidis, lagt deres studier ud som preprint, fordi resultaterne ifølge forskerne var for vigtige til at lade vente på sig. I skrivende stund er over 10.000 corona-studier udgivet på de to førende preprint-servere medRxiv og bioRxiv.

\ Læs mere

Sløset coronaforskning hypes af præsidenter

\ Læs mere

Sådan læser og forstår du en videnskabelig artikel

\ Læs mere

Forsker bag mundbindsforsøg: »Alt bliver mistænkeliggjort«

\ Læs mere

Pandemien viser os, at fakta ikke bare er fakta