Verdens største tidsskrifter til kamp mod falsk forskning

Nu skal det være slut med forskningsresultater, der bringes med pomp og pragt i de store videnskabelige tidsskrifter, men som ikke kan genskabes af andre forskere.

Det er beskeden fra ledelsen hos førende videnskabelige tidsskrifter som Nature og Science, der, sammen med en lang række mindre udgivelser, har sat sig for at bekæmpe den såkaldte ‘reproducerbarhedskrise’.

Problemet er, at mange af de videnskabelige resultater, som forskerne får udgivet i de videnskabelige journaler, efterfølgende viser sig ikke at kunne genfindes, altså reproduceres, og derfor muligvis ikke er korrekte.

Flere danske forskere har i den forbindelse rettet kritik mod tidsskrifterne, idet deres tendens til at fokusere på den gode historie i stedet for den gode forskning ifølge forskerne kan være en årsag til problemet.

\ Læs mere

Grundforskningskrise: Resultater kan ikke genskabes

Tiltag fra tidsskrifterne skal give åbenhed

Men nu er publikationsgiganter som Nature og Science blevet trætte af at få stækket deres gode rygte med udgivelse af falske fund.

Senest proklamerede Nature, i midten af marts 2017, at nu havde de adopteret en række nye retningslinjer, der skal sikre gennemsigtigheden i forskningen ved blandt andet at forbedre deling af videnskabelige data.

Retningslinjerne kaldes TOP, en forkortelse af Transparency Openness Promotion.

Science kom dog konkurrenten lidt i forkøbet ved at skrive sig op til de nye krav fra januar 2017. Her omtalte de initiativet i meget rosende vendinger:

»Fordelene ved at implementere TOP rækker langt udover det oprindelige mål med at facilitere reproducerbarheden i den publicerede forskning. TOP skaber en ramme for at dele ikke bare resultater, men også data, prøver, koder og metoder, som i mange tilfælde kan vise sig endnu mere værdifulde end selve resultaterne,« skriver chefredaktør Marcia McNutt.

\ Læs mere

Salamiforskning: Forskerne publicerer for meget

Opmærksomhed på problem længe

Men TOP-retningslinjerne er kun det seneste skud på stammen hos tidsskrifterne generelt. Siden omkring 2013 har der været en mindre revolution i gang, i måden videnskabelige artikler udgives på.

Det accelererede især efter denne lederatikel i Nature fra 2013, som blev efterfulgt af en lignende lederartikel i Science året efter.

Her kom begge tidsskrifter med supplerende initiativer til bekæmpelse af reproducerbarhedskrisen. Initiativerne indebar blandt andet, at de ville:

• Afgive mere plads i spalterne til metodeafsnit og beregninger.
• Gennemgå artiklerne mere systematisk for statistiske fejl med hjælp fra statistikeksperter inden udgivelse og ved at udarbejde tjeklister, reviewerne kan følge i gennemgangen af artiklen.
• Kræve at forskere vedlægger mere data, som derpå gøres tilgængelig, sammen med artiklen og dermed forbedre muligheden for at reproducere studiet.
• Lave tjeklister til forskerne, der sikrer, at artiklerne indeholder de nødvendige faktuelle og statistiske informationer og sørge for, at disse rapporteres korrekt.

I sommeren 2014 skrev en lang række andre ledende tidsskrifter inden for biovidenskab desuden under på at forbedre deres praksis på en række lignende områder.

Derudover berettede de videnskabelige tidsskrifters brancheorganisation International Association of Scientific, Technical and Medical Publishers (STM) i sin årsrapport fra 2015, at samtlige medlemmer var opmærksomme på problemerne, og at flere tidsskrifter desuden forsøgte at publicere flere af de negative studier, hvilket der ellers hidtil har været en vis modvilje mod.

\ Læs mere

Under halvdelen af psykologiens resultater kan reproduceres

Dansk forsker: »Det ligner et pr-stunt«

Rækken af tiltag og hensigtserklæringer fra tidsskrifterne om at komme reproducerbarhedskrisen til livs høster dog blandede reaktioner fra danske forskere.

Torben Lund, der er lektor på Institut for Klinisk Medicin på Aarhus Universitet, vurderer, at tidsskrifterne blot »prøver at holde ryggen fri med rækken af mindre tiltag«, så de kan feje kritikken videre i systemet.

»Det virker mest af alt som et rent publicity stunt. Man hævder at have gjort en masse, men bortset fra lidt ekstra, grundig statistikgennemgang og nogle spørgeskemaer, kan tidsskrifterne i det store og hele fortsætte business as usual. Jeg er ikke imponeret,« siger han.

\ Læs mere

Betalingstidsskrifter vægter 'sexy science' over nøjagtighed

Løsning: Kontrakt mellem tidsskrift og forsker

I stedet mener Torben Lund, at tidsskrifterne bør ændre måden, de vurderer videnskabelige studier på.

I stedet for at vurdere, om resultaterne fra et studie er interessante, bør de se på selve relevansen i den hypotese, studiet forsøger at belyse. Vurderingen skal altså foregå, før data bliver indsamlet.

Denne praksis kaldes ‘pre result peer review’, eller præregistrerede forsøg, og praktiseres blandt andet af tidsskriftet Cortex.

»Pre result peer review kunne være en måde at løse problemerne på. Det er allerede en kendt arbejdsgang i medicinske forsøg, men det giver mening på andre felter, fordi det fjerner incitamentet til udelukkende at skrive og udgive sensationelle artikler,« siger Torben Lund.

Præregistreringen betyder i praksis, at forskerne laver en udførlig beskrivelse af, hvad de har tænkt sig at undersøge, hvorfor og hvordan. Den sender de ind til tidsskrifterne, hvor en række reviewere vurderer, om studiet lyder så spændende, at de vil love at udgive studiet ligegyldigt hvad, hvis de beskrevne metoder følges.

Det bliver på den måde mindre fristende for forskerne at ændre på hypotesen og resultaterne, fordi tidsskriftet har bundet sig til at udgive dem, uanset om sammenhængen blev bekræftet eller ej.

Man modvirker således samtidig tidsskrifternes overvægt af positive, sensationelle fund og samtidig kan reviewerne komme med gode ideer til metoder og analyse til forsøget, forklarer Torben Lund.

Science vil ikke insistere på præregistering

Men rent faktisk nævnes præregistreringsmetoden både i TOP-retningslinjerne og i lederartiklen i Science, hvor chefredaktør Marcia McNutt omtaler metoden i høje toner:

»Vi anerkender, at præregistrering af studier og analyseplaner er ved at blive normen på nogle få felter som kliniske trials, og at mange studier derudover ville have stor gavn af denne praksis. Præregistrering af studier kan hjælpe til at undgå ‘skrivebordsskuffe-effekten’, hvor studier med nulresultater ikke bliver formidlet, hvilket leder til skævvridning i den publicerede litteratur mod positive, konkluderende og muligvis uægte fund.«

Men trods alle disse fordele vil Science ikke implementere metoden, skriver hun. I hvert fald ikke før den er blevet mere ‘mainstream’.

»Indtil flere videnskabelige discipliner er klar til at acceptere denne praksis for hypotesetestende forskning, vil Science ikke insistere på, at den bliver brugt,« skriver Marcia McNutt.

Forsker: Tidsskrifter vil ikke risikere noget

En frustrerende udmelding ifølge Torben Lund, som mener, at den manglende vilje til at implementere pre result peer review formentlig beror på en grad af økonomisk baseret berøringsangst.

»Det vil jo betyde, at man skal til at lave en helt anden slags reviewarbejde, end man gør nu, og det vil også betyde, at tidsskrifterne skal udgive langt flere nulresultater, som formentlig ikke vil blive citeret i ret høj grad. Det vil gå dramatisk ud over tidsskrifternes impact factor, som jo er deres møntfod, og derfor er det ikke ret tiltrækkende for tidsskrifterne,« siger Torben Lund.

Derfor mener han, at man bør skrotte måleenheder som impact factor og citationer generelt, og så begynde at måle forskere og tidsskrifter på graden af solid forskning, de henholdsvis producerer og udgiver.

»Hvis man kunne vurdere succes efter en lødighedsfaktor i stedet, ville man komme ud over det problem. Men det er et skift, som er svært at gennemføre for den enkelte forsker uden hjælp fra modige tidsskrifter og fonde,« siger Torben Lund.

»Der skal udgives langt flere nulresultater«

Alt til trods, er der også strejf af positivitet at spore i det danske forskningsmiljø omkring tidsskrifternes tiltag. Seniorforsker ved Forskningsenheden for Almen Praksis på KU, Ole Olsen, mener for eksempel, at tidsskrifterne har gjort et godt stykke arbejde.

»Jeg kan faktisk mærke en positiv forskel. Nu kræver flere tidsskrifter, at forfatterne eksplicit forholder sig til datadeling - det er en god ting. Overordnet er det et udmærket initiativ, tidsskrifterne har taget,« siger han.

Torben Lund medgiver da også, at det trods alt er rart, at der bliver gjort et eller andet. Men han understreger også, at det bliver nødvendigt med yderligere tiltag:

»Hvis vi sidder om fire år, og alting stadig er lige så skidt med reproducerbarheden, til trods for tiltag som TOP, må tidsskrifterne jo erkende, at det ikke var her, problemet virkelig lå. Og så må man for alvor tage fat på præregistreringen og publicere langt flere nulresultater, så der ikke længere er incitament til forskerne for at indsende falske fund, der ikke kan genfindes,« siger han.