Top-tidsskrifter bryder etiske retningslinjer: Hindrer kritik af egne studier

Postpublikations-kritik.

Et sexet ord er det ikke, men det dækker over en vigtig mekanisme i videnskabens verden:

Muligheden for - i tidsskrifternes egne spalter vel at mærke - at fange, kritisere og kommentere fejl og mangler i forskning, der er blevet udgivet af videnskabelige tidsskrifter.

»Dårlig eller underrapporteret videnskab kan snige sig gennem nåleøjet hos tidsskrifterne. Postpublikations-kritik skaber mulighed for at udbedre dette,« fortæller ph.d.-studerende Theiss Bendixen til Videnskab.dk.

»Hvis mekanismen ikke fungerer optimalt, kan dårlig videnskab leve videre. Konsekvensen vil være, at brugere af videnskaben, som virksomheder, politikere eller embedsfolk, støder på studier, som de ikke kan stole på. Det kan være dybt problematisk,« uddyber Theiss Bendixen.

Han er medforfatter til et nyt studie, der har kortlagt praksissen for postpublikation i 330 af verdens mest indflydelsesrige tidsskrifter.

Forskerne har set på de 15 tidsskrifter med flest citationer over en hidtil uset bred kam af hele 22 forskellige discipliner fra medicin og fysik til landbrug og økonomi.

Tidsskrifter lægger hindringer i vejen for kritik

Situationen er samlet set ikke for god, konkluderer forskerne.

Flere end en tredjedel - helt præcist 123 - af tidsskrifterne tilbyder hverken en formular eller blanket, hvor andre forskere kan kommentere studier, der er udgivet i tidsskrifterne.

»Vores resultater tyder på, at top-rangerede tidsskrifter ofte lægger alvorlige hindringer i vejen for at kultivere, dokumentere og formidle postpublikations-kritik,« konkluderer forskerne i studiet, der er udgivet i tidsskriftet Royal Society Open Science.

»Når tidsskrifterne ikke gør opmærksom på, at ‘her kan man sende sin kritik’, er det en stor barriere for, at andre forskere går i rette med fejl eller mangler i et studie,« uddyber Theiss Bendixen, der forsker ved Institut for Kultur og Samfund på Aarhus Universitet.

Ikke at have en direkte kanal til postpublikations-kritik går tilmed direkte imod de etiske retningslinjer fra ‘Udvalget for Publikationsetik' (COPE), som mere eller mindre alle tidsskrifter i verden - 13.717 tidsskrifter i skrivende stund - ellers har sagt ja til at følge.

»Bekymrende« og »problematisk«

Formand i COPE, Daniel Kulp, er med sine egne ord også »en smule overrasket« over resultatet. Blandt andet fordi top-tidsskrifterne ofte publicerer studier, »der virkelig kan skubbe til grænserne« for videnskaben, som han siger til Science.

Herhjemme spærrer professor i videnskabsstudier David Budtz Pedersen også øjnene op over studiets konklusioner:

»Postpublikations-kritik er en vigtig mekanisme, og det er vigtigt som supplement til krav om ‘retraction’, hvor andre forskergrupper mener, at en artikel skal trækkes tilbage,« lyder det fra professoren tilknyttet Aalborg Universitet:

»Videnskaben nyder gavn af at udveksle idéer i det åbne. Så det er i mine øjne bekymrende, at mulighederne for at artikulere faglig kritik ikke er bedre, end de faktisk er, som studiet dokumenterer,« fortsætter han.

Medforfatter til studiet Theiss Bendixen kalder resultatet for »problematisk«:

»Vi ved, at der bliver udgivet studier, som ikke skulle være udgivet i sin nuværende form. Enten, fordi data er behandlet forkert, eller fordi den statistiske analyse er fejlbehæftet. Det er et grundpræmis i forskningen.«

»Når en tredjedel ikke tilbyder nogen midler til at korrigere og rydde op i økosystemet, vil konsekvensen være, at dårlig videnskab kan leve videre i videnskabelig litteratur,« siger han.

\ Læs mere

Forsker onanerede til tegneserier af drenge – og udgav studie om det

Flere fjollede barrierer

Top-tidsskrifternes manglende kanaler for kritik eller kommentarer er dog ikke den eneste hindring for, at den kritiske debat flyder gnidningsfrit rundt i tidsskrifterne.

Mange af de 207 tidsskrifter, der rent faktisk har en åben kanal til kritik og kommentarer, har for strikse krav til længden af en kommentar. Derudover er deadlinen for indsendelsen af en kommentar ofte stram, lyder kritikken i det nye studie.

»De fleste tidsskrifter har en begrænsning på, at en kommentar må være mellem 100 og op til 1.000 ord. Desuden skal kommentaren i de fleste tidsskrifter indsendes inden for 6 måneder efter publicering,« påpeger Theiss Bendixen og tilføjer:

»Især deadlinen på 3, 6 eller 12 måneder er en fjollet barriere. Det er vel bedst at få ryddet op i fejlene, også selvom det først sker et år eller to, efter et studie er blevet udgivet. Det er lidt skørt at afvise en kommentar, fordi den er indsendt en uge for sent«.

\ Læs mere

Nature og Science: Prestige ikke lig med troværdigt indhold

Stort problem i socialvidenskab og økonomi

Med til historien hører, at barriererne for postpublikations-kritik også varierer en del fra felt til felt.

Lykkeligvis fandt forskerne, at alle de 15 medicinske tidsskrifter i deres undersøgelse havde en åben og direkte kanal til kritik og kommentarer.

»Klinisk medicin er meget empirisk drevet, så det er nemt at gå til og kritisere. Og så er der en direkte risiko for patienternes helbred, hvis mangelfuld forskning ikke bliver korrigeret,« forklarer Theiss Bendixen.

I teoretisk tunge videnskaber som fysik og matematik havde tidsskrifterne de dårligste vilkår for kritik og kommentarer. Sandsynligvis, fordi konsekvensen af fejl ikke er lige så store og direkte i disse fag. Og fordi det hurtigt kan udmønte sig i endeløse teoretiske udredninger.

Mere kritisk er det til gengæld, at top-tidsskrifterne for socialvidenskab og økonomi har en dårlig kultur for postpublikation, påpeger Theiss Bendixen.

Kun 33 procent af tidsskrifterne i socialvidenskab og 20 procent af økonomi-tidsskrifterne tilbød en eller anden form for postpublikations-mulighed.

»Her begynder det at blive mere problematisk, fordi det er videnskaber, der er karakteriseret af data og empiriske analyser, som politikere og embedsfolk retter sig efter,« lyder det fra Theiss Bendixen.

\ Læs mere

Danske forskere i skarp kritik af Nature: Socialvidenskaben bliver overset i klimakampen

Tre mulige årsager til problemerne

Men hvorfor ignorerer over en tredjedel af verdens top-tidsskrifter så den tilsyneladende vigtige postpublikations-mekanisme?

Forskerne oplister en række mulige forklaringer, som de dog ikke har undersøgt nærmere i studiet:

• Først og fremmest er der nok tale om et tids- og ressourceproblem.
• Endnu en forklaring kan være, at nogle tidsskrifter finder, det er nok, at de trækker studier tilbage eller retter fejl, hvis de bliver fundet eller påpeget. Problemet i dette er dog, at den slags fejl påpeges i det lukkede, og at nogle tidsskrifter ikke tydeliggør, at en artikel er trukket tilbage eller blevet rettet.
• Til sidst - og lidt mere teknisk - vedlægger flere tidsskrifter links til det såkaldte PubPeer til studier. Her kan forskere anonymt kommentere artikler. Problemet er dog, at mange læsere af et studie næppe vil opdage kommentarerne på PubPeer.

For professor Charlotte Wien »lugter det lidt af«, at forlagene bag de videnskabelige tidsskrifter holder muldvarpeskindet i inderlommen:

»I nogle tilfælde kan det gå imod forlagenes økonomiske interesse at orkestrere postpublikations-kritik,« lyder vurderingen fra Charlotte Wien, der forsker i forskningskommunikation på Syddansk Universitet:

»En af grundene til, at universiteterne betaler i dyre domme for adgang til tidsskrifter, er blandt andet, at de faciliterer en peer review-proces af studierne. Hvis de også skal til at lave post reviews, begynder forlagenes forretningsmodel at vakle,« uddyber hun.

\ Læs mere

Forskere og universiteter bløder, mens forlagene skummer fløden

Hvad skal vi gøre?

Forskerne bag det nye studie nøjes dog ikke med at gå kritisk til tidsskrifterne. De fremlægger også hele 10 forslag, der kan forbedre vilkårene for postpublikations-kritik hos tidsskrifterne. De anbefaler blandt andet at:

• fjerne den strikse tidsgrænse for, hvornår kritiske kommentarer skal indsendes,
• tydeliggøre, hvordan kommentarer og kritik skal indsendes, og hvorvidt kritikken bliver peer reviewet, og hvordan den udgives,
• tidsskrifter skal offentliggøre kvalificeret postpublikations-kritik med det samme online.

Theiss Bendixen supplerer:

»Formålet med undersøgelsen er konstruktivt. Det er ikke et angreb på tidsskrifterne eller det videnskabelige samfund. Formålet er at skabe de bedste vilkår for forskningen for fremtiden, selvom der også slipper dårlig videnskab gennem nåleøjet,« lyder budskabet.

\ Læs mere

Peer review: Sådan foregår tidsskrifters kvalitetstjek

For Charlotte Wien er håbet endnu mere radikalt. Hun så gerne, at tidsskrifterne fuldstændigt droppede den anonyme peer review-proces og sadlede om til 100 procent preprint-udgivelse. Det vil sige udgivelser uden kritisk granskning fra andre forskere:

»I min drømmeverden ville det være sådan, at forskere blot uploader et preprint, når de er færdige med deres artikel. Herefter vil der kunne foregå en vedvarende og gennemsigtig dialog om artiklen. Jeg tror fuldt og fast på den selvkorrigerende mekanisme i forskningen,« siger hun.

»Jeg mener ikke, at forlag bør spinde guld på artiklerne for at facilitere en peer review-proces, der i forvejen er presset af en krise, fordi det er svært at finde reviewere,« tilføjer Charlotte Wien.

Den længere debat om »krisen« i peer review-processen kan du læse mere om i artiklen Er tiden løbet fra de videnskabelige tidsskrifter og deres peer review-processer? på Videnskab.dk.

Du kan også læse om faldgruberne ved peer review i boksen herunder.