“Wij pikken waarschijnlijk ook maar een topje van de ijsberg op.”

Dr. Bik is microbiologe en deed lange tijd onderzoek aan o.a. Stanford University. De woede toen ze ontdekte dat iemand haar werk geplagieerd had, bracht haar echter op een ander pad. Inmiddels is ze datadetective die in een poging om een bijdrage te leveren aan een zuiverder, eer­lijke en integere wetenschap op zoek gaat naar fouten en fraude in gepubliceerde wetenschappelijke artikels. Ze heeft in­middels 938 ingetrokken artikels en 957 correcties van wetenschappelijke artikels op haar conto. Bij nog eens 121 artikels werd door de redacteur achteraf een waarschuwing geplaatst dat het artikel mogelijk fouten bevatte.

U gaat als datadetective op zoek naar fouten in gepubliceerde wetenschap­pelijke artikels. Wat doet u precies?

Ik kijk naar plaatjes zoals bijvoorbeeld microscopiefoto’s in wetenschappelijke artikels om duplicaties of tekenen van fotoshoppen te detecteren. Er zijn drie soorten fouten te ontdekken: bij de eer­ste wordt dezelfde foto twee keer gebruikt maar telkens met een ander label alsof ze iets verschillend voorstellen (zie figuur I, p. 6). Bij de tweede categorie wordt niet exact dezelfde foto gebruikt, maar vinden we wel overlap tussen twee verschillende foto’s (zie figuur II, p. 6). Onder de mi­croscoop worden vaak verschillende foto’s van hetzelfde weefsel genomen. De on­derzoeker neemt een foto, verschuift het weefsel een beetje en maakt dan nog een foto. Doordat het verschillende foto’s van hetzelfde weefsel zijn, kan het zijn dat er overlap is tussen de foto’s. Dezelfde foto of foto’s met overlap gebruiken, gebeurt niet altijd met opzet. Tijdens dergelijk onderzoek worden heel veel foto’s geno­men en dan kan het soms gebeuren dat men per ongeluk een foto verkeerd labelt. Zo een foto wordt dan onder de verkeerde naam in de publicatie opgenomen. Wan­neer de foto’s gespiegeld of gedraaid zijn, bestaat er al meer kans dat dit opzettelijk gebeurde. Bij de derde categorie is binnen één foto hetzelfde element verschillende keren te zien, bijvoorbeeld dezelfde cel of hetzelfde stukje weefsel (zie figuur III, p. 6). Deze categorie is bijna altijd gefo­toshopt en dat is bijna altijd opzettelijk gedaan.

Hoe gaat dat precies in zijn werk?

We kijken met het blote oog en gebruiken ook software om na te gaan of foto’s en plaatjes op elkaar lijken. Software kan he­laas niet alles, detecteren of een plaatje al eens eerder in een artikel werd gebruikt, kan bijvoorbeeld niet. Er gebeurt dus nog veel met het blote oog en ons geheugen, maar ook dan kunnen we niet alles detec­teren. Als iemand een goede fotoshopper is dan is het heel waarschijnlijk dat we het niet vinden.

Luiheid of fraude?

Waarom zouden onderzoekers dat doen? Waarom gaan ze zo een plaatje fotoshoppen?

Omdat het makkelijker is om positieve resultaten te publiceren dan negatieve resultaten. Soms is het onschuldig: er zit misschien een krasje, een streepje of een haar op de foto en je wil dat gewoon weg­poetsen, maar het is stukken minder on­schuldig wanneer je de resultaten er beter uit kan laten zien dan ze waren. Je kan als wetenschapper heel erg bevooroordeeld zijn en dus al een idee hebben van hoe het experiment of de resultaten eruit zouden moeten zien. Als het er dan wat anders uitziet kan je in de verleiding komen – zeker nu met de digitale fotografie – om de zaken mooier voor te stellen dan ze in werkelijkheid zijn.

Dus het gaat wel over afbeeldingen die het verschil kunnen maken tussen pu­bliceren of niet?

Ja, of je kan er op die manier voor zorgen dat je een heel experiment niet hoeft uit te voeren. Bijvoorbeeld als je denkt aan een foto van cellen die behandeld zijn met iets waarvan je wil testen of het kankercellen remt. Cellen liggen niet altijd netjes ver­spreid in een petrischaal. Soms heb je een klompje waar wat meer cellen te zien zijn, maar het kan ook zo zijn dat er ergens in je preparaat heel weinig cellen liggen.

Je kan dus altijd wel een gebied vinden met heel weinig cellen of met heel veel cellen. Wanneer je selectief foto’s gaat maken en de kant met weinig cellen gaat voorstellen als de kant die behandeld werd bijvoorbeeld. En dat terwijl het ei­genlijk over het exact hetzelfde preparaat gaat als bij het stuk met veel cellen dat je niet laat zien. Als wij dan overlap ontdek­ken tussen de twee foto’s dan weten we dat het over hetzelfde preparaat gaat en dat men het weefsel bij het trekken van de foto’s een beetje heeft verschoven.

Het kan gaan over het nabootsen van een controle-experiment. Vaak denkt men dat men toch wel weet hoe het eruit zal zien en neemt men een plaatje van een ander experiment. Het kan dus echt uit luiig­heid zijn om het resultaat er iets mooier te laten uitzien, maar het gebeurt ook om de boel te beduvelen. Omdat het resultaat helemaal anders was of ook omdat het ex­periment nooit werd uitgevoerd.

Wat zijn de gevolgen van dergelijke fraude? Wat zijn de mogelijke impli­caties als een onderzoeker foto’s gaat veranderen om een mooier resultaat te krijgen?

Nou het kan heel onschuldig zijn, het kan een resultaat zijn dat niet zo belangrijk was, maar het kan ook soms verregaan­de gevolgen hebben. Denk bijvoorbeeld aan de paper van Andrew Wakefield waarin hij beweerde dat kinderen die ge­vaccineerd waren met het MMR-vaccin autisme kregen. Uiteindelijk bleek dat hij heel erg gesjoemeld had met aller­lei resultaten en dat die hele paper in de The Lancet voor een groot deel gefabri­ceerd was. Die paper is uiteindelijk terug­getrokken, maar nog steeds denken heel wat mensen op basis ervan dat vaccins geassocieerd zijn met autisme. In deze si­tuatie heeft dergelijke wetenschapsfraude geleid tot het foutief beïnvloeden en in­formeren van een grote groep mensen.

Dat is een van de meest extreme voor­beelden, maar in heel wat andere gevallen heeft een paper niet zoveel invloed. Het is wel zo dat wetenschappers zich ba­seren op studies van anderen waardoor elk wetenschappelijk artikel tot nieuw onderzoek en nieuwe studies kan lei­den. Ik werd bijvoorbeeld gevraagd voor een tweede advies voor een artikel over Alzheimer dat 2000 keer geciteerd werd en dat dus wel heel veel impact had. Van een aantal plaatjes in die paper werd ge­dacht dat ze gefotoshopt waren. Het was een redelijk invloedrijke paper waarbij heel wat mensen hebben geprobeerd om die resultaten te reproduceren. Dat lukte niet en heeft dus heel veel tijd en geld en natuurlijk ook het bloed, zweet en tranen van onderzoekers gekost.

De blinde vlek van peerreview

Als het zo duidelijk te zien is aan de af­beelding dan is dat toch iets waarvan je zou verwachten dat het opgepikt wordt in peerreview? Hoe komt het dat peer­reviewers deze fouten niet ontdekken?

Peerreviewers zijn niet echt opgeleid om fraude op te sporen. Zij kijken nogal naïef naar een paper. Ze gaan ervanuit dat de resultaten die gepubliceerd worden in zo een manuscript ook echt waar zijn en dat het experiment ook echt zo gebeurd is. Ik denk dat je een andere bril moet opzetten om naar de resultaten te kijken. Je moet meer kijken met het idee dat er misschien wel sprake is van fraude. Ik kijk ook nooit naar de rest van een paper. Ik kijk enkel naar de plaatjes en ga heel specifiek na of ik iets kan vinden: een duplicatie of een teken van fotoshoppen. Er kan echter ook nog wel heel wat meer mis zijn met een paper. Zo zijn er mensen die data opvra­gen bij de auteurs en op die manier ont­dekken dat er gesjoemeld zou kunnen zijn. Op die manier werd bijvoorbeeld ontdekt dat er gesjoemeld werd met een paper rond het medicijn ivermectine als behandeling voor covid-19. Men wilde een meta-analyse doen en toen men de data opvroeg zag men dat bepaalde getal­len gedupliceerd waren in bepaalde rijen van de spreadsheet.

Soms ontdek je dus iets door te kijken naar de plaatjes van een paper en soms als je de echte getallen opvraagt van de auteurs. En evengoed merk je het gewoon niet. Wij pikken waarschijnlijk ook maar een topje van de ijsberg op.

We pikken dus eigenlijk heel weinig op van wat er mogelijk fout is?

Er zijn heel veel manieren waarop je met papers kan sjoemelen die je nooit zou kunnen detecteren en de meeste weten­schappers zijn natuurlijk slimme mensen. Vaak kijk ik naar een plaatje en dan denk ik van: ‘ja, heeft nu echt niemand dat ge­zien? Je laat gewoon een spoor voor mij achter, hoe dom kan je zijn.’ Vergelijk het met iemand die bij mij een tv steelt, maar zijn rijbewijs op de grond achterlaat. Die categorie van domheid (lacht). Bij die plaatjes kan je gewoon zien: dat is het­zelfde fotootje of hetzelfde celletje. Maar als ze het nu iets slimmer hadden gedaan of iets netter hadden opgepoetst dan had ik het waarschijnlijk niet eens gevonden. Dus we pikken enkel de echt domme fraudeurs op, de slimmeriken komen er waarschijnlijk mee weg. Dan denk ik dat we echt maar een heel klein fractie van de echte fraude kunnen oppikken.

Hoe problematisch denk je dat dat is? We doen toch aan wetenschap om steeds meer achter de waarheid te ko­men en te weten hoe de wereld in mekaar zit. Als er dan in veel weten­schappelijk werk gefraudeerd wordt, dan is dat toch een probleem, denk ik.

Ja, de eerste keer dat ik zo een gedupli­ceerd plaatje vond, wou ik weten of dit vaak gebeurt. Dus dat heb ik als eerste gedaan en daarover heb ik een paper ge­publiceerd in 2016. We wilden weten: hoe vaak komt dit nu voor? Dus ik heb 20.000 papers doorzocht waarin foto’s zaten uit vakgebieden zoals moleculaire biologie, oncologie, etc. Als we een probleem met een plaatje vonden dan telde die paper mee. We vonden in 4% van de papers een probleem en in ongeveer de helft – maar dat hebben we waarschijnlijk nog te posi­tief ingeschat – dachten we dat het opzet­telijk was gedaan. Dus als je gewoon naar de foto’s kijkt, lijkt het percentage weten­schapsfraude van zo een grote set 2% te zijn. Toch moet het echte percentage ho­ger dan 2% liggen, omdat we ook denken dat we er heel veel hebben gemist. Is dat 5%? Is dat 10%? Eén op tien is natuur­lijk heel veel. Langs de andere kant kan je ook tot het besluit komt dat 90% dan wel goed is. Dus het ligt er ook maar aan hoe je ernaar kijkt.

Transparantere toekomst

Vreest u niet dat mensen bij het horen van dergelijke cijfers zullen zeggen dat wetenschap niet werkt? Dat het alle­maal geen zin heeft en we er dus maar beter vanaf moeten stappen?

Inderdaad, het gevaar van mijn werk en erover praten is dat mensen kunnen zeg­gen: “oh, maar als er zoveel fraude is in de wetenschap dan kunnen we de hele we­tenschap niet geloven. Dan is de weten­schap helemaal niet te vertrouwen.” Dat wil ik natuurlijk niet. Ik probeer een an­dere boodschap te brengen: dat er men­sen zijn zoals ik die er om geven, die de boel een beetje willen opschonen. Dat er ook heel veel moois is. Vergelijk het met de rotte appels in de fruitmand: mensen zoals ik focussen op de rotte appels, maar er ligt ook heel veel mooi fruit tussen en het meeste fruit is gewoon goed. Daar moeten we naar kijken. We moeten ons wel zorgen maken over die slechte stuk­ken fruit en mensen zoals ik doen dat. Maar de meeste wetenschappers zijn eer­lijk, doen het goed en doen het uit idealis­tisch oogpunt.

Zijn er oplossingen om ervoor te zor­gen dat fraude niet of veel minder mo­gelijk is?

Er zijn op dit moment heel weinig con­sequenties voor fraudeurs. Er bestaat in de wetenschap niet echt een rechterlij­ke macht of politie die ingrijpt wanneer je iets fout doet. Wetenschap is eigenlijk een vakgebied waarbij er weinig regels en consequenties zijn voor fouten. Daar moeten we wel naartoe, want als je bij­voorbeeld nooit een boete zou krijgen als je te hard rijdt of door het rood licht rijdt, dan zou iedereen dat doen.

Daarnaast is Open Science een beweging waar ik heel erg achter sta. “Sunshine is the best desinfectant” zeggen ze wel eens (lacht). Open Science houdt in dat je jouw de data meestuurt op het moment dat je een studie aanbiedt aan een journal. Dus naast het plaatje, de foto’s of het grafiekje, ook de originele metingen. Dat is natuur­lijk wat meer werk voor iedereen, maar op die manier kunnen auteurs zich achteraf niet verschuilen achter het excuus dat ze de data zijn kwijtgeraakt. Door data bij te houden op een plek waar iedereen ze kan raadplegen, is het minder gemakkelijk om te sjoemelen. Het voorkomt het niet helemaal, maar het is een stap in de goede richting.

Er is ook meer screening vooraf nodig, bijvoorbeeld met kwaliteitscontroles door de tijdschriften. Er zouden bij de uitgevers veel meer mensen aangenomen moeten worden die de papers nalezen. Niet zoals een reviewer dat doet, maar vertrekkend vanuit de instelling: wordt er gesjoemeld met de plaatjes? Kloppen alle data? Be­staat de auteur wel of is het een verzonnen paper? Er is al wat vooruitgang. Die is er niet vanzelf gekomen; daar hebben wij als datadetectives hard aan moeten werken. Uitgevers beginnen langzamerhand in te zien dat ze het peerreviewproces niet en­kel moeten overlaten aan mensen die er niet voor betaald worden, maar dat ook een deel van het geld dat ze verdienen – en ze verdienen echt heel veel geld – naar kwaliteitscontrole moet gaan. En best ook naar klantenservice, want vaak wordt er helemaal niets gedaan als we aangeven dat er een probleem is met een bepaald artikel. Dat moet gewoon veel sneller en veel beter.

Bent u eerder optimistisch of pessi­mistisch over hoe we momenteel aan wetenschap doen en hoe kijkt u naar de toekomst?

Dat is een moeilijke vraag. Soms hoor ik mezelf en dan klink ik wel heel pessi­mistisch, maar ik zie ook heel goede ont­wikkelingen. Ik ben op dit moment heel pessimistisch over AI. Met AI kunnen we foto’s maken die er echt uitzien zonder dat we het experiment moeten uitvoeren. Dat kan in de handen van de verkeerde mensen leiden tot allerlei verzonnen ver­halen. Ik weet niet precies hoe we dat kunnen opvangen. Er is ook heel veel paper mill-activiteit in landen als China, India, Rusland, Egypte, etc. waar papers verzonnen worden. Dat wordt daar abso­luut niet aangepakt door de regering. Ze willen het land zijn dat het meeste papers publiceert, maar de papers zijn dus niet echt en het wordt steeds moeilijker om ze te herkennen. Daar maak ik me allemaal erg veel zorgen over.

Toch zie ik ook veel goede dingen, bijvoor­beeld dat peerreview en preprint (papers die nog niet door vakgenoten beoordeeld zijn via peerreview, red.) allemaal meer open zijn. Preprintsites zoals MedRxiv zijn deel van een nieuwe ontwikkeling die twintig jaar geleden nog niet mogelijk was. Het was ongehoord dat je de studie al online ging zetten en dan pas zou aan­bieden aan een journal. Dat kon vroe­ger absoluut niet. We hebben meer van dit soort van initiatieven nodig en meer mensen die een beetje tegen de gevestigde orde ingaan want de wetenschappelijke publicatiewereld is bijzonder conserva­tief.

Daarnaast hebben we nationale en inter­nationale comités voor fraudeonderzoek nodig. Op die manier hoeven universitei­ten dat niet meer zelf te doen en kan mo­gelijke fraude aangepakt worden door een comité dat buiten de universiteit staat. Universiteiten zouden de boel mogelijk binnenskamers willen kunnen houden.

Ik hoop ook dat we stappen zetten naar de publicatie van kleinere stukjes weten­schap in plaats van enkel die enorme stu­dies met 10 heel ingewikkelde figuren en dan nog eens 60 bijkomende figuren. Die zijn niet altijd even makkelijk te bevatten en te lezen. Wetenschap gaat veel te snel. Naar mijn mening moeten we stappen terug zetten en meer in de richting van kleinere publicaties. Als we iets nieuws hebben gevonden, dan zouden idealiter anderen dat eerst bevestigen en reprodu­ceren vooraleer we verder kunnen. Daar­door wordt wetenschap misschien wat langzamer, maar is het uiteindelijk ook beter. En er moet ook erkenning komen voor wie iets van een andere onderzoeker kan reproduceren. Dat moet ook meetel­len op onze cv’s.

Loes Stukken is klinisch psychologe met een extra master in theorie en onderzoek en een doctoraat in de psychologie. Ze bouwt binnen verschillende instellingen mee aan evidence-based preventie en zorg.