Wetenschappelijke twijfel

Maatschappelijk debat

Wetenschap is vandaag zo intens aanwezig in het publieke leven, in de samenleving en in de media, dat wetenschaps-filosofische discussies die traditioneel binnen een vakdomein gevoerd worden, nu het maatschappelijke debat bereiken. Dat het management van de coronacrisis in de beginfase zo sterk afhankelijk was van “slechts” enkele wetenschapsdisciplines (virologie, infectiologie, biostatistiek), maakte bijvoorbeeld zeer zichtbaar hoe die gebieden zelf zich moesten heruitvinden in de respons op het gedrag van het virus. Wetenschappelijke twijfel, nuance en complexiteit, omgaan met onzekerheden, hypothesen als basis van voorspellingen, het gebruik van data en hoe ze te rapporteren, ze werden naarmate de crisis verder ging allemaal zeer duidelijk en publiek.

Het is zonder meer een uitstekende zaak dat wetenschap in het algemeen zo nadrukkelijk aanwezig is in het publieke discours en debat. Beleid en de ermee samengaande argumentatie moeten tegenwoordig onderbouwd worden, en maar goed ook. Maar dat maakt de wetenschap ook kwetsbaar. Enerzijds is er de ongenadigheid en wispelturigheid van de publieke opinie, die zeer beïnvloedbaar is en dankzij de sociale media een enorme megafoon krijgt. De complexiteit en subtiliteit van de eigenheden en wetmatigheden van wetenschappelijk onderzoek, de fundamentele basis waarmee argumentatie ontwikkeld wordt, zijn immers totaal onbekend bij het brede publiek. Maar anderzijds is de impact van wetenschap ook rechtstreeks afhankelijk van de wijze waarop wetenschap gepresenteerd, gecommuniceerd, gepopulariseerd, of gehypet wordt. Er zijn massa’s voorbeelden waar dat uitstekend werkt, maar even vaak gaat het behoorlijk verkeerd. Eén van de meest recente en hilarische voorbeelden halen we uit de krant De Morgen die op 13 mei de kop lanceert “Astrologen schieten eerste beeld van ‘ons’ zwart gat” (hetgeen snel werd rechtgezet na snelle en vele reacties via Twitter).

Belangrijker is echter dat we, los van de occasionele blunder, in het praten en schrijven over wetenschap zeer alert zouden moeten zijn voor heuristieken of vuistregels in ons denken die zullen bepalen hoe we de informatie ontvangen en verwerken. Laat me twee recente voorbeelden geven om dat aan te tonen. Straf artikel over armoede en het kinderbrein In januari van dit jaar verscheen in Proceedings of the National Academy of Sciences¹ een straf artikel onder de titel: “The impact of a poverty reduction intervention on infant brain activity” (Troller-Renfree et al.). Het artikel kreeg vrijwel meteen een enorme weerklank en status. De New York Times gooide het in de groep als “breaking news”, en ook bij ons brachten velen het artikel onder ruime aandacht. De VRT bracht het verhaal op 26 januari en liet het beschrijven als een nu bewezen causaal verband.

" Waarom is het zo moeilijk om te vermijden dat wetenschappelijke studies een populaire weerklank krijgen die zo sterk gaat afwijken van wat er effectief staat? ”

Het onderwerp van het artikel klinkt ook straf. In de samenvatting stellen de auteurs dat zij bewijs leveren dat een maandelijkse cash gift aan moeders die in armoede leven, in het eerste levensjaar van hun kinderen, de hersenactiviteit van die kinderen zou kunnen veranderen (“may change infant brain activity” (Troller-Renfree et al., 2022, p. 1). En wanneer dat inderdaad zo zou zijn, zouden die kinderen daardoor misschien tot beter cognitief functioneren in staat zijn, wat hen dan weer betere levenskansen zou bieden. Zeer interessant is het kaderstukje “Significance”. Hier stellen de auteurs eerst dat hun studie de causale impact aantoont van armoedereducerende interventie op hersenactiviteit van jonge kinderen, maar in de volgende zin nuanceren zij dit al direct: “… a predictable, monthly unconditional cash transfer given to low-income families may have a causal impact on infant brain activity” (Troller-Renfree et al., 2022, p. 1).

Het artikel kreeg enorme weerklank, maar ook veel en grondige kritiek. Het pleit voor de auteurs dat zij omstandige toelichting gaven bij de gebruikte methodologie en ook de gebruikte data gratis beschikbaar maakten voor download. Wetenschappers gingen daarmee aan de slag en toonden ondertussen aan dat het causaal verband niet  aangetoond is, maar dat er in het allerbeste geval een indicatie van causaliteit kan afgeleid worden. Wie geïnteresseerd is in een selectie van de vele commentaren kan een kijkje nemen bij Andrew Gelman², of Stuart Ritchie³. Ondertussen is voor iedereen de gapende kloof duidelijk tussen wat de onderzoekers zelf aantonen en de volledig ongenuanceerde en grotendeels onterechte rapportering daarover in de media.

Intrigerend artikel over rashonden

Een tweede voorbeeld is wat ludieker van aard, althans op het eerste zicht. Science zowaar publiceert een intrigerend artikel van Kathleen Morril et al. in 2022⁴. Het gaat over honden, meerbepaald rashonden. Het is een gedragsgenetische studie waarbij acht gedragskenmerken van honden (zoals geobserveerd door de baasjes) geanalyseerd worden naar types oorzaken, met bijzondere aandacht voor genetische verschillen tussen individuele honden en genetische verschillen tussen groepen van honden (waarbij de hier gebruikte groepen de huidig gekende rassen zijn). De auteurs concluderen dat de genetische kenmerken van een ras slechts 9% van de variatie in gedrag verklaren en dat er binnen een ras een grote variatie is aan gedrag (en dus ook overlap tussen rassen). Ook dit gegeven werd breed uitgesmeerd in de pers. Zo bracht Radio 1 een redelijk genuanceerde reflectie op 30 april, maar wel onder de hoofding dat het ras van een hond geen rol speelt in het gedrag en dat het allemaal aan de opvoeding ligt. Maar wie de studie in Science grondig doorneemt, leest een veel genuanceerder en diepgravender analyse dan “het ras speelt geen rol”-verhaaltje waartoe het werd herleid in de media.

Grote verantwoordelijkheid

Waarom is het zo moeilijk om te vermijden dat wetenschappelijke studies een populaire weerklank krijgen die zo sterk gaat afwijken van wat er effectief staat? Er ligt hier natuurlijk een enorme verantwoordelijkheid bij persdiensten, wetenschapscommunicatoren en de media die eigenhandig beslissen hoe ze hierover berichten, maar ook bij de experten die de media aanvoeren om duiding te geven. Uiteraard gaan we er van uit dat deze experten uit het vakgebied komen waarin de studies verschenen zijn en dat zij de studies waar ze duiding of commentaar bij geven zelf grondig hebben gelezen; dat zijn de minimumvereisten. We moeten dus niet alleen kwaliteitseisen hebben voor de studies zelf, maar ook voor de wijze waarop ze verspreid en gecommuniceerd worden. En waar ligt de kwaliteitscheck daar?

De voornaamste reden waarom we zo zorgvuldig en kwaliteitsvol moeten omgaan met het verspreiden van wetenschap, is ons inherent gebruik van heuristieken (vuistregels). In tegenstelling tot wat vaak wordt aangenomen is het menselijk brein geen (louter) rationele verwerkingsmachine van informatie, maar worden onze opvattingen en gedragingen gestuurd door vuistregels. Die vuistregels helpen om de enorme hoeveelheid informatie uit onze omgeving te verwerken en zo ons gedrag te beïnvloeden. Dat helpt ons in ons (sociaal) functioneren, maar de keerzijde is dat nuancering, subtiliteit en gelaagdheid van argumentatie, en zorgvuldigheid van woordkeuze het vaak moeten afzeggen tegen het gebruik van makkelijke slogans.

Studies zoals deze hier aangehaald zijn kwetsbaar voor een afwijkende populaire vertaling, omdat ze appèl doen aan de confirmation bias van velen. De confirmation bias vertekent de manier waarop we informatie opzoeken, ontvangen en verwerken in de richting van onze bestaande opvattingen en overtuigingen. In het geval van de studie van cash giften aan moeders in armoede, vinden we dat met zijn allen eigenlijk fantastisch nieuws. Puur materiële bijstand aan mensen in armoede heeft een positieve impact op de hersenen van de kinderen, wat betekent dat die kinderen het ook cognitief beter zullen doen, waardoor ze betere schoolresultaten zullen halen, waardoor ze een hoger diploma zullen halen, waardoor ze een beter beroep zullen uitoefenen, waardoor …, waardoor …. Voor je het weet zegt iemand: “geef geld en de armoede is weg”. Eigenlijk wíllen we dat het klopt. Maar wacht even … de auteurs zelf zijn (terecht) zeer voorzichtig in het poneren van een causale invloed. De studie geeft geen sluitend bewijs van
de directe relatie tussen het gegeven geld en de verschillen in hersenactiviteit (zo wordt maar met veel moeite statistische significantie bereikt en niet eens in alle metingen). Over de causale relatie tussen het geven van geld aan moeders en de cognitieve ontwikkeling, laat staan prestaties van de kinderen, moeten we al helemaal voorzichtig zijn. Dat is namelijk niet onderzocht in de studie (dat kan ook niet natuurlijk, gezien de momentopname in deze onderzoekspopulatie) maar vooral, dat is een zeer lange keten van stappen waar onderweg een massa factoren en variabelen een impact op hebben. Wat we diep van binnen eigenlijk willen dat er zou gebeuren, is daarom niet hoe het wetenschappelijk onderzocht werkt.

Wat de hondenstudie betreft, sluit de ruim verspreide conclusie dat “niet ras, maar opvoeding bepaalt hoe hond zich gedraagt” zoals de VRT5 het stelt, aan bij de algemeen gedeelde afwijzing van oordelen op basis van populaties, groepen, of etniciteit; bij mensen, honden, of eender wat. Het geeft comfort om “aangetoond” te zien hoe ook honden zeer maakbaar zijn in hun gedrag, want is dat bij mensen ook niet zo? Nochtans wijst de studie wel op het (poly)genetische karakter van hondengedrag en is de invloed van genetische verschillen tussen rassen niet 0. Bovendien is de analyse van de relatie tussen genetica en individuele- en groepsverschillen bijzonder technisch en – opnieuw – genuanceerd. Ik kan in elk geval getuigen dat mijn Border Collie zonder al teveel opvoeding of training zich enorm als een Border Collie gedraagt. Maar misschien is dat op zichzelf ook een confirmation bias. 

Niemand wil terug naar de tijd waarin wetenschap een geïsoleerde ivorentoren-bezigheid was waar niemand iets van wist behalve de directe betrokkenen. Maar die wereld van gespecialiseerd onderzoek bestaat natuurlijk wel, en soms ontstaat het gevoel dat de publieke vertaling van genuanceerde en complexe wetenschappelijke studies daar aan voorbij gaat. De allesbehalve willekeurige manier waarop mensen boodschappen en rapporteringen over wetenschap ontvangen en verwerken, dwingt ons om zeer zorgvuldig te zijn wanneer we terecht berichten en duiding geven bij oude en nieuwe wetenschapsinzichten.

1. PNAS, 2022 Vol. 119 https://doi.org/10.1073/pnas.21156491
2. https://statmodeling.stat.columbia.edu/2022/01/25/im-skeptical-of-that-claimthat-cash-aid-to-poor-mothers-increasesbrain-activity-in-babies/
3. https://www.theatlantic.com/science/archive/2022/02/cash-transfer-babies-studyneuroscience-hype/621488/
4. Ancestry-inclusive dog genomics challenges popular breed stereotypes (Science, 9 Apr 2022• Vol 376, Issue 6592) on https://www.science.org/doi/10.1126/science.abk06395.
5. https://radio1.be/nieuwe-studie-niet-rasmaar-opvoeding-bepaalt-hoe-hond-zichgedraagt?view=app