De zaak Theranos en Elizabeth Holmes

Holmes zou een gebruiksvriendelijk, praktisch, efficiënt en goedkoop apparaat ontwikkelen. En vooral: je zou jezelf zeer regelmatig kunnen testen op tientallen of zelfs honderden parameters en zo je gezondheid continu bijsturen. In 2003 richtte ze Real-Time Cures op. Ze consulteerde meerdere specialisten in de hoop dat ze haar zouden steunen en adviseren. De experts wezen er vrijwel zonder uitzondering op dat haar idee goed klonk, maar onuitvoerbaar was. Holmes liet zich niet ontmoedigen en herdoopte haar bedrijf tot Theranos (van therapy en diagnosis). Ze slaagde erin om op korte tijd tientallen miljoenen dollars te verzamelen bij investeerders die in haar de vrouwelijke Steve Jobs zagen, een imago dat ze zorgvuldig cultiveerde. De raad van bestuur die ze samenstelde, zag er bijzonder indrukwekkend uit en wekte vertrouwen. In 2014 verscheen ze op de covers van tijdschriften zoals Fortune en Forbes. Het werkte zelfversterkend: datzelfde jaar nog was Theranos negen miljard dollar waard en verzamelde het bedrijf meer dan vierhonderd miljoen dollar aan durfkapitaal. De rest van het verhaal is ondertussen bekend. Holmes beloofde haar investeerders voortdurend dat het toestel – "de Edison" – in volle ontwikkeling was. De release ervan zou voor een revolutionaire democratisering in de gezondheidszorg zorgen. 

Elizabeth Holmes als con woman

Een maandenlang onderzoek door journalist en Pulitzer prijs winnaar John Carreyrou van The Wall Street Journal toonde aan dat Elizabeth Holmes blufte. De Edison, zoals Holmes die iedereen voorspiegelde, bestond niet en zou naar alle waarschijnlijkheid ook nooit bestaan. De testresultaten die ze aan haar investeerders voorlegde, waren uitgevoerd door apparaten van de concurrenten. De zeepbel ontplofte, Theranos was in een mum van tijd geen cent meer waard. Hoe is het zover kunnen komen? De meeste verklaringen verwijzen naar de kortzichtige hebzucht van de investeerders en het frauduleuze karakter van Elizabeth Holmes, een klassiek voorbeeld van een con woman. Het woord "con" verwijst hier naar het Engelse confidence, vertrouwen. Holmes slaagde erin om het vertrouwen te winnen van investeerders, beroemdheden, politici, sommige wetenschappers en het brede publiek. Toch had ze niks concreet om aan te bieden. Dat hoefde ook niet: de belofte van een revolutionair toestel, dat de gezondheid van de hele wereldbevolking kon verbeteren en van vroege investeerders multimiljonairs zou maken, was voldoende om in haar net verstrikt te raken. Enkel een domoor sprong niet op de trein van de nieuwe Steve Jobs. Achteraf bekeken, lijkt het allemaal te mooi om waar te zijn. Doorgaans is dat dan ook het geval. 

Wiskundige ongeletterdheid

Maar waarom? Waren de investeerders lichtgelovig? Lieten ze zich rollen door de charmes van een knappe, intelligente jonge vrouw die hen gouden bergen voorspiegelde? Niet door in wapens of bloeddiamanten te investeren, maar in de ontwikkeling van een toestel dat letterlijk iedereen zou ten goede komen? Tot op zekere hoogte is het antwoord ja, natuurlijk. Maar het belangrijkste aspect blijft doorgaans onderbelicht. De Edison kon niet werken omwille van statistische redenen. Enkele van de experts die Holmes consulteerde wezen daar ongetwijfeld op, al was hun voornaamste bezwaar dat het om praktische redenen bijzonder lastig is om uit enkele druppeltjes bloed tientallen diagnoses af te leiden. Dat laatste schrikte Holmes niet af: technisch moeilijk, maar niet onmogelijk. De honderden werknemers van Theranos zouden er wel een oplossing voor vinden. Maar Holmes had niet enkel hematologen en medici moeten consulteren, maar ook experts met kennis van waarschijnlijkheidsrekening. En als zij het niet deed, hadden haar investeerders het moeten doen. Het hele Theranosdebacle draait niet alleen rond misleiding en bedrog, maar is minstens evenzeer het resultaat van wiskundige ongeletterdheid. Eenvoudig samengevat komt het hierop neer. Geen enkele bloedtest is honderd procent accuraat. Er zijn onvermijdelijk zogenaamde valse negatieven en valse positieven. Een deskundige interpretatie van de testresultaten kan ten dele de gevaren opvangen die hieraan zijn verbonden. Elke arts weet overigens dat het verstandig is om enkel een test te laten uitvoeren als daar een goede reden toe is. Maar ook dan zijn er problemen. Afhankelijk van de foutmarge van een test, krijgt een bepaald percentage patiënten ten onrechte te horen dat ze een of andere aandoening hebben, en een ander deel wordt foutief gerustgesteld. Om die reden is het raadzaam om zeer voorzichtig om te springen met grootschalig onderzoek naar bijvoorbeeld borst- of prostaatkanker. Een toestel zoals de Theranos zou dit probleem in extreme mate uitvergroten. Hoe meer tests men uitvoert en hoe groter de testpopulatie, hoe extremer de vertekeningen worden. Theranos beloofde een toestel dat op basis van een paar druppeltjes bloed een dertigtal diagnoses kon uitvoeren. Stel dat elke test een specificiteit heeft van 90 procent (d.w.z. het aantal mensen dat effectief negatief is voor een parameter), dan is het risico om een of meerdere valse positieve resultaten te bekomen reeds 95 procent. Dit valt relatief eenvoudig uit te leggen. Voor één test is de kans op een correct resultaat 90 procent. Voor twee testen (die voldoende van elkaar onafhankelijk zijn) is de kans 90 procent maal 90 procent, of 81 procent. Elke test die erbij komt, betekent nog eens vermenigvuldigen met 90 procent. Als je de berekening maakt zie je dat het resultaat na dertig tests nog slechts in de orde van 5 procent is. Met andere woorden, de kans dat het op een of meerdere plaatsen fout loopt is dan 100 min 5 procent, zijnde 95 procent. Zelfs met een indrukwekkende specificiteit van 99 procent, is de kans op een vals positief resultaat hoger dan 25 procent. Het komt erop neer dat elke bijkomende parameter de kwaliteit van de algemene test doet dalen. De Edison loslaten op grote populaties zorgt dus niet voor nuttige kennis, maar voor chaos. Gesteld dat het toestel toch zou werken, zou het de medische diagnostiek niet vooruithelpen maar waardeloos maken. 

(Een ingekorte versie van deze tekst verscheen op 27 januari 2022 in de krant De Tijd.)

Johan Braeckman is hoogleraar wijsbegeerte en geschiedenis van de wetenschappen (Universiteit Gent) en redactielid van Skepp Magazine. 

Jean Paul Van Bendegem is emeritus hoogleraar logica en wijsbegeerte (Vrije Universiteit Brussel)