Rorschach

Dat is een projectieve test waarbij ogenschijnlijk willekeurige inktvlekken aan de patiënt worden getoond en de patiënt moet dan vertellen wat hij of zij in die inktvlekken ziet. Hij vindt zijn oorsprong in het psychoanalytisch gedachtengoed.

 

De persoon die de test afneemt, interpreteert dan de resultaten! In tal van klinieken doet bovendien de niet-psychologisch geschoolde verpleegkundige dit. Iemand die een poedel meent te herkennen die zichzelf in een spiegel bekijkt, krijgt het label narcisme opgekleefd. Wie een klein vlekje naast een grote vlek ziet, lijdt aan obsessief gedrag, wie een witte lijn herkent als een soort van borstel, wordt beschouwd als iemand die rebelleert tegen autoriteit. De verbeelding van de ontwerpers en van de testafnemers om een verband te zoeken met een stoornis is blijkbaar vele malen groter dan die van de meeste patiënten.

 

In 1921 introduceerde de Zwitserse psychiater Hermann Rorschach zijn befaamde test. De test vond zijn oorsprong volledig in het psychoanalytisch gedachtengoed van Freud. De test werd niet ontworpen op een manier die we nu empirisch zouden noemen, maar op basis van een combinatie van intuïtie en het artistieke talent en interesse van Rorschach. Mensen moeten op een tiental kaarten met inktvlekken antwoorden geven; deze worden geïnterpreteerd als freudiaanse symbolen die onbewuste gedachten en motieven zouden voorstellen (vandaar het idee “projectieve” test). Antwoorden die te maken hebben met beweging (M), te maken hebben met kleur (WsumC), gehelen (W), detail (D) en kleine details (Dd), maar ook aantal antwoorden of responsen (R) vormden het op zijn intuïtie en observaties gebaseerde scoresysteem dat Rorschach opnam in zijn boek Psychodiagnostics.

 

(Voor de inhoud hierna zijn wij grotendeels schatplichtig aan het boek What’s Wrong with the Rorschach? Science confronts the controversial inkblot test van James M. Wood, Teresa Nezworski, Scott Lilienfeld en Howard Garb en de artikels waarnaar wordt verwezen).

 

Het idee dat deze test inzicht zou geven in het onbewuste van de mens was een zeer mysterieus en aantrekkelijk idee, waardoor veel psychologen gingen geloven in de kracht van de Rorschach. Wetenschappelijk ingestelde psychologen hadden het bijzonder moeilijk om weerwerk te bieden tegen de Rorschach. Tegen elke strikt empirische bevinding die een negatief verdict opleverde voor de Rorschach, stonden zoveel autoriteitsfiguren die de Rorschach verdedigden (Samuel Beck, Bruno Klopfer, Marguerite Hertz).

 

Samen met de psychoanalyse kende de Rorschach test zijn hoogtepunt tussen de jaren 1940 en 1950. Terwijl Rorschach in zijn boek Psychodiagnostics schreef dat zijn inktvlekkentest slechts een beperkt nut had als psychoanalytische tool, adviseerden heel wat psychologen zoals Samuel Beck echter dat een achtergrond in psychoanalyse een groot voordeel opleverde voor mensen die de Rorschachtest gebruikten in hun praktijk.

 

Drie ideeën uit de psychoanalyse hadden een grote impact op de Rorschach:

  1. het idee dat een menselijk gedrag en de menselijke gedachten erg sterk worden beïnvloed door onbewuste motieven;
  2. de problemen van veel psychiatrische patiënten vinden hun oorzaak in onbewuste seksuele en agressieve impulsen – vooral de impulsen die ze voelden tegenover hun ouders   tijdens hun jonge kindertijd;
  3.  dromen zijn een symbolische voorstelling van de onbewuste innerlijke conflicten van een persoon.

 

Steeds meer viel het psychologische veld uiteen in twee grote kampen: de empirici en de romantici. De empirici waren psychologen die de nadruk legden op de rede, objectiviteit en empirisch toetsbare bewijzen om te komen tot de meest betrouwbare kennis. De romantici vonden dat intuïtie, empathie, en subjectieve inzichten een dieper en meer authentiek begrip kan opleveren dan de zuivere rede. Deze tweedeling vindt men jammer genoeg tot op heden nog altijd in het psychologisch speelveld.

 

Na velen tientallen jaren van empirisch onderzoek bleken projectieve technieken zoals het laten maken van tekeningen door kinderen om seksueel misbruik vast te stellen, maar ook het gebruik van projectieve tests zoals de Rorschach empirisch niet houdbaar. Scores van de werkelijk psychiatrisch zieke patiënten bleken niet te verschillen van gezonde individuen: noch van gezonde studenten en noch van gezonde psychologen… Tal van psychologen kwamen onafhankelijk van elkaar tot dezelfde vaststelling: het scoren van de Rorschach maakte dat iedereen ziek leek.

 

Vanaf 1955 tot eind de jaren 1960 haakten dan ook heel wat vooraanstaande psychologen zoals Lee Cronbach, Albert Bandura, Hans Eysenck, J.P. Guilford en Richard Lazarus af. Ook de ondertussen 6 verschillende interpretatiescholen (5 Amerikaanse en 1 Europese!) vielen elkaar aan met kritiek op hun manier van scoren. Er waren dus minstens 6 verschillende (officiële) manieren van scoren (op basis van dezelfde antwoorden), maar bovendien bleek uit een enquête dat heel wat psychologen bijzonder vrij omgingen met de manier van interpreteren. Naargelang wie je test interpreteerde, kreeg je dus een andere diagnose.

 

Een uitgebreide beschrijving van de problemen vindt u ondermeer op www.skepdic.com en in het boek De 50 grootste misvattingen in de psychologie ((Lilienfeld, Lynn, Ruscio en Byerstein). Volgens dit boek van 4 hoogleraren geeft veelvuldig onderzoek aan dat de grootste meerderheid van Rorschach scores geen enkel verband vertonen met persoonlijkheidstrekken, met één uitzondering, in het bijzonder voor afhankelijkheid. De scores tonen geen correlatie met klinische depressie, angststoornissen of antisociale stoornissen, maar wel voor schizofrenie en bipolaire stoornis. Maar dit laatste is volgens de auteurs dan ook niet verwonderlijk, want mensen die bizarre antwoorden verzinnen op inktvlekpatronen zijn waarschijnlijk slachtoffer van bizarre denkpatronen. Je zou dit ook zonder die inktvlektest perfect kunnen diagnosticeren… De Rorschach afnemen samen met andere test, biedt ook geen toegevoegde waarde (incrementele validiteit). Het grootste probleem is echter dat de Rorschach meer aanleiding geeft tot het beoordelen van gezonde, normale mensen als mensen met een afwijking dan andere tests. De Rorschach houdt dus het gevaar in van een “overpathologisering” van mensen. De auteurs sluiten af met de zin: een inktvlek is soms gewoonweg… een inktvlek. Meer nog, bijna geen enkele schaal is betrouwbaar of valide. Bijt u zich even vast in de volgende uitleg.

 

Revival van de Rorschach vanaf de jaren 1970: Exner doet zijn intrede

John Exner werd als student verliefd op de Rorschach. Hij bezocht Samuel Beck en Bruno Klopfer, die elkaar beconcurreerden met hun visies op de Rorschach en droomde ervan deze idolen met elkaar te verzoenen – waar hij overigens niet in slaagde. Hij ontwikkelde dan maar het zogenaamde Comprehensive System en publiceerde hierover verschillende boeken. Hij stelde dat de Rorschach wel degelijk werkte, en dat het valide en klinisch nuttige resultaten opleverde. Hij publiceerde in 1978 voor het eerst normen voor kinderen en voor adolescenten en rapporteerde ook cijfers over test-hertest betrouwbaarheid. Zijn cijfers waren zeer positief, wat in groot contrast stond met de studies verricht door Cronbach, Jensen en Eysenk. De meeste psychologen hadden nu echt iets wat ze maar al te graag wilden geloven en zelfs de raad van professionele zaken van de vereniging van Amerikaanse psychologen (APA) – en dus niet een wetenschappelijke groep – bracht een haast religieus eerbetoon aan Exner:

“Exner is er in geslaagd op zijn eentje de Rorschach te redden en terug tot leven te wekken.”

 

Alle gegevens over normen, kwaliteit en betrouwbaarheid, kwam echter slechts uit één hand en uit één groep, een vereniging onder leiding van John Exner zelf die zich de ‘Rorschach Workshops’ noemde. Dit duurde verder tot eind de jaren 1980. Van enig onafhankelijk replicatieonderzoek was helemaal geen sprake en de Rorschach kende in afwezigheid van critici een grote opleving. Replicatie betekent dat soortgelijke studies door meer dan één onderzoeksgroep worden gedaan, liefst verspreid over de hele wereld, en die soortgelijke bevindingen opleveren. De ‘gelovigen’ in Rorschach dachten immers dat ze nu over betrouwbare wetenschappelijke gegevens beschikten en leken zich geen zorgen te maken dat het onderzoek hoofdzakelijk door één persoon werd gedaan of gesuperviseerd.

 

Vanaf 1990 begonnen een aantal wetenschappers echter zelf onderzoek te doen naar de normen, de validiteit en de betrouwbaarheid; zij kwamen tot gehele andere, namelijk negatieve resultaten…

 

Ook James M. Wood, Teresa Nezworski, Scott Lilienfeld en Howard Garb waren bijzonder gealarmeerd. Zij berekenden dat – als de bewering in het boek van Exner klopte dat er meer dan 1000 studies werden verricht door hun groep tussen 1968 en 1990 – het team van Exner om de 9 à 10 dagen een studie zouden moeten hebben uitgevoerd en dit onwaarschijnlijke ritme gedurende 20 jaar zou volgehouden hebben. Dit maakte de cijfers in het boek bijzonder verdacht.

 

Een tweede verdacht gegeven was het feit dat de verwijzingen naar studies in de boeken van Exner hoofdzakelijk verwezen naar niet gepubliceerde studies. Van enige controle of peer review was dus helemaal geen sprake. Bovendien werden heel veel studies beschreven zonder dat er ook maar enig citaat of verwijzing in het boek naar studies werd opgenomen. Alle sporen leidden naar de Rorschach Workshops, wiens onderzoeken bijna nooit werden gepubliceerd… Dit geldt voor medische onderzoekers als een ernstig plichtsverzuim, omdat op die manier geen fouten in het oorspronkelijk onderzoek kunnen aan het licht gebracht worden (Sing & Ernst, 2008).

 

Tal van wetenschappers uit diverse universiteiten toonden aan dat zij de gegevens van Exner niet konden repliceren, ondermeer:

  • Johan Hunsley (universiteit van Ottawa)
  • Michael Bailey (Northwestern University)
  • William Grove (University of Minnesota)
  • Robyn Dawes (Carnegie-Mellon University)
  • Thomas Schaffer (California School of Professional Psychology)

 

McDowell & Acklin (1996) en Wood, Nezworski & Stejskal (1996) toonden aan dat het 0.85 cijfer dat Exner voorstelde als een correlatiecijfer voor de betrouwbaarheid van de Rorschach afname volgens zijn methode, helemaal geen correlatiecoëfficiënt bleek te zijn maar een “percentage van overeenstemming” tussen beoordelaars. Exner kon niet anders dan schoorvoetend toegeven (Psychological Science, 1996) dat hij collega’s misschien had misleid maar hij schreef het toe aan nalatigheid in zijn woordkeuze…

 

Aanhangers van de Rorschach zoals Acklin vonden nu plots dat een betrouwbaarheid van 0.61 voldoende was, een cijfer dat absoluut onaanvaardbaar is: in de huidige moderne psychometrie wordt zelfs 0.80 als het Olympisch minimum beschouwd. Immers, wanneer een intelligentietest slechts 0.61 betrouwbaarheid zouden hebben, zou het IQ cijfer kunnen liggen tussen 72 (beschouwd als de cut-off score voor mentale retardatie) en 105 (beschouwd als net boven het gemiddelde 100). Thomas Schaffer, Philip Erdberg en John Haroian vonden zelfs dat in 44% van de gevallen de Rorschach scores een betrouwbaarheidscoëfficiënt lager dan 0.61 opleverden!

 

Maar er stond Exner nog meer te wachten: een grote internationale studie uitgevoerd in meerdere landen (“Rorschach Nonpatient Data: Findings from Around The World”, Erdberg et al., 1999) toonde aan dat de scores van mensen over de ganse wereld vaak erg gelijklopend waren. Dat was het goede nieuws maar het probleem was dat deze niet zieke mensen allemaal ziek bleken wanneer men hun scores vergeleek met de normen in de boeken van Exner. Vervolgens verscheen een studie in 2000 (Hamel) waarbij 100 normale schoolkinderen uit Californië als ernstig ziek dienden te worden beschouwd met de normen van Exner.

 

James M. Wood, Teresa Nezworski, Scott Lilienfeld en Howard Garb groepeerden 32 studies waarbij het Comprehensive System werd toegepast op volwassen Amerikanen. Zij berekenden normen en deze bleken erg af te wijken van de normen van Exner en sterk overeen te komen met de normen van Shaffer en Erdberg. Beatrice Mittman van Long Island University vroeg aan 90 alumni van de Rorschach workshops de protocollen toe te passen op zowel psychiatrische patiënten als op normale volwassenen: 75% van de normale volwassenen werden als ziek bestempeld.

 

Gregory Meyer en Exner verwierpen deze vaststellingen met het argument dat het wellicht aan het fout toepassen van protocollen moet hebben gelegen. In 2001 publiceerde Exner echter plots en zonder enige verduidelijking een correctie in de vijfde uitgave van het boek “A Rorschach Workbook for the Comprehensive System”: 221 van de 700 personen waarop de normen waren gebaseerd, bleken echter pure duplicaten te zijn. De echte database bestond dus uit 479 individuen, en 221 werden dus tweemaal gebruikt. Van de 700 personen die de normgroep uitmaakten waren er dus 2×221 (442) dubbel ingevoerd. Dit zorgde voor grote consternatie en werd dus toch vrij snel ontdekt en wereldkundig gemaakt. Meer dan tien jaar hadden psychologen zich dus op volkomen foute normen gebaseerd. Exner heeft nooit publiek uitleg gegeven hoe dit kon gebeuren. Op basis van een verklaring van Gregory Meyer berekenden Wood et al. dat Exner en Meyer al minstens twee jaar weet hadden van de fouten in de normen, nog voor een congres in 1999 waarop Shaffer en Erdberg hun resultaten toelichtten.

 

Het probleem met de Exner cijfers is zeer groot:

 1. De cijfers van de Workshops kunnen niet worden gerepliceerd door onafhankelijke onderzoekers

Van de 14 pogingen tot replicatie (herhaling met zelfde resultaat) waren er 11 totaal negatief voor de depressie-index, twee hadden gemengde resultaten, en één had positieve resultaten.

Ook de normen van de egocentriciteitindex konden niet worden gerepliceerd

 

2. De cijfers van de Rorschach Workshops worden niet ter beschikking gesteld aan andere onderzoekers en dus kan hun waarheidsgehalte niet worden nagetrokken. Wood en collega’s hebben verschillende pogingen ondernomen om de data van Exner te krijgen om deze opnieuw statistisch te analyseren. Een eerste verzoek tot verkrijging van de data in 1993 werd schriftelijk geweigerd omdat ze “niet voorhanden waren”. Bij een tweede poging met aanbod tot financiële vergoeding voor het opzoekwerk werd geantwoord dat de data “niet in een verwerkbare vorm” zaten. Ter herinnering; nochtans werd in de boeken van Exner melding gemaakt van “meer dan 1000 studies”. Nadat deze diverse weigeringen in wetenschappelijke artikels werden gepubliceerd gaf Exner een uitleg die in tegenspraak was met de schriftelijke inhoud van de weigeringbrieven. In 2000 werd een nieuwe poging ondernomen omdat Exner had gezegd dat “raw data matrices” beschikbaar waren. Enkele maanden na het verzoek schreef Exner echter dat de “Rorschach Research Council” had besloten dat de data niet werden ter beschikking gesteld. Ze hadden de data immers zelf al “meermaals opnieuw geanalyseerd” en vonden het niet nuttig dat anderen dit nog eens zouden doen. Daarmee sloot men de mogelijkheid tot elke onafhankelijke review uit. In het Verenigd Koninkrijk bestaat de Freedom of Information Act die wetenschappers kan verplichten hun datamateriaal ter beschikking te stellen, maar in Amerika (en België) bestaat dergelijke wet helaas niet.

Wood en collega’s besluiten dus dat wetenschappers niet kunnen concluderen dat het Comprehensive System voldoende validiteit heeft. Meer nog, onafhankelijk onderzoek laat problematische validiteit en betrouwbaarheid zien. De Rorschach is geen betrouwbaar instrument om tal van problemen vast te stellen: majeure depressie syndroom, posttraumatisch stresssyndroom, andere angststoornissen, dissociatieve stoornis, afhankelijke stoornis, narcisme, antisociale persoonlijkheidsstoornis, gedragsstoornis en psychopathologie kunnen niet betrouwbaar worden vastgesteld met de Rorschach.

Het probleem is dus dat de Rorschach vaak wordt ingezet voor het stellen van klinische diagnoses en ook voor gebruik in de rechtszaal. Een aantal voormalige stevige aanhangers van de Rorschach zoals Robert Bornstein en Irving Weiner veranderen nu het geweer van schouder en stellen dat de Rorschach niet bedoeld is als een diagnostische test. Daarmee wijzigt Weiner zijn positie drastisch, want voordien beweerde hij dat de Rorschach Comprehensive System indicaties voor schizofrenie en depressie kon opleveren die helpen om deze ziekten te diagnosticeren.

 

Het eindverdict van Wood en collega’s luidt ondermeer als volgt:

  1. een validiteit van 0.30 is bedroevend laag (nu gaan wetenschappers uit van een ondergrens van 0.80), maar het gaat hier over het cijfer van de Rorschach als globaal instrument, terwijl dit cijfer niet aangeeft van de diverse schalen of constructen die de Rorschachtest volgens het Comprehensive System van Exner meet. Van de 150 variabelen in het Comprehensive System zijn er slechts een handvol die consistent voldoende validiteit laten zien. Dit staat bijvoorbeeld in schril contrast met de MMPI, waarvan de globale validiteit ook slechts 0.30 bedraagt, maar waarbij bijna al de 10 klinische schalen (zoals voor depressie, psychopathologie en schizofrenie) een voldoende validiteit laten zien;
  2. de afname van de Rorschachtest vergt een intensieve training en een subjectieve scoring door de testafnemers, met tal van risico’s op cognitieve valkuilen als gevolg, terwijl de MMPI bijvoorbeeld geen enkele training vergt en de score veel makkelijker is en minder onderhevig aan fouten;
  3. de Rorschachtest biedt geen enkele bijkomende voorspellende waarde (incrementele validiteit) bovenop de MMPI;
  4. over de MMPI-2 worden door wetenschappers (bijvoorbeeld Roger Greene) artikels gepubliceerd die aangeven welke schalen bewezen validiteit voor bepaalde doelstellingen hebben. Maar er wordt ook aangegeven welke schalen die validiteit niet hebben. Zulke objectieve evaluatie van de Rorschach wordt niet gegeven voor het Comprehensive System;
  5. de Rorschach doet nog altijd, ook met het Comprehensive System, de overgrote meerderheid (!) van normale mensen ziek lijken.

 

Dat zoveel psychologen (en psychiaters) nog steeds geloven (dat is het juiste woord; het lijkt meer op een geloofsovertuiging dan op wetenschap) in de Rorschach heeft waarschijnlijk te maken met welbekende valkuilen in het menselijk denken; de confirmatieneiging, de illusoire correlatie, het Bandwagon effect of de ad populum misvatting en andere cognitieve fouten die alle denken van alle mensen kenmerkt. Het consistentieprincipe (Cialdini, 2001) zal er ook wel voor zorgen dat men wil consistent blijven met zijn eerdere keuzes, zeker wanneer men bepaalde stellingen heeft ingenomen en zowel financieel als emotioneel zwaar heeft geïnvesteerd in de Rorschach. Bovendien is het ook vervelend tegen patiënten te moeten toegeven dat men al die jaren met een onbetrouwbaar instrument heeft gewerkt.

 

De enige manier om zich te wapenen tegen dergelijke menselijke denkfouten is de wetenschappelijke methode.

 

Bronnen

Cialdini,. R. B. (2001). Invloed. Academic Service.

Erdberg, S. P., & Shaffer, T. W. (1999). An international symposium on Rorschach nonpatient data: Findings from around the world. Symposium conducted at the XVI International Congress of Rorschach and Projective Methods, Amsterdam.

Exner, J.E. (196). A comment on “The Comprehensive System for the Rorschach: A critical examination. ” Psychological Science, 7, 11-13. (bekentenis dat het betrouwbaarheidscijfer niet juist is)

Exner, J.E. (2001 b). A Rorschach worksbook for the Comprehensive System (5th ed.) Asheville, NC: Rorschach Workshops. (plotse publicatie van nieuwe normen, met verwijdering van 221 duplicaten)

 Lilienfeld, S.O., Lynn, S.J., Ruscio, J., &  Beyerstein, B.L. (vert. Amy Bais)(2010).  De 50 grootste misvattingen in de psychologie.

James M. Wood, J.M., Nezworski, T.,  Lilienfeld, S.O., & Garb, H. (2003). What’s Wrong with the Rorschach? Science confronts the controversial inkblot test. Jossey Bass.