Evidence-based management: een illusie?

Zo berichtte De Pers in Nederland (11 november 2008) dat in 2008 diverse Nederlandse bedrijfsleiders zich lieten adviseren door een bedrijfsastroloog. Volgens journaliste Jojanneke van den Berge adviseerde astrologe Hanneke Lageman (lid van de Astrologische Vakvereniging in Nederland) directeurs van bedrijven zoals KLM, KPN, Philips, ABN AMRO, Fortis, VGZ en de Efteling tijdens een businessmeeting. Volgens Lageman zelf deed zij voor KPN zelfs gedurende vier jaar astrologische loopbaanscans voor medewerkers met meer dan zeven jaar dienst. Alstublieft!
Ik ben ondertussen al enkele keren uitgenodigd om te spreken over mijn boek en mijn vervolgboek Anders Leiden. Dat is voorwaar geen dankbare opdracht. Met uitzondering van het Skepsis-congres Magisch bedrijfsleven op 1 november vorig jaar, voor 300 overwegend gelijkgestemde (Nederlandse) skeptici, vonden alle andere besprekingen eerder plaats in vijandige omgevingen. Zo nam ik deel aan een debat over coaching en het gebruik van ‘tools’, georganiseerd door het Vlaamse VOCAP, een vereniging van organisatie-, consumenten- en arbeidspsychologen. In het panel werd ik ternauwernood gesteund door één panellid in een pleidooi voor een meer wetenschappelijk onderbouwde benadering, en zelfs de gespreksleider, een professor van de KULeuven, bleek geneigd om de pseudowetenschap te omarmen. Ik had op zijn minst op een neutrale debatleider gehoopt. De meeste andere panelleden gebruikten zowat alles: MBTI, HBDI, DISC, Enneagram, NLP en kernkwadranten. Ze argumenteerden dat je deze ‘tools’ vooral moet inzetten in functie van de coachee, en dat face-validity veel belangrijker was/is dan echte validiteitstudies voor testen. Begrijpe wie kan. Samen met collega’s tekenden we volgende citaten op:

”Hoe wetenschappelijk onderbouwd een tool is, vind ik niet relevant.”

“Hoe ik met de tool omga, is belangrijker dan de wetenschappelijkheid ervan. ”

Sommigen beweerden dan weer dat “een coach zijn eigen instrument is”, een stelling die al even vaag als wollig is en niet verder werd toegelicht. Er weerklonken ook enkele autoriteitsargumenten om indruk te maken en de aandacht van de inhoudelijke argumenten af te leiden:

“Ik heb arbeidspsychologie gestudeerd, maar was geen coach kunnen worden zonder die opleidingen en tools. Ik lig dan ook niet wakker van de wetenschappelijkheid ervan.”

“De Enneagramvragenlijst wordt momenteel gevalideerd door professor Delobbe van de Katholieke Universiteit Leuven.”

Zich beroepen op de autoriteit van een opleiding of professor is een zwakke vorm van argumentatie. Je zult altijd wel één of andere professor of arts vinden die ver is afgedwaald van de wetenschappelijke realiteit of een andere slag van de molen heeft gehad. Men moet kijken naar wat een grote meerderheid van academici zegt, of beter nog, wat gerepliceerd empirisch onderzoek oplevert. In de human resources-sector betekent dit bijvoorbeeld voor therapie en coaching (het thema van de VOCAP-avond) dat men zich baseert op Randomized Controlled Trials, gerepliceerd onderzoek en liefst van al meta-analyses.
Om te illustreren hoe vooringenomen (of onwetend?) een grote meerderheid van het publiek op de VOCAP-avond was: toen ik aanhaalde dat men in Nederland heel ver staat in het onderzoek naar Computer based Cognitive Behavioural Therapy, werd ik op hoongelach onthaald. De relatie met de therapeut was toch het belangrijkste? Een therapeut werkt toch eerder eclectisch (lees: hij/zij kiest wat hem/haar het beste uitkomt)? In Nederland wordt nochtans al meer dan tien jaar heel wat wetenschappelijk onderzoek verricht naar therapie via het internet. Hieruit blijkt dat bijvoorbeeld voor tal van zware klachten zoals paniekstoornis, posttraumatische stress, burnout en majeure depressie internettherapie minstens even goed, maar in sommige gevallen duidelijk beter werkt dan de face-to-face therapie (o.a. Lange et al., 2007; Ruwaard et al., 2007). Het is dus niet alleen minstens even effectief, maar ook veel efficiënter, zelfs qua kostprijs. Bovendien heeft wetenschappelijk onderzoek uitgewezen dat therapeuten die zich aan strikte protocollen houden, veel betere resultaten halen dan de zogenaamde eclectici (o.a. Chambless & Ollendick, 2001). Ondertussen werd deze vorm van internetbehandeling in Nederland – waar in tegenstelling tot België een terugbetalingssysteem geldt – door het bevoegde ministerie goedgekeurd, en werd de aanbieder, Interapy, overgenomen door zes centra voor geestelijke gezondheidszorg.

Voor mij illustreerde de reactie van het publiek een duidelijk gebrek aan openheid en zelfkritische zin bij de meerderheid van de deelnemers aan de VOCAP-avond. Self-serving bias en de confirmatieneiging waren volop aan het werk. En dit bij voornamelijk psychologen… Het is bedroevend om vast te stellen hoe een meerderheid na het behalen van hun universitair diploma geen moeite doet om bij te blijven en zich bij te scholen. En jammer dat we een diploma niet kunnen afnemen.
Recent onderzoek in België (Segers et al., 2009) en Nederland (Groen et al., 2006; Sanders et al., 2008) geeft inderdaad aan dat het dramatisch slecht gesteld is met de kennis van academische bevindingen over HR-concepten en – instrumenten van HR-professionals (verdienen ze die titel dan nog wel?). Dit geldt zowel voor de externe aanbieders (consultants, trainers, coaches) als voor de interne HR-mensen en de lijnmanagers. Volgens Professor Luc Sels blijkt uit buitenlands onderzoek dat minder dan 1% van de HR-professionals regelmatig wetenschappelijke vakliteratuur leest en 75% dat zelfs nooit doet. Het dient wel gezegd dat de vragenlijst in België en Nederland gebaseerd is op de vragen van een Amerikaanse onderzoeksploeg (Rynes, 2007), waarvan er enkele nuance en accuraatheid misten , wat overigens door andere wetenschappers weer werd bekritiseerd. Desondanks zijn de meeste vragen evident. De antwoorden laten een schrijnend gebrek aan kennis van de ondervraagden zien. In deze onderzoeken is ook (onrechtstreeks) bewijs gevonden dat netwerken en informatiebijeenkomsten niet noodzakelijk een goede zaak zijn. Mensen die hier regelmatig aan deelnamen bleken het op het vlak van kennis slecht te doen. Blijkbaar hebben de netwerkbronnen geen of zelfs een negatieve invloed op het kennisniveau in zowel België als Nederland (Segers et al., 2009). Ook mijn eigen ervaring is dat je op zulke netwerkbijeenkomsten veel onzin, nieuwtjes en de laatste hypes hoort, maar zelden degelijk onderbouwde zaken.
Als mensen die een dergelijke wetenschappelijke opleiding (psychologie) genoten hebben de wetenschappelijke methode zo snel de rug toekeren, dan valt het ergste te vrezen van mensen die niet vertrouwd zijn met psychologie, neurowetenschappen of het medische vakgebied. Zij zijn zich vaak niet bewust van de valkuilen van hun denken.

De CEO en zijn helden

Tot mijn grote verbazing (dat is een leugentje) zijn er ook heel wat CEO’s en andere leden van directiecomités die zich laten beïnvloeden door populaire boeken, succesverhalen en pseudowetenschap. Zij dwepen met helden zoals ex-CEO’s Jack Welch of Carly Fiorina. Of met boeken die simpele (of beter: simplistische) recepten voor succes propageren, zoals de boeken van Tom Peters en Robert Waterman (In search of Excellence) en van Jim Collins (Built To Last: Succesful Habits of Visionary Companies, geschreven samen met Jerry Porras, en Good to Great). Dat deze boeken met succesrecepten behept zijn met fout onderzoek, gebaseerd op hindsight bias en op Halo-effecten, daar zijn deze managers zich zelfs niet van bewust.
Hindsight bias betekent dat we altijd verklaringen achteraf vinden, omdat we als mens altijd patronen menen te ontwaren. Het Halo-effect is de cognitieve fout waarbij een globaal positief beeld of gevoel over iets of iemand alle deelaspecten van ons oordeel positief gaat kleuren. Zo baseerden enkele schrijvers hun ‘bevindingen’ op interviews van mensen die in een financieel succesvol bedrijf hadden gewerkt. In bedrijven die financieel succesvol zijn, krijg je alvast een positief gevoel en dat ga je dan bijvoorbeeld aan de leiders toeschrijven. Het volstaat dat deze schrijvers zeggen dat ze wetenschappelijk te werk gingen, om hen bij velen geloofwaardigheid te verlenen. Zucht. Het kostte zelfs een volledig boek om dit uit te leggen (Het Halo-effect, Negen misvattingen over management, door Phil Rosenzweig), dat waarschijnlijk helaas alleen door skeptici werd gelezen.

En dan hun helden Jack Welch en Carly Fiorina. Beiden schreven zelfverheerlijkende boeken. De bewondering die vele topmanagers koesteren voor deze mensen, grenst aan verafgoding. Beiden worden met veel enthousiasme gevraagd voor grote happenings, zoals het jaarlijks weerkerende Leaders in London. Op dit evenement betaalde u in 2008 voor een toegangskaartje voor een dag 1.244 euro (1056 Britse pond) en voor vier dagen kon dit oplopen tot 5.717 euro (4.931 Britse pond). Dit is de prijs die u betaalt om naar zelfbenoemde helden te mogen luisteren. Jack Welch, de voormalige CEO van General Electric, liet niet alleen vele tienduizenden mensen ontslaan (vandaar zijn bijnaam Neutron Jack), maar hij voerde tevens een van de meest perverse evaluatiesystemen ter wereld in, waar vele mensen in andere bedrijven nu nog last van hebben. Hij pleitte er immers voor om een puntensysteem in te voeren voor werknemers en legitimeerde dat via het loutere feit dat men dit in het onderwijs ook doet. Waarom dan niet voor werknemers? Hij maakte een geforceerde rangschikking op basis van de Gausscurve (normaalverdeling). Hierbij dienden de leidinggevenden een bepaald aantal mensen een slechte score te geven en een ander deel een goede score. Het leidde niet alleen tot een gedwongen verdeling èn onderlinge vergelijking (wat enorm veel nadelen heeft), maar ook tot een systeem waarbij jaarlijks de 10% slechtst presterende werknemers ontslagen werden. Ironisch genoeg blijkt uit wetenschappelijk onderzoek echter dat studenten net beter presteren indien ze geen scores krijgen en zeker als ze niet op een Gausscurve worden vergeleken met anderen (Alfie Kohn, 1986). Bovendien toonde onderzoek (Wood & Maguire, 1993) al lang geleden aan dat een dergelijke gedwongen verdeling geen oplossing biedt voor de problemen bij het geven van teveel goede scores . Een gedwongen verdeling heeft juist een negatief effect. Veel mensen verwachten toch geen bonus te zullen ontvangen, omdat het toekennen van scores hen erg arbitrair voorkomt. Ook vanuit Schneiders (1987) Attraction-Selection-Attrition-model valt dit systeem duidelijk te bekritiseren. Attraction betekent dat men bij werving vooral mensen aantrekt die zich herkennen in de profielbeschrijving. Selection is het bedrijfsproces waar men met behulp van proeven, tests, assessments, interviews of andere middelen mensen gaat rekruteren of afwijzen. Ten slotte vindt er ook een proces van attrition of vernauwing plaats, waarbij men gerekruteerde mensen gaat trainen om vervolgens diegenen die niet blijken te voldoen aan het einde van een proefperiode te ontslaan. Die drie fases werken als een soort trechter, waardoor de prestaties van mensen alsmaar meer op elkaar gaan lijken! Het uit elkaar trekken van de scores is dus een louter kunstmatig proces. Het is verbazingwekkend hoe vaak leidinggevenden refereren aan deze Jack Welch-praktijk als een goede praktijk. Omdat Jack Welch hun held is, gaat men ervan uit dat hij niets fout kan doen. Of is het zijn grote bekendheid en overmatige rijkdom die hun inzicht vertroebelt? Welch had een schandalig riante (en geheim gehouden) pensioenregeling geregeld van ettelijke miljoenen dollar, gebruikte privéjets van General Electric plus een riant appartement, enzovoort. Pas na een (v)echtscheiding van zijn tweede vrouw Jane Beasly kwam dit aan het licht. Na een onderzoek van de Securities and Exchange Commission in Amerika stemde hij in met een minnelijke schikking die een jaarlijkse terugbetaling van ongeveer 2,5 miljoen dollar inhield!

Of neem Carly Fiorina, in 2008 eveneens een vooraanstaand en dikbetaald spreker op Leaders in London. Ze is de voormalige CEO van Hewlett-Packard (HP), maar heeft een triest trackrecord. Ze kon de neergang bij HP niet stoppen, ondanks het feit dat de markt zich volop herstelde. Ze zaaide tweedracht omdat ze, zo bleek later, een waar terreurbeleid voerde binnen haar directiecomité. De cijfers en het debacle in het directiecomité leidden in 2004 uiteindelijk tot haar ontslag. Het geruzie in het directiecomité resulteerde kort nadien in spionagepraktijken (2005), met middelen zoals het aftappen van telefoongesprekken van leden van het directiecomité. Nog in 2008 kwam ze weer negatief in de pers in haar hoedanigheid als adviseur-woordvoerder van presidentskandidaat McCain. Ze deed enkele ongelukkige uitspraken over het leiderschap van McCain en Palin (“zij zouden geen bedrijf als HP kunnen leiden” – interview op radiostation KTRS op 16 september 2008) en over de terugbetaling van Viagra (“There are many health insurance plans that will cover Viagra but won't cover birth control medication. Those women would like a choice” – tijdens een persbijeenkomst op 7 juli 2008). Ze werd dan ook prompt op non-actief gezet.
Bij haar ontslag bij HP ontving ze een riante gouden parachute van 21 miljoen dollar (volgens sommigen werd zelfs het dubbele betaald, wat zij zelf ontkent). Volgens de berichtgeving in diverse media (ABC News, The Washington Post enzovoort) werd ze niet alleen door haar eigen directiecomité, de personeelsleden en de aandeelhouders, maar ook door externe financiële analisten gedesavoueerd voor haar slecht leiderschap. Wat doet ze dan op een forum als Leaders in London? Waarom kijken topmanagers op naar mensen als Welch en Fiorina?

Hoe komt dit toch?

Het valt te vrezen dat dit soort toestanden nog een tijd zullen doorgaan, misschien wel zo lang de mens zal bestaan. Bruce M. Hood betoogt in zijn boek Supersense - Waarom we in het bovennatuurlijke geloven zelfs dat ons brein zo geëvolueerd is, dat onze lichtgelovigheid en onze aanleg om simpele en zelfs bovennatuurlijke overtuigingen een normaal fenomeen zijn.
Neurowetenschappers zoals Hood en vele anderen staan niet alleen met hun bewering dat iedereen, ongeacht studieniveau, vatbaar is voor de valkuilen van ons brein. Dit wordt door heel wat onderzoek bevestigd. Over de valkuilen van ons denken in andere contexten is al zoveel geschreven dat ik mij hier beperk tot een aantal verklaringen voor de lichtgelovigheid in de bedrijfswereld.

Aangeboren lichtgelovigheid en vatbaarheid voor autoriteitsargumenten
Kinderen hebben er voor hun overleving alle belang bij (zeker in een ver verleden, maar ook nu nog) om volwassenen te geloven. Ze zouden anders waarschuwingen die hen voor fysieke gevaren behoeden in de wind slaan en kennisoverdracht zou een moeilijke zaak worden. Ook informatie verwerven over de sociale geplogenheden is noodzakelijk om tot een groep te kunnen behoren. Robert Cialdini (1980) deed ook onderzoek naar de redenen waarom we zo snel geneigd zijn anderen te geloven, en naast deze aangeboren lichtgelovigheid stelde hij vast dat, als de bron een (vermeende of zelfverklaarde) autoriteit is, je geneigd bent deze te geloven (autoriteitsargument). Goeroes en mensen die het maakten, zoals Jack Welch, gelden voor de leek al snel als een autoriteit. Jack Welch heeft immers toch bewezen dat hij zowel zijn bedrijf als zichzelf rijker maakte? Dat hij er zelf rijk van werd, is onbetwistbaar, maar dat hij alleen verantwoordelijk was voor het succes van Generel Electric valt helemaal niet te bewijzen.

Ons oerbrein kan niet om met de huidige complexe samenleving
Wij kunnen veel minder goed omgaan met abstracte feiten en statistieken dan met verhalen over concrete mensen. We geloven sneller een verhaal over één persoon (bijvoorbeeld over een zelfverklaarde topleider zoals Jack Welch) of succesverhalen (In search of Excellence, Good to Great) dan gedegen onderzoekswerk dat gedurende jaren werd verricht in alle delen van de wereld. Zo denken heel wat mensen dat ze de loterij eerder zullen winnen als ze steeds dezelfde nummers kiezen, ook al beginnen je kansen bij elke trekking weer vanaf nul. Een ander voorbeeld: vliegangst kan ook niet bedwongen worden met kennis over de statistisch erg onwaarschijnlijke kans dat jij niet op een vliegtuig zult zitten dat zal verongelukken. Dus neen, statistiek kan niet op tegen anekdotische vertellingen. Daniël Kahneman wordt door vele vooraanstaande psychologen, zoals Steven Pinker, als één van de meest invloedrijke psychologen ooit beschouwd voor zijn werk rond fouten in ons informatieverwerkingssysteem. Hij stelt dat ons brein vooral een beroep doet op een intuïtief systeem (systeem I – het ‘buikgevoel’) dat door natuurlijke selectie behouden bleef omdat het hielp om te overleven als eenvoudige jager-verzamelaar. Ons meer rationeel systeem, het analytisch denken (systeem II), kost ons veel meer moeite en kan vaak niet op tegen systeem I. Dat intuïtieve systeem I heeft er miljoenen jaren over gedaan om te worden wat het is en bepaalt nog steeds in belangrijke mate ons leven. Dit systeem, dat alles sterk vereenvoudigt en ons snelle vuistregels (heuristieken) bezorgt, doet ons vooral in het heden leven en zorgt er ook voor dat we (te snel) denken dat de situatie die we gedurende enkele maanden kennen, met grote zekerheid zal blijven bestaan in de toekomst. Vandaar dat mensen zoveel risico’s nemen in financiële systemen. Als de beurs enkele jaren goed loopt, stappen veel mensen in, totaal onbekend met de grote risico’s die een extreme gebeurtenis met zich mee kan brengen. Als ons brein een conflict vaststelt tussen het oeroude intuïtieve systeem (I) en ons meer rationele brein (systeem II), dan wint het intuïtieve. Het intuïtieve is altijd op zoek naar zekerheden, naar voorspelbaarheid en patronen. Daarom ook dat mensen liever met een (bekend) slecht model werken dan dat ze helemaal geen model hebben. Daarom ook dat we gunstige bedrijfsresultaten liever toeschrijven aan goed leiderschap of een goede CEO dan aan toeval.

Survivor bias, wishful copying en narcisme
Ook topmensen dromen van roem en mateloos succes, en daarom zijn boeken die succes beloven of verhalen van mensen die het toevallig maakten (of dit althans over zichzelf beweren) erg in trek. Of hoe narcisme vaak om de hoek loert. Topmensen worden dus vaak verblind door het succes van enkele toevallige survivors. Dit fenomeen staat bekend als survivor bias. Het betekent dat we alleen maar rekening houden met verhalen van mensen die – eerder toevallig – succesvol zijn. We verwachten dat indien we hun gedrag en beslissingen kopiëren, we ook (bijna) even succesvol, beroemd of rijk kunnen worden. Dat er duizenden, misschien zelfs honderdduizenden andere mensen waren die gelijkaardige visies hebben ontwikkeld en risico’s hebben genomen, maar voor wie het toeval niet gunstig gezind was, dat zien we niet. Deze losers worden immers niet bevraagd of liggen op het kerkhof.

Intellectuele luiheid
Hoewel we een aangeboren nieuwsgierigheid hebben en onderzoek naar motivatie aantoont dat we een aangeboren psychologische behoefte hebben om ons competent te voelen en intellectueel te groeien (de zelfdeterminatietheorie van Ryan, Deci, Vansteenkiste), doen we daarvoor niet graag inspanningen. We verwerven liever kennis via netwerking (maar de kennis die daar verspreid wordt, is vaak helemaal geen gedegen kennis, zoals eerder al besproken) dan dat we wetenschappelijke artikels doorploegen. We vertrouwen blijkbaar liever anderen (eventuele autoriteitsfiguren, maar liever nog bekende mensen) dan onze eigen intellectuele inspanning.

Bandwagon effect
Als we onzeker zijn, hebben we de neiging om te geloven wat een meerderheid van onze medemensen gelooft (ook bekend als sociaal bewijs). Dat dit niet verstandig is in de huidige samenleving, waarin we niet meer in groepen van 150 leven, maar dankzij het internet en de massamedia deel uitmaken van groepen van miljarden mensen, bewijst het collectieve verlies op de beurs. Als iedereen gelijk had, dan hadden de aandelen toch geleidelijk moeten stijgen in plaats van zo plots de diepte in te tuimelen?

Ons sociale brein
Grote delen van ons brein worden gebruikt om ons te handhaven en ons vlot te bewegen in het sociale verkeer en te behoren tot een groep. Er is een duidelijke correlatie tussen de grootte van het brein van zoogdieren die in groep leven en de grootte van de groep. Hoe groter de groep, hoe groter het brein. Ons brein zorgt er ook voor dat we geneigd zijn om geen dingen te doen die ertoe zouden kunnen leiden dat we uit de groep gestoten worden. Daarom zijn we gevoelig voor groepsdruk maar willen sommigen ook graag fanatiek tot een groep behoren (zoals ik graag tot de skeptici behoor, maar daar is toch niets mis mee?). Als veel mensen bepaalde boeken (zoals Good to Great van Jim Collins of het boek Straight from the gut van Jack Welch) goed vinden, dan zullen ze toch wel gelijk hebben?

Positief werkt beter dan negatief
Als ideeën met een positieve tonaliteit worden gepresenteerd, blijven ze beter hangen. Negatief vormgegeven denkbeelden verdwijnen sneller uit ons geheugen, met uitzondering van situaties waarbij onmiddellijk gevaar dreigt. Denk aan de grap van radiomaker Orson Welles die in 1933 tienduizenden Amerikanen op de vlucht joeg toen hij aankondigde dat buitenaardse wezens de aarde aanvielen (Clément et al., 2004). En laat goeroes zoals Collins, Peters en Waterman, of Welch nu net superpositieve verhalen brengen, in de aard van “doe zoals ik en je wordt succesvol en rijk”. Dat vindt gretig afname. Kritiek wordt moeilijk geslikt. Dat is, zoals anderen al voor mij stelden, niet alleen jammer voor mensen die zich van kritiek durven bedienen, zoals skeptici. Het is bovendien een weinig overtuigende strategie, die skeptici net vaak gebruiken om anderen te overtuigen. Iets om over na te denken.

Bronnen

• Aarnio, K. & Lindeman, M. (2005). Paranormal beliefs, education, and thinking styles. Personality and Individual Differences, 39(7), blz. 1227 tot 1236.
• Buss, David M. (Ed). (2005). The handbook of evolutionary psychology. Hoboken: John Wiley & Sons Inc.
• Chambless, D. L., & Ollendick, T. H. (2001). Empirically supported psychological interventions: Controversies and evidence. Annual Review of Psychology, 52, blz. 685 tot 716.
• Cialdini, R. (1980). Influence: Science and practice (2nd Ed.). Glenview, IL: Scott, Foresman, & Company. [Nederlandse vertaling: Invloed, Theorie en praktijk. Amsterdam, Uitgeverij Nieuwezijds].
• Clément, F., Koenig, M., & Harris, P. L. (2004). The ontogenesis of trust. Mind & Language, 19, blz. 360 tot 379.
• Groen, B., Sanders, K., van Riemsdijk, M. (2006) De kloof tussen theorie en praktijk. Een onderzoek naar de kennis van HRM’ers over arbeids- en organisatiepsychologie. Tijdschrift voor HRM, 9, 33 tot 52.
• Guion, R.M. (1998). Jumping the gun at the starting gate: When fads become trends and trends become traditions. In Hakel, Milton D. (Ed). (1998). Beyond multiple choice: Evaluating alternatives to traditional testing for selection. (blz. 7-15). Mahwah: Lawrence Erlbaum Associates Publishers.
• Kohn, A. (1986). No contest: The case against competition. Boston: Houghton Mifflin.
• Lange, A., Ruwaard, J., Schrieken, B. Broeksteek, J., van Tienhoven, S., Jager, J., & Emmelkamp, P. (2007). Geprotocolleerde cognitieve gedragstherapie van klinische en subklinische paniekstoornis, via het internet: de behandeling en de resultaten van een gecontroleerde gerandomiseerde trial. Directieve Therapie, 27 (3).
• Pfeffer, J., & Sutton, R.I. (2006). Hard facts, dangerous half-truths & Total nonsense. Profiting form evidence –based management. Harvard Business School Press.
• Rousseau, D.M. (2006). Is there such a thing as “evidence-based management”? Academy of Management Review, 31 (2), blz. 256 tot 269.
• Ruwaard, J., Lange, A., Bouwman, M., Broeksteeg, J., & Schrieken, B. (2007). E-mailed standardized behavioural treatment of work-related stress: a randomized controlled trial. Cognitive Behaviour Therapy, 36(3), blz 179 tot 192.
• Rynes, S., Colbert, A. & Brown, G. (2002). ‘HR professionals’ beliefs about effective human resource practices: correspondence between research and practice’, Human Resource Management, 41(2): blz. 149 tot 174.
• Sanders, K., van Riemsdijk, M., & Groen, B. (2008). The gap between research and practice: a replication study on the HR professionals’ beliefs about effective human resource practices. The International Journal of Human Resource Management, 19(10), blz. 1976 tot 1988.
• Schneider, B. (1987). The people make the place. Personnel Psychology, 40, blz. 437 tot 453.
• Segers, J ., Vloeberghs, D., De Prins, P., & Henderickx, E. (2009 ). Niets is zo praktisch als een goede theorie: wie weet dit in HRM? [Nothing is so practical as a good theory: who knows this in HRM?]. Tijdschrift voor HRM (nog te publiceren).
• Tversky, A. & Kahneman, D. (1987). Rational choice and the framing of decisions. Hogarth, In M. Robin & M. W. Reder, (Eds), Rational choice: The contrast between economics and psychology (blz. 67 tot 94). Chicago, IL: University of Chicago Press.

Patrick Vermeren is een HR-professional die volop de kaart van Evidence Based trekt. Hij is auteur van drie boeken inzake HR-management en is actief in beleidsadvies, leiderschapstraining en individuele coaching.