Management Team Wheel/System

Wat is het Team Management Systems/Wheel?

Opmerking vooraf: het model is voor velen beter bekend onder de oorspronkelijke naam “Types of Work Wheel” of het “Team Management Wheel”.

  • Het cirkelvormige basis model stelt dat er 8 kern-werkfuncties zijn. Deze kunnen worden gemeten met het 3 types of Work Profile Questionnaire (met drie types worden taken, mensen en leiderschap bedoeld).
  • De 8 werkfuncties volgens dit model zijn:
    • adviseren – informatie inzamelen en rapporteren
    • innoveren – nieuwe ideeën genereren en ermee experimenteren
    • promoten – het verkennen en voorstellen van opportuniteiten
    • ontwikkelen – het inschatten en testen van nieuwe aanpakken
    • organiseren – ontwerpen en implementeren van werkmethoden
    • produceren – besluiten en tastbare zaken opleveren
    • inspecteren – controleren en auditen van systemen
    • onderhouden – het behouden en bewaken van standaarden en processen
  • er zijn 4 orthogonale assen op het model volgens de dimensies:
    • introvert – extravert
    • creatief – praktisch
    • zich baserend op overtuigingen – analytisch
    • flexibel – gestructureerd
  •  Van dit model werd dan het Team Management Wheel gecreëerd, waarbij de 8 werkfuncties een typologienaam kregen (bijvoorbeeld “Explorer – Promotor) en er in een extra buitencirkel ook nog het onderscheid wordt gemaakt tussen de tegenpolen explorers-controllers en organizers – advisers.
  • Samengevat zijn er dus 3 werktypes, 8 werkfuncties en typologieën en 4 dimensies gevat in het cirkelvormige model.

Het model kwam naar eigen zeggen tot stand door “vele jaren te spreken met managers over hun jobs” (TMQP – excecutive summary, blz. 1).

 

Wat geloven mensen?

  • Dat het een deugdelijk instrument is dat iets voorspelt over prestaties op het werk, in team. Dat het instrument voorkeuren opmeet op een betrouwbare manier.
  • Dat het instrument en de toepassing ervan kan leiden tot betere samenwerking. Het instrument profileert zich uitdrukkelijk als een alternatief voor de Belbin teamrollen (ze vergelijken er zich mee).

 

Waarom geloven mensen dit?

  •  Zonder de vele vormen van oordeelsvervorming (bias) en dergelijke te bespreken, kunnen we algemeen wijzen op een aantal zwakke plekken in het menselijk denken:
  • We zijn allemaal aangeboren lichtgelovig, wat een evolutionair voordeel opleverde voor onze voorouders: kinderen sloegen adviezen van volwassenen niet zomaar in de wind, waardoor ze bijvoorbeeld waarschuwingen tegen gevaar ernstig namen. Deze geëvolueerde eigenschappen bezitten wij vandaag ook nog, inclusief onze aangeboren neiging om andere mensen vlot te geloven. Ook door onze verregaande taakverdeling zijn we geneigd experts te geloven, ook zelfverklaarde. We kunnen immers niet over alle kennis beschikken en alles zelf opzoeken zou een enorme inspanning vergen.
    • We hebben ook een aangeboren intellectuele luiheid. Een intellectuele inspanning doen we niet zomaar – de meeste mensen proberen met zo weinig mogelijk inspanning door het leven te gaan. Ook niet zo gek vanuit een evolutionair perspectief: waarom zou je energie verkwisten als energie schaars is (dat was zo gedurende het grootste deel van het bestaan van onze voorouders). Elk levend wezen streeft naar een optimale energiebalans.
    • De combinatie van deze twee maakt dat we vatbaar zijn voor autoriteitsargumenten: we vertrouwen er op dat elke arts zijn vak kent, net als een psycholoog, architect enz.
  • Er worden in de promotie van het model autoriteitsargumenten gebruikt:
    • Drs. Charles Margerison en Dick McCann verrichten “research”
    • Margerison was ooit verbonden met een Australische universiteit.

 

Wat zijn de feiten en wat zegt de wetenschap?

Een (psychologisch) meetinstrument dient altijd betrouwbaar te zijn (meet de test wel op een voldoende betrouwbare manier) en valide te zijn (meet het instrument echt wat het beweert te meten?) En wat leert die meting ons eigenlijk, bijvoorbeeld wat voorspelt dat inzake huidig (concurrent criterion validity) of toekomstig werkgedrag (predictieve criteriumvaliditeit)?.

 

In de databases van APA (1/3/2015) is geen enkele studie te vinden over noch de theorie, noch de betrouwbaarheid of validiteit van het instrument. Dus of het instrument berust op deugdelijke theorie, betrouwbaar en valide is, valt niet te achterhalen.

 

In het Nederlands taalgebied is de test ook niet aangemeld bij en beoordeeld door de Commissie Test-aangelegenheden van het NIP. Dergelijke evaluatie heeft niet het gewicht van een peer-reviewed publicatie en de typische uitwisseling/discussie die tussen academici gebruikelijk is, maar is wel een minimale indicatie.

 

We moeten ons dus baseren op twee documenten die we konden consulteren:

  1. Een Team Management Systems Research Manual die TMSDI (de verdeler ons ter beschikking stelde na herhaald aandringen;
  2. Een externe beoordeling: twee psychologen (Derek Wilkie en Lousa Tate) van de Britse vereniging van psychologen (British Psychological Society – BPS) hebben het testmateriaal beoordeeld in 2005.

 

We bespreken beide documenten hierna.

Het eerste (uitsluitings)criterium om een test te beoordelen is de theoretische deugdelijkheid. Als u weet dat de horoscoop uitgaat van een compleet foute theorie, mag u ook geen belang hechten aan een test die daarop is gebaseerd en de resultaten ervan. De theoretische onderbouwing wordt in de eigen Research Manual helemaal niet beschreven, maar in de commerciële brochure lezen we dat het gaat om een bewerking van de theorie van Carl Gustav Jung – hoogst problematisch dus (zie elders in het trefwoordenregister).
De theoretische onderbouwing wordt door de BPS als “inadequate” beoordeeld. In het materiaal dat aan de beoordelaars werd meegedeeld, werd blijbkaar verwezen naar het werk van andere mensen, onder andere Hersey & Blanchard (zie elders bij ‘situationeel leiderschap’).

Over de testconstructie en het nut van de test leren we het volgende:

De verdelers (TMSDI) schrijven zelf in hun commerciële brochure:

“ Margerison and McCann decided to take a closer look at what we can actually measure about people to predict performance. Adapting the research of Carl Jung to the work situation, they created a validated questionnaire to explore the critical work preferences that drive us all.”

In de “Team Management Systems Research Manual” lezen we echter een tegenstrijdige bewering (blz. 8):

“The Team Management Profile Questionnaire was not designed as a predictive instrument and no claims are made about its predictive validity.”

Nochtans is een van de belangrijkste vragen die gebruikers zich stellen: ‘wat leer ik hier nu uit?’ Wat het in kaart brengen van de werkpreferenties dus zegt over werkgedrag of toekomstig werkgedrag is geheel onduidelijk. Ook de externe beoordelaars van British Psychological Society geven hierop kritiek (blz. 16):

“however, no criterion−related validity evidence (neither concurrent nor predictive validity evidence) is yet available. Collecting such validity evidence to support the use of the questionnaires should now be a priority.”

Verder lezen we in dezelfde Research Manual dat de structurele validiteit van het instrument (de cirkelvorm) werd onderzocht met de multi-dimensional scaling techniek (MDS). Slechts 16 MBT studenten werden gevraagd om 16 types werk te rangschikken en nadien werden hun beoordelingen aan een MDS-analyse onderworpen. , De auteurs melden zelf dat het om een “very low sample size” gaat, maar durven er toch positieve conclusies aan te verbinden over de structurele validiteit.

Het cirkelvormige model lijkt op een circumplex (zie elders: circumplex) maar is er geen, want de eisen van een circumplex werden niet getest. Zo is het helemaal niet duidelijk of de onderlinge verhouding van de 4 orthogonale assen onderlinge verhoudingen van 45° van een circumplex voorkomen (de aldus bekomen 8 schalen worden worden voorgesteld als perfect 1/8 van een cirkel of dus 45°) , of de afstand van het middelpunt even lang is voor elke schaal, of de tegenpolen negatief correleren en aanliggende velden positief correleren. Dit zijn allemaal minimumcriteria van een circumplex. Voor een interpersoonlijk circumplex (wat dit zou moeten zijn gelet op de interpersoonlijke dimensie introversie-extraversie) geld bovendien dat twee hoofdfactoren agency en communion moeten worden gevonden in een onderlinge verhouding van 90° op elkaar. Ook al wordt niet beweerd dat het om een (interpersoonlijk) circumplex gaat, bepaalde dimensies zoals introversie-extraversie zijn wel degelijk op een waarachtig interpersoonlijk circumplex terug te vinden. De visuele voorstelling in een cirkel/circumplex suggereert op die manier dus ten onrechte onderlinge correlaties (positief voor aanliggende schalen, negatief voor tegenoverliggende schalen).

Uit de beoordeling door de BPS leren we nog het volgende:

  • De grondigheid waarmee itemanalyses zijn verricht worden als ‘inadequate” beoordeeld
  • Er zijn geen lokale normen per taalgebied of regio, er wordt blijkbaar enkel gewerkt met een “internationale norm”. Er zijn echter geen normen voorzien voor de Leiderschapsschaal, enkel voor taken en mensen (deze vormen samen de drie “werktypes”. De reviewers schrijven (blz 10 en 11): “Commendably, the norms are based on a very large sample and show differences across languages, functional areas, organisational levels, professions, industry sectors and regions. These breakdowns, however, are not provided in the guide that accompanies the profile report.”
  • Enkel de interne consistentie (Cronbach’s alpha) van schalen werd nagegaan en deze is verdacht hoog, bijzonder ongebruikelijk voor een test: gemiddeld .95 (waarbij 1.00 zou staan voor een perfecte meting). De auteurs van de test schrijven hierover trouwens zelf: “values over 0.90 indicate the scale is becoming too narrow.” (TMPQ Executive summary, blz. 4). Dat hun schalen dus een alarmerend hoge interne Cronbach’s alfa vertonen, trekken ze niet consequent door.
  • De betrouwbaarheid van een test wordt meestal beoordeeld door een split half of door een test-hertest procedure (na bijvoorbeeld 6 weken) om na te gaan of de resultaten dezelfde zijn: zulk essentieel onderzoek blijkt echter niet te zijn gebeurd – of minstens niet overhandigd aan de BPS. Over de betrouwbaarheid kan dus geen enkele uitspraak worden gedaan.

 

Conclusie

De theoretische grondslag waarnaar wordt verwezen is verkeerd (Jung), zeer problematisch (Hersey & Blanchard) en helemaal niet uitgewerkt. Daardoor krijgt deze een score van -5 (werk van Jung – idem beoordeling als MBTI en Enneagram) volgens de criteria die we sinds 2015 hanteren:

6 de theorie geldt bij experten in het domein als een theorum (99,99% zeker)
5 er zijn heel veel convergente bevindingen uit verschillende wetenschapsdomeinen die de theorie steun verlenen (bijv. evolutie: 22 domeinen)
4 het gaat om een high-level (meta) theorie die een breder verklaringsmodel biedt en vaak complex is (bijvoorbeeld: evolutie)
3 het gaat om een mid-range theorie die een bepaald fenomeen in het algemeen probeert te vatten (ijvoorbeeld kin-selection & reciprocal altruism)
2 het gaat om een low-level (mini) theorie die een heel specifiek (eng) aspect beschrijft (bijvoorbeeld: de heup-tailleverhouding)
1 de theorie beroept zich op redeneren en logica (≈discovery) en/of de theorie beroept zich ook op theorieën uit aanliggende velden
0 er is geen theorie
-1 het is een geval van ‘dust bowl empiricism’ of ‘rainforest empiricism’ OF men beroept zich op anecdotes
-2 de theoretische beschouwingen gaan in tegen valide en rationele redeneringen of de theorie werd verlaten (not fruitful)
-3 de theorie legt niets uit of voorspelt niets of is niet testbaar of men weigert ze te testen
-4 de theorie is in tegenspraak met de bevindingen uit de ‘gevestigde’ wetenschappen (biologie, chemie, fysica)
-5 al het voorgaande, maar de proponenten proberen de impressie te wekken dat ze wetenschappelijk zijn of leggen de bewijslast bij de sceptici
-6 de proponenten beweren dat de wetenschappelijke methoden te kort schieten; ze organiseren bovendien geen zelfcontrole

 

De empirische evidentie is mager. De normale onderzoeken werden niet uitgevoerd. Hierdoor krijgt dit criterium een score van -1 volgens de criteria die we sinds 2015 hanteren:

 

4 geconfirmeerd in systematische reviews zoals meta-analyses
3 er is onafhankelijk replicatieonderzoek dat bevestigt
2 de onderzoekers deden zelf replicatieonderzoeken die bevestigden
1 de methodes zijn deugdelijk, maar het gaat momenteel om ‘single studies’ – replicatie is nodig
0 er zijn (nog) geen empirische bevindingen die de hypotheses bevestigen
-1 er zijn methodologische problemen met de onderzoeken
-2 de evidentie is negatief en doet de hypotheses verwerpen OF de vragenlijst is psychometrisch niet deugdelijk
-3 meerdere studies leveren evidentie op die de hypotheses en de theorie verwerpen
-4 systematische reviews zoals meta-analyses verwerpen de hypotheses OF onderzoeker heeft zelf de theorie ingetrokken

 

De BPS beveelt aan om het instrument niet te gebruiken buiten een context van teambuilding en ontwikkeling. Dat is in onze ogen gelet op de problemen met theorie, data en testconstructie erg grootmoedig.

Straffe beweringen en beloftes dus (beter samenwerken, elkaar leren waarderen, complexiteit beter begrijpen, bouwt resilience en helpt mensen duurzaam ontwikkelen), maar slechte theoretische basis en een problematische testconstructie (gebrekkige normen, geen test-hertest beoordeling uitgevoerd volgens de regels van de kunst…).

 

Bronnen

www.apa.org
http://www.cotandocumentatie.nl
• Brochure: the TMS Approach (www.tmsdi.com)
• Team Management Systems Research Manual (bezorgd door DMSI)
• British Psychological Society (2005, 2014) Test Review Margerison-McCann Linking Skills Profile. Aangekocht bij BPS.