Wat de fixatie op meten is weten zo gevaarlijk maakt

Ik heb “The Tyranny of Metrics” van Jerry Z. Muller gelezen. Waar hij over schrijft zal voor aardig wat mensen herkenbaar zijn. Een samenvatting…

(Niet) meten wat ertoe doet

Statistieken (gestandaardiseerde gegevens) kunnen ontzettend nuttig zijn als ze zorgvuldig uitgekozen en correct gebruikt worden. Dan kan meten weten zijn. Uit de praktijk van onderwijs, zorg, wetshandhaving, leger, non-profits en het bedrijfsleven (aan ieder wordt een hoofdstuk gewijd) blijkt echter dat te vaak:

niet gemeten wordt wat er toe doet

“not everything that matters is measurable”

gemeten wordt wat er niet toe doet

“not everything that’s measurable matters”

Hoe beperkter de uitgekozen statistieken waarop mensen afgerekend worden, hoe meer ze ontdaan zijn van context en diepgang (denk bijvoorbeeld aan generieke slagingspercentages), hoe groter de kans dat mensen ermee gaan “spelen”, want:

When much is at stake there will be inevitable attempts to game the metrics.

Hoe gamen mensen de metrics?

Door:

• de eisen of normen te verlagen

• te meten wat het makkelijkst te meten is, ongeacht hoe complex de gewenste uitkomst is

• data die onwelgevallig is weg te laten of ze lager of hoger te classificeren, al naar gelang de targets

• ‘creaming’: de krenten uit de pap halen en moeilijke gevallen of issues vermijden om je succespercentage hoog te houden

• de boel te belazeren (als de druk maar hoog genoeg is…)

Fixatie op statistieken

Jerry Muller is niet tegen statistieken, maar tegen de FIXATIE op statistieken, die volgens hem voortvloeit uit het geloof dat:

• het mogelijk en wenselijk is om menselijk beoordelingsvermogen, gevormd door persoonlijke ervaring en talent, te vervangen door numerieke prestatie indicatoren die gebaseerd zijn op gestandaardiseerde gegevens (statistieken)

• zulke statistieken openbaar maken (transparant zijn) ervoor zorgt dat instituties daadwerkelijk doen wat ze zouden moeten doen (rekenschap geven)

• je mensen het beste motiveert door aan de gemeten prestaties beloningen en straffen te verbinden, in de vorm van geld (pay-for-performance) en reputatie (rankings)

Wanneer en hoe gebruik je statistieken dan wél goed?

Aan het eind van het boek zit een soort van checklist met vragen die je jezelf kunt stellen en factoren waar je rekening mee moet houden.

1. Wat voor soort informatie wil je meten?

Levenloze materie is betrouwbaarder te meten dan de activiteiten van levende wezens zoals mensen. Die worden namelijk beïnvloed door het meetproces. Door er ook nog eens beloningen en straffen aan te koppelen, compromitteer je dat proces alleen maar nog meer.

Echter, als mensen het (grotendeels) eens zijn met de doelen van de metingen, dan is de kans groter dat zij zullen reageren op een manier die de validiteit van de metingen ten goede komt.

2. Hoe nuttig is de informatie?

Iets wat gemakkelijk gemeten kan worden, kan omgekeerd evenredig zijn met de betekenis van wat er gemeten wordt. Vraag je dus af of wat je wilt meten een goede maatstaf is voor wat je wilt weten.

3. Hoe nuttig is meer informatie?

Dat statistieken nuttig kunnen zijn, betekent niet dat nog meer statistieken nuttiger zijn. En hoe meer je meet, hoe groter de kans dat de kosten van het meten de baten overschrijden.

4. Wat zijn de kosten van niet vertrouwen op gestandaardiseerde metingen?

Zijn er andere informatiebronnen over prestaties, die, in tegenstelling tot gestandaardiseerde metingen, gebaseerd zijn op het oordeel en de ervaring van mensen uit de praktijk?

5. Voor welke doeleinden worden de metingen gebruikt?

Er is een cruciaal verschil tussen data die voor interne prestatiemonitoring gebruikt wordt door de betrokkenen zelf versus data die gebruikt wordt voor beloning en straf door externe partijen, die de beperktheid ervan niet begrijpen en geen zicht hebben op de context.

Intern gebruik, gebaseerd op intrinsieke motivatie omdat ze aansluiten op de professionele doelen van de betrokkenen, helpt met het (h)erkennen van uitblinkers en het helpen van achterblijvers (de twee uitersten, de meeste mensen zitten in de middengroep), en het verbeteren van de samenwerking.

Extern gebruik, gebaseerd op extrinsieke motivatie omdat je baan en inkomen ervan afhangen, stimuleert een focus op wat er gemeten en beloond wordt, ten koste van andere aspecten van het werk die net zo belangrijk zijn of zelfs belangrijker.

6. Wat kost het om de metingen te verkrijgen?

Informatie is nooit gratis en vaak prijzig op een manier waar degene die erom vraagt nooit aan gedacht heeft. Hoe meer tijd je bezig bent met meten, hoe minder tijd je kunt besteden aan wat er gemeten wordt.

De tijd en moeite die gemoeid is met het opzetten & aanpassen van metingen en het bijhouden van de statistieken, is zo goed als onmogelijk om te berekenen. Wat alleen maar nog een reden is om er voorzichtig mee te zijn.

7. Vraag waarom leidinggevenden prestatiestatistieken eisen

Die eis kan namelijk voortvloeien uit onwetendheid over de organisatie waar ze in geparachuteerd zijn en die ze moeten leiden.

Die onwetendheid (en de acceptatie daarvan) heeft te maken met de grotere nadruk die is komen te liggen op algemene managementkwaliteiten, ten koste van het belang van specifieke bedrijfskennis en -ervaring. Als je hier rekening mee wilt houden, dan is het waarschijnlijk beter om intern te promoveren in plaats van extern aan te nemen.

8. Hoe en door wie worden de prestatiemetingen ontwikkeld?

Waarschijnlijk heb je meer aan metingen die bottom up ontwikkeld zijn in plaats van top down. Vanuit directe ervaring in plaats van achter een bureau met een grote afstand tot de werkvloer.

Een systeem waarmee prestaties gemeten worden staat of valt met het vertrouwen erin van de mensen die gemeten worden. Hoe meer zij erbij betrokken worden én blijven, hoe beter het systeem werkt, in de zin van dat het daadwerkelijk de organisatie als geheel verbetert.

9. Zelfs de beste metingen kunnen gecorrumpeerd worden

Er zitten onvermijdelijke nadelen aan alle beloningsprogramma’s, in zoverre mensen hun eigenbelang vooropstellen. Een voorbeeld:

Als je de beloning van artsen afhankelijk maakt van de hoeveelheid patiënten die ze zien, dan heb je kans dat ze er zoveel als mogelijk zien en tijdrovende procedures, die mogelijk nuttig zijn, vermijden of inkorten. Wil je dat voorkomen en beloon je daarom op basis van succesvolle patiëntenresultaten, dan loop je het risico op ‘creaming’: de meest problematische patiënten vermijden vanwege de negatieve impact op het succespercentage.

10. De grenzen van wat mogelijk is (her)kennen, is het begin van wijsheid

Niet alle problemen zijn op te lossen en slechts heel weinig problemen kun je oplossen met gestandaardiseerde gegevens (statistieken). Dat blijkt overduidelijk uit alle casestudies die Jerry Z. Muller beschrijft in “The Tyranny of Metrics”.

Ultimately, the issue is not one of metrics versus judgment, but metrics as informing judgment, which includes knowing how much weight to give to metrics, recognizing their characteristic distortions, and appreciating what can’t be measured. In recent decades, too many politicians, business leaders, policymakers, and academic officials have lost sight of that.