Ett konferensrum i ett medelstort företag. Delar av ledningen sitter runt bordet. Från projektorn strålar diagram och siffror. Det är resultatet av årets kundnöjdhetsundersökning som presenteras. En kundansvarig och en analytiker från undersökningsföretaget berättar hur man ska tolka resultatet.
”Ni fick 4,3 i snitt på den här frågan”, säger de.” Det är något bättre än förra året”. ”På den här frågan däremot, fick ni bara 3,8” fortsätter de. ”Det är inte dåligt, men något sämre än förra året”.
Om ni känner igen det här från era leverantörer av undersökningar har jag ett tips: Säg till dem att sluta larva sig!
Saken är i all enkelhet att det inte går att räkna ut medelvärden av svaren på en attitydmätning. Och alla med en grundkurs i statistik vet om detta. Det som pågår runt om i konferensrum år efter år är inget annat än charader.
Den skeptiskt lagde undrar nu: ”stämmer verkligen detta?” och ”är det så farligt?” Svaren är ”ja” respektive ”jo, faktiskt”
Att svaren på en attitydmätning inte går att använda för medelvärdesberäkning, beror helt enkelt på att de olika svaren inte utgörs av tal. Därför kan man inte utföra matematiska beräkningar som om det vore tal. Statistiker talar om olika slags skalor och för var och en av dem finns matematiska regler. Attityder mäts med det som kallas ordinalskala. Det betyder att svaren kan sorteras i en rangordning, men att avståndet mellan dem inte är exakt. Ibland är till och med svaren uttryckta i ord:
– mycket dåligt
– ganska dåligt
– varken bra eller dåligt
– ganska bra
– mycket bra
Skulle ni ge er på att presentera resultaten från en undersökning med dessa svarsalternativ, som ett medelvärde? Till exempel som ”Ganska bra komma fyra?” Troligen inte. Men det är ju faktiskt exakt samma slags svarsalternativ som 1-5, alltså: ”Ange ett svar mellan 1 och 5, där 1= mycket dåligt och 5= mycket bra” Det är fortfarande bara en ordning och inte tal med värden man kan räkna på. ”Ganska bra” är inte dubbelt så mycket som ”Ganska dåligt” bara för att man kallar det ”4” respektive ”2”.
Det här vet alla, verkligen alla, som håller på med statistik. Undersökningsföretagen vet det definitivt. Men så länge företagen betalar för att de ska spela upp charader om ”4,3”, lär de fortsätta.
Men nog säger det i alla fall något? brukar det heta om man tar upp frågan. Och naturligtvis, i en helt banal betydelse är 4,7 mer än 3,6. Vi inser att det är fler som svarat högt om det blir 4,7.
Men det är ett klumpigt och oprecist sätt att komma fram till spridningen bland svaren och hur den har ändrats mellan åren. Det är betydligt bättre att presentera spridningen direkt. ”Så här många svarade 4 eller 5 i år. Förra året var det så här många”
Det är inte bara pur tankeekonomi som ligger bakom min uppmaning att sluta med medelvärden. Det finns en uppenbar risk att man tolkar sifforna alltför exakt när tal är inblandade. Att man talar om skillnaden mellan 3,6 och 3,8 som en faktisk ökning av något. I värsta fall lägger man till och med värdefull tid på att diskutera vad skillnaden kan bero på. ”Jo, men vi har ju haft bättre KAM inom ett av våra områden i år. Det är säkert det som syns här”
Tänk om man istället lagt den tiden på att i förväg diskutera förväntade utfall. Inte i medelvärden utan i något som faktiskt går att mäta. Tror vi att det blir fler som svarar 1 eller 2 i år? Borde vårt ändrade arbetssätt ge utslag redan i år? Hur många extra 4:or och 5:or tror vi att det blir. Sedan jämför man med utfallet och voilà: resultatet mäter något! Vi prövar hypoteser istället för att i efterhand förklara utfall. Men värdet av hypotesprövning är ett ämne jag får återkomma till.