Browse Tag: statistiek

Kleine gemeente, fijne gemeente? Over ‘het gemeenterapport’ van Het Nieuwsblad.

In Het Nieuwsblad vond u de voorbije week ‘Het Gemeenterapport‘. Het is de neerslag van een grootschalige enquête bij 116.000 Vlamingen die peilde naar verschillende lokale thema’s en het nieuwe gemeentebestuur.

Met de bevraging wou men bij Het Nieuwsblad en onderzoeksbureau iVox onder andere weten in welke gemeenten we het liefste wonen. Men deed dit door die 116.000 Vlamingen te laten antwoorden op de vraag ‘Hoe graag woont u in uw gemeente?‘ met een score tussen 0 en 10. Hieronder de resultaten zoals ze gepresenteerd werden door Het Nieuwsblad (eigen reproductie op basis van de beschikbare gegevens):

Men heeft de gemiddelde score voor elke gemeente berekend en op basis van een kleurcode de kaart van Vlaanderen ingekleurd. In de inleiding van het artikel schrijft Het Nieuwsblad:

Inwoners van Linkebeek, Vorselaar en Zutendaal wonen het liefst in hun gemeente. Tienen, Vilvoorde en Zelzate scoren dan weer het slechtst. Dat blijkt uit Het Gemeenterapport van Het Nieuwsblad.
Het Nieuwsblad – 20/01/2014

Maar kunnen we dit nu al besluiten? Deze conclusie is namelijk niet zo vanzelfsprekend als we zouden denken.

Steekproef

Een vragenlijst die werd afgenomen bij meer dan 116.000 Vlamingen lijkt heel erg betrouwbaar te zijn. De steekproef is in elk geval gigantisch groot. En zolang we op basis van die vragenlijst enkel conclusies trekken over ‘dé Vlamingen’ is er ook geen enkel probleem.

Echter, de bedoeling van Het Gemeenterapport is niet om over de Vlaming in het algemeen te rapporteren, maar wel om de resultaten te gaan vergelijken over de verschillende gemeenten heen. En dan is het niet de totale steekproefgrootte die van belang is, maar de steekproefgroottes voor elke gemeente afzonderlijk. Stel dat er slechts 1 inwoner van Linkebeek de enquête heeft ingevuld, maar bijna 7500 van de om en bij 7700 inwoners van Vorselaar reageerden. Beide gemeenten komen als aangenaam uit de bevraging, maar niemand zal eraan twijfelen dat het oordeel over Vorselaar dichter bij de waarheid zal liggen. Wanneer bijna elke inwoner een positief oordeel velt, kunnen we relatief zeker zijn dat het in Vorselaar aangenaam wonen is. Over Linkebeek zijn we daarentegen nog niet veel wijzer, misschien woont onze respondent in een goeie buurt, zijn de politici waarop hij heeft gestemd aan de macht of ligt eender welke subjectieve reden aan de basis van zijn positief oordeel. Misschien wijkt zijn mening af van de meerderheid. We weten het gewoonweg niet, want die is niet bevraagd.

De kern van het probleem zou hiermee duidelijk moeten zijn: de gemiddelde tevredenheidsscores zoals ze op bovenstaand kaartje zijn weergegeven kunnen moeilijk geïnterpreteerd worden zonder informatie over hoe betrouwbaar elke score is.

“Kleine gemeenten probleem”

Een probleem dat hieruit voortvloeit, is dat (in dit geval) gemeenten waar men slechts een kleine steekproef heeft genomen een veel grotere kans hebben om extreme uitkomsten te genereren. Hoe kleiner de steekproef, hoe groter de kans op extremen. Hoe dit meer bepaald in zijn werk kan gaan, kan je nalezen op mijn persoonlijke blog inclusief animatie.

Conclusie

Het kaartje van Het Nieuwsblad geeft te weinig informatie om de analyse ten gronde te kunnen voeren. Linkebeek, Vorselaar en Zutendaal halen inderdaad de hoogste scores, maar het zijn ook stuk voor stuk kleine gemeentes. Zonder extra informatie is het erg moeilijk om in te schatten of deze gemeentes ‘extreem’ scoren wegens bovenstaand steekproefprobleem, omdat we per toeval enkele enthousiaste inwoners te pakken hadden of omdat het daar echt zo fijn wonen is.

Het is des mensen om altijd en overal oorzakelijke verbanden te gaan zoeken/zien bij opmerkelijke waarnemingen. Zeker journalisten, opiniemakers, experten allerhande hebben deze neiging. En dat is een goeie zaak, want het is ook hun taak om dingen in perspectief te plaatsen. Maar het wordt problematisch wanneer men toevallige fluctuaties gaat verklaren.

Een meer formele en uitgebreide bespreking van bovenstaande ideeën kan in de paper ‘Gelman – All maps of parameter estimates are misleading‘ gevonden worden.

Auteur: Dries Benoit

Dries Benoit is professor bedrijfsstatistiek (business analytics) aan de faculteit Economie & Bedrijfskunde van de Universiteit Gent. Hij doceert de vakken ‘Bayesiaanse Statistiek’ en ‘Prijszetting en Omzetbeheer’. Zijn onderzoek situeert zich in het domein van de Bayesiaanse analyse met toepassingen binnen klantenbeheersystemen en prijszetting. Op zijn blog (taptoe.wordpress.com) geeft hij op een toegankelijke manier duiding bij actuele onderwerpen gelinkt aan statistiek of data-analyse.

 

De rol van data en statistiek in HR

Bij Securex is er zeer veel beschrijvende statistiek onder de vorm van KPI’s, short surveys, … Maar vorige dinsdag betrapte ik mezelf erop dat ik de leden van het personeelscomité uitlegde wat multiple regressive-analyse was, toen ik de impact-analyse van onze vitaliteits-enquête uitlegde. En in Frankrijk hadden we het over het concept variantie, en over het verschil tussen causaliteit en correlatie.

Een opmerkelijk resultaat vb. was dat mensen die tijdsregistratie doen, significant minder tevreden zijn over bepaalde dingen, maar nog steeds significant meer tevreden dan de sample van de benchmark. Dat wordt bij ons in die termen uitgelegd. Je zou dan kunnen denken dat de tijdsregistratie zelf verantwoordelijk is voor de lagere tevredenheid, … dus toch covariantie even uitleggen.

Moeder waarom meten wij?

Wij meten vooral om na te gaan of er een evolutie is, of bepaalde interventies effect hebben gehad en om te bepalen op welke domeinen het HR-beleid zich moet focussen. Zo scoren wij niet slecht wat betreft de perceptie van loopbaanmogelijkheden, maar zit daar sedert vier jaar geen evolutie in. Dit resultaat noopt ons er toe om het over een andere boeg te gooien. Anderzijds slagen we erin zeer specifieke acties te doen rond vb. Leadership development, waarvan de resultaten dan weer gemeten worden via onze leadership scan. Ook om na te gaan welke variabelen bepalend zijn voor de loonsevolutie, hebben we statistisch onderzoek verricht.

Big data

Regelmatig komt Securex in de aandacht met zijn white papers. Die baseren zich enerzijds op surveys, maar ook op de analyse van ‘big data’, tienduizenden records die uit onze databases komen. Om beleidsvoorbereidend werk te doen is big data analysis nodig. In een bedrijf is dat misschien minder het geval. Toch is het goed wat verder te gaan dan enkel het beschrijvende.

Weten is meten?

Niet alles wat belangrijk en waardevol is, is meetbaar. Heel wat zaken zijn moeilijk te meten. Perceptie-metingen zijn mogelijk (maar onderhevig aan kritiek), en als het gaat over de impact van interventies (zoals training, change, …) op gedrag en resultaat, dan wordt dat al een beetje moeilijker.

Binnen bedrijven gebeuren heel wat zaken op een intuïtieve manier. De meeste mensen zijn niet statistisch onderlegd. Wijzigingen van parameters na een interventie, worden meestal probleemloos aan die interventie toegeschreven. Elke manager pakt graag uit met meetbare positieve resultaten. De wereld draait nog steeds op ijdelheid. En laat ons niet te kritisch wezen. Bovendien is er ook wel plaats voor intuittie. Gut feeling kan ook nuttig zijn.

Evidence-based

Wat wel zou moeten verheugen, is dat bedrijven zich toenemend laten inspireren door wetenschappelijk onderzoek, ook binnen HR en zeker bij Securex. Evidence-based management is (weer) in opmars. Deze reflex zal de kwaliteit van beslissingen wellicht verbeteren. Bedrijven vinden hun weg naar academia en de superstatistici zoals jij ze noemt kunnen bedrijven helpen met hun inzichten. En voor die collega’s die zich wat in statistisch denken willen verdiepen, kan ik enkel het laatste boek van Kahneman, aanbevelen.

Auteur: David Ducheyne

David Ducheyne is Chief People Officer en General Manager Individuals bij Securex. Bovendien is David voorzitter van de Gentse Alumni Psychologie (GAP), de initiatiefnemers achter de blog Mensenkennis.be.