Browse Author: Dries Benoit

Ruilen we ons geluk in voor kinderen?

We konden het een tijdje terug overal in de media lezen: mensen met kinderen zouden niet gelukkiger zijn dan mensen zonder kinderen.  Op mijn blog http://taptoe.wordpress.com/ besprak ik eerder kritisch deze krantenkop.

De studie waarop onze kranten zich baseerden is een vrij stevige: maar liefst 1,8 miljoen Amerikanen namen eraan deel. Zij moesten antwoorden op de vraag “Hoe gelukkig voelt u zich” op een schaal van 0 tot 10. De onderzoekers konden dan statistisch vaststellen dat er een verschil zat tussen de antwoorden van de groep ‘mensen met kinderen’ en de groep ‘mensen zonder kinderen’. Diegene met kinderen gaven een lagere score en zijn dus minder gelukkig.

En wat weten we daar nu mee?

Wanneer we er de oorspronkelijke studie bijnemen, kunnen we zien wat ‘minder gelukkig zijn’ concreet betekent. Om de participanten te helpen hun geluksniveau vast te pinnen, gebruikten de onderzoekers de Cantril ladder. Deze methode is hieronder geïllustreerd.

Wat de onderzoekers precies hebben ontdekt, is dat er een statistisch significant verschil is tussen het gelukscijfer dat de 2 groepen gaven, zij met kinderen en zonder. De kinderlozen gaven een gemiddelde gelukscore van 6.84, terwijl ouders een gemiddelde gelukscore van 6.82 rapporteerden. Grafisch voorgesteld ziet dit er als volgt uit:

U ziet meteen dat dat geluksverschil niet meteen problematisch is. Je kan het verschil zelfs amper waarnemen op de schaal die werd gebruikt. Dat dit verschil statistisch toch betekenisvol is, komt door de grote steekproef. Wanneer zeer veel mensen systematisch een verschillende waarde aanduiden, ookal verschillen ze miniem, wordt dit wiskundig toch ‘significant’. We moeten ons dan nog steeds afvragen of dit een relevant verschil is. De auteurs zelf vonden overigens van niet!

In de media

De Standaard bekeek deze onderzoeksresultaten vanuit relevant oogpunt. In hun artikel werd de focus vooral gelegd op het feit dat mensen met en zonder kinderen ongeveer even gelukkig zijn. De Morgen daarentegen berichtte de statistisch significante resultaten en beweerde dat mensen met kinderen ongelukkiger zijn. Beiden hebben ze gelijk, maar we doen er dus zeker goed aan de oorspronkelijke studie erbij te nemen en onze eigen interpretatie te maken.

Ook kunnen we nog enkele kritische vragen stellen: misschien verschillen gezinnen met en zonder kinderen ook wel op een ander vlak, en zorgt dát ervoor dat gezinnen met kinderen iets ongelukkiger zijn? Misschien slapen ouders minder dan ze zouden willen, bijvoorbeeld, en zou iedereen even gelukkig zijn mocht daarvoor gecontroleerd worden. Misschien gaan gezinnen zonder kinderen vaker op reis en zouden gezinnen met kinderen even gelukkig zijn mochten ze dit ook doen. Zo zijn er talloze alternatieve verklaringen te bedenken. We kunnen ze op basis van dit onderzoek niet uitsluiten. Is geluk trouwens voor iedereen wel hetzelfde? En heeft een gelukscore van 6 op 10 wel dezelfde betekenis voor iedereen? De wetenschap geeft er ons met verder onderzoek een antwoord op.

Referentie

Auteur: Dries Benoit

Dries Benoit is professor bedrijfsstatistiek (business analytics) aan de faculteit Economie & Bedrijfskunde van de Universiteit Gent. Hij doceert de vakken ‘Bayesiaanse Statistiek’ en ‘Prijszetting en Omzetbeheer’. Zijn onderzoek situeert zich in het domein van de Bayesiaanse analyse met toepassingen binnen klantenbeheersystemen en prijszetting. Op zijn blog (taptoe.wordpress.com) geeft hij op een toegankelijke manier duiding bij actuele onderwerpen gelinkt aan statistiek of data-analyse.

 

Kleine gemeente, fijne gemeente? Over ‘het gemeenterapport’ van Het Nieuwsblad.

In Het Nieuwsblad vond u de voorbije week ‘Het Gemeenterapport‘. Het is de neerslag van een grootschalige enquête bij 116.000 Vlamingen die peilde naar verschillende lokale thema’s en het nieuwe gemeentebestuur.

Met de bevraging wou men bij Het Nieuwsblad en onderzoeksbureau iVox onder andere weten in welke gemeenten we het liefste wonen. Men deed dit door die 116.000 Vlamingen te laten antwoorden op de vraag ‘Hoe graag woont u in uw gemeente?‘ met een score tussen 0 en 10. Hieronder de resultaten zoals ze gepresenteerd werden door Het Nieuwsblad (eigen reproductie op basis van de beschikbare gegevens):

Men heeft de gemiddelde score voor elke gemeente berekend en op basis van een kleurcode de kaart van Vlaanderen ingekleurd. In de inleiding van het artikel schrijft Het Nieuwsblad:

Inwoners van Linkebeek, Vorselaar en Zutendaal wonen het liefst in hun gemeente. Tienen, Vilvoorde en Zelzate scoren dan weer het slechtst. Dat blijkt uit Het Gemeenterapport van Het Nieuwsblad.
Het Nieuwsblad – 20/01/2014

Maar kunnen we dit nu al besluiten? Deze conclusie is namelijk niet zo vanzelfsprekend als we zouden denken.

Steekproef

Een vragenlijst die werd afgenomen bij meer dan 116.000 Vlamingen lijkt heel erg betrouwbaar te zijn. De steekproef is in elk geval gigantisch groot. En zolang we op basis van die vragenlijst enkel conclusies trekken over ‘dé Vlamingen’ is er ook geen enkel probleem.

Echter, de bedoeling van Het Gemeenterapport is niet om over de Vlaming in het algemeen te rapporteren, maar wel om de resultaten te gaan vergelijken over de verschillende gemeenten heen. En dan is het niet de totale steekproefgrootte die van belang is, maar de steekproefgroottes voor elke gemeente afzonderlijk. Stel dat er slechts 1 inwoner van Linkebeek de enquête heeft ingevuld, maar bijna 7500 van de om en bij 7700 inwoners van Vorselaar reageerden. Beide gemeenten komen als aangenaam uit de bevraging, maar niemand zal eraan twijfelen dat het oordeel over Vorselaar dichter bij de waarheid zal liggen. Wanneer bijna elke inwoner een positief oordeel velt, kunnen we relatief zeker zijn dat het in Vorselaar aangenaam wonen is. Over Linkebeek zijn we daarentegen nog niet veel wijzer, misschien woont onze respondent in een goeie buurt, zijn de politici waarop hij heeft gestemd aan de macht of ligt eender welke subjectieve reden aan de basis van zijn positief oordeel. Misschien wijkt zijn mening af van de meerderheid. We weten het gewoonweg niet, want die is niet bevraagd.

De kern van het probleem zou hiermee duidelijk moeten zijn: de gemiddelde tevredenheidsscores zoals ze op bovenstaand kaartje zijn weergegeven kunnen moeilijk geïnterpreteerd worden zonder informatie over hoe betrouwbaar elke score is.

“Kleine gemeenten probleem”

Een probleem dat hieruit voortvloeit, is dat (in dit geval) gemeenten waar men slechts een kleine steekproef heeft genomen een veel grotere kans hebben om extreme uitkomsten te genereren. Hoe kleiner de steekproef, hoe groter de kans op extremen. Hoe dit meer bepaald in zijn werk kan gaan, kan je nalezen op mijn persoonlijke blog inclusief animatie.

Conclusie

Het kaartje van Het Nieuwsblad geeft te weinig informatie om de analyse ten gronde te kunnen voeren. Linkebeek, Vorselaar en Zutendaal halen inderdaad de hoogste scores, maar het zijn ook stuk voor stuk kleine gemeentes. Zonder extra informatie is het erg moeilijk om in te schatten of deze gemeentes ‘extreem’ scoren wegens bovenstaand steekproefprobleem, omdat we per toeval enkele enthousiaste inwoners te pakken hadden of omdat het daar echt zo fijn wonen is.

Het is des mensen om altijd en overal oorzakelijke verbanden te gaan zoeken/zien bij opmerkelijke waarnemingen. Zeker journalisten, opiniemakers, experten allerhande hebben deze neiging. En dat is een goeie zaak, want het is ook hun taak om dingen in perspectief te plaatsen. Maar het wordt problematisch wanneer men toevallige fluctuaties gaat verklaren.

Een meer formele en uitgebreide bespreking van bovenstaande ideeën kan in de paper ‘Gelman – All maps of parameter estimates are misleading‘ gevonden worden.

Auteur: Dries Benoit

Dries Benoit is professor bedrijfsstatistiek (business analytics) aan de faculteit Economie & Bedrijfskunde van de Universiteit Gent. Hij doceert de vakken ‘Bayesiaanse Statistiek’ en ‘Prijszetting en Omzetbeheer’. Zijn onderzoek situeert zich in het domein van de Bayesiaanse analyse met toepassingen binnen klantenbeheersystemen en prijszetting. Op zijn blog (taptoe.wordpress.com) geeft hij op een toegankelijke manier duiding bij actuele onderwerpen gelinkt aan statistiek of data-analyse.