Browse Author: Maarten De Schryver

Maarten De Schryver, bedrijfspsycholoog van opleiding, is wetenschappelijk medewerker bij het Learning and Implicit Processes Lab van de Universiteit Gent. Daarnaast geeft hij als consultant methodologisch en data-analytisch advies aan zowel profit als non-profit organisaties. Als vrijwilliger geeft hij statistische ondersteuning voor het Centre for Children in Vulnerable Situations.

Wanneer druk jij op de ‘Golden Buzzer’? Gebruik de 37% regel

Dansformatie C-Fam laat de hele zaal ontploffen tijdens hun auditie voor het VTM programma “Belgium Got Talent’. Iedereen geniet van begin tot eind van hun geweldige act. “De toekomstige winnaar”, laat jurylid Dan Karaty (terecht) optekenen. Trouwe kijkers verwachten een “Golden Buzzer”, een druk op de knop dat de kandidaat een rechtstreeks ticket geeft voor de live-opnames (elk jurylid mag zo eenmaal drukken). Helaas. Geen Golden Buzzer voor C-Fam. Dan Karaty, de dansexpert onder de juryleden, had z’n Golden Buzzer reeds opgebruikt. Enkele kandidaten voorheen was Karaty al onder de indruk van die andere dansgroep “The Movement Theory”, dat hij dacht dat z’n ‘favoriet’ reeds gekend was. Te vroeg, zo blijkt nu. Met spijt tot gevolg.

Hoogst waarschijnlijk heeft u ook al kunnen ervaren dat u wel eens te vroeg beslist hebt: iemand kwam met een hoger bod nadat u al een eerder bod had geaccepteerd. Het restaurantje verder in de straat blijkt nog gezelliger en lekkerder te zijn dan het restaurant van uw keuze. En hoe weet u nu dat uw partner de ware is – was hij of zij wel uw “Golden Buzzer” waard”?

De Golden Buzzer is een mooi voorbeeld van een bestudeerd vraagstuk binnen de ‘Optimaal Stoppen’-Theorie en is gekend onder het “Secretaresseprobleem” (Ferguson, 1989). De vraag hier luidt als volgt: een vacature voor secretaresse dient ingevuld te worden, het aantal mogelijke kandidaten is gekend, maar na elke sollicitatie moet onmiddellijk beslist worden of de kandidaat de job krijgt. Hoe maximaliseer je als werkgever nu de kans om de beste secretaresse te selecteren?

Statistici kennen het antwoord: gebruik de 37% regel (of nog, de 1/e- regel, met e het grondtal van de natuurlijke logaritme). Verken (een eufemisme voor ‘wijs af’) de eerste 37% van de kandidaten en geef de eerstvolgende betere kandidaat de job. Of er nu honderd of duizend kandidaten de revue passeren – de 37% regel blijkt steeds de beste strategie te zijn. Pas hem toe, en de beste kandidaat wordt er maximaal uitgehaald. Wilt u nog snel uw droomhuis kopen om te profiteren van de woonbonus, en u kan nog gedurende een maand elke dag een huis bekijken? Beslis pas vanaf de twaalfde dag. Pas de regel toe, en u maximaliseert de kans om het beste bod te krijgen, het beste restaurant te kiezen of om zelf uw droompartner te vinden.

In theorie moeten we dus de eerste 37% mogelijke kandidaten afwijzen. In theorie. Uit onderzoek blijkt immers dat we reeds sneller beslissen (zie bijvoorbeeld Bearden, Murphy, & Rapoport, 2005; Bearden, Rapoport & Murph, 2006). Volgens Baerden en collega’s overschatten we de kwaliteit van wie of wat eerst komt en letten we minder op de kwaliteit van wie of wat nog moet volgen. Dit in combinatie met de extra inspanning die we moeten leveren om nog meer kandidaten te overwegen en te evalueren verklaren deels onze bias om te vroeg op onze Golden Buzzer te duwen.

Referenties

Bearden, J. N., Rapoport, A., & Murphy, R. O. (2006). Sequential observation and selection with rank-dependent payoffs: An experimental study. Management Science, 52(9), 1437-1449.

Dan Karaty die zo’n 100-tal kandidaten mag verwachten tijdens de audities van Belgium Got Talent, wacht dus volgend seizoen beter tot na de 37ste kandidaat om zijn Golden Buzzer te gebruiken. Pech voor die kandidaten die in de eerste drie/vier afleveringen geloot werden – maar succes gegarandeerd om zijn favoriete kandidaat in de liveshow terug te zien.

Bearden, J. N., Murphy, R. O., & Rapoport, A. (2005). A multi-attribute extension of the secretary problem: Theory and experiments. Journal of Mathematical Psychology, 49(5), 410-422.

Christian, Brian, and Tom Griffiths. Algorithms to Live By: The Computer Science of Human Decisions. Macmillan, 2016.

Ferguson, T. S. (1989). Who solved the secretary problem?. Statistical science, 4(3), 282-289.

 

KAA Gent en het belang van het collectief.

Weg titel. Weg Champions League. KAA Gent beleeft momenteel niet zijn beste weken. Pech blijft bovendien de club achtervolgen: Kums zijn seizoen zit er mogelijks op en het is dus niet onwaarschijnlijk dat KAA Gent zonder zijn sterspeler voor plaats drie zal moeten strijden. Vanuit de wetenschap kunnen we echter een gouden tip geven aan KAA Gent: voetbal als een collectief – met een ploeg die niet afhankelijk is van vedette(s).

Continue Reading

 

Na het ontslag van een trainer komt het schokeffect… of toch niet?

Nu ook John Van den Brom de laan werd uitgestuurd, is de Jupiler Pro League aan zijn achtste trainerswissel toe. Niet uitzonderlijk, zo kopte sporza.be deze week nog, elk seizoen worden immers zo een 5 tot 11 trainers bedankt voor hun diensten en krijgen evenveel trainers de voor hen dankbare opdracht om de ontspoorde ploeg terug op de rails te zetten. Deze ingreep moet zorgen voor het in de media vaak geschreven en gehoorde ‘schokeffect’: de trainerswissel moet en zal het tij tijdig doen keren. Maar zorgt het ontslag van een trainer daadwerkelijk voor een schokeffect?

Theorieën over trainerswissel

In de wetenschappelijke literatuur kan men enkele theorieën terugvinden over ‘managerial turnover’. Volgens de ‘common sense’ theorie is de trainer verantwoordelijk voor de matige prestaties  van zijn team.  Het aanstellen van een nieuwe trainer zal er toe leiden dat foute keuzes en verkeerde tactieken geidentificeerd en hersteld worden door de nieuw aangestelde trainer. Deze  aanpak zal de club er bovenop helpen met onmiddellijk resultaat. De ‘vicious circle’ theorie stelt dat een slecht presterend team een trainerswissel uitlokt. Het ontslaan van de trainer ontwricht het team echter verder en de gehoopte positieve resultaten blijven uit. Ten slotte is er de theorie van ‘ritual scapegoating’. Volgens deze theorie hangt de prestatie van een team in grote mate af van de kwaliteit van de spelers. Een nieuwe trainer die met dezelfde kern moet werken, zal dus niet voor het verschil kunnen zorgen. De trainer wordt opgeofferd om tegemoet te komen aan de verlangens van supporters, directie, media of sponsors.

Trainerswissels in de Premier en Football League

Audas, Dobson en Goddard analyseerden in 2002 gegevens van alle Premier en Football League (de Engelse eerste klasse tot en met de vierde klasse) wedstrijden over 28 seizoenen, lopende van 1972 tot 2000. In hun analyse hielden ze naast een trainerswissel ook rekening met mogelijke covariaten of factoren die een impact kunnen hebben op de resultaten: speelt het team een thuiswedstrijd of speelt het op verplaatsing, wat is het belang van de wedstrijd (bv. kan de club promoveren/degraderen), zit het team nog in de FA cup of niet*, wat is de gemiddelde winratio van het team/tegenstander over een langere periode, enz. De onderzoekers vonden evidentie voor de vicieuze cirkel theorie: gemiddeld presteren teams na het ontslag van hun trainer zwakker voor de resterende matchen van het seizoen. Waar de geschatte kans – over alle andere factoren gemiddeld – nog 46% was om thuis te winnen, daalt deze kans naar 43% – niet veel, wel significant. Na enkele matchen herstelt dit effect zich en wordt de kans op een thuisoverwinning gelijk aan de overwinningskans van andere teams die geen trainerswissel doorvoerden.

*Het ‘antwoord’ van een team na een bekeruitschakeling blijkt gemiddeld genomen een negatief antwoord: ook hier daalt de verwachte overwinningskans.

Trainerswissels in de Eredivisie

Bruinshoofd en ter Weel rapporteerden in 2003 de resultaten van een studie over het effect van trainerswissels in de Nederlandse Eredivisie tussen 1988 en 2000. Deze onderzoekers onderzochten het effect door de prestaties van het team over vier matchen voor de wissel te vergelijken met de prestaties in evenveel matchen na de wissel. Daarnaast vergeleken ze de geobserveerde effecten met ploegen die zich in een gelijkaardige situatie bevonden, maar besloten hun trainer niet te ontslaan (de controleconditie). Resultaten wijzen erop dat een trainerswissel wel een effect heeft en het team gemiddeld iets beter presteert na de wissel. Echter, dit effect blijkt niet veroorzaakt te worden door de trainerswissel: een gelijkaardig effect vonden ze terug in de controleconditie. Sterker, voor clubs die het vertrouwen hielden in hun trainer, was de prestatie beter dan ploegen met een nieuwe trainer.

Trainerswissels in de Primera Division

Een derde onderzoek nuanceert de negatieve effecten van een trainerswissel. de Dios Tena en Forrest onderzochten de impact van trainerswissels in de Spaanse competitie en dat over drie seizoenen (van 2002 tot 2005). Hoewel vorig onderzoek evidentie vond voor de vicieuze cirkel theorie, blijkt er in deze studie eerder evidentie te zijn voor de zondebok theorie. Ondanks dat de resultaten in uitwedstrijden niet verbeteren, presteert het team met een andere trainer gemiddeld genomen iets beter voor thuiswedstrijden. Maar ook hier is de conclusie dat het effect van een nieuwe trainer op de prestatie eerder beperkt is. De auteurs stellen de hypothese voorop dat het vooral de supporters zijn die voor de ommekeer zorgen: doordat een ploeg maatregelen genomen heeft na een slechte periode, zullen supporters met meer enthousiasme hun team steunen – als deze achter de beslissing van het bestuur staan.

Conclusie

Wetenschappelijk onderzoek toont aan dat het gehoopte schokeffect van een trainerswissel eerder mythe dan feit is. Gemiddeld genomen zullen de winstkansen na een trainerswissel niet toenemen.

Het ontslaan van de trainer blijft dan ook een ‘gok’: soms win je, soms verlies je, en soms speel je gelijk.

Luisteren naar de supporters kan alleszins helpen om de neerwaartse spiraal te doorbreken. Het was alvast een terechte keuze van nieuwbakken coach Riga om de supporters van Charlton uitgebreid te bedanken voor het behalen van zijn eerste punt.

Referenties

  • Audas, R. Dobson, S. & Goddard, J. (2002). The impact of managerial change on team performance in professional sports. Journal of Economics and Business, 54, 633-650.
  • Bruinshoofd, A., & ter Weel B. (2003). Manager to go? Performance dips reconsidered with evidence from Dutch football. European Journal of Operational Research, 148, 233-246.
  • de Dios Tena, J., & Forrest, D. (2007). Within-season dismissal of football coaches: Statistical analysis of causes and consequences.  European Journal of Operational Research, 181, 362-373.

Auteur: Maarten De Schryver

Maarten De Schryver, bedrijfspsycholoog van opleiding, is wetenschappelijk medewerker bij hetLearning and Implicit Processes Lab van de Universiteit Gent. Daarnaast geeft hij als consultant methodologisch en data-analytisch advies aan zowel profit als non-profit organisaties. Als vrijwilliger geeft hij statistische ondersteuning voor het Centre for Children in Vulnerable Situations.

 

Over correlatie en causaliteit

Hoe vruchtbaarder de periode, hoe meer fooi

Snel even grasduinen door mensenkennis.be en je merkt op dat wetenschappelijke kennis vaak gaat over hoe (sterk) variabelen samenhangen: ‘Wie werkloos is, voelt zich doorgaans minder gelukkig’. ‘Wanneer kinderen ouder worden krijgen ze een meer gedifferentieerd en accurater beeld over zichzelf’. ‘Studenten die verwachten om snel hun punten te krijgen na een examen doen het beter’. De meeste relaties worden heel voorzichtig gesteld: er is een samenhang tussen X en Y, of nog, er is een zekere correlatie tussen X en Y. Andere relaties lijken echter -indirect- te zeggen: X veroorzaakt Y.  Echte causale uitspraken lijken eerder zeldzaam… . In deze blogpost gaan we dieper in op correlatie en causaliteit.

Hoe meer correlatie, hoe minder causaliteit

Hij heeft het niet uitgedacht, maar Karl Pearson was de eerste die het concept ‘correlatie’ wiskundig introduceerde. Pearson overtuigde de wetenschap dat hoe sterker twee variabelen correleren hoe nauwkeuriger we de score op Y kunnen voorspellen met een score op X. Dit, zo schrijf hij in ‘The Grammar of Science’, is de transitie van correlatie naar causaliteit*. Pearson had gelijk: sinds zijn bijdrage in 1911, verdrong de correlatie de causaliteit. De frequentie van het voorkomen van beide woorden sinds 1800 in Google Books werd onlangs in Slate magazine met onderstaande grafiek mooi geïllustreerd.

* In een voetnoot waarschuwde Pearson dat correlatie niet noodzakelijk causaliteit impliceert en verwees hij naar spurieuze verbanden: X en Y kunnen correleren omdat ze bijvoorbeeld afhangen van Z.

Hoe exotischer de correlatie, hoe meer “Ja, maar…”

Naarmate meer correlaties werden gevonden, steeg ook de creativiteit van wetenschappers: hoe meer brandweerlui werden ingezet, hoe groter de schade bleek. Welgekend is de sterke samenhang tussen het aantal verkochte ijsjes en het aantal verdrinkingen aan zee en productiviteit hangt samen met het aantal omwentelingen een werknemer maakt met zijn bureaustoel. Onlangs toonde Dr. Messerli overtuigend aan dat veel chocolade eten je kansen op een nobelprijs vergroot en recent nog werd aangetoond – door de kranten toch – dat muziekvoorkeur crimineel gedrag voorspelt. Ja, maar… correlatie is geen causaliteit. Voorzichtigheid alom.

Waar rook is, is vuur

Jarenlang trachtte de rooklobby de onderzoeksresultaten van Hill en Doll – dat de samenhang tussen roken en longkanker aantoonde – onderuit te halen met die andere dooddoener: ‘Correlatie impliceert geen causaliteit.’ En inderdaad, niet alle rokers krijgen longkanker, en sommige niet-rokers krijgen ook longkanker. Dat de grote statisticus Fisher fijntjes opmerkte dat inhalerende rokers minder kans hadden op longkanker dan niet-inhalerende rokers, maakte het voor de onderzoekers er niet makkelijker op. Cornfield zag dan weer een sterke correlatie tussen het aantal gram gerookte tabak en het aantal argumenten dat gevonden werd om dit onderzoek te laten wankelen, en toonde later op overtuigende wijze het causale effect van roken op longkanker aan.

Verstokte rokers hopen er misschien nog op dat men binnenkort een gen zal ontdekken dat zowel een impact heeft op het rookgedrag en het krijgen van longkanker.

Criteria voor causaliteit?

Sir Austin Hill, een leerling van Pearson, stelde volgende criteria voor om causale relaties te ontdekken. Hoe meer criteria voldoen, hoe groter de waarschijnlijkheid.

  1. Sterkte: Hoe sterker de samenhang, hoe waarschijnlijker causaliteit.
  2. Consistentie: Consistente bevindingen door anderen in een andere context.
  3. Specificiteit: Hoe specifieker de relatie is tussen twee variabelen, hoe waarschijnlijker causaliteit.
  4. Tijdsrelatie: Het effect dient na de oorzaak te komen.
  5. Biologische gradiënt: Hoe groter de blootstelling, hoe groter het effect.
  6. Plausibiliteit: De relatie oorzaak/effect moet plausibel zijn.
  7. Coherentie: De relatie oorzaak/effect is in samenhang met andere kennis over de variabelen.
  8. Experimentele evidentie: Het wegnemen van de oorzaak vermindert het effect.
  9. Analogie: Een gelijkaardige associatie bestaat reeds.

Referenties

  • Engber, D. (2012, Oct, 2). The Internet Blowhard’s Favorite Phrase. Why do people love to say that correlation does not imply causation? From http://www.slate.com/
  • Salsburg, D. (2001). The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. New York, Henry Holt and Company, LLC.
  • Hill A.B. (1965). The environment and disease: association or causation? Proceedings of the Royal Society of Medicine, 58, p. 295-300.

Auteur: Maarten De Schryver

Maarten De Schryver, bedrijfspsycholoog van opleiding, is wetenschappelijk medewerker bij het Learning and Implicit Processes Lab van de Universiteit Gent. Daarnaast geeft hij als consultant methodologisch en data-analytisch advies aan zowel profit als non-profit organisaties. Als vrijwilliger geeft hij statistische ondersteuning voor het Centre for Children in Vulnerable Situations.