Wat onze ogen horen en onze oren zien

Ooit vroeg een collega, nadat hij het licht in het auditorium had gedimd, aan zijn studenten: “Kunt u mij nog steeds horen?” Het schampere gelach van de toehoorders niettegenstaande, had mijn collega echter wel een punt, zo blijkt uit recent onderzoek op het gebied van de meervoudige zintuiglijke waarneming. Hoewel we traditioneel altijd leren dat we onze ogen gebruiken voor het zien en onze oren om te horen, wordt het langzaam maar zeker steeds duidelijker dat onze individuele zintuigen niet op zichzelf staan, maar dat er een veelvoud van interacties tussen op kunnen treden. In sommige gevallen kunnen deze zelfs tot opvallende illusies leiden.

Buikspreken

De meeste bekende van deze illusies is ongetwijfeld die van de buikspreker. Wanneer je ziet dat de pop van de buikspreker zijn of haar lippen beweegt dan hoor je ook daadwerkelijk de pop spreken en niet de buikspreker. Omdat beeld en geluid een vergelijkbaar patroon bevatten verplaatsen we het geluid als het ware naar de mond van de pop. Hoewel we de buiksprekersillusie feitelijk uit het theater kennen, zien we het effect van deze illusie ook in meer subtiele vormen terugkomen in ons dagelijks leven. Wanneer we bijvoorbeeld een film bekijken dan ervaren we meestal ook dat de stem van de acteur afkomstig is van de plek op het scherm waar we deze persoon zien. In werkelijkheid wordt het geluid echter gegenereerd door luidsprekers die zich niet op deze plek bevinden. De illusie is meestal zo sterk dat we ons niet eens bewust zijn van het feit dat de werkelijke geluidsbron zich ergens anders bevindt. De bewustwording vindt vaak pas plaats wanneer er iets mis is met één van de signalen, bijvoorbeeld wanneer het geluid flink uit de pas loopt met het beeld, zoals bijvoorbeeld het geval is bij een slecht nagesynchroniseerde film op de Duitse televisie.

Liplezen

Zelfs wanneer het beeld en geluid niet met elkaar overeenkomen kan het zijn dat we het niet eens opmerken dat de verschillende zintuigen ons conflicterende informatie verschaffen. Hoewel we liplezen vaak beschouwen als een techniek die door doven en slechthorenden worden gebruikt om spraak te kunnen verstaan blijkt uit onderzoek dat we eigenlijk allemaal profiteren van liplezen. Wanneer het lipbeeld overeenkomt met de spraakklank dan zal spraak over het algemeen beter verstaan worden dan wanneer het lipbeeld afwezig is. Een interessant fenomeen treedt echter op wanneer het lipbeeld en de spraakklanken niet met elkaar overeenkomen. Dit fenomeen werd in 1976 voor het eerst beschreven door de Britse onderzoekers Harry McGurk en John MacDonald. Het bestaat er uit dat wanneer we bijv. de klank “ba” gepresenteerd krijgen, maar we zien iemand een lipbeweging maken die overeenkomt met de klank “ga”we feitelijk een tussenvorm horen; namelijk “da”.

Botsende Ballen

Een nog extremer voorbeeld van hoe beeld en geluid elkaar kunnen beïnvloeden bestaat uit het zogenaamde bots/passeer experiment van Sekuler en collega’s. Deze onderzoekers lieten proefpersonen filmpjes bekijken van twee bollen die naar elkaar toe bewogen en elkaar kruisten. Vaak kunnen we dit beeld op twee mogelijke manieren interpreteren. Ofwel denken we dat de twee bollen door elkaar schuiven en vervolgens gewoon hun weg vervolgen ofwel denken we dat ze op elkaar botsen en vervolgens terugkaatsen. Nu blijkt dat een simpel geluidje, gepresenteerd op het moment dat de bollen elkaar raken, veel meer de indruk wekt dat de ballen botsen dan zonder het geluidje het geval is. Kortom, afhankelijk van het al dan niet horen van een geluid kunnen we exact dezelfde visuele scène op twee verschillende manieren interpreteren.

Aandacht

Hoewel de fenomenen op zich interessant genoeg zijn is het natuurlijk belangrijk de  onderliggende cognitieve mechanismen te kennen. Een groot deel van de vragen hierover is nog onbeantwoord en daarom is er veel onderzoek gaande. Wel is al gebleken dat we baat hebben bij zintuigen die elkaar aanvullen. We moeten dagelijks een enorme hoeveelheid zintuigelijke prikkels verwerken. Wanneer twee of meer zintuigen een prikkel van het zelfde object ontvangen dan kan dit ons helpen dit object beter te verwerken en zullen we daar automatisch meer aandacht aan schenken.

Inbeelding

Maar, het lijkt er op dat we zelf ook invloed kunnen uitoefenen op onze waarneming en de mate waarin we informatie van onze zintuigen combineren. Zelf heb ik dat onderzocht door proefpersonen verschillende combinaties van beeld en geluid aan te bieden en ze te vragen specifieke combinaties aandachtig waar te nemen en andere te negeren. EEG metingen lieten zien dat combinaties waar wel aandacht aan werd geschonken sterker aan elkaar gekoppeld werden dan  de combinaties die genegeerd werden. Het kan echter nog verder gaan. Recentelijk lieten de Zweedse onderzoekers Christopher Berger en Henrik Ehrson zien dat je de hierboven beschreven illusies ook kunt vinden wanneer proefpersonen zich bepaalde geluiden inbeelden. Zo herhaalden ze het bots/passeer experiment, maar in plaats van zelf een geluid aan te bieden vroegen ze hun proefpersonen het zich in te beelden. Ook nu vond er een toename plaats van het aantal botsingen wat werd gerapporteerd. Bij een versie van het buiksprekerseffect en bij het lipleesexperiment werd ook gevonden dat het inbeelden van een lipbeeld een invloed kan hebben op de waarneming van zowel de locatie als de klank van het geluid.

Conclusie

We kennen tegenwoordig een veelheid van manieren waarop beeld en geluid elkaar kunnen beïnvloedden. In de meeste gevallen zullen de zintuigen elkaar aanvullen en elkaars functie verbeteren. Afhankelijk van de aard van de interactie tussen de zintuigen kan echter onze interpretatie van een scène totaal veranderen. Kan geluid ons dus helpen om beter te zien? Meestal wel, maar het kan onze waarneming ook verstoren.

Referenties

  • Berger and Ehrsson, Mental Imagery Changes Multisensory Perception, Current Biology (2013), http://dx.doi.org/10.1016/j.cub.2013.06.012
  • Connor,S.(2000) Dumbstruck:A cultural history of Ventriloquism, Oxford UniversityPress
  • McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588), 746-748.
  • Sekuler, R., Sekuler, A.B., and Lau, R. (1997). Sound alters visual motion perception. Nature 385, 308.
  • Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The Multifaceted interplay between attention and multisensory integration. Trends in Cognitive Sciences, 14, 400-410.

Auteur

Durk Talsma is docent Geheugen & Cognitie bij de vakgroep experimentele psychologie. Hij is vooral geïnteresseerd in de wisselwerking tussen hogere cognitieve processen, zoals aandacht, inbeelding en geheugen op de perceptie. Met name de wisselwerking tussen de verschillende zintuigen (gehoor, gezicht, gevoel) staat hierbij centraal. Hij ontving zijn doctoraat in de psychofysiologie in 2001 van de Universiteit van Amsterdam en is met name gespecialiseerd in het gebruik van EEG en in iets mindere mate MRI gebaseerde meettechnieken.