COGNITIE & COMMUNICATIE
College week 2, 17/09/2014
Perceptie & Aandacht
1
Informatiekunde Universiteit Utrecht Joske Houtkamp
ONDERWERPEN Perceptie • • • •
Gewaarwording (sensatie) Waarneming (perceptie) Theorieën over visuele perceptie (o.a. patroonherkenning) (Face perception & speech perception zelf bestuderen)
Aandacht Top-down vs Bottom-up processing Aandacht: Selectieve aandacht, verdeelde aandacht Theorieën over aandacht Saccades, Eye tracking (Consciousness, facultatief)
2
• • • • •
LITERATUUR Literatuur bij dit college: Matlin, M.W. Cognitive Psychology (2014, 8th edition; eventueel 7th edition)
• Chapter 2 Recognizing Visual and Auditory Stimuli • Chapter 3 Paying Attention (behalve sectie
3
Consciousness)
HOE NEMEN MENSEN WAAR? 1.
Gewaarwording (sensation)
Het proces waarmee de zintuigen informatie verzamelen en via neuronale signalen naar de hersenen zenden.
•
Distale stimulus (prikkel): bijv. voorwerp in buitenwereld
•
Proximale stimulus: de informatie die op de receptoren (bijv. visuele receptoren) is ontvangen, bijv. het beeld van het voorwerp op de retina.
2.
Waarneming (perception)
4
Interpretatie van gewaarwordingen (bijv. Illusies)
GEWAARWORDING
Sebastian Stosskopf
5
zien horen voelen ruiken proeven
ZIEN (1)
6
Wij ‘zien’ iets als electromagnetische golven/photons van 400 tot 700 nm (tussen 1014 en 1015 Hz) het oog bereiken – maar een heel klein stukje van het electromagnetische spectrum
ZIEN (2)
Veel dieren, met name insecten en vogels, kunnen in het ultraviolette spectrum waarnemen (10-400nm).
http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/
https://bybio.wordpress.com/tag/uv-receptors/
http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/
7
Andere dieren (o.a. bepaalde slangen, vleermuizen, kevers), kunnen warmte (infrarood) waarnemen met systemen die overeenkomsten vertonen met het visueel systeem.
ZIEN (3)
http://veterinaryvision.com/resources/ what-do-dogs-and-cats-see/
http://www.lovingpawsllc.com/Articles/2 8/Mythbusting_Dog_Color_Vision.aspx
8
http://fayeflamwriter.com/how-dogs-see-theworld-the-evolutionary-story-of-color-vision/
HOREN (1) Wij ‘horen’:
• als mechanische golven van 20– 20.000 Hz. (frequentie), onstaan door het trillen van objecten, het oor bereiken.
https://familynow.com/sun/the-two-main-types-of-audible-alarms/
9
• Daaronder: infrageluid. Daarboven: ultrageluid.
http://www.cochlea.org/en/hear/frequency-hearing-range-in-man-and-some-common-animal-species
10
HOREN (2)
11
HOREN (3)
VOELEN, RUIKEN, PROEVEN wij ‘voelen’ • ‘druk’ , ‘temperatuur’, ‘pijn’ • Deze drie benutten afzonderlijke sensoren, paden naar hersenen, en hersenverwerkingsgebieden
wij ‘ruiken’ • bepaalde vluchtige moleculen, oplosbaar in vet • We kunnen ongeveer 10.000 verschillende geuren onderscheiden met voor elke geur een specifieke receptor
12
wij ‘proeven’ • bepaalde moleculen, oplosbaar in speeksel (saliva) • Ook voor deze moleculen bestaat voor elke combinatie een specifieke receptor
GEWAARWORDING
13
Eigenlijk is er erg veel dat we NIET gewaar worden.
KIJK ENKELE SECONDEN NAAR DE AFBEELDING
Wat was er te zien?
Bev Doolittle
16
THE FOREST HAS EYES
VAN GEWAARWORDING NAAR WAARNEMING Waarneming: Interpretatie (bos, man op paard, riviertje)
Gewaarwording: neuronale informatie naar hersenen (beeld op retina naar hersenen)
Waarneming: Interpretatie wordt complexer (gezichten in de rotsen en in de bomen, man op paard is cowboy, gezichten zijn indianengezichten)
http://www.tru-access.com/tru-access-blog/diversity_inclusion_from_perception_to_reality
18
WAARNEMING
WAARNEMING/PERCEPTIE Perceptie is de interpretatie van wat we gewaar worden door onze zintuigen. De manier waarop we dat doen maakt ons anders dan dieren en verschillend van elkaar.
19
Er bestaan vele theorieën over hoe wat we gewaar worden wordt georganiseerd en geinterpreteerd, en dus over hoe wij begrijpen wat we zien, horen, aanraken, proeven en ruiken.
OEFENING Beschrijf in ten hoogste één, zo kort mogelijke zin (<20 woorden), het meest in het oog springende van wat je zo dadelijk ziet.
20
‘Ik zie …’
Kees van Overveld
-21-
MOGELIJKE ANTWOORDEN 1. 2. 3. 4. 5. 6. 7. 8. 9.
Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm Ik zie een verdeling van lichte tinten in het midden, bruinachtige naar de randen Al deze antwoorden zijn Ik zie overwegend gladde kleurverdelingen, mogelijke interpretaties van wat maar in het waarnaar je kijkt midden korrelighet enisaan de rand vlekkerig Ik zie een paar lichte, afgeronde, symmetrische 2D vormen in het midden en een afgeronde driehoek linksonder Ik zie een ruwweg bolronde vorm in het midden en een paar afgeplatte liggende 3D vormen daaronder Ik zie een kopje cappuccino en een krant Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen Ik zie het zorgeloze begin van een veelbelovende vakantiedag in Italië ….. Bron van dit voorbeeld: Kees van Overveld ‘Van Licht tot Zicht ‘
EEN BEELD Wij zijn geneigd wat we zien te beschrijven als (een reeks) objecten
Maar er zijn veel niveaus van beschrijving
23
• Fysisch niveau: licht(val), kleuren, textuur, … • Niveau van de vormen: 2D en 3D vormen, eigenschappen van vormen, … • Niveau van objecten: objecten, eigenschappen, relaties, … • Betekenisniveau: boodschap, gevoelswaarde, …
LICHT BETEKENIS Hoe halen we objecten uit elkaar in een binnenkomend beeld?
24
Perceptuele organisatie: de manier waarop het ‘probleem’ stimulus wordt ‘opgelost’ in onze hersenen.
GESTALT-PSYCHOLOGIE De Gestalt psychologie geeft inzicht in hoe we visuele stimuli waarnemen. Gestalt staat voor "een totaalbeeld", waarbij het geheel méér is dan de som van de samenstellende delen. • de mens ervaart meer dan de som van de afzonderlijke zintuiglijke prikkels.
25
• de mens heeft de neiging om actief te organiseren wat zij/hij ziet en neemt de wereld waar in ‘gehelen’ en patronen.
26
GESTALT PRINCIPES
BASISPRINCIPES GESTALTSBENADERING De constructie van een totaalbeeld vindt plaats voor de waarneming van de onderdelen, en is automatisch. Wij nemen gehelen waar Het geheel is meer dan de som der delen Het geheel bepaalt de betekenis van het deel Het deel bepaalt de betekenis van het geheel Wij nemen steeds een figuur tegen de achtergrond waar.
27
• • • • •
28
FIGUUR EN ACHTERGROND
29
AMBIGUOUS FIGURE-GROUND RELATIONSHIP
GESTALT WETTEN Law of Pragnanz
30
De wet van pregnantie (Prägnanz): waarneming is er op gericht te zoeken naar een combinatie van eenvoud en essentie
GESTALT WETTEN Law of proximity
31
De wet van nabijheid: elementen die dicht bij elkaar liggen, worden waargenomen als bij elkaar horend.
GESTALT WETTEN Law of similarity
32
De wet van gelijkheid: bij het voorkomen van twee soorten elementen, worden de elementen opgedeeld in twee afzonderlijke samenhangende gehelen. Hierdoor kan het lijken alsof de ene groep elementen zich op de voorgrond bevindt en de andere op de achtergrond.
GESTALT WETTEN Law of continuity
33
De wet van goede voortzetting: er wordt een organiserend principe, zoals bijvoorbeeld bewegingsrichting, gezocht achter de elementen.
GESTALT WETTEN Law of closure
34
De wet van geslotenheid: neiging om één geheel waar te nemen, in plaats van afzonderlijke elementen.
PECEPTIE: ILLUSIES 35
Escher in Het Paleis
HOE BETROUWBAAR IS ONZE WAARNEMING?
Welk vlak is donkerder? A of B?
HOE BETROUWBAAR IS ONZE WAARNEMING?
ILLUSIES Welke lijn is langer? Müller-Lyer illusion
39
AMBIGUE AFBEELDINGEN
LEANING TOWER ILLUSION
Twin Towers van Pisa Ponzo illusie
Het brein corrigeert
40
MCGURK EFFECT
41
https://www.youtube.com/watch?v=G-lN8vWm3m0
THEORIES OF VISUAL OBJECT RECOGNITION
42
Template matching, Feature analysis, Recognition-by-components
CAPTCHA
43
Completely Automated Public Turing-test to tell Computers and Humans Apart
VISUELE OBJECTHERKENNING (1A)
Template-matching model
44
• Een heel inkomend patroon wordt gematched op gelijkenis met een heel opgeslagen (stored) patroon
VISUELE OBJECTHERKENNING (1B)
45
Template-matching model
VISUELE OBJECTHERKENNING
(2)
Feature analysis theories - bepaalde kenmerkende stukjes van een patroon vergeleken met opgeslagen stukjes - match kenmerken - match relatie tussen kenmerken
46
- selecteer match met hoogste activatie Welke “feature demons” reageren op de R?
FEATURE ANALYSIS THEORY Eleanor Gibson's research Benodigde tijd om te bepalen of letters verschillen hoger als letters veel dezelfde kenmerken hebben Model voor herkennen van letters en cijfers op enveloppen Hubel and Wiesel's research Respons van enkel neuron op eenvoudige visuele stimulus Afhankelijk van plaats op de retina and orientatie Dus: (Aangeboren) feature detectors helpen ons bepaalde kenmerken van letters en eenvoudige patronen te herkennen. http://www.ftpress.com/articles/article.aspx?p=1431818
47
http://www.cns.nyu.edu/~david/courses/perception/lecturenotes/recognition/recognition.html
48
VISUELE OBJECT HERKENNING
THEORIEËN VAN VISUELE OBJECTHERKENNING Biederman (1990 / 1995): recognition-bycomponents theory: • Een speciale view van een object is een samenstelling van eenvoudige 3-D vormen; geons • 36 categories of geons • We herkennen objecten door een specifieke combinatie van geons.
49
Is in feite een feature-analysis theorie!! Wordt ondersteund door fMRI onderzoek.
VISUAL OBJECT RECOGNITION Aanpassingen aan The Recognition-by-Components Theory: viewer centered approach •
•
Een standaard gezichtspunt leidt tot snellere herkenning dan een ongebruikelijk gezichtspunt Verschillende views op objecten opgeslagen, niet een enkel gezichtspunt
50
Zowel feature-analysis theory als de recognition-bycomponents theory kunnen een deel van de menselijke vaardigheden in objectherkenning verklaren …
OBJECT HERKENNING: CONTEXT Tot nu geïsoleerde objecten
51
Hoe helpen context, kennis en verwachting herkenning?
Bottom-up processing
Top-down processing
Kenmerken van de stimulus zijn belangrijk voor het herkennen van een object.
Concepten, verwachtingen en geheugen helpen herkenning. Sterk bij: -
Zeer korte waarneming
-
Incomplete of ambigue stimulus 52
BOTTOM-UP VERSUS TOP-DOWN PROCESSING
TOP DOWNPROCESSING: LEZEN Wat zegt het volgende over hoe we tekst herkennen?
53
Cognitie & Informatieverwerking 2008
OVERACTIEVE TOP-DOWN PROCESSING Smart mistakes: strategie van topdown processing overheerst Change blindness (verandering wordt niet opgemerkt)
Inattentional blindness (een nieuw object wordt niet opgemerkt). Vooral als de taak cognitieve inspanning vraagt Change blindness http://www.youtube.com/watch?featur e=player_embedded&v=FWSxSQssp iQ
http://www.theinvisiblegorilla.com/videos.html
54
55
Kies 1 kaart
Ik heb jouw kaart verwijderd!!!
57
VERANDERINGSBLINDHEID (1)
58
VERANDERINGSBLINDHEID (2)
59
AANDACHT
WAT IS “AANDACHT” / ATTENTION? Onze cognitieve processen kunnen niet op alles tegelijk letten. Matlin (2010): “Attention is a concentration of mental activity that allows you to take in a limited portion of the vast stream of information available from both your sensory world and your memory.”
Top-down en bottom-up processing:
60
bewust concentreren – aandacht wordt getrokken door stimulus in de omgeving.
BOTTOM-UP VERSUS TOP-DOWN
niet hier!!
niet hier!! Kijk hier
niet hier!!
61
Aandacht kan bottomup getrokken worden
BOTTOM-UP VERSUS TOP-DOWN Bottom-up: data driven (guided by sensory features)
62
Top-down: concept driven
ATTENTION PROCESSES DIVIDED ATTENTION Divided-attention task (verdeelde aandacht) • • •
Proberen aandacht te besteden aan twee of meer tegelijk binnenkomende boodschappen Juist reageren op de boodschappen Gevolg: langzamer en meer fouten
•
Proberen twee of meer taken tegelijk te doen
•
Zware belasting voor aandacht, werkgeheugen en langetermijngeheugen
•
Task switching is net als multitasking belastend en leidt tot vertraging en fouten
63
Multitasking
http://infographics.idlelist.com/the-perils-of-multitasking/
64
KLOPT DIT ?
DIVIDED ATTENTION Veel onderzoek naar gebruik mobiele telefoon Bijvoorbeeld studies naar autorijden
65
• Collet et al. (2011) • Mobiele telefoongebruik tijdens rijden in een simulator • Reactietijden tijdens rijden 20% langzamer dan zonder de mobiele telefoon • Strayer et al. (2003) • hands-free bellen • langzamer met remmen • inattentional blindness • passagiers die bellen leiden ook af (gesprek proberen te volgen)
VOORBEELDEN Aandacht voor mobiele telefoon
http://www.youtube.com/watch?v=R8-W6o8Eu7c
http://www.youtube.com/watch?v=Z8-Kcg11YcY
Appen in de auto
66
http://www.youtube.com/watch?v=HbjSWDwJILs&list=PLm8ucpV zZ-bF23tP5fV8Fh_x-R794o4O3
ATTENTION PROCESSES SELECTIVE ATTENTION Selective Attention (selectieve aandacht)
67
Bij een divided attention task moet een individu evenveel aandacht besteden aan twee of meer taken. Bij een selective attention task juist aandacht voor bepaalde informatie en andere negeren. Maakt het dagelijks leven eenvoudiger. We filteren onbelangrijke informatie en taken uit.
SELECTIVE ATTENTION TASKS Dichotic listening (=beide oren) The Stroop Effect/Task Visual search Saccadic eye movements during reading
68
• • • •
SELECTIVE ATTENTION TASK Dichotic Listening Via koptelefoon worden twee verschillende teksten voorgelezen (1 links, 1 rechts). Opdracht: volg een van de teksten en herhaal deze hardop
69
Mensen merken erg weinig op over de andere tekst (bijvoorbeeld niet het switchen van taal).
DICHOTIC LISTENING In het algemeen kunnen mensen maar een boodschap tegelijk verwerken.
1.
Beide teksten langzaam worden gepresenteerd
2.
De uit te voeren taak niet te ingewikkeld is
3.
De betekenis van de boodschap waar de aandacht niet op gericht was, relevant is
4.
Cocktail party effect (naam valt op)
70
De andere boodschap kan wel worden verwerkt wanneer:
SELECTIVE ATTENTION TASK The Stroop Effect
71
Zeg de kleuren van de woorden hardop, negeer de betekenis van het woord. Meet de benodigde tijd om de lijst 5 maal op te lezen.
SELECTIVE ATTENTION TASK The Stroop Effect
72
Zeg de kleuren van de vakjes hardop. Meet de benodigde tijd om dit 5 maal te doen.
STROOP EFFECT Het kost meer tijd om de kleur te noemen wanneer het woord een andere kleur aanduidt (en dus afleidt). Bij de vakjes gebeurt dat niet. Verklaringen: • connectionist/parallel distributed processing (PDP) approach ; twee pathways worden tegelijk geactiveerd (kleur van de inkt, betekenis van het woord) en interfereren. • Volwassenen hebben meer ervaring met het lezen van woorden (automatisch en onwillekeurig) dan benoemen van kleuren
73
• Zie in Matlin: emotional Stroop task.
SELECTIVE ATTENTION TASK Visual search Vind een specifiek object in een afbeelding met veel afleidende objecten Variabelen die invloed hebben:
74
• Meer accuraat wanneer het target vaker voorkomt (niet hier dus)
VISUAL SEARCH Variabelen die visueel zoeken beïnvloeden The isolated-feature/combined-feature effect (Treisman and Gelade (1980))
75
1. Zoek de blauwe x. Vind je ze ongeveer even snel, of niet?
VISUAL SEARCH
76
En nu?
VISUAL SEARCH Als het doelobject van de irrelevante objecten verschilt in een enkel kenmerk zoals kleur, is het eenvoudig het doelobject te vinden (isolated feature).
77
Wanneer er sprake is van een combinatie van kenmerken (kleur en vorm) duurt het zoeken langer (combined feature).
VISUAL SEARCH Variabelen die visueel zoeken beïnvloeden The feature-present/feature-absent effect(Treisman and Souther (1985)).
78
Zoek de cirkel met het streepje of de cirkel zonder het streepje
Attention in the real world: toward understanding its neural basis M.V. Peelen, S.Kastner, 2013
79
The neural basis of attentional control in visual search M. Eimer, 2014
80
SACCADES EN EYE TRACKING
SACCADIC EYE MOVEMENTS BIJ LEZEN A selective-attention task Oogbewegingen zijn van belang bij kijken, zoeken, lezen, autorijden, spreken … Saccadic eye movement
•
Serie van kleine sprongetjes van het oog brengt het centrum van de retina (fovea) boven de woorden die gelezen worden Het oog beweegt vaak over spaties, korte woorden en voorspelbare woorden heen maar pauzeert bij spelfouten en ongebruikelijke woorden.
http://www.microsoft.co m/typography/ctfonts/W ordRecognition.aspx
81
• •
SACCADES Wat doet deze persoon?
82
•bij elke saccade beweegt het oog ongeveer 7-9 letters vooruit •150.000 – 200.000 saccades per dag
MEASURING ATTENTION BY EYE TRACKING Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel & M.Sun in: CHI 2009, Boston, Massachusetts, USA.
Faces draw attention to them on webpages
83
Study 1: users are clearly drawn to faces when asked to look at pages and report what they remember
EYE TRACKING AND TASKPERFORMANCE
Study 2: •a Portfolio Summary page was modified to contain either a photo of a woman’s face or no image •tasks that had answers that could be found by reading information on the page
84
Are People Drawn to Faces on Webpages? – T.Tullis, M.Siegel & M.Sun in: CHI 2009, Boston, Massachusetts, USA.
Study 2: Contrary to expectation, a picture of a face in this context actually caused users to do worse on a task involving information adjacent to the face.
85
EYE TRACKING AND TASK-PERFORMANCE
VERKLARINGEN VOOR AANDACHT Neurowetenschappelijk onderzoek The Orienting Attention Network
86
• Selecteert informatie uit zintuiglijke input • Voorbeeld: gericht zoeken, visual search • (voor een deel) in de parietal lobe (pariëtale kwab) gelegen
NEUROWETENSCHAPPELIJK ONDERZOEK The Executive Attention Network
87
• Is actief wanneer we ons richten op een taak met tegenstrijdigheden, zoals de Stroop task • Verhindert automatische responses op stimuli • Prefrontale cortex • Top-down control van aandacht • Academische vaardigheden, nieuwe dingen leren
88
http://video.ted.com/talk/podcast/2013G/None/ApolloRobbins_2013G-480p.mp4
THEORIËN VOOR AANDACHT: BOTTLENECK THEORIE
Bevinding: slechts een gedeelte van het aanbod aan input wordt verwerkt. • • • • • •
Menselijke informatieverwerking heeft vernauwing Beperking van de hoeveelheid informatie die aandacht krijgt De rest blijft achter/verdwijnt Maar: deze verklaring is te simpel Informatie verdwijnt in meer fasen van het proces van aandacht Verouderde theorie
89
FEATURE-INTEGRATION THEORY (ANNE TREISMAN) focused attention
Automatisch registreren van kenmerken (bijv.een ruimte)
Langzamere, seriële verwerking
Parallel processing
Identificeren van 1 object tegelijk
Identificeert objecten simultaan
Complexe objecten
“Low-level processing” dwz zonder inspanning, automatisch
Identificeren welke kenmerken bij elkaar horen (bijv. vierkant en blauw)
90
1. Basic elements distributed attention
FEATURE-INTEGRATION THEORY 2. Research on the theory
isolated features (distributed attention; ‘pop out’)
91
combined features (focused attention)
FEATURE-INTEGRATION THEORY 3. Current status of the theory • Distributed attention can occasionally resemble focused attention.
92
• Visual system may use distributed attention to quickly gather information about the general gist of a scene.
SAMENVATTEND Perceptie • Gewaarwording (sensatie) • Waarneming (perceptie) • Theorieën van visuele perceptie (patroonherkenning) • Face perception & speech perception zelf bestuderen! Aandacht
• Top-down vs Bottom-up processing • Selectieve aandacht • Verdeelde aandacht • Feature integration theory
93
• Saccades, eye tracking, change blindness • Consciousness (facultatief)
94
WERKCOLLEGE
95
96
MULTITASKING
OPDRACHT Bedenk en test een klein experiment om jongeren te laten zien en overtuigen dat multitasking een negatief effect heeft op hun prestaties. Kies uit twee cases: 1.
Whatsappen en fietsen
2.
Skypen/gamen en huiswerk maken
Het experiment mag de veiligheid van de puber niet in gevaar brengen, moet overtuigend en eenvoudig uitvoerbaar zijn. Bijvoorbeeld: Whatsappen met de rechterhand en met de linkerhand het ritme van een liedje tikken; versus eerst appen en dan ritme tikken. Hoeveel fouten?
97
Een couplet van een song leren en tegelijk gamen; versus ongestoord leren. Hoeveel tijd nodig, hoeveel fouten?
ORGANISATIE • 10 minuten bedenken • 10 minuten uitproberen en aanpassen (mag buiten de zaal) • • • •
Het experiment is korter dan 5 minuten. Welke materialen gebruik je? (smartphone, pilonnen, etc) Waar voer je het uit? Hoe meet je de uitkomsten? Fouten, tijdsduur, enz. Hoe vergelijk je de condities?
Iedereen is terug in de zaal om 11.30u
98
Presentatie/demonstratie tot 12.00u.
