A
B
Een goed of een slecht huwelijk?
Wat denkt Bush? 1
2
Beste @Medemens, Lees hier verder: WELCOME TO YOUR BRAIN!, ©MINDCON’S THEORY OF INFOWAR AGAINST CIVILIANS!, 2010, http://mindcon.wordpress.com/2010/02/14/welcome-toyour-brain/ http://mindcon.wordpress.com/ Hoogachtend.
Wat is de functie van hoofdletters in email en/of chat? Paul van Ostaijen 3
4
Basisbegrippen/Terminologie
Multimodaliteit en Nonverbaal • • • •
• Multimodaliteit • Nonverbaal: – definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen
Partners (subjecten) Kanaal (medium, modaliteit, signaal) Omgeving (scene, context) Boodschap (informatie)
A
B
5
1
Systemen en het BCM:
Twee types interactie
de driehoeksmetafoor
• Directe manipulatie (en observatie) – Directe (fysieke) interactie met de objecten om ons heen (pakken, verschuiven, verplaatsen, kijken, horen, …) – Ook niet-intentionele fysiologische reacties van het lichaam – Sensorisch
W
A
B
i
i
B
A
• Symbolische boodschappen – Indirecte interactie, via interpretatie van symbolen (taal, plaatjes, spraak, …) – Intentionele communicatieve handelingen – Symbolisch
Niveaus van verwerking 97 x 56 = ? Systeem 1 Snel
Systeem 2 Langzaam
onbewust automatisch emotioneel nu sensorisch
bewust gecontroleerd rationeel toen en dan symbolisch
A
Feedback
B
intentie gedachte woorden spraak signaal
Signaaleigenschappen
Spraaksignaal spectrogram
• Analoog vs. discreet • Continu vs. gesampeld
•
• •
• Periodiek vs. niet-periodiek • Deterministisch vs. niet-deterministisch • Soort energie – chemisch, elektrisch, mechanisch, licht, … 12
2
Receptoren- - -
Signaaloverdracht
A. Elektroreceptor ++ Druk
• In de tijd: opslagmedium – bijv. geheugen, boek, cd, …
B. Mechanoreceptor
• In de plaats: transmissiemedium – bijv. glasvezel, zenuwbanen, coax, vacuum
• • • • •
Warmte
In praktijk altijd aaneenschakeling van verschillende media Altijd eindige snelheid (max. lichtsnelheid) Versterking of verzwakking van delen van het signaal Toevoeging van ongewenste signalen (bijv. ruis) Met Fourieranalyse van tijd naar frequentiedomein (en omgekeerd)
C. Thermoreceptor Smaak/geur molecuul
D. Chemoreceptor Licht
E. Fotoreceptor
De Mens als Systeem (1) receptoren (input)
De Mens als Systeem (2) perceptie/zintuig/modaliteit
spieren (output)
spieren (output)
horen/oren/auditief
oren
armen
ogen benen huid
armen
zien/ogen/visueel
benen
voelen/huid/tactiel
gezicht
ruiken/neus/olfactorisch
gezicht
lichaam
proeven/tong/gustatorisch
lichaam
neus mond
15
Zintuiglijke Modaliteit
16
Het basiscommunicatiemodel: multimodaliteit
• Visueel – schrift, plaatjes, gezichtsuitdrukkingen, gebaren, houding
• Auditief – spraak, interjecties, applaus, kloppen, muziek, …
• Tactiel A
– braille, aanraken, slaan, schoppen, handen schudden, kussen, masseren, omarmen, …
B
• Olfactorisch/Gustatorisch – parfum, urine, zweet, wasmiddelen, winden, spuitbussen, eten, … 17
18
3
Sensorische en motorische gebieden in de hersenen
Interactiemodaliteit • Modaliteit: wijze of manier – modaliteit van waarheid: ‘mogelijk’, ‘noodzakelijk’ – modaliteit van vervoer: ‘spoor’, ‘water’, ‘weg’
• Interactiemodaliteit: – wijze van interacteren • bijv. spraak, geschreven, aanraken, taal, nonverbaal, …
– fysische, spatiële, temporele structuren – verschillende zintuigen • bijv. spraak vs. geschreven
– ikonisch vs. talig • bijv. plaatje vs. geschreven
– eigenschappen • bijv. vluchtig, permanent, opdringerig, … 19
20
Media vs. modaliteit
Multimodaliteit
• Media
• Input:
– Gericht op fysische kanalen en dragers – Coax, radiogolven, soms ook perceptieve kanalen
– Samenvoegen van verschillende modaliteiten
• Output:
• Modaliteit – – – – –
– Automatische keuze voor een of meerdere modaliteiten
Vorm van de boodschap Communicatief systeem van conventies en regels Bijv. taal en plaatjes Maar soms ook spraak vs. geschreven tekst Verschillende talen?? 21
Multimodaliteit Efficiënt: • tegelijkertijd verzenden van verschillende boodschappen
We moeten in staat zijn de juiste modaliteit te kiezen
– bijv. spraak en gebaren
Effectief: • door redundantie minder gevoelig voor storingen – bijv. liplezen
• adaptie aan de omstandigheden – bijv. visueel bij veel lawaai of op grote afstand – bijv. aan inhoud van de boodschap
• accuraatheid – welke modaliteit communiceert de boodschap het meest precies 23
4
Keuze afhankelijk van • Subjecten – perceptie: doof, blind, … – cognitie: doelen, geheugen, verwachtingen, ... – locatie/richting: hoofd, handen, lichaam, …
We moeten in staat zijn de verschillende signalen te combineren
• Communicatieve situatie – kanaal: ruis, weersomstandigheden, … – beschikbaarheid van energie, … – andere participanten: college, workshop, kerk
• Boodschap/taak – inhoud: ‘Dit is geen plaatje’, emotie, … – relevantie, urgentie: ontvangst van email vs. ‘vuur!’ 25
Multimodaliteit Types Diviplexing en multiplexing • Diviplexing: verschillende zintuigen
Eerst parallel, verschillende kanalen (diviplexing)
– ‘parallel diviplexing’ • spraak en wijzen, liplezen
– ‘serial diviplexing’ • spreken en knikken
• Multiplexing: dezelfde zintuigen – ‘parallel multiplexing’ • auditief: bijv. spraak en intonatie • visueel: bijv. zinnen en alinea’s
– ‘serial multiplexing’ • twee uitgesproken woorden achter elkaar
27
Parallel Diviplexing • Verschillende kanalen/zintuigen gelijktijdig
Parallel, hetzelfde kanaal (multiplexing)
gebaar
spraak A
B
29
5
Parallel Multiplexing
Parallel Multiplexing
• Hetzelfde kanaal/zintuig gelijktijdig
• Niet correct: serieel in stukjes abababababccbaabbaabcda A
B
A
B
• Met behulp van modulatie • Fourieranalyse
• Hoe kan dat? 31
Voorbeeld gemoduleerd signaal: AM-modulatie
Fourieranalyse in het oor trommelvlies
32
slakkenhuis
+ = tijd
frequentie 33
34
35
36
Tekst en alinea’s
6
Spraaksignaal
Ontwerpen Where are you going?
Home I’m going home.
37
38
Ontwerpregel
Keuze afhankelijk van
‘What you see is what you need!
• Subjecten
Breng alleen informatie in de aandachtsruimte die relevant is voor de te verrichten taak op dat moment.
– perceptie: doof, blind, … – cognitie: doelen, geheugen, verwachtingen, ... – locatie/richting: hoofd, handen, lichaam, …
• Communicatieve situatie – kanaal: ruis, weersomstandigheden, … – beschikbaarheid van energie, … – andere participanten: college, workshop, kerk
Problemen - Wat is de aandachtsruimte? - Wat is de taak? - Welke informatie is nodig om de taak te verrichten?
• Boodschap/taak – inhoud: ‘Dit is geen plaatje’, emotie, … – relevantie, urgentie: ontvangst van email vs. ‘vuur!’ 39
Aandacht
Filter
Central Processor
Trekken van de aandacht • Intensiteit/contrast van stimuli (geluid, kleur, geur, …) • Grootte van objecten • Herhaling/beweging • Emotionele inhoud • Verwachtingen (wel/niet) • Doelen/taken • Niveau van arousal (alertheid)
7
de universiteit de universiteit
Elektronica Werkplaats
Feedback vs. Feedforward Feedback (systeem respons)
Feedforward (mogelijke acties)
Aandachtruimtes
Sensorische cues (observatie) • Visueel – e.g. voltage, electrisch schema, probes – printed circuit (e.g. kleurencodes, locatie en type van de elementen, fixatie punten, verbrande elementen)
• Tactiel – button control – plaatsing van de probes
• Geur – verbrande elementen
8
Verandering van aandacht(observatie) Maak analyse van de taak en de omgeving
50
Twee basis actietypes
Filmpje: 3 prototypes
• Observatie – doelen: 1. bepaling van kapot element 3. evaluatie van de vervanging
1. geluid(+/-), licht in aandachtsveld 2. spraak, display in aandachtsveld 3. dialoog (spraak), licht in aandachtsveld, display in bril, geluid(+/-)
1
– ook actie • beweging van hoofd, armen/handen • aanpassing van de multimeter
2
• Actie – doel: 2. vervangen van het kapot element
– ook observatie
3
• visueel (locatie device, soldeerbout, …) • tactiel (probeer maar eens met handschoenen!) 52
Kortom Multimodaliteit
Multimodaliteit
Efficiënt: • tegelijkertijd verzenden van verschillende boodschappen
• Integratie van verschillende modaliteiten – Bijv. combinatie van praten (auditief) en wijzen (visueel): ‘Zet dat daar!’ (en de spreker wijst)
– bijv. spraak en gebaren
Effectief: • door redundantie minder gevoelig voor storingen
• Van belang bij: – non-verbaal gedrag – mens-computer interactie – interpretatie van emoties
– bijv. liplezen
• adaptie aan de omstandigheden – bijv. visueel bij veel lawaai of op grote afstand – bijv. aan inhoud van de boodschap
• accuraatheid – welke modaliteit communiceert de boodschap het meest precies 53
9
Multimodaliteit en Nonverbaal • Multimodaliteit • Nonverbaal:
Nonverbale Communicatie ook wel analoge communicatie genoemd • Modellen en definities – Basiscommunicatiemodel, multimodaliteit, definities
• Soorten
– definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen
– classificaties van non-verbale communicatie
• Vorm – gezichtsuitdrukkingen, oogbeweging, gebaren, lichaamshouding, kleding, ruimte, artefacten, …
• Betekenis of Functie – in belangrijke mate betrekking op niveaus van affectie, emoties, oordelen, regulering van het gesprek, … 55
Nonverbale Communicatie: Definitie 1
56
Nonverbale Communicatie: Definitie 2
‘The use of interacting sets of visual, vocal, and invisible communication systems and subsystems by communicators with the systematic encoding and decoding of non-verbal symbols and signs for the purpose(s) of exchanging consensual meanings in specific communicative contexts’ (Leathers, 1997)
‘Oral and nonoral messages expressed by other than linguistic means’ (Adler en Rodman)
57
58
Aspecten van definities 97 x 56 = ?
• Bewust vs. Onbewust – hier niet relevant – immers: hoe kan ik ooit weten dat iets bewust dan wel onbewust wordt gedaan door persoon x?
• Intentioneel vs. Niet-Intentioneel – kan relevant zijn, maar de overgang is vaag – immers: een huilend kind is duidelijk nonverbaal, maar is het huilen intentioneel gedrag?
Systeem 1 Snel
Systeem 2 Langzaam
onbewust automatisch emotioneel nu sensorisch
bewust gecontroleerd rationeel toen en dan symbolisch
59
10
Classificatie
Classificatie Leathers
Er zijn er vele, bijv.: 1. Welk object draagt de informatie? •
bijv. het lichaam, kleding, meubilair Snelheid van verzenden
2. Welke eigenschappen heeft het object? •
bijv. luidheid, beweging, grootte, kleur
Accuraatheid van betekenis
3. Welke relatie tussen de objecten? •
Effectiviteit van emotionele informatie
in de plaats (Proxemics):
•
bijv. de afstand tussen mensen, artefacten, etc.
Effectiviteit van feitelijke informatie
in de tijd (Chronemics):
Gezicht Aanraken 5 1 4 3 5 4 2
bijv. afspraken
61
62
Principes van Nonverbale Communicatie •
1
Principes van Nonverbale Communicatie
Veel informatie over de (kwaliteit van de) interpersoonlijke context
• • • •
Veel informatie over emoties en affect Relatief vrij van bedrog en storing Betekenis ambigu en sterk contextafhankelijk Voorkeur voor non-verbaal gedrag bij contradicties en incongruenties
Van wie zou je een 2de-hands auto kopen?
63
64
Principes van Nonverbale Communicatie •
Functies
Intuïtief en gebaseerd op normatieve regels – –
• •
weinig training, directer en snellere verwerking geen formele structuur (syntax), wel regels
Positief zijn aandacht, afstandsverkleining, relaxed Interpretatie afhankelijk van geslacht, leeftijd, cultuur, sociale context en machtstructuur Vrouwen zijn gevoeliger voor nonverbale cues In het ‘nu’ en snel
• • –
• • • • •
Geven van informatie Regulering van de interactie Expressie van emoties Metacommunicatie Impressiemanagement
framing van communicatie (de eerste 30 sec.) 65
66
11
Multimodaliteit en Nonverbaal • Multimodaliteit • Nonverbaal:
Het Lichaam • Statische aspecten – Framing
• Dynamische aspecten
– definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen
– Kinesics (Ekman en Friesen, 1968)
67
68
Hoofd: wat laat ik zien?
Het Hoofd • Statisch: wat laat ik zien en hoe? – ogen, haren, mond, oren, etc.
• Dynamisch: wat kan ik bewegen? • ogen, mond, neus • stand van het hoofd t.o.v. – romp – andere deelnemers – taakdomein
69
De Lippen
70
Haar • Statisch • Lengte, locatie, stijl, hoeveelheid, kleur • Norm afhankelijk van cultuur, geslacht, leeftijd, …
71
12
Het Gezicht
Gezichtsuitdrukkingen • Voornamelijk ogen en mond • 55% van informatie over ons gevoel/emoties – interesse, opwinding, verdriet, blijheid, angst, verrassing, droefheid, afkeer, verveling, …
• Ongeveer 5000 verschillende expressies • Cultureel bepaald • ‘Pokerface’ is de norm
• Wenkbrauwen • Mond – – – –
hoeken tuiten van lippen open/dicht tanden
• Ogen – richting pupil – grootte
• Neus 73
74
Oogcontact • Functie: – tonen van interesse, aandacht, intimiteit, agressie, overtuigingskracht, intimidatie, monitoring van feedback,…
• Bijeffecten: – wekt gevoel op van eerlijkheid, zelfverzekerdheid, controle, deskundigheid, maar er is geen werkelijk verband
• Cultureel grote verschillen: – bijv. Azië: wegkijken is respect tonen
• Pas op voor adviezen – ‘ongemotiveerde mensen kijken je minder in de ogen’???
• Belang bij status- en machtsverschillen • Minder bij: – negatieve of moeilijke boodschappen, kritiek 75
76
Lachen • Minstens 19 versies van blij tot nerveus • Herkenbaar vanaf 100 meter • Cultuurafhankelijk – bijv. in China verbergen van ongenoegen – :-) in Japan ^-^
• Sterk effect op beeldvorming en gedrag – meer kans op baan, tip, hoger tentamencijfer, verkoop
• Rolafhankelijkheid – meer status, meer ‘oprechtheid’ 77
78
13
De rest van het lichaam
De stereotype crimineel? frenologie: het Lombroso type
• Statische eigenschappen – lengte (verband tusen lengte en inkomen) – gewicht (belangrijke discriminatiefactor) – attractiviteit (symmetrie, huidskleur, verdeling v.d. massa, …)
79
80
Tactiele (huid-) communicatie
Houding • • • • •
81
de huid als zender en ontvanger essentieel voor ontwikkeling van het kind sterk normatief ingewikkelde vormkenmerken effect sterk contextafhankelijk
82
Artefacten: Kleding • Functies: – comfort, bescherming, erotiek, cultureel display, identificatie, (sociale) positie, rijkdom, betrouwbaarheid
• ‘Dress for success’ • Uniforms: – onderscheiding van groepen – identificatie (ook rollen) – denk bijv. aan teamsporten, politie, leger, dokters, rechters, winkels, bars, … 83
14
Multimodaliteit en Nonverbaal
Proxemics • The study of the cultural, behavioral, and sociological aspects of spatial distances and its role in communication (Hall, 1959) • Afstand van mensen tot elkaar • Indeling van ruimte in huizen, kantoren en steden
• Multimodaliteit • Nonverbaal: – definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen 85
86
Persoonlijke ruimte
Proxemics en artefacten
hangt nauw samen met onze perceptie ook afhankelijk van geslacht, macht en cultuur intiem: 0 – 50cm (aanraking, geur) persoonlijk: 0.5 – 1.2m (aanraking, roos en zweet zichtbaar) • sociaal: 1.2 – 4m (gespreksafstand)
• ‘Dynamic’, ‘semi-fixed’, ‘fixed’ • Territoriumafbakening door gebruik van artefacten (uitsluiting):
• • • •
– schermen, (rode) lamp, muren, tafels, bureau’s persoonlijke spullen, … – wie mag waar en wanneer komen?
• Maar ook samenscholing/informele ontmoetingen (insluiting):
• publiek: 4m en verder
– koffieautomaat, kantine, printer, pauzeruimtes, gangen, … – belangrijk voor teambuilding en informatieverspreiding 87
88
Multimodaliteit en Nonverbaal
Verwerking in de Hersenen 1
• Multimodaliteit • Nonverbaal:
Grote hersenen: linker- en rechterhelft (hemisferen) met daartussen een verbindingstuk (corpus callosum)
– definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen 89
90
15
Verwerking in de Hersenen 2
Verwerking in de Hersenen 3
• Rechts voornamelijk emotioneel, ruimtelijk, intuïtief, non-verbaal, … • Links voornamelijk rationeel, tijd, logisch, verbaal, …
• rechterhemisfeer – non-verbaal ‘affect-lexicon’ – herkenning van gezichtsuitdrukkingen, vocale cues, gebaren – decodering van sociale cues
• maar het model is te simplistisch • communicatie via corpus callosum is van vitaal belang • resultaten van experimenten bij splitbrain patienten 91
Verwerking in de Hersenen 4 Wat verwacht je in de volgende situatie? • Een split-brain patiënt wordt gevraagd naar de gevoelswaarde van een aan te raken object. • ‘Begrijpt’ een split-brain patiënt intonatie als je iets in zijn/haar oor fluistert? • Een split-brain patiënt wordt gevraagd naar de gevoelswaarde van een object dat hij/zij met één oog kan zien.
92
Multimodaliteit en Nonverbaal • Multimodaliteit • Nonverbaal: – definities, principes en functies – het lichaam als communicatiemedium – proxemics – verwerking in de hersenen – toepassingen 94
Toepassingen in ICT • • • • • • • • • •
HCI regels voor modaliteitskeuze Face reader (Noldus) Leugendetectie Herkennen van verdacht gedrag Intonatie en emotie in spraak Embodied conversational agents Genereren van alinea’s Trilvest voor piloten Gaming …
Embodied Conversational Agents Antropomorfisatie • simuleren van persoonlijkheid, emoties, conversationele functies, … Vraagstelling • In hoeverre worden er menselijke eigenschappen aan een virtuele agent meegegeven? • In hoeverre is dit van invloed op de communicatie? 96
16
iCat:
Input: - Microfoons - Camera - Tastsensoren
Output: - Visueel (non-verbaal) - Geluid (taal)
Onderwerpen:
Type onderzoek:
• Non-verbale expressies • Natuurlijke-taal interactie • Dialoogregels • Antropomorfisatie • Geheugentaken • Tevredenheid • Implementatie •…
• Experimenteel • Technisch • Formeel
99
17
