Onderzoek naar de functie van wenkbrauwbewegingen in Italiaanse audiovisuele spraak

 ,QIRUPDWLHXLW ZHQNEUDXZHQ"

Onderzoek naar de functie van wenkbrauwbewegingen in Italiaanse audiovisuele spraak

Jeannine de Raad anr 537373 Bedrijfscommunicatie & Digitale Media Afstudeerscriptie

,QIRUPDWLHXLW ZHQNEUDXZHQ"

Onderzoek naar de functie van wenkbrauwen in Italiaanse audiovisuele spraak

Faculteit: Letteren Opleiding: Communicatie- en Informatiewetenschappen Afstudeerrichting: Bedrijfscommunicatie en Digitale Media Examencommissie: Dr. E.J. Krahmer (scriptiebegeleider) Dr. M. Swerts Prof. Dr. A. Maes

Voorwoord Het onderzoek dat in deze scriptie wordt beschreven is voor mij de afsluiting van de studie Communicatie- en Informatiewetenschappen, afstudeerrichting Bedrijfscommunicatie & Digitale Media aan de Universiteit van Tilburg. Ik heb onderzoek gedaan naar het effect van wenkbrauwen bij computeranimaties met menselijke eigenschappen, oftewel embodied conversational agents, voor het signaleren van informatie in de Italiaanse taal. Ik heb met veel plezier aan dit onderzoek gewerkt, al was het af en toe wat moeilijk. Een onderdeel dat ik nogal moeilijk vond was het zoeken naar geschikte proefpersonen. Het is vrij moeilijk om native speakers van het Italiaans in Nederland te vinden. Toen ik een weekendje in Antwerpen was, had ik er spijt van dat ik mijn laptop niet bij me had, want daar had ik in die vier dagen dat ik er was alle proefpersonen kunnen hebben. Ik wil dan ook iedereen die mij heeft geholpen met het zoeken naar geschikte proefpersonen heel erg bedanken voor hun actieve hulp. Daarnaast gaat mijn dank uit naar de 25 proefpersonen die uiteindelijk hebben meegewerkt. Ik ben bij veel mensen thuis geweest en ik vond het fijn dat zij de tijd en moeite hebben genomen om mij te helpen. Verder gaat mijn dank uit naar Dr. Emiel Krahmer die mij met veel enthousiasme heeft begeleid en heeft geholpen met het vinden van de juiste materialen voor het onderzoek. Ten slotte wil ik iedereen in mijn directe omgeving bedanken voor hun steun en begrip dat de scriptie de afgelopen tijd het belangrijkst voor mij was.

Jeannine de Raad mei 2003

-3-

Samenvatting Wij kunnen in onze samenleving niet meer om de digitalisering heen. De ontwikkelingen zijn in een stroomversnelling gekomen de laatste jaren en men streeft naar een zo gebruiksvriendelijk mogelijke interface om de gebruiker optimaal te kunnen bedienen. Zo’n interface is bijvoorbeeld te bereiken met computeranimaties met menselijke eigenschappen, de embodied conversational agent. Een belangrijke eigenschap die goed ontwikkeld moet zijn bij zo’n embodied conversational agent is de communicatie. Men streeft ernaar om een zo natuurlijk mogelijke manier van communiceren te ontwikkelen. Daarbij moet rekening worden gehouden met de verbale en non-verbale communicatie in verschillende talen. Dit onderzoek gaat over het effect van wenkbrauwbewegingen voor het signaleren van informatie in audiovisuele spraak in een Romaanse taal als het Italiaans. Het onderzoek is in navolging van een zelfde reeds eerder uitgevoerd onderzoek in de Nederlandse taal door Krahmer et al. (2002a en 2002b). Wenkbrauwbewegingen kunnen in combinatie met toonhoogteaccenten informatie verschaffen over de context aan een luisteraar. In de Italiaanse uiting ‘triangolo nero’ (zwarte driehoek) krijgt echter ieder woord hetzelfde soort toonhoogteaccent, waardoor de

informatie

uit

andere

aspecten

moet

worden

afgeleid,

zoals

mogelijk

de

wenkbrauwbewegingen. Door middel van een experiment met een zogenaamd Talking Head die de uiting “triangolo nero” (zwarte driehoek) uitspreekt, zijn drie onderdelen onderzocht door middel van een functionele analyse, een voorkeursanalyse en een prominentieanalyse. In de functionele analyse is onderzocht of het mogelijk is om in het Italiaans een voorafgaande uiting te bepalen aan de hand van het moment waarop een wenkbrauwbeweging plaatsvindt. Het resultaat geeft aan dat het niet mogelijk is om in het Italiaans een voorafgaande uiting te bepalen aan de hand van wenkbrauwbewegingen. In de voorkeursanalyse is onderzocht of men de voorkeur geeft aan een wenkbrauwbeweging op het eerste of op het tweede woord. Het resultaat van dit onderdeel is dat men in het Italiaans in alle gevallen duidelijk de voorkeur geeft aan een wenkbrauwbeweging op het eerste woord. Dit betekent dus dat men de voorkeur geeft aan een wenkbrauwbeweging op het meest prominente woord. In het derde onderdeel, de prominentieanalyse, is onderzocht of men gevoelig is voor wenkbrauwbewegingen wanneer men de prominentie van een woord moet bepalen. Uit dit onderdeel is gebleken dat men wel degelijk gevoelig is voor een wenkbrauwbeweging op het prominente woord. Dus wanneer het eerste woord het meest prominent is, kiest men ook voor -4-

een wenkbrauwbeweging op het eerste woord en wanneer het tweede woord het meest prominent is, kiest men voor een wenkbrauwbeweging op het tweede woord. Wanneer deze resultaten worden vergeleken met de resultaten uit het Nederlandse onderzoek, zien we dat het grootste verschil ligt in de functionele analyse. In het Nederlands is men wel in staat een voorafgaande uiting te bepalen en in het Italiaans niet. In de voorkeursanalyse zien we alleen een verschil in de zogenoemde GC-context, waarbij men in het Nederlands de voorkeur geeft aan een wenkbrauwbeweging op het tweede woord en in het Italiaans op het eerste woord. De resultaten uit de prominentieanalyse komen vrijwel overeen in de twee talen.

-5-

Inhoudsopgave Voorwoord ............................................................................................................................ 3

Samenvatting......................................................................................................................... 4

Inhoudsopgave ...................................................................................................................... 6

1. Inleiding ............................................................................................................................ 8 1.1 Probleemstelling .......................................................................................................... 9

2. Theoretisch kader ............................................................................................................ 12 2.1 Embodied conversational agents ................................................................................ 12 2.1.1 Hoe werkt een ECA?........................................................................................... 12 2.1.2 Het nut van embodied conversational agents ....................................................... 14 2.1.3 Enkele voorbeelden............................................................................................. 15 2.1.4 Multilinguale embodied conversational agents .................................................... 16 2.2 Non-verbale communicatie ........................................................................................ 17 2.2.1 Functies van non-verbale communicatie.............................................................. 17 2.2.2 Invloed van cultuur op communicatie.................................................................. 18 2.3 Functies van wenkbrauwen ........................................................................................ 20 2.3.1 Wenkbrauwbewegingen en embodied conversational agents ............................... 22 2.4 Onderzoek naar wenkbrauwbewegingen bij ECA’s.................................................... 23 2.4.1 Prominentieanalyse ............................................................................................. 23 2.4.2 Functionele analyse............................................................................................. 25 2.4.3 Voorkeursanalyse................................................................................................ 26 2.4.4 Discussie............................................................................................................. 27

3. Methode .......................................................................................................................... 29 3.1 Proefpersonen............................................................................................................ 29 3.2 Stimuli....................................................................................................................... 29

-6-

3.3 Procedure................................................................................................................... 30 3.3.1 Functionele analyse............................................................................................. 30 3.3.2 Voorkeursanalyse................................................................................................ 32 3.3.3 Prominentieanalyse ............................................................................................. 33

4. Resultaten........................................................................................................................ 35 4.1 Resultaten functionele analyse ................................................................................... 35 4.2 Resultaten voorkeursanalyse ...................................................................................... 36 4.3 Resultaten prominentieanalyse................................................................................... 37

5. Discussie ......................................................................................................................... 40 5.1 Discussie ................................................................................................................... 40 5.2 Suggesties voor verder onderzoek.............................................................................. 42

Literatuur ............................................................................................................................ 44

Bijlage: takenboekje ............................................................................................................ 46

-7-

Inleiding

1. Inleiding De ontwikkelingen in de informatie- en communicatietechnologie zijn in de laatste decennia in een stroomversnelling gekomen. Er wordt steeds gezocht naar een zo efficiënt mogelijke manier van het computergebruik. Zo komt het gebruik van tekst alleen al steeds minder voor. Denk maar aan de office assistent, het paperclipje of ander figuurtje dat verschijnt wanneer je in een programma binnen Microsoft Office de hulpfunctie gebruikt. Zeker met het alsmaar toenemend gebruik van het Internet worden beeld en animatie steeds belangrijker, waardoor tekst alleen enigszins verdwijnt. Ook de virtuele personages worden steeds belangrijker en schieten dan ook als paddestoelen uit de grond. Virtuele personages bestaan al een aantal jaren en ze worden in verschillende toepassingen gebruikt. De meest bekende toepassing is de computergame. Een voorbeeld van zo’n virtueel personage is Lara Croft, het hoofdpersonage in het spel Tomb Raider. Lara praat als een mens en beweegt als een mens. Ze kan zowat alle bewegingen maken die een mens ook kan maken. Ze is bijna levensecht. Maar niet alleen in computergames komen de virtuele personages voor. In de muziekwereld is een nieuwe trend op komst en wordt ook al gebruik gemaakt van virtuele personages. In Japan heeft het entertainment castingbureau HoriPro een virtueel idool gecreëerd (Van der Zande, 1997). Kyoko Date is een driedimensionaal personage gemaakt op de computer. Ze kan alles wat een mens van vlees en bloed ook kan, maar dan virtueel. Men heeft haar niet gebaseerd op een bestaand persoon; Kyoko is helemaal uit het niets ontstaan. Het personage presenteert een nachtprogramma op de Japanse zender G1 Grouper en heeft een cd-single met de titel “Love Communication” gemaakt. De virtuele ster is succesvol en heeft al veel fans.

Figuur 1. Kyoko Date

Maar de ontwikkelingen gaan alsmaar verder en er komt telkens nieuwe apparatuur op de markt. De computers worden steeds compacter en ze moeten overal en altijd te gebruiken zijn. Ook de toepassingen worden steeds uitgebreider, denk maar aan uitgebreide leersystemen op de computer en e-commerce. Dit alles vraagt ook om nieuwe vormen van interfaces. Computeranimaties en virtuele personages die meer menselijke eigenschappen bezitten kunnen een oplossing zijn als de nieuwe vorm van interfaces. Een voorbeeld dat zeer geschikt kan zijn als zo’n nieuw soort interface is in ontwikkeling en heet ‘Embodied

-8-

Inleiding Conversational Agent’. Een Embodied Conversational Agent (ECA) is in feite een virtueel personage, maar dan wel een met meer menselijke eigenschappen. Het personage kan via het beeldscherm zowel verbaal als non-verbaal communiceren en interacteren met de gebruiker. Vaak worden ECA’s neergezet in een virtuele omgeving. Ze hebben dan kennis van zo’n omgeving en ze zijn in staat de gebruiker te helpen en te adviseren over zaken die zich in zo’n omgeving kunnen afspelen. Ook bezit de ECA een aantal communicatieve vaardigheden zoals het wisselen van spreekbeurt en het geven van feedback. In tegenstelling tot een ‘gewoon’ virtueel personage, kan een ECA-systeem zichzelf helemaal of althans gedeeltelijk besturen. 1.1 Probleemstelling De ontwikkeling van embodied conversational agents gaat alsmaar verder. Men streeft ernaar om de personages zo veel mogelijk natuurlijke kenmerken te geven. Daarbij is het ook van belang om het personage zo natuurlijk mogelijk te laten communiceren. Hierbij kun je denken aan de persoonlijkheidskenmerken van het personage, maar ook aan het aspect spraak. Hierbij is bijvoorbeeld te denken aan een menselijke of synthetische stem voor de embodied conversational agent. Maar bij spraak komt meer kijken dan een stem alleen. Mensen communiceren namelijk met hun hele lichaam. In spraak wordt ook gebruik gemaakt van prosodie, zoals fasering en toonhoogteaccenten. Deze gaan vaak samen met bepaalde lichaams- en gezichtsuitdrukkingen, zoals handbewegingen en wenkbrauwbewegingen. In dit onderzoek zijn de wenkbrauwbewegingen van belang. Er bestaat een verband tussen het gebruik van toonhoogteaccenten en wenkbrauwbewegingen. Dit is voor het Nederlands onderzocht door Krahmer et al. (2002a en 2002b). Het Nederlands is een Germaanse taal. Tussen verschillende groepen talen bestaan een aantal verschillen, zoals het verschil in gebruik van toonhoogteaccenten en de betekenis ervan in bijvoorbeeld een Romaanse taal zoals het Italiaans. Het verschil in het gebruik van toonhoogteaccenten is voor dit onderzoek het belangrijkst. Het Italiaans verschilt van het Nederlands onder andere op het vlak van accentstructuur. In het Nederlands worden accenten op woorden gebruikt om te verwijzen naar nieuwe informatie of als signaal voor een contrastrelatie. In het Nederlands hangt het dus af van de context of een woord een toonhoogteaccent krijgt of niet. In het Italiaans is het accentpatroon niet contextafhankelijk. In het Italiaans wordt niet de voorkeur gegeven aan deaccentuering binnen NPs of andere syntactische zinsdelen (Ladd, 1996). Ladd merkt op dat deaccentuering op zinsniveau wel mogelijk is. Het Italiaans is een voorbeeld van een ‘nonplastic’ taal (Vallduví, 1990). Een non-plastic taal is een taal waarin een meer vaste

-9-

Inleiding intonatiestructuur voorkomt, waardoor de informatie in een uiting niet uit de intonatiestructuur kan worden gehaald. Daarom word in een non-plastic taal meer gebruik gemaakt van woordvolgorde om de juiste informatie uit een uiting te bepalen. Het Nederlands is een zogenoemde ‘plastic’ taal, dat wil zeggen dat een prosodisch patroon wordt gevormd om te passen in een informatiestructuur, zodat intonatie wordt gebruikt om de status van de informatie te markeren. In het Italiaans kan de informatiestructuur dus niet prosodisch realiseren binnen de NPs. Dit kan wel door gebruik te maken van andere verbale en nonverbale manieren van communiceren. Hierbij is bijvoorbeeld te denken aan gebaren, woordvolgorde en gezichtsuitdrukkingen. In deze scriptie is de prosodie van beide talen een belangrijk aspect. De prosodie in het Italiaans zit dus anders in elkaar dan die in het Nederlands. Dit is onder andere naar voren gekomen in een vergelijkend onderzoek door Swerts et al. (2002). In dit onderzoek is onder andere de structuur van toonhoogteaccenten onderzocht. Hieruit kwam naar voren dat in de Italiaanse prosodie een zogenaamde ‘stepdown’-beweging voorkomt. Dat wil zeggen dat in de Italiaanse uiting ‘triangolo nero’ (zwarte driehoek) op beide woorden een toonhoogteaccent valt, maar dat het eerste accent hoger is en langer duurt dan het daarop volgende. Voor de uiting ‘triangolo nero’ ziet de prosodie er dan als volgt uit:

triangolo

nero

Uit het onderzoek van Swerts et al. (2002) is naar voren gekomen dat door de hierboven beschreven structuur in de prosodie het in het Italiaans niet mogelijk is om informatie in een uiting te signaleren door alleen op de structuur van de toonhoogteaccenten te letten. Er zijn in het Italiaans dus andere communicatieaspecten nodig om de informatie uit en uiting te krijgen. Dit kan bijvoorbeeld door gebruik te maken van woordvolgorde, maar het is misschien ook mogelijk door gebruik te maken van wenkbrauwbewegingen. In het onderzoek dat verder in deze scriptie zal worden besproken, zal worden onderzocht of wenkbrauwbewegingen in het Italiaans bijdragen aan het signaleren van informatie in audiovisuele spraak. In dit onderzoek zal de volgende vraag worden beantwoord:

Welk effect heeft het gebruik van wenkbrauwbewegingen bij embodied conversational agents voor het signaleren van informatie in audiovisuele spraak in een Romaanse taal als het Italiaans, en hoe verhoudt dit zich tot een Germaanse taal als het Nederlands?

- 10 -

Inleiding Hiernavolgend zullen in hoofdstuk 2 onder meer de aspecten embodied conversational agent, wenkbrauwen en non-verbale communicatie nader aan de orde komen. Vervolgens zal de onderzoeksmethode van het onderzoek dat wordt uitgevoerd om de onderzoeksvraag te kunnen beantwoorden in hoofdstuk 3 worden beschreven. Hoofdstuk 4 geeft de resultaten weer die zijn voortgekomen uit het onderzoek. In het afsluitende hoofdstuk komt ten slotte de discussie naar aanleiding van het gehouden onderzoek en de resultaten.

- 11 -

Theoretisch kader

2. Theoretisch kader Voordat we het onderzoek kunnen uitvoeren waarmee we een antwoord kunnen krijgen op de in het vorig hoofdstuk genoemde onderzoeksvraag, zullen we eerst moeten bepalen op welke theorieën we dit onderzoek kunnen baseren. Maar voordat we daartoe overgaan zal eerst het fenomeen “embodied conversational agent” nader worden toegelicht. Daarna zullen een aantal aspecten van non-verbale communicatie worden besproken, waarna de functies van wenkbrauwen in het bijzonder aan de orde komen. Dit hoofdstuk zal worden afgesloten met een impressie van een eerder gehouden onderzoek naar wenkbrauwbewegingen bij ECA’s in de Nederlandse taal. 2.1 Embodied conversational agents In hoofdstuk 1 is reeds uitgelegd wat embodied conversational agents zijn. In deze paragraaf komen een aantal andere zaken over deze vorm van interface aan de orde, zoals de werking ervan. Daarnaast worden enkele voorbeelden van embodied conversational agents gegeven. 2.1.1 Hoe werkt een ECA? Een embodied conversational agent is een virtueel mens en men streeft ernaar om deze virtuele mens er zo natuurlijk en realistisch mogelijk te laten uitzien en te laten handelen op een zo natuurlijk mogelijke manier. Daarvoor moet een ECA dus alle kenmerken van een mens hebben. In een natuurlijke conversatie gebruiken sprekers bepaalde gebaren en gezichtsuitdrukkingen en die moet een ECA ook gebruiken. Er komen dan ook heel wat grafische en programmatische aspecten kijken bij het creëren van een ECA. We zullen eerst bekijken hoe een natuurlijke conversatie kan worden gemaakt. Daarvoor zijn de volgende onderdelen nodig (Gratch et al, 2002): •

Multimodale input en output : mensen geven en ontvangen informatie tijdens een conversatie door middel van spraak, gebaren, intonatie en door elkaar aan te kijken. De architectuur van een ECA moet in staat zijn om deze informatie te ontvangen en te verwerken.

•

Real-time feedback: het systeem moet in staat zijn om zelf feedback te kunnen geven of vragen te kunnen stellen, terwijl het ook kan waarnemen dat de gebruiker feedback geeft of vragen stelt. Het systeem moet ook in staat zijn om de juiste antwoordtijd vast te stellen, want bijvoorbeeld feedback en interruptie gebeuren in een fractie van een seconde.

- 12 -

Theoretisch kader •

Het verstaan en het maken van een synthese van suggestieve informatie om zo in interactie te zijn met de gebruiker: het systeem moet kennis hebben van de behoeftes en kennis van de gebruiker. Daarnaast moet het systeem kunnen bepalen wie op een bepaald moment de spreker is en wie de luisteraar, maar ook of de luisteraar de inbreng van de spreker heeft begrepen, enzovoorts.

•

Het conversatie functie model: functies zoals het beginnen van een conversatie of het afgeven van de beurt kunnen worden bewerkstelligd door een aantal verschillende gedragingen, zoals het herhaaldelijk aankijken van een ander persoon of door je handen op je schoot te leggen. Het systeem moet in staat zijn om te kunnen bepalen wanneer hij welke manier gebruikt om bijvoorbeeld een nieuwe conversatie te kunnen beginnen.

De

embodied

conversational

agent

moet

ook

natuurlijke

bewegingen

en

gezichtsuitdrukkingen kunnen maken. Daarnaast moet hij er ook nog heel menselijk uitzien. Hiervoor is weer een andere programmeerstructuur voor nodig die samen met de programmeerstructuur van conversatie kan functioneren. Voor de lichaamsanimatie kunnen twee verschillende manieren worden gebruikt: 1) Het gebruik van motion capture en additionele technieken om bewegingen snel te veranderen. 2) Het schrijven van een procedurele code die het programma toestaan om belangrijke bewegings-parameters te controleren. Het gaat bij lichaamsanimatie om meer dan alleen het bepalen van de rotatiehoeken van het skelet. Mensen bestaan niet alleen uit een skelet en behoorlijke menselijke kwaliteiten komen voort uit intelligente

bewegingsstrategieën,

zachte

vervormbare oppervlakken en aankleding. De beste manier om een transporteerbare standaard ECA te maken is volgens Gratch et al. (2002) de Web3D Consortium’s H-Anim. Dit programma werkt met de VRML ontwerptaal. Maar het meest ingewikkeld van het zo natuurlijk laten overkomen van een

- 13 -

Figuur 2. MPEG-4 Face definition Parameter (FDP) feature points (Gratch et al, 2002).

Theoretisch kader ECA is toch wel het gezicht. Uit het gezicht moeten alle emoties kunnen worden afgelezen. Een van de manieren om dit te maken is met behulp van de MPEG-4 face definition parameters

(FDP).

Deze

standaard

verschaft

anatomisch

specifieke

locaties

en

animatieparameters. Het definieert Face Definition Parameter feature points en lokaliseert ze op het gezicht waarvan een voorbeeld is te zien in figuur 2. De feature points vormen de verschillende onderdelen van het gezicht, maar vormen ook die gedeelten die meebewegen in een gezicht, zoals de wangen en het voorhoofd. Alle animaties en systemen moeten zo met elkaar in verbinding worden gebracht dat de embodied conversational agent helemaal zelf in staat is om een natuurlijke conversatie met de gebruiker te kunnen aangaan. Doordat het fenomeen van de ECA nog niet ze erg lang bestaat is het onderzoek ernaar nog steeds in volle gang. Er wordt niet alleen onderzocht hoe de ECA het meest natuurlijk overkomt, maar ook welke functies de ECA in de samenleving zou kunnen krijgen. 2.1.2 Het nut van embodied conversational agents De rol die de computer speelt in het dagelijks leven wordt nog steeds groter. Onderzoeken wijzen onder andere op de sociale rol, zoals het toekennen van menselijke eigenschappen door de gebruiker (Reeves & Nass, 1996). Het blijkt dat mensen die in interactie zijn met de computer zich gedragen zoals ze zich gedragen wanneer ze met andere mensen in interactie zijn. De embodied conversational agent is hierbij goed van toepassing. Actief empirisch onderzoek naar het effect van ECA’s op de interactie tussen mens en computer is nog volop gaande. Onderzoek door Moreno (2000) en Rickenberg et al. (2000) heeft wel al aangetoond dat het gebruik van een ‘levensechte’ ECA in een interactieve leeromgeving een positieve invloed heeft op studenten. Het gaat hierbij soms om de motivatie. Wanneer men het leuk vindt om bezig te zijn met het systeem, is men meer gemotiveerd en dat kan samenhangen met goede leerresultaten (Evers & Nijholt, 2002).

Cassel en Thórisson (1999) stellen dat het feit dat de embodied conversational agent met de gebruiker op een natuurlijke manier kan communiceren, ervoor kan zorgen dat deze vorm van interface zeer populair zal worden. Iedereen weet hoe je met een ander moet communiceren. Wanneer je op dezelfde manier met de computer kan communiceren, zal voor veel mensen de drempel lager worden om de computer vaker te gebruiken. Doordat je een gebruiksmethode gebruikt die je al van jongst af aan beheerst, is het gebruik van een computer misschien

- 14 -

Theoretisch kader gemakkelijker te maken. Je hoeft dan alleen nog je gedachten of wensen te uiten en de computer kan ze uitvoeren. 2.1.3 Enkele voorbeelden Embodied conversational agents komen in een verschillende vormen voor en hebben verschillende functies. Sommige embodied conversational agents bestaan alleen uit een 2Dof 3D-hoofd, oftewel een ‘talking head’. Een voorbeeld hiervan is de ECA met de naam Baldi die bestaat uit een 3D Talking Head. Baldi is ontwikkeld door Dominic Massaro van de UCSC. Baldi wordt gebruikt door het Center for Spoken Language Understanding in Oregon (Cole et al.). Deze ECA helpt dove kinderen bij het verbeteren van hun luister- en spreekvaardigheid. Binnen het programma van Baldi wordt de spraak van de kinderen geanalyseerd en door gebruik te maken van spraaksynthese en gezichtsanimatie leren de kinderen beter te spreken.

De parlevink onderzoeksgroep van de Faculteit Informatica van de Universiteit Twente heeft in samenwerking met Carp Technologies in Enschede de embodied conversational agent met de naam Jacob ontwikkeld (Evers & Nijholt, 2000). Jacob werkt in een virtuele omgeving en heeft als doel om de gebruiker de Torens van Hanoi te leren. De gebruiker kan interacteren met Jacob door middel van natuurlijke taal en het uitvoeren van acties. Jacob reageert op wat de gebruiker zegt of doet. Als de gebruiker een blok verplaatst, weet Jacob of dit goed is en geeft hier feedback op. Jacob kan ook zelf blokken verplaatsen of een actie van de gebruiker ongedaan maken.

Een voorbeeld van het gebruik van ECA’s in e-commerce heeft de naam Jennifer. Jennifer James is ontwikkeld door Barbara Hayes-Roth van het bedrijf Extempo (Evers & Nijholt, 2000). Jennifer is autoverkoopster en probeert een auto aan je te verkopen. Ze loopt door de showroom, laat je verschillende modellen zien en beantwoord vragen van de bezoeker. Jennifer kan je vertellen dat ze getrouwd is, een kind heeft en van snelle auto’s houdt. Ook probeert ze van de bezoekers wat persoonlijke informatie te ontfutselen om achter hun voorkeuren te komen. Deze informatie kan handig zijn voor eventuele verder contacten.

Een ander 3-dimensionaal pratend hoofd heeft de naam Greta (Pelachaud et al, 2001). Het hoofd van Greta (zie figuur 3) werd ontworpen door de University of Roma. Greta is in staat om de belangrijkste verbale en non-verbale communicatieve functies van een embodied

- 15 -

Theoretisch kader conversational agent zo geloofwaardig mogelijk weer te geven. Bij Greta is het gezicht zo tot in het detail uitgewerkt dat het heel natuurlijk overkomt. Ze kan allerlei emoties uitbeelden door middel van rimpels in haar voorhoofd, haar wenkbrauwbewegingen en de stand van haar mond. Greta is dus in staat om zowel verbaal als non-verbaal heel natuurlijk te communiceren met de gebruiker. Het gezicht is namelijk heel erg belangrijk bij non-verbale Figuur 3. Greta

communicatie.

Het

aspect

non-verbale

communicatie zal in paragraaf 2.2 worden besproken.

2.1.4 Multilinguale embodied conversational agents De meeste ECA’s zijn Engelstalig, maar er zijn ook ECA’s ontwikkelt in andere talen. Het in de vorige paragraaf genoemde voorbeeld van de ECA met de naam Greta is bijvoorbeeld Italiaanstalig. Voor interfaces die in verschillende landen en talen worden gebruikt moet het programma zo worden aangepast dat de interfaces makkelijk zijn aan te passen wanneer ze worden gebruikt in een andere taal. Niet alleen de taal moet veranderen, maar er moet ook worden gelet op de non-verbale communicatie die per cultuur kan verschillen (zie paragraaf 2.2). Nielsen (1993) noemt in Usability Engineering een aantal aspecten waarop gelet moet worden wanneer een user interface internationaal gebruikt moet worden. Volgens Nielsen is een van de belangrijkste manieren om internationale inzetbaarheid te verbeteren is het scheiden van de interface en de functionaliteit van het systeem in de implementatie. De specificaties van de user interface kunnen worden opgeslagen in gescheiden hulpmiddelen die geïntegreerd zijn met de rest van de code wanneer de applicatie loopt. Wanneer er bijvoorbeeld een andere woordvolgorde wordt vereist in een andere taal, is het belangrijk om de volgorde waarin de parameters worden weergegeven kan wisselen. Ook bepaalde gebaren die in de ene taal wel worden gebruikt en in een andere taal niet, kunnen apart worden geprogrammeerd voor de specifieke taal. Bijvoorbeeld het kort optrekken van de wenkbrauwen als een groet in het Nederlands wordt niet als zodanig gebruikt in de Verenigde Staten (Ekman, 1979). Het meest ideaal is het om elke gebruikte interface en elke datafile geassocieerd wordt met een zogenoemde ‘locale’ die de eigenschappen die nodig zijn voor een bepaalde gebruiker lokaliseert. Wanneer een nieuwe gebruiker het systeem gaat gebruiken of wanneer de data naar een ander land worden verzonden, zou het mogelijk

- 16 -

Theoretisch kader moeten zijn om een nieuwe ‘locale’ te selecteren waarmee de interface en de data interpretatie veranderen en het programma is aangepast aan de locale behoeften van de gebruiker.

In deze scriptie zullen geen ontwerpaspecten worden aangepast. Bij het onderzoek zal alleen worden gelet op het taalkundige aspect van de wenkbrauwen en de eigenschappen van het Italiaans. Daarom wordt in de volgende paragraaf het onderwerp de non-verbale communicatie belicht. 2.2 Non-verbale communicatie Naast spraak gebruiken mensen eigenlijk hun hele lichaam wanneer ze met anderen communiceren. Meestal gebruiken we ons gezicht, hoofd of onze armen, handen en benen om gebaren of tekens te maken. De meeste van die gebaren of tekens maken we onbewust, zo steek je bijvoorbeeld meteen je hand op als je een bekende ziet lopen op straat zonder dat je eerst bewust hoeft te bedenken dat je je hand moet opsteken. 2.2.1 Functies van non-verbale communicatie Alle verschillende vormen van non-verbale communicatie zijn te verdelen in groepen die elk een eigen functie hebben. Ekman (1999) verdeelt deze functies in vijf groepen: emblems, illustrators, manipulators, regulators en emotionele uitdrukkingen. Ekman noemt ‘emblems’ de enige echte vorm van lichaamstaal, omdat deze bewegingen precieze betekenissen hebben die door alle leden in een cultuur of subcultuur worden begrepen. Emblems zijn sociaal aangeleerd en zijn dus net als taal cultuurafhankelijk. Een bepaalde boodschap kan in de ene cultuur een emblem hebben en in de andere niet. Het kan volgens Ekman ook zo zijn dat dezelfde beweging in een andere cultuur een hele andere betekenis heeft. Je zou bijvoorbeeld zeggen dat het kort optrekken van de wenkbrauwen dat wordt gezien als een groet een universele manier van non-verbale communicatie is, maar in bijvoorbeeld de Verenigde Staten wordt deze manier van groeten niet gebruikt (Ekman, 1999). Maar er bestaan ook multiculturele emblems volgens Ekman. Deze kunnen zijn overgenomen door direct contact met een andere cultuur of doordat men het van een andere cultuur heeft gezien in de massamedia. We gebruiken ook gebaren om datgene wat we zeggen te illustreren. Ekman (1999) noemt de bewegingen die spraak illustreren ‘illustrators’. Hij geeft de volgende zeven ‘illustrators’: 1) Batons die bepaalde woorden of zinnen accentueren of benadrukken; 2) Ideographs die een

- 17 -

Theoretisch kader richting van een gedachte schetsen; 3) Deiktische bewegingen die naar een object wijzen; 4) Kinetographs die een lichaamsactie uitbeelden; 5) Ruimtelijke bewegingen die een ruimtelijke relatie uitbeelden; 6) Pictographs die een plaatje van hun referent tekenen; 7) Ritmische bewegingen die het ritme of tempo van een gebeurtenis aangeven. Deze illustrators worden het meest met de handen gemaakt, maar het hoofd kan er ook bij gebruikt worden of zelfs de voeten. De door Ekman genoemde manipulators manipuleren een deel van het lichaam of het gezicht een ander deel van het lichaam door bijvoorbeeld te aaien, drukken, krabben, likken, bijten, zuigen enzovoorts. Deze bewegingen worden heel vaak gebruikt. Het is dan ook heel moeilijk om te praten zonder deze bewegingen te maken. Regulators daarentegen zijn volgens Ekman acties die er primair voor zorgen dat een conversatie verdergaat. Dit doen ook de illustrators en emblems, maar deze hebben primair een andere functie dan alleen het laten voortgaan van een conversatie. Wanneer de gesprekspartner bijvoorbeeld zijn wenkbrauwen omlaag beweegt, zal de spreker dit meteen opvatten als dat de luisteraar hetgeen hij heeft gezegd niet begrijpt. Wanneer de luisteraar zijn wenkbrauwen daarentegen optrekt zal dit bij de spreker overkomen als bijvoorbeeld ongeloof en zal hij het gesprek verdergaan om de luisteraar te overtuigen. Tot slot bespreekt Ekman de emotionele uitdrukkingen. Dit zijn onvrijwillige uitdrukkingen die belangrijke informatie bevatten voor anderen. Het gezicht is een van de primaire kanten van emotionele uitdrukkingen, de stem is een andere. Houding van hoofd en lichaam is ook belangrijk voor het signaleren van emoties. Aan iemands gezichtsuitdrukking of soms zelfs de hele lichaamshouding kun je zijn gemoedstoestand of gevoel op dat moment vaak aflezen. Ook valt het vaak meteen op wanneer iemand zijn gevoel probeert te verbergen. 2.2.2 Invloed van cultuur op communicatie Behalve de emblems die in de vorige paragraaf zijn besproken, komen de andere vormen van non-verbale communicatie die worden bijschreven door Ekman (1999) in alle talen en culturen voor. De ene vorm zal in de ene taal vaker worden gebruikt dan in een andere. Ook zal het per cultuur verschillen. Er zijn een aantal factoren binnen een cultuur die van invloed zijn op de manier waarop mensen met elkaar omgaan en met elkaar communiceren. Deze factoren zijn dan ook van invloed op de non-verbale communicatie. Deze factoren zijn: individualisme versus collectivisme, low-context versus high-context communicatie, machtsafstand en zelfwaarde (Gudykunst, 1991). Natuurlijk komen al deze factoren in een cultuur voor, alleen zal het ene wat meer overheersen in de ene cultuur en het andere in een

- 18 -

Theoretisch kader andere cultuur. Door die overheersende factor wordt dan ook de (non-)verbale communicatie beïnvloed. In een individualistische samenleving gaat de individu boven de groep, terwijl in een collectivistische samenleving de groep boven het individu gaat. Hierin gaan dus groepsbelangen

voor

de

individualistische

belangen.

Bij

communicatie

in

een

individualistische cultuur komen veel persoonlijke emoties aan de orde. In een collectivistische cultuur beschermt men meer de leden van de groep en komt persoonlijke emotie minder aan bod in de communicatie. Tot de individualistische culturen kunnen worden gerekend: Britse, Franse, Duitse, Scandinavische, Zwitserse, Australische, Canadese en de cultuur in de USA. Collectivistische culturen zijn onder andere de culturen in OostAzië, Zuidoost-Azië, het Middellandse Zee gebied, Latijns Amerika, het Midden-Oosten en Afrika. We zien ook dat in een individualistische cultuur mensen een ‘independent sense of self’ hebben, waarbij men zichzelf ziet als autonoom en als een rationele keuze-maker. In de collectivistische cultuur hebben de mensen een meer ‘interdependent sense of self’ en zien zij zichzelf gebonden aan een ‘ingroep’ en als zoekers naar harmonie. De zelfwaarde van mensen heeft een diepgaande invloed op de communicatie met anderen. Ook bestaat er tussen culturen een verschil in low- en high-context communicatie. In een cultuur waarin men vooral gebruik maakt van low-context communicatie wordt gebruik gemaakt van directe verbale communicatie, duidelijke taal, non-verbale communicatie is een noodzaak en men is gericht op de zender. Bij high-context communicatie daarentegen wordt de luisteraar genoodzaakt om tussen de regels door te ‘lezen’, en de non-verbale nuances en subtiliteiten die de verbale boodschap ‘verpakken’ te observeren. In culturen met grote machtsafstand toont men duidelijk veel respect voor mensen met hoge posities, terwijl dit aanzien in culturen met een kleine machtsafstand minder is. Grote machtsafstand komt voor in landen als de Filippijnen, Maleisië, Korea, Japan, Guatemala, Panama, Mexico en veel Arabische landen. Denemarken, Noorwegen, Australië, NieuwZeeland en de USA zijn daarentegen landen waar relatief kleine machtsafstanden zijn.

Al de genoemde aspecten kunnen de non-verbale communicatie zodanig beïnvloeden dat er tussen culturen onderling duidelijk zichtbare verschillen in gebaren en gezichtsuitdrukkingen zullen zijn in de communicatie. Het feit dat de Italiaanse cultuur een meer collectivistische cultuur is, zal zeker van invloed zijn op het verschil in communiceren in het Italiaans. Wanneer je non-verbale communicatie in beide talen wilt onderzoeken moet je dus niet alleen - 19 -

Theoretisch kader rekening houden met de verschillen in taal, maar ook de verschillen tussen de verschillende culturen. 2.3 Functies van wenkbrauwen In paragraaf 2.2.1 zijn de meest gebruikte non-verbale tekenen in communicatie aan de orde gekomen. In het onderzoek naar de functie van wenkbrauwen bij het signaleren van informatie in audiovisuele spraak, dat later in deze scriptie zal worden beschreven, gaat het natuurlijk alleen om de wenkbrauwbewegingen als het gaat om non-verbale communicatie. Daarom zullen we eerst de functies van wenkbrauwen bij mensen gaan bekijken.

Onze wenkbrauwen zijn een belangrijk onderdeel van ons gezicht en ze hebben verschillende functies. Primair hebben ze een beschermende functie. Ze beschermen onze ogen tegen transpiratievocht dat via ons voorhoofd naar beneden loopt en ze dienen als een soort zonwering. Daarnaast vervullen onze wenkbrauwen ook een zeer belangrijke functie bij de uitdrukking van emoties. Wanneer je iemands gezicht bekijkt, vallen de wenkbrauwen meteen op. Ze geven het gezicht een bepaalde uitdrukking. Elke beweging van de wenkbrauwen valt meteen op. Laat iemand maar eens een lachend gezichtje tekenen. De meeste mensen tekenen dan een cirkel met twee oogjes een neus en een halve maan als mondje, wat staat voor een glimlach. De wenkbrauwen tekenen ze er meestal niet in. Dit is jammer, want door de wenkbrauwen kan het gezichtje een hele andere uitdrukking krijgen. Dit is te zien in onderstaande afbeelding.

Figuur 4. (Bron: www.lichaamstaal.com/wenkbrauw.html)

Er is telkens gebruik gemaakt van hetzelfde gezichtje, alleen de wenkbrauwen zijn verschillend. De variatie in emoties van de gezichtjes is duidelijk. Iedereen zal kunnen vaststellen dat het eerste gezichtje tevreden kijkt, het tweede boos, het derde verbaasd en het laatste gezichtje kijkt verdrietig.

Volgens de Amerikaanse psycholoog Paul Ekman (1979) zijn er zichtbaar onderscheidende wenkbrauwbewegingen. De meeste van deze wenkbrauwbewegingen hebben betrekking tot de emotionele expressies. Andere wenkbrauwbewegingen spelen een belangrijke rol in

- 20 -

Theoretisch kader verschillende signalen met betrekking tot conversaties.

Ekman

verdeelt

de

verschillende bewegingen in ‘Action Units’ (zie figuur 5). Voor wat betreft de emotionele expressies spelen de Action Units de volgende rol: bedroefdheid (1+4), verrassing (1+2), angst (1+2+4) en woede (2+4). In conversaties spelen wenkbrauwen volgens Ekman een rol bij het benadrukken van woorden, als accent en als vraagteken (zie Action Units 2 en 1+2). Ook wanneer de

Figuur 5. Action Units voor de wenkbrauw en het voorhoofd volgens Ekman (1979).

spreker een woord zoekt geven de wenkbrauwen dat aan (zie Action Unit 4 in figuur 5). De luisteraar kan met zijn wenkbrauwen ook bepaalde informatie geven. De luisteraar kan bijvoorbeeld aangeven dat hij iets niet begrijpt. Hij beweegt zijn wenkbrauwen dan ook als in Action Unit 4 (figuur 5), maar ook 1+2 kan bij de luisteraar betekenen dat hij het niet begrijpt.

Wenkbrauwbewegingen maken we onbewust. Het is bijna onmogelijk om bewust elke beweging te maken. Subtiele bewegingen van de wenkbrauwen maken het verschil tussen een eerlijke en een gemaakte gezichtsuitdrukking. Volgens Ekman (1979) kunnen de wenkbrauwen verklikkers zijn als het gaat om het verhullen van de waarheid. Bijvoorbeeld bij de emoties verdriet of bedroefdheid, bij angst, ongerustheid, vrees of ontzetting, boosheid en verrassing horen specifieke wenkbrauwbewegingen. Wanneer je deze gevoelens probeert te verhullen, zullen je wenkbrauwen je verklikken. Onze meest algemene begroetingsvorm is het kortdurend optrekken van onze wenkbrauwen. Het is een gebaar van de gezichtsspieren die bij mensen uit alle culturen voorkomt. Tussen volwassenen wordt dit gebaar gebruikt als een non-verbaal ‘hallo’. Het gebeurt in een zesde van een seconde waardoor het bijna onzichtbaar is. Opvallend is dat wanneer we dezelfde gezichtsuitdrukking tegenover een baby gebruiken, we het veel langzamer doen (Ekman, 1979).

Wenkbrauwen kunnen bepaalde informatie in een context benadrukken, de zogenoemde focus. Wenkbrauwen hebben, net als toonhoogteaccenten, een accentuerende functie in de communicatie (Birdwhistell 1970, Condon 1976). Er kan zelfs een één-op-één relatie zijn - 21 -

Theoretisch kader tussen toonhoogte en wenkbrauwbewegingen. De Metaphor of Up and Down (Morgan 1953, Bolinger 1985:202ff) bijvoorbeeld stelt het volgende voor: wanneer de toonhoogte omhoog of omlaag gaat, volgen de wenkbrauwen hetzelfde patroon. Cavé et al. (1996) hielden een empirische onderzoek naar de relatie van toonhoogteaccenten en wenkbrauwbewegingen. Ze concludeerden dat er een significante correlatie bestaat tussen de twee. Maar: intuïtief lijkt spraak toch belangrijker te zijn. 2.3.1 Wenkbrauwbewegingen en embodied conversational agents Eerder werd al gezegd dat het toevoegen van bepaalde expressies de ECA een meer natuurlijke uitstraling geeft. Wenkbrauwen hebben bij een ECA dezelfde functie als bij mensen. De voorbeelden die eerder zijn gegeven van de Talking Heads Greta en Baldi zijn ECA’s waarbij gebruik wordt gemaakt van wenkbrauwbewegingen. Hierdoor worden bepaalde emoties uitgedrukt, zoals boosheid, verrassing of verdriet. Ook kunnen ze bepaalde informatie benadrukken wanneer ze bijvoorbeeld samenvallen met een toonhoogteaccent. Er is in de literatuur over Talking Heads geen overeenstemming over de timing en plaatsing van wenkbrauwbewegingen. Volgens Pelachaud et al. (1996) hangt de beslissing om de wenkbrauwen op te trekken af van de emotie, maar in hun voorbeelden vallen toonhoogteaccenten en wenkbrauwbewegingen altijd samen. Het pratende hoofd van Pelachaud et al. (1996) zou op de vraag I know that Harry prefers

POTATO

chips, but what

does JULIA prefer? Het volgende antwoord geven: (JULIA prefers)theme (POPCORN)rheme De woorden die zijn weergegeven in klein kapitaal geven een accent aan. De woorden met erboven een lijn worden vergezeld door een snelle wenkbrauwbeweging. Cassell et al. (2001) gebruiken ‘flashes’ (zo benoemen zij het optrekken van de wenkbrauwen) wat spaarzamer. De wenkbrauwen worden opgetrokken als een object in de ‘rheme’ wordt beschreven. Dus als we dan kijken naar bovenstaande zin, zou er geen ‘flash’ komen op ‘Julia’. Dit roept een drietal onderzoeksvragen op: (1) Hoe functioneel zijn toonhoogteaccenten en snelle wenkbrauwbewegingen voor de perceptie van focus? (2) Waaraan geeft men de voorkeur wanneer wenkbrauwen en accent conflicterende aanwijzingen geven? (3) Is men gevoelig voor wenkbrauwbewegingen wanneer men de prominentie van woorden moet bepalen? In de drie hierna beschreven onderzoeken op het gebied van wenkbrauwbewegingen en ECA’s zullen deze vragen na elkaar beantwoord worden.

- 22 -

Theoretisch kader 2.4 Onderzoek naar wenkbrauwbewegingen bij ECA’s Krahmer et al. (2002a en 2002b) hebben in drie experimenten het effect van wenkbrauwen bij ECA’s in de Nederlandse taal getoetst. Deze drie experimenten zijn een prominentieanalyse, een functionele analyse en een voorkeursanalyse, welke in deze paragraaf zullen worden besproken. In de experimenten werd gebruik gemaakt van animaties van een Nederlands Talking Head die de zin “blauw vierkant” zegt. Er werd gebruik gemaakt van zowel synthetische als menselijke stemmen. Vier menselijke stemmen werden verkregen in een voorafgaand productie-experiment waarin een set dialoogspellen werd gespeeld door paren proefpersonen. Bij het spel kregen de proefpersonen kaarten voor hen geplaatst met daarop verschillend gekleurde geometrische figuren, inclusief het blauwe vierkant. De deelnemers moesten deze figuren beschrijven. Door de volgorde van de kaarten systematisch te variëren, werden de doelomschrijvingen verzameld in drie contexten: (1) focus op het bijvoeglijk naamwoord (“blauw”), (2) focus op het zelfstandig naamwoord (“vierkant”) en (3) focus op beide woorden (“blauw vierkant”). In de context van de experimenten is een eigenschap ‘in focus’ mits die eigenschap contrastief is. Voorbeelden van deze contexten worden weergegeven in tabel 1. Tabel 1: Voorbeelden van de drie contexten CC CG GC

A: B: A: B: A: B:

“rode cirkel” “blauw vierkant” “geel vierkant” “blauw vierkant” “blauwe driehoek” “blauw vierkant”

De C staat voor contrastief en de G voor gegeven. Uit een prosodische analyse bleek dat in de CC context beide woorden een toonhoogteaccent krijgen. In de CG context krijgt alleen het eerste woord een accent en in de GC context alleen het tweede woord. De CC-, CG- en GCcontext worden ook in alle drie de experimenten gebruikt. Bij de experimenten werden 25 Nederlandse proefpersonen gebruikt, die allemaal het Nederlands als moedertaal hadden en niemand had een achtergrond in het onderzoek naar spraak. 2.4.1 Prominentieanalyse In de prominentieanalyse is het doel uit te vinden of luisteraars gevoelig zijn voor wenkbrauwbewegingen wanneer ze de prominentie van woorden moeten bepalen. In twee sessies werd de 25 proefpersonen gevraagd om hun aandacht te vestigen op het eerste woord (“blauw”) van de twee uitingen per paar en door middel van gegeven keuzeantwoorden

- 23 -

Theoretisch kader degene te kiezen welke als meest belangrijk wordt opgemerkt. In twee andere sessies moesten ze het belang van het tweede woord (“vierkant”) in het paar uitingen bepalen.

De resultaten van dit experiment zijn terug te vinden in de tabellen 2 en 3. Tabel 2 geeft de resultaten van het woord “blauw” weer en tabel 3 die van het woord “vierkant”. Alle paarsgewijze vergelijkingen van interesse geven een significante voorkeur voor een van de stimuli (28.8 < χ² < 42.3, df = 1, p < 0.001). Voor beide oordelen op het eerste en het tweede woord is het zo dat de aanwezigheid van een wenkbrauwbeweging een duidelijk effect heeft op de opgemerkte prominentie van een woord op twee manieren. Ten eerste vergroten ze de waargenomen prominentie op deze woorden waarop al een toonhoogtebeweging als accentuering was. De tweede en derde rij van tabel 2 laten dit zien. In het voorgaande geval bijvoorbeeld wanneer beide woorden een accent krijgen, beschouwen mensen het eerste woord (“blauw”) belangrijker wanneer het wordt vergezeld door een wenkbrauwbeweging dan wanneer dit niet wordt gedaan. Op deze manier versterken toonhoogte en wenkbrauwen elkaar voor de bepalingen van prominentie van woorden. Ten tweede trekken wenkbrauwbewegingen de waargenomen prominentie van de woorden in de onmiddellijk voorafgaande of volgende context van het geaccentueerde woord omlaag. Dit wordt weergegeven in de eerste en de vierde rij van tabel 2. Bijvoorbeeld, wanneer beide woorden een accent krijgen, beschouwen mensen het eerste woord (“blauw”) als minder prominent wanneer het tweede woord (“vierkant”) wordt vergezeld door een wenkbrauwbeweging dan wanneer geen woord wordt vergezeld door een wenkbrauwbeweging. Tabel 2. Prominentieoordeel voor het eerste woord in de paren uitingen (“blauw”). 8 stimuli, voor alle 25 luisteraars (N = 200; het totaal van elke rij is 50 = 2 stemmen x 25 luisteraars). De linkerkant van de tabel karakteriseert de stimuli in termen van de distributie van de toonhoogteaccenten; de rechterkant geeft weer hoe vaak proefpersonen “blauw” kozen als zijnde het meest prominent in toestanden waar een wenkbrauwbeweging afwezig was, of the beweging verscheen op het eerste woord of op het tweede woord. Context CC CC CG GC

Wenkbrauwbeweging op Totaal Geen woord Tweede woord alleen 48 2 50 Geen woord Eerste woord alleen 2 48 50 Geen woord Eerste woord alleen 3 47 50 Geen woord Tweede woord alleen 42 8 50

- 24 -

Theoretisch kader Tabel 3. Prominentieoordeel voor het tweede woord in de paren uitingen (“vierkant”). 8 stimuli, voor alle 25 luisteraars (N = 200; het totaal van elke rij is 50 = 2 stemmen x 25 luisteraars). De linkerkant van de tabel karakteriseert de stimuli in termen van de distributie van de toonhoogteaccenten; de rechterkant geeft weer hoe vaak proefpersonen “vierkant” kozen als zijnde het meest prominent in toestanden waar een wenkbrauwbeweging afwezig was, of the beweging verscheen op het eerste woord of op het tweede woord. Context CC CC CG GC

Wenkbrauwbeweging op Totaal Geen woord Tweede woord alleen 6 44 50 Geen woord Eerste woord alleen 42 8 50 Geen woord Eerste woord alleen 44 6 50 Geen woord Tweede woord alleen 4 46 50

2.4.2 Functionele analyse Een ander experiment door Krahmer et al. (2002a) toetst de relatieve bijdrage van toonhoogteaccenten en wenkbrauwbewegingen aan de perceptie van focus voor het Nederlands. Er worden zes mannelijke stemmen gebruikt. Twee van deze stemmen zijn synthetisch en vier menselijk. De 25 proefpersonen keken en luisterden naar het Talking Head welke de uit twee woorden bestaande zin “blauw vierkant” uitte met een bepaald intonatiepatroon en een wenkbrauwbeweging op het eerste of het tweede woord. De taak van de proefpersonen was om te bepalen met behulp van een gedwongen keuze wat de voorafgaande uiting moest hebben beschreven: (1) een rood vierkant, (2) een blauwe driehoek of (3) een rode driehoek. Om die keuze te kunnen maken, moesten de proefpersonen bepalen waarop de focus lag in de animatie: (1) het bijvoeglijk naamwoord (“blauw”), (2) het zelfstandig naamwoord (“vierkant”) of (3) beide.

In tabel 4 zijn de resultaten van dit experiment te zien. De totale distributie is significant verschillend van kans: χ² = 292.2, dƒ = 10, p < 0.001. We bekijken eerst de gevallen met een enkel toonhoogteaccent op het bijvoeglijk naamwoord of het zelfstandig naamwoord. We zien dat hier de meerderheid van de proefpersonen inderdaad de focus waarneemt op het bijvoeglijk naamwoord respectievelijk het zelfstandig naamwoord, waarbij het niet uitmaakt of er bij de woorden een wenkbrauwbeweging heeft plaatsgevonden. De proefpersonen zijn eerder geneigd om de gevallen waarbij de focus wordt waargenomen op het bijvoeglijk

- 25 -

Theoretisch kader naamwoord juist te classificeren dan deze met de focus op het zelfstandig naamwoord. Het is dus zeker dat voor de gevallen waarbij de focus op één woord wordt waargenomen, de distributie van toonhoogte accenten belangrijker is voor het waarnemen van de focus dan het plaatsen van wenkbrauwbewegingen. Toch geven de wenkbrauwbewegingen een effect: de distributie die verkregen werd door een wenkbrauwbeweging op het eerste woord is significant verschillend van de distributie met een beweging op het tweede woord (χ² = 19, dƒ = 8, p < 0.025). In tabel 4 is te zien dat dit voornamelijk komt door de CC context.

& ZRUGW  NHHU DOV *& JHFODVVLILFHHUG HQ &

wordt 70 keer als GC geclassificeerd. Daarentegen wordt en C

NHHU'XVZDQQHHU



&  NHHUDOV &* JHFODVVLILFHHUG

het intonatiepatroon geen duidelijke aanwijzingen geeft over de

focus (omdat het twee toonhoogteaccenten bevat), hebben de wenkbrauwbewegingen relatief meer effect. Tabel 4: Samenvatting van de resultaten: classificatie van alle 36 stimuli, voor alle 25 luisteraars (N = 900). De verticale as geeft de CONTEXT aan van de doeluiting “blauw vierkant” plus het woord dat wordt geassocieerd met de wenkbrauwbeweging. De horizontale as geeft aan hoeveel proefpersonen de uitingen in elk van de drie contexten CLASSIFICEERDEN.

&

C Context1

&

G *

C

Geclassificeerd als CC GC CG 64 41 45 59 70 21

Totaal 150 150

34 33

91 90

25 27

150 150

16 16

22 30

112 104

150 150

2.4.3 Voorkeursanalyse Het doel van het laatste experiment is om uit te vinden of men in het Nederlands bij een bepaalde context de voorkeur geeft aan een wenkbrauwbeweging op ‘blauw’ of op ‘vierkant’. Kortom, vindt men een wenkbrauwbeweging op het eerste of op het tweede woord het natuurlijkst? Ook hierbij keken en luisterden de 25 proefpersonen naar het pratende hoofd dat verschillende paren van de uit twee woorden bestaande zin “blauw vierkant” uitte. Alle paren

1

De wenkbrauwbeweging wordt weergegeven met een hoedje op het relevante item.

- 26 -

Theoretisch kader in zowel AB- als BA-volgorde werden in een random volgorde aan de proefpersonen gepresenteerd. Tabel 5. Oordelen over voorkeur voor verschillende paren uitingen met toonhoogteaccenten op beide woorden, allen op het eerste woord of alleen op het tweede woord, en wenkbrauwbewegingen op zowel het eerste of het tweede woord (N = 300: 12 stimuli x 25 proefpersonen). Wenkbrauw op Context 1ste woord 2de woord Totaal CC 60 40 100 GC 38 62 100 CG 75 25 100

De resultaten van het experiment worden weergegeven in tabel 5. Hierin is te zien dat de plaats van het toonhoogteaccent een duidelijk effect had op de voorkeuren van de proefpersonen voor een wenkbrauwbeweging op het eerste of het tweede woord. Wanneer je de bovenste rij in de tabel bekijkt, kun je opmerken dat er een beperkte voorkeur is voor een wenkbrauwbeweging op het eerste woord wanneer beide woorden een toonhoogteaccent krijgen. Alhoewel, de volgende twee rijen resultaten op uitingen met een enkel toonhoogteaccent laten duidelijk zien dat luisteraars niet de voorkeur geven aan gevallen waarbij het toonhoogteaccent en de wenkbrauwbeweging vallen op verschillende woorden. Men geeft dus de voorkeur aan de gevallen waarbij zowel toonhoogteaccent en wenkbrauwbeweging zijn geplaatst op hetzelfde woord. Dit effect is het duidelijkst wanneer er alleen een toonhoogteaccent op het eerste woord komt. De reden hiervoor is dat het standaard accent niet op de standaard positie komt. Normaal valt het accent op het tweede woord (“vierkant”). Wanneer dit niet zo is, valt het eerder op. 2.4.4 Discussie We zien dat in de functionele analyse de impact van toonhoogteaccenten groter is dan die van de wenkbrauwbewegingen. De visuele aanwijzingen dragen meer bij wanneer de auditieve aanwijzingen niet afdoende zijn. Dat de auditieve aanwijzingen belangrijker schijnen te zijn voor de focus kan als volgt worden uitgelegd: menselijke sprekers doen meer met toonhoogte dan met hun wenkbrauwen, dus het is niet onnatuurlijk dat menselijke luisteraars hebben geleerd om meer aandacht te schenken aan de veranderingen in toonhoogte dan aan de wenkbrauwen. Echter wanneer de toonhoogteaccenten niet op een voor de luisteraar logische plaats komen, worden de wenkbrauwen wel belangrijker om de juiste informatie af te leiden.

- 27 -

Theoretisch kader De luisteraar krijgt de meest volledige informatie wanneer een toonhoogteaccent en een wenkbrauwbeweging tegelijkertijd plaatsvinden.

In hoofdstuk 1 zijn verschillen tussen de Nederlandse en de Italiaanse taal aan de orde gekomen. Hier hebben we onder andere gezien dat in het Italiaans een andere structuur in toonhoogteaccenten wordt gebruikt. Bij de Italiaanse uiting ‘triangolo nero’ (zwarte driehoek) is een prosodie waar te nemen die een ‘stepdown’-vorm heeft. Dit betekent dat op beide woorden een toonhoogteaccent valt, maar dat het eerste accent hoger is en langer duurt dan het daarop volgende. Het is interessant om te kijken of dit verschil in prosodie effect heeft op het gebruik van wenkbrauwbewegingen in het Italiaans. Er worden dus dezelfde experimenten als die van Krahmer et al. (2002a en 2002b) toepast, maar dan met een Italiaans sprekend pratend hoofd en Italiaans sprekende proefpersonen. In het volgende hoofdstuk zal het experiment worden besproken dat is gehouden om de onderzoeksvraag uit hoofdstuk 1 te kunnen beantwoorden.

- 28 -

Methode

3. Methode In het vorige hoofdstuk is het onderzoek naar wenkbrauwbewegingen bij ECA’s in de Nederlandse

taal

beschreven.

Het

soortgelijke

onderzoek

naar

het

effect

van

wenkbrauwbewegingen in het Italiaans wordt in dit hoofdstuk beschreven. Om de uiteindelijke resultaten van dit experiment goed te kunnen vergelijken met onderzoek naar wenkbrauwbewegingen bij een ECA voor de Nederlandse taal, zullen de drie experimenten die in hoofdstuk 2 zijn beschreven worden aangepast en voor het Italiaans worden uitgevoerd. Dit zijn dus de functionele analyse, de voorkeursanalyse en de prominentieanalyse. 3.1 Proefpersonen Aan het experiment nemen 25 proefpersonen deel, die alle 25 het Italiaans als moedertaal hebben. De proefpersonen zijn verdeeld in 12 mannen en 13 vrouwen in de leeftijd van 21 tot en met 63 jaar. Het is niet mogelijk gebleken om alle proefpersonen tegelijkertijd in dezelfde ruimte te laten komen om aan het experiment deel te nemen. Het experiment vind daarom plaats op verschillende locaties, zoals bij proefpersonen thuis en binnen de Universiteit van Tilburg. 3.2 Stimuli In dit experiment wordt gebruik gemaakt van dezelfde ‘talking head’ als in de experimenten van Krahmer et al. (2002a en 2002b), die hiervoor beschreven zijn. De animaties zijn geproduceerd met behulp van CharToon (Ruttkay et al. 1999). Het is een getekend tweedimensionaal gezicht van een man (zie figuur 6) en het wordt afgespeeld in Windows Media Player op een laptop. Het pratende hoofd doet in elk filmpje de uit twee woorden bestaande uiting “triangolo nero” (zwarte driehoek). Hiervoor worden vier menselijke, mannelijke stemmen gebruikt. Menselijke stemmen hebben een natuurlijkere en beter klinkende prosodie. In het vorige hoofdstuk is reeds uitgelegd dat de Italiaanse prosodie een ‘stepdown’-vorm heeft, wat betekent dat in het Italiaans op alle woorden een toonhoogteaccent valt, maar dat het eerste accent hoger is en langer duurt dan het daarop volgende. Door vier stemmen te gebruiken krijg je vier verschillende

- 29 -

Figuur 6. Talking Head dat is gebruikt bij het experiment.

Methode varianten van de uiting “triangolo nero” met dus ook vier varianten van de Italiaanse prosodie. De wenkbrauwbewegingen hebben op óf het eerste óf het tweede woord altijd hetzelfde patroon: het optrekken van de wenkbrauwen gebeurt in 100 milliseconden. De wenkbrauwen blijven dan 100 milliseconden opgetrokken en gaan vervolgens in 100 milliseconden weer omlaag tot de uitgangspositie. De duur van de wenkbrauwbeweging is nagenoeg gelijk aan de duur van een snelle wenkbrauwbeweging van een mens (Cavé et al., 1996).

De filmpjes worden telkens in een random volgorde aangeboden. Dit wordt gedaan om een leereffect te voorkomen. De random volgorde is telkens bepaald met behulp van de ‘randomizer’ op http://www.randomizer.org/form.htm.

De proefpersonen krijgen een takenboekje waarin voor ieder deel de opdracht staat uitgelegd en waarin zij hun antwoordkeuze kunnen omcirkelen. Het takenboekje is in het Italiaans vertaald (zie bijlage). 3.3 Procedure Zoals eerder is vermeld bestaat het experiment uit de volgende drie delen: (1) functionele analyse, (2) voorkeursanalyse en (3) prominentieanalyse. In ieder deel kijken en luisteren de proefpersonen naar een Talking Head dat telkens de uit twee woorden bestaande uiting “triangolo nero” (zwarte driehoek) uit. Voorafgaand aan ieder onderdeel vindt een trainingssessie plaats waarin een voorbeeld van een filmpje wordt gegeven om de proefpersonen vertrouwd te maken met de filmpjes en de opdrachten. Alle filmpjes zullen twee maal aan de proefpersonen worden getoond. 3.3.1 Functionele analyse Voor dit eerste deel wordt gebruik gemaakt van alle vier de menselijke stemmen. Van iedere stem komen de drie contexten aan de beurt, met een wenkbrauwbeweging op het eerste woord (“triangolo”) of op het tweede woord (“nero”). Dit zijn dus de contexten: &&

&

HQ*

ZDDUELMKHWKRHGMHRSGHOHWWHUGHZHQNEUDXZEHZHJLQJYRRUVWHOW

C,

*

Er zijn

zo dus 4 stemmen x 6 contextvariaties = 24 stimuli, die in een random volgorde aan de proefpersonen worden getoond. De 25 proefpersonen kijken en luisteren naar het pratende hoofd welke de uit twee woorden bestaande uiting “triangolo nero” (zwarte driehoek) uit, met een wenkbrauwbeweging op of

- 30 -

Methode het eerste of het tweede woord. De taak van de proefpersonen is om te bepalen met behulp van een gedwongen keuze wat de voorafgaande uiting moet hebben beschreven. Het doel van deze opdracht is om te onderzoeken of de wenkbrauwbeweging bijdraagt aan het geven van informatie over de mogelijk voorafgaande uiting. De voorafgaande uiting is een ander gekleurd geometrisch figuur geweest en kan zijn geweest: (A) rettangolo nero (zwarte rechthoek), (B) rettangolo viola (paarse rechthoek) of (C) triangolo viola (paarse driehoek). Zo ontstaan er drie contexten, welke worden weergegeven in tabel 6. De C staat voor contrastief en de G voor gegeven.

Tabel 6: Voorbeelden van de drie contexten CC CG GC

A: B: A: B: A: B:

“rettangolo viola” “triangolo nero” “rettangolo nero” “triangolo nero” “triangolo viola” “triangolo nero”

Wanneer we er rekening mee houden dat op zowel ‘triangolo’ als ‘nero’ een toonhoogteaccent komt, is de verwachting bij de functionele analyse dat in het Italiaans de informatie van de voorafgaande uiting wordt gehaald uit een ander aspect dan toonhoogteaccenten. We veronderstellen dat wenkbrauwbewegingen hierbij een belangrijke rol spelen en dat men aan de hand van de wenkbrauwbewegingen de voorafgaande uiting kan bepalen. Deze verwachting kan gemotiveerd worden uit het resultaat uit het onderzoek van Swerts et al. (2002), waarin werd getoetst of Italiaanse proefpersonen aan de hand van de prosodie alleen een voorafgaande uiting konden bepalen. Het resultaat van dit onderzoek was dat men daar totaal niet toe in staat was. Er moet dus een andere manier zijn om in het Italiaans een voorafgaande uiting te kunnen bepalen. Dit zou bijvoorbeeld woordvolgorde kunnen zijn. In dit onderzoek bekijken we of wenkbrauwbewegingen een rol spelen bij het kunnen bepalen van een voorafgaande uiting. Bij het Nederlandse onderzoek (Krahmer et al., 2002a) bleek dat in het Nederlands de wenkbrauwbewegingen meer effect hadden wanneer op beide woorden een toonhoogteaccent viel. Gezien de Italiaanse prosodie van de uiting ‘triangolo nero’, waarbij op beide woorden een toonhoogteaccent komt, zou je kunnen verwachten dat ook hier de wenkbrauwen effect hebben voor het signaleren van informatie om zo een voorafgaande uiting te kunnen bepalen.

- 31 -

Methode De hypothese voor de functionele analyse luidt dan als volgt: Men is in het Italiaans in staat om een voorafgaande uiting te bepalen door een wenkbrauwbeweging op óf het eerste óf het tweede woord te plaatsen. 3.3.2 Voorkeursanalyse Het doel van het tweede deel van het experiment is om uit te vinden of er een relatie bestaat tussen de context waarin de uiting gedaan is en de plaats waarop de wenkbrauwbeweging komt: op het eerste of op het tweede woord. Het gaat erom op welke plaats de proefpersonen een wenkbrauwbeweging het meest natuurlijk vinden. De 25 proefpersonen kijken en luisteren naar het pratende hoofd dat verschillende paren van de uit twee woorden bestaande uiting “triangolo nero” uit. Alle paren in zowel AB- als BA-volgorde (zie tabel 7) worden in een random volgorde aan de proefpersonen gepresenteerd. Het is aan de proefpersonen om te bepalen welk van de twee filmpjes in een paar het natuurlijkst overkomt.

Tabel 7: Verschillende paren van de uiting “triangolo nero” in AB- en BA-volgorde.

AB

C

versus

C

*

versus

C

&

versus

G

C

versus

C

BA C

versus

*

G

versus

&

Voor dit tweede deel wordt gebruik gemaakt van twee menselijke stemmen. Van iedere stem komen de drie contexten in paren aan de beurt, met een wenkbrauwbeweging op het eerste woord (“triangolo”) of het tweede woord (“nero”). Er zijn zo dus 2 stemmen x 6 paren = 12 stimuli.

De verwachting bij de voorkeursanalyse is dat men een random voorkeur geeft aan een wenkbrauwbeweging op het eerste of het tweede woord. Omdat in het Italiaans door de typische prosodie de uiting ‘triangolo nero’ twee toonhoogteaccenten krijgt, is de verwachting dat men geen duidelijke voorkeur heeft voor een wenkbrauwbeweging op een bepaald woord.

- 32 -

Methode De hypothese voor de voorkeursanalyse luidt als volgt: In het Italiaans geeft men een random voorkeur aan een wenkbrauwbeweging op het eerste of op het tweede woord. 3.3.3 Prominentieanalyse In het derde deel is het doel uit te vinden of luisteraars gevoelig zijn voor wenkbrauwbewegingen wanneer ze de prominentie van woorden moeten bepalen. In dit deel worden dezelfde twee stemmen als in de voorkeursanalyse gebruikt. In twee onderdelen (voor elke stem één) wordt de 25 proefpersonen gevraagd om hun aandacht te vestigen op het eerste woord (“triangolo”) van de twee uitingen in een paar en te kiezen in welke van de twee filmpjes het woord “triangolo” volgens hen de meeste nadruk krijgt. In twee andere onderdelen moeten ze het belang van het tweede woord (“nero”) in het paar uitingen bepalen. Per onderdeel komen 6 relevante en 4 afleiders voor. De afleiders worden gebruikt zodat de proefpersonen de structuur van de aangeboden paren niet doorkrijgen en de resultaten dus niet worden beïnvloed. Er zijn zo dus 6 relevant + 4 afleiders = 10 stimuli per onderdeel (zie tabel 8), die in een random volgorde aan de proefpersonen worden getoond. Tabel 8

Relevante contexten C versus CC C

YHUVXV&&

*YHUVXV&*

G

YHUVXV*&

C

YHUVXV&* &YHUVXV*&

Afleiders C

YHUVXV

*

C versus C CG versus GC CC versus GC

Hier ontstaat dan een verschil met het experiment voor het Nederlands door Krahmer et al. (2002b), want daarin werden 4 relevante contexten gebruikt. De laatste twee relevante contexten in tabel 8 zijn bij dit experiment toegevoegd. Dit is gedaan omdat in het

- 33 -

Methode Nederlands duidelijk het toonhoogteaccent op het eerste of op het tweede woord te horen is. In het Italiaans is dit niet het geval. We hebben eerder gezien dat de Italiaanse prosodie een toonhoogteaccent heeft op ieder woord, alleen is het toonhoogteaccent op het eerste woord hoger en duurt deze langer dan die op het tweede woord. De structuur van de toonhoogten blijft in het Italiaans telkens hetzelfde. Daarom is het in het Italiaans mogelijk om de CG- en GC-context met een wenkbrauwbeweging op zowel het eerste als het tweede woord te vergelijken.

De verwachting is dus dat men bij het bepalen van de promintie van het woord ‘triangolo’ kiest voor een wenkbrauwbeweging op dat woord. Bij de prominentie van het woord ‘nero’ kiest men dan ook voor een wenkbrauwbeweging op dat woord. De hypothese bij de prominentieanalyse luidt als volgt: Een wenkbrauwbeweging op óf het eerste óf het tweede woord draagt bij aan de prominentie van het woord.

- 34 -

Resultaten

4. Resultaten Het experiment is uitgevoerd zoals in hoofdstuk 3 reeds is beschreven. Het experiment heeft in totaal 4 weken in beslag genomen. Alle gegevens zijn verwerkt en nu kunnen we van ieder van de drie onderdelen van het experiment de resultaten gaan bekijken en vergelijken met het Nederlandse onderzoek. 4.1 Resultaten functionele analyse De resultaten voor de functionele analyse worden weergegeven in tabel 9. Ook in deze tabel geldt dat de wenkbrauwbeweging wordt weergegeven met een hoedje op het relevante item. De totale distributie is niet significant verscKLOOHQG YDQ NDQV

ð

 

df = 10, p = .079.

Het is dus te zeggen dat wenkbrauwbewegingen bij dit onderdeel nauwelijks verschil maken voor de keuze van de proefpersoon.

Tabel 9: Samenvatting van de resultaten: classificatie van alle 24 stimuli, voor alle 25 luisteraars (N = 600). De verticale as geeft de CONTEXT aan van de doeluiting “triangolo nero” plus het woord dat wordt geassocieerd met de wenkbrauwbeweging. De horizontale as geeft aan hoeveel proefpersonen de uitingen in elk van de drie contexten CLASSIFICEERDEN.

&

C Context

&

G *

C

Geclassificeerd als CC GC CG 33 31 36 37 28 35

Totaal 100 100

34 25

29 49

37 26

100 100

39 30

36 38

25 32

100 100

Tijdens het experiment bleek dat de proefpersonen veel moeite hadden met deze opdracht. Bijna allemaal zeiden ze het nogal onnatuurlijk te vinden om te moeten raden wat de voorafgaande uiting moest zijn geweest en zij vonden dat de wenkbrauwbewegingen niet hielpen om een antwoord te kiezen. Dit is dan ook duidelijk te zien in de resultaten. Bij geen enkele context werd eenduidig de focus waargenomen bij een wenkbrauw op het eerste of op het tweede woord. We zien dat in bijna alle gevallen dat men de contexten met een wenkbrauwbeweging op het eerste woord nagenoeg even vaak kiest als de contexten met een

- 35 -

Resultaten wenkbrauwbeweging op het tweede woord. Wanneer alle antwoorden gelijk verdeeld waren, zou namelijk overal 33 moeten staan. In tabel 9 is te zien de daar bijna overal maar een paar antwoorden meer of minder dan 33 zijn gegeven. Alleen bij de GC context is het grootste verschil te zien. We zien dat

&   NHHU DOV *& ZRUGW JHFODVVLILFHHUG HQ *

  NHHU %LM

deze context is het effect van de wenkbrauwen dus enigszins het grootst. Gezien de hypothese uit hoofdstuk drie zijn de resultaten van de functionele analyse verrassend. De verwachting was dat de wenkbrauwen meer informatie zouden verschaffen voor het bepalen van de voorafgaande uiting, omdat op beide woorden een toonhoogteaccent valt en uit het onderzoek van Swerts et al. (2002) is gebleken dat daaruit geen informatie wordt verkregen over de voorafgaande uiting. Dit blijkt dus niet het geval te zijn. Er moet in het Italiaans dus een andere methode zijn om informatie over een voorafgaande uiting uit de huidige uiting te halen.

Wanneer we deze resultaten vergelijken met de resultaten uit het Nederlandse onderzoek, is meteen een groot verschil waar te nemen. In het Nederlandse onderzoek zijn de proefpersonen wel in staat om de voorafgaande uiting te bepalen en in het Italiaanse onderzoek zijn de proefpersonen hier niet toe in staat. Dit verschil is echter geheel te herleiden naar de verschillen in prosodie tussen de twee talen. In het Nederlands krijgt men meer informatie uit de toonhoogteaccenten. In het Italiaans is dit niet het geval omdat elk woord een toonhoogteaccent krijgt en de structuur van de stepdown prosodie telkens hetzelfde is. Wanneer we voor beide talen kijken naar het echte effect van de wenkbrauwen, zien we dat in beide talen het effect heel klein is. Het verschil is in het Nederlands echter wel significant en in het Italiaans niet. 4.2 Resultaten voorkeursanalyse De resultaten van de voorkeursanalyse zijn terug te vinden in tabel 10. De totale distributie is significant: ² = 106,92, df = 5, p < .001. Het is duidelijk te zien dat men de voorkeur geeft aan een wenkbrauwbeweging op het eerste woord, want telkens kiest men in zelfs meer dan 75% voor een wenkbrauwbeweging op het eerste woord. Dit betekent dus dat in het Italiaans een wenkbrauwbeweging op het eerste woord voor alle contexten natuurlijker overkomt dan een wenkbrauwbeweging op het tweede woord. Dit is niet volgens de verwachting, want de verwachting was dat men een random voorkeur zou geven aan een wenkbrauwbeweging op het eerste of op het tweede woord. De verklaring voor dit resultaat heeft zoals eerder is gezegd weer te maken met de Italiaanse prosodie. In de Italiaanse prosodie is het eerste

- 36 -

Resultaten woord namelijk het meest prominent. Men kiest dus duidelijk voor een wenkbrauwbeweging op het meest prominente woord.

Tabel 10: Oordelen over voorkeur voor verschillende paren uitingen met toonhoogteaccenten op beide woorden, allen op het eerste woord of alleen op het tweede woord, en wenkbrauwbewegingen op zowel het eerste of het tweede woord (N = 300: 12 stimuli x 25 proefpersonen). Wenkbrauw op Context 1ste woord 2de woord Totaal CC 84 16 100 GC 79 21 100 CG 76 24 100

Ook bij de voorkeursanalyse zien we verschillen in de resultaten tussen het Nederlandse en het Italiaanse onderzoek. De Italiaanse proefpersonen geven telkens de voorkeur aan een wenkbrauwbeweging op het eerste woord. De Nederlandse proefpersonen geven daarentegen de voorkeur aan een wenkbrauwbeweging op het eerste woord bij de CC- en CG-contexten. Bij de GC-context geeft men in het Nederlandse onderzoek de voorkeur aan een wenkbrauwbeweging op het tweede woord. Zoals eerder al is gezegd, is dit verschil in de resultaten van beide onderzoeken ook weer te verklaren aan de hand van de prosodische verschillen tussen beide talen. Voor zowel de Nederlandse als de Italiaanse proefpersonen geldt dat zij de voorkeur geven aan een wenkbrauwbeweging op het meest prominente woord in de uiting. Hierbij is in het Italiaans de downstep weer van belang. Hierdoor is het eerste woord telkens het meest prominente woord in de uiting. In het Nederlands kan ook het tweede woord het meest prominent zijn wanneer het toonhoogteaccent op het tweede woord valt. 4.3 Resultaten prominentieanalyse In de tabellen 11 en 12 worden ten slotte de resultaten van de prominentieanalyse weergegeven. Tabel 11 geeft de resultaten weer van het woord “triangolo” en tabel 12 die van het woord “nero”. In tabel 11 is te zien dat wanneer men de prominentie van het woord “triangolo” bepaalt, men dit woord het meest prominent vindt wanneer er een wenkbrauwbeweging op valt. Wanneer de wenkbrauwbeweging op het tweede woord komt, kiest men eerder voor de animatie waarbij op geen enkel woord een wenkbrauwbeweging komt als zijnde de animatie waarbij het woord “triangolo” het meest prominent is. Bij een CC

- 37 -

Resultaten context kiest men 44 keer voor ‘triangolo’ wanneer er op dit woord ook een wenkbrauwenweging komt. Als daarentegen de wenkbrauwbeweging op ‘nero’ valt, kiest men 34 keer voor helemaal geen wenkbrauwbeweging. Bij de CG context is dit 46 tegenover 32 keer en bij de GC context 37 tegenover 31 keer. Bij de bepaling van de prominentie van het woord “nero” (zie tabel 12) is in principe precies hetzelfde het geval dan bij de bepaling van het woord “triangolo”. Men vindt het woord “nero” het meest prominent wanneer de wenkbrauwbeweging hier ook op valt. Wanneer de wenkbrauwbeweging op ‘triangolo’ valt, vindt men in de animatie waarbij op geen van beide woorden een wenkbrauwbeweging voorkomt het woord “nero” het meest prominent. Bij een CC context kiest men 33 keer voor met een wenkbrauwbeweging op alleen ‘nero’, wanneer men de prominentie van het woord “nero” bepaald. Als daarentegen de wenkbrauwbeweging op ‘triangolo’ valt, kiest men 33 keer voor helemaal geen wenkbrauwbeweging om het woord “nero” het meest prominent te laten zijn. Bij de CG context is dit 39 tegenover 36 keer en bij de GC context 33 tegenover 38 keer.

Met de resultaten voor beide onderdelen wordt aangetoond dat in het Italiaans een wenkbrauwbeweging op het woord bijdraagt aan de prominentie van dit woord. Dit resultaat is helemaal volgens de verwachting. In de prominentieanalyse zien we toch een verschil tussen de resultaten van het Italiaanse en het Nederlandse onderzoek. De scores uit het Italiaanse onderzoek zijn namelijk minder duidelijk dan die in het Nederlandse onderzoek. Dit met name van belang voor de significantie van de resultaten uit de Italiaanse prominentieanalyse. De *-tekens in tabel 11 en 12 geven de mate van significantie aan. Bij de hoogste waardes, dus waar de verschillen het grootst zijn, zijn de resultaten significant (

ð



35,28, df = 1, p < .001). Dit zijn de meeste gevallen. We zien in tabel 11 twee maal een waarde van p < .001, één keer p < .01 en twee maal de waarde p < .05. Alleen bij de GC context met een wenkbrauwbeweging op alleen het tweede woord is de paarsgewijze vergelijkingen niet-VLJQLILFDQW 

ð

 

df = 1, p = .09), omdat daar het verschil tussen de

waardes te klein is. In tabel 12 zien we dat alle paarsgewijze vergelijkingen significant zijn: twee maal p < .001, twee maal p < .01 en ook twee maal p < .05. Hieruit kunnen we concluderen dat op één na alle waarden significant of althans minder significant zijn.

- 38 -

Resultaten Tabel 11: Prominentieoordeel voor het eerste woord in de paren uitingen (“triangolo”). 10 stimuli, voor alle 25 luisteraars (N = 250; het totaal van elke rij is 50 = 2 stemmen x 25 luisteraars). De linkerkant van de tabel karakteriseert de stimuli in termen van de distributie van de toonhoogteaccenten; de rechterkant geeft weer hoe vaak proefpersonen “triangolo” kozen als zijnde het meest prominent in toestanden waar een wenkbrauwbeweging afwezig was, of the beweging verscheen op het eerste woord of op het tweede woord. Context2 CC *** CC * CG *** CG * GC ** GC

Wenkbrauwbeweging op Totaal Geen woord Eerste woord alleen 6 44 50 Geen woord Tweede woord alleen 34 16 50 Geen woord Eerste woord alleen 4 46 50 Geen woord Tweede woord alleen 32 18 50 Geen woord Eerste woord alleen 13 37 50 Geen woord Tweede woord alleen 31 19 50

Tabel 12: Prominentieoordeel voor het tweede woord in de paren uitingen (“nero”). 10 stimuli, voor alle 25 luisteraars (N = 250; het totaal van elke rij is 50 = 2 stemmen x 25 luisteraars). De linkerkant van de tabel karakteriseert de stimuli in termen van de distributie van de toonhoogteaccenten; de rechterkant geeft weer hoe vaak proefpersonen “nero” kozen als zijnde het meest prominent in toestanden waar een wenkbrauwbeweging afwezig was, of the beweging verscheen op het eerste woord of op het tweede woord. Context3 CC * CC ** CG ** CG *** GC *** GC *

Wenkbrauwbeweging op Totaal Geen woord Eerste woord alleen 33 17 50 Geen woord Tweede woord alleen 15 35 50 Geen woord Eerste woord alleen 36 14 50 Geen woord Tweede woord alleen 11 39 50 Geen woord Eerste woord alleen 38 12 50 Geen woord Tweede woord alleen 17 33 50

2 + 3

Bij de context is de mate van significantie van de paarsgewijze vergelijking weergegeven met * = p < .05, ** = p < .01, *** = p < .001.

- 39 -

Discussie

5. Discussie Nu de resultaten uit het experiment bekend zijn, kunnen we deze kritischer gaan bekijken. Ten slotte zullen suggesties worden gedaan voor eventueel verder onderzoek. 5.1 Discussie Met de resultaten die blijken uit het experiment is de onderzoeksvraag uit hoofdstuk 1 te beantwoorden. De onderzoeksvraag luidde als volgt:

Welk effect heeft het gebruik van wenkbrauwbewegingen bij embodied conversational agents voor het signaleren van informatie in audiovisuele spraak in een Romaanse taal als het Italiaans, en hoe verhoudt dit zich tot een Germaanse taal als het Nederlands?

Het experiment wijst voor de functionele analyse uit dat het in het Italiaans niet mogelijk is om met behulp van de wenkbrauwbewegingen een voorafgaande uiting te bepalen. Het gebruik van wenkbrauwbewegingen heeft bij dit onderdeel dus geen effect voor het signaleren van informatie in audiovisuele spraak in de Italiaans taal. Dit is een verrassend resultaat. De verwachting was dat de wenkbrauwen meer informatie zouden verschaffen voor het bepalen van de voorafgaande uiting, omdat er in de Italiaanse prosodie telkens hetzelfde patroon is in de structuur van de toonhoogteaccenten. Uit de preferentieanalyse blijkt dat men een duidelijke voorkeur heeft voor een wenkbrauwbeweging op

het

eerste

woord van

de

uiting.

De

plaats

van de

wenkbrauwbeweging is in de preferentieanalyse dus zeker van belang. Dit resultaat was niet volgens de verwachting. Toch is het verschil met het Nederlands helemaal te verklaren aan de hand van de prosodische verschillen tussen de twee talen. Het eerste woord wordt door de ‘stepdown’ structuur in het Italiaans namelijk het meest prominent. In de prominentieanalyse komt naar voren dat een wenkbrauwbeweging op het woord dat wordt benadrukt het meest duidelijk is. Dus wanneer men de prominentie van het woord “triangolo” moet bepalen, kiest men voor een wenkbrauwbeweging op dit woord. Wanneer de prominentie van het woord “nero” moet worden bepaald, kiest men ook voor een wenkbrauwbeweging op dit woord. Ook hier is de plaats van de wenkbrauwbeweging dus van belang. Het gebruik van wenkbrauwbewegingen heeft bij deze analyse dus wel degelijk effect voor het signaleren van informatie in audiovisuele spraak in het Italiaans. Dit is ook volgens de verwachting. - 40 -

Discussie Samenvattend kunnen we concluderen dat twee van de drie resultaten in het onderzoek verrassend zijn te noemen. Een vrij logische verklaring kan zijn dat zowel in het Italiaans als in het Nederlands de wenkbrauwbeweging als het ware de structuur van de prosodie ‘volgt’. Dit is te zien wanneer de resultaten uit beide onderzoeken worden vergeleken. Bij de functionele analyse is het in eerste instantie opvallend dat men in het Italiaans niet in staat is om met behulp van wenkbrauwbewegingen een voorafgaande uiting te raden, terwijl men er in het Nederlands wel toe in staat is. Echter blijkt dat zowel in het Italiaans als in het Nederlands het effect van de wenkbrauwbewegingen heel klein is. In het Nederlands hebben de toonhoogteaccenten het meeste effect. In het Italiaans zijn er dus andere factoren nodig om de informatie uit een uiting te halen om een voorafgaande uiting te kunnen bepalen. Dit zouden factoren zoals bijvoorbeeld handbewegingen of woordvolgorde kunnen zijn. In de preferentieanalyse zien we dat men in het Italiaans steeds de voorkeur geeft aan een wenkbrauwbeweging op het eerste woord, terwijl in het Nederlands de voorkeur ligt op een wenkbrauwbeweging op het woord waarop ook een toonhoogteaccent valt. Aangezien de Italiaanse prosodie het eerste woord het meest prominent maakt, kiest men hier dus ook voor een wenkbrauwbeweging op het meest prominente woord. Wanneer we ten slotte de prominentieanalyse voor beide talen vergelijken, zien we dat de resultaten enigszins overeen komen. In beide talen vindt men een wenkbrauwbeweging op het benadrukte woord het meest prominent, al zijn de scores in het Italiaans minder duidelijk dan in het Nederlands.

De proefpersonen in het Italiaanse onderzoek gaven bij de functionele analyse aan dat zij de opdracht in eerste instantie niet helemaal begrepen. Na de oefensessie werd het pas duidelijk wat precies de bedoeling was. Tijdens de opdracht gaven de proefpersonen aan dat het niet te doen was om de vorige uiting van het pratende hoofd te raden. Zij gaven aan dat wenkbrauwbewegingen niet relevant waren om in het Italiaans te kunnen aangeven wat een voorafgaande uiting moest zijn geweest. Ook zeiden zij het onnatuurlijk te vinden om een voorafgaande uiting te moeten raden. Dit was echter ook het geval bij het Nederlandse onderzoek. De opdracht van de preferentieanalyse was voor iedereen meteen duidelijk en dit was ook het geval bij de prominentieanalyse. Bij de prominentieanalyse bleek tijdens het experiment wel dat de 4 afleiders tussen de ‘gewone’ contexten effect hadden. Veel proefpersonen dachten dat ze doorhadden hoe de volgorde van de filmpjes in elkaar zat. Ze dachten meteen na het

- 41 -

Discussie eerste filmpje in een paar het antwoord al te kunnen weten, totdat er een afleider kwam en hun theorie niet meer opging.

Er zouden misschien vraagtekens kunnen worden gezet bij het feit dat de 25 proefpersonen Italianen in Nederland waren. Alle 25 waren native speakers van het Italiaans en sommigen spraken ook Nederlands, terwijl er ook bijwaren die totaal geen Nederlands spraken of verstonden. Ik heb de resultaten van degenen die wel Nederlands spraken vergeleken met degenen die het niet spraken en ik ben tot de conclusie gekomen dat het feit dat sommige proefpersonen naast Italiaans ook Nederlands spraken de resultaten niet heeft beïnvloed. 5.2 Suggesties voor verder onderzoek In de functionele analyse is gebleken dat de wenkbrauwbewegingen in het Italiaans niet helpen om een voorafgaande uiting te kunnen bepalen. Het is dus een aardig idee om met toekomstig

onderzoek

te

onderzoeken

welke

verbale

en/of

non-verbale

communicatiemethoden van het menselijk lichaam wel helpen bij het bepalen van een voorafgaande uiting. Dit zou bijvoorbeeld een onderzoek kunnen zijn naar handbewegingen bij ECA’s of woordvolgorde in het Italiaans. Zo’n onderzoek zou kunnen zijn in de vorm van analyse via synthese, maar het zou ook heel interessant om eens Italianen te filmen in hun dagelijks leven. Door de communicatie tussen de gefilmde mensen te bestuderen zou duidelijk kunnen worden welke vormen van verbale en non-verbale heel vaak worden gebruikt en belangrijk kunnen zijn voor het signaleren van informatie in spraak. Een

tweede

manier

om

te

onderzoeken

welke

verbale

en/of

non-verbale

communicatiemethoden in het Italiaans kunnen helpen bij het bepalen van een voorafgaande uiting, is om te onderzoeken of een andere woordvolgorde hierbij van belang is. Hiervoor zou hetzelfde pratende hoofd kunnen worden gebruikt, dat telkens een andere volgorde van een bepaalde uiting uitspreekt. De proefpersonen krijgen dan weer de taak om de voorafgaande uiting te bepalen aan de hand van de getoonde animatie.

Een ander interessant onderdeel van het onderzoek naar wenkbrauwen zou een onderzoek naar verschillende wenkbrauwbewegingen kunnen zijn. In paragraaf 2.3 worden zeven zogenaamde Action Units voor de wenkbrauw en het voorhoofd (Ekman, 1979) genoemd, welke ook zijn te zien in figuur 5 op pagina 21. In het onderzoek naar het effect van wenkbrauwbewegingen in zowel het Nederlands (Krahmer et al., 2001a en 2001b) als in het Italiaans is de wenkbrauwbeweging gebruikt die door Ekman (1979) wordt beschreven als

- 42 -

Discussie Action Unit 1+2. In een nieuw onderzoek naar andere wenkbrauwbewegingen bij embodied conversational agents zouden bijvoorbeeld de Action Units 1+2+4, 1+4 en 2+4 kunnen worden gebruikt, om te onderzoeken welk effect deze specifieke wenkbrauwbewegingen hebben in audiovisuele spraak. Het zou bijvoorbeeld mogelijk kunnen zijn dat het naar beneden trekken van de wenkbrauwen weer een heel ander effect heeft dan het optrekken van de wenkbrauwen.

- 43 -

Literatuur Bilvi, M., Carofiglio, V., Cassotta, MT., Carolis, B. De, Rosis, F. de, Diomede, G., Grassano, R., & Pelachaud, C. (z.j.) A conversation with a 3D face. Gevonden 4 oktober 2002, op aos2.uniba.it:8080/papers/A%20conversation%20with%20a%203D%20face.doc Birdwhistell, R. (1970) Kinesics and context. University of Pennsylvania Press. Bolinger, D. (1986) Intonation and its parts. London, Edward Arnold. Cassell, J. & Thórisson, K. (1999) The power of a nod and glance: Envelope vs. emotional feedback in animated conversational agents. Journal of Applied Artificial Intelligence 13(3), pp. 519-538. Casell, J., Vihjálmsson, H., Bickmore, T. (2001) “BEAT: the Behavior Expression Animation Toolkit”, Proceedings of SIGGRAPH’01. Cavé, C., Guaïtella, I., Betrand, R., Santi, S., Harlay, F., Espesser, R, (1996) “About the relationship between eyebrow movements and F0 variations”, Proceedings ICSLP, Philadelphia, pp. 2175-2179. Cole, R., Massaro, D.W., Villiers, J. de, Rundle, B., Shobaki, K., Wouters, J., Cohen, M., Beskow, J., Stone, P., Connors, P., Tarachow, A., & Solcher, D. (z.j.). New tools for interactive speech and language training: Using animated conversational agents in the classrooms of profoundly deaf children. Gevonden 6 september 2002, op mambo.ucsc.edu/psl/dwm/dwm_files/pdf/matisse.pdf Condon, W. (1976) “An analysis of behavioral organization”. Sign Language Studies, 13:285-318. Ekman, P. (1979) About brows: Emotional and conversational signals, in: Human ethology: Claims and limits of a new discipline, M. von Cranach, K. Foppa, W. Lepenies, D. Ploog (eds.), Cambridge University Press, pp. 169-202. Ekman, P. Emotional and conversational nonverbal signals, in: Gesture, Speech, and Sign, L. Messing, R. Campbell, (1999) Oxford University Press, pp. 45-55. Evers, M. & Nijholt, A. (z.j.) Embodied agents in de interface. Gevonden 4 oktober 2002, op www.home.cs.utwente.nl/~anijholt/ artikelen/informatie_ev2001.pdf Gudykunst, William B. (1991) Bridging Differences: effective intergroup communication. Thousand Oaks, CA: SAGE. Kramer, E., Ruttkay, Zs., Swerts, M. & Wesselink, W. (2002a) Pitch, Eyebrows and the Perception of Focus. Proc. Speech Prosody 2002, Aix-en-Provence, pp. 443-446. Kramer, E., Ruttkay, Zs., Swerts, M. & Wesselink, W. (2002b) Perceptual evaluation of audiovisual cues for prominence.

- 44 -

Krahmer, E. & Swerts, M. (In druk). Perceiving focus. Ladd, D. (1996) Intonational phonology. Cambridge University Press, pp. 177-178. Morgan, B. (1953) Question melodies in American English. American Speech 2:181-191. Moreno, R. (2000) Life-like pedagogical agents in constructivist multi-media environments. EDMEDIA, pp 741-746. Pelachaud, C., Badler, N., Steedman, M. (1996) “Generating facial expressions for speech”, Cognitive Science 20:1-46. C. Pelachaud, E. Magno-Caldognetto, C. Zmarich, P. Cosi (2001) Modelling an Italian Talking Head, Audio-Visual Speech Processing, Scheelsminde, Danemark, 7-9 septembre. Reeves, B. & Nass, C. (1996) The media equation. New York, Cambridge University Press. Rickenberg, R. & Reeves, B. (z.j.) The effects of animated characters on anxiety, task performance, and evaluations of user interfaces. In: Proceedings of CHI ’00: Human factors in computing systems. Den Haag, Nederland, pp. 49-56. Rimé, B. & Schiaratura, L. (1991) Gesture and speech, in: Fundamentals of nonverbal behavior, R. Feldman & B. Rimé, Cambridge University Press, pp. 239-281. Ruttkay, Zs., ten Hagen, P., Noot, H. (1999) CharToon: A system to animate 2D cartoon faces, Proceedings Eurographics. Swerts, M., Krahmer, E. & Avesani, C. (2002) Prosodic marking of information status in Dutch and Italian: a comparative analysis, Journal of phonetics 30 (4), pp 629-654. Vallduví, E. (1990) The Information Component, Ph.D. Dissertation, University of Pennsylvania. Wijk, C. van (2000) Toetsende Statistiek: basistechnieken. Bussum: Uitgeverij Coutinho. Wijk, C. van (2000) Toetsende statistiek op de computer: basistechnieken. Bussum: Uitgeverij Coutinho. Zande, E. van der (1997) Virtueel idool, in: Torch 1, juni-juli 97. Elektronische versie op http://www.vanderzande.com/mags/torch1.html. De taal die iedereen spreekt. De taal van de wenkbrauwen. (z.j..) Gevonden 10 september 2002, op http://www.lichaamstaal.com/wenkbrauw.html.

- 45 -

Bijlage: takenboekje

Esperimento

Nome: Età: Luogo di nascita: Lingua materna:

Introduzione generale Per prima cosa: grazie per la tua partecipazione! Questo esperimento consiste di tre parti, nelle quali vogliamo valutare una “testa parlante” italiana (cioè: un programma per computer che rappresenta una figura umana e parla italiano). Vedrai questa testa parlante e la sentirai pronunciare la frase “triangolo nero” in modi diversi. Ciascuna parte ti verrà spiegata separatamente, e comincerà con una breve sessione di prova. L’esperimento dura circa 30 minuti. Buona fortuna!

Prima Parte Nella prima parte sentirai e vedrai una testa parlante che descrive una figura geometrica colorata (con la frase “triangolo nero”). Dovrai immaginare che questa frase sia l’ultima di una sequenza di tali figure. Il tuo compito è di indovinare quale fosse la figura precedente. Ovvero: quale figura era stata descritta dalla testa parlante immediatamente prima di ‘triangolo nero’. Si potrebbe trattare di una delle tre figure seguenti: • rettangolo nero • triangolo viola, o • rettangolo viola. Dovrai sempre prendere una decisione! Cominciamo questa parte con una sessione di prova (che consisterà di tre animazioni) in modo da farti familiarizzare con il tipo di animazione e con l’assetto sperimentale. Le risposte che darai a queste domande non verranno usate. Il test consiste di 24 animazioni. Traccia un cerchio attorno alla risposta che ti sembra corretta.

Quale era la figura descritta prima di ‘triangolo nero’?

Prova 1. rettangolo nero

triangolo viola

rettangolo viola

2. rettangolo nero

triangolo viola

rettangolo viola

3. rettangolo nero

triangolo viola

rettangolo viola

Test 1. rettangolo nero

triangolo viola

rettangolo viola

2. rettangolo nero

triangolo viola

rettangolo viola

3. rettangolo nero

triangolo viola

rettangolo viola

4. rettangolo nero

triangolo viola

rettangolo viola

5. rettangolo nero

triangolo viola

rettangolo viola

6. rettangolo nero

triangolo viola

rettangolo viola

7. rettangolo nero

triangolo viola

rettangolo viola

8. rettangolo nero

triangolo viola

rettangolo viola

9. rettangolo nero

triangolo viola

rettangolo viola

10. rettangolo nero

triangolo viola

rettangolo viola

11. rettangolo nero

triangolo viola

rettangolo viola

12. rettangolo nero

triangolo viola

rettangolo viola

13. rettangolo nero

triangolo viola

rettangolo viola

14. rettangolo nero

triangolo viola

rettangolo viola

15. rettangolo nero

triangolo viola

rettangolo viola

16. rettangolo nero

triangolo viola

rettangolo viola

17. rettangolo nero

triangolo viola

rettangolo viola

18. rettangolo nero

triangolo viola

rettangolo viola

19. rettangolo nero

triangolo viola

rettangolo viola

20. rettangolo nero

triangolo viola

rettangolo viola

21. rettangolo nero

triangolo viola

rettangolo viola

22. rettangolo nero

triangolo viola

rettangolo viola

23. rettangolo nero

triangolo viola

rettangolo viola

24. rettangolo nero

triangolo viola

rettangolo viola

Seconda Parte In questa seconda parte, ti verranno presentate coppie di animazioni. Ti sarà chiesto quale delle due animazioni tu trovi più naturale . Più precisamente: in quale delle due animazioni ritieni che l’immagine corrisponde meglio al suono? Ciascuna coppia ti sarà mostrata due volte. E’ opportuno fare una prima scelta dopo la prima animazione e confermarla dopo la presentazione della seconda animazione. Dovrai prendere sempre una decisione. Per favore, fai un cerchio attorno all’animazione che preferisci. Cominciamo questa parte con una sessione di prova (che consisterà di una coppia di animazioni) in modo da farti familiarizzare con il tipo di animazione e con l’assetto sperimentale. Le risposte che darai a queste domande non verranno usate. Il test consiste di 12 coppie di animazioni.

In quale delle due animazioni l’immagine corrisponde meglio al suono? Prova 1.

A

B

1.

A

B

2.

A

B

3.

A

B

4.

A

B

5.

A

B

6.

A

B

7.

A

B

8.

A

B

9.

A

B

10.

A

B

11.

A

B

12.

A

B

Test

Terza Parte La parte finale dell’esperimento consiste di 4 sottoparti. In ciascuna di queste sottoparti ti verrà chiesto di concentrarti su una delle due parole: o sulla parola “triangolo” o sulla parola “nero”. La domanda è: in quale delle due animazioni la parola è più enfatizzata? Ciascuna coppia ti sarà mostrata due volte. Dovrai prendere sempre una decisione. Per favore, fai un cerchio attorno all’animazione che preferisci. Cominciamo questa parte con una sessione di prova (che consisterà di una coppia di animazioni) in modo da farti familiarizzare con il tipo di animazione e con l’assetto sperimentale. Le risposte che darai a queste domande non verranno usate. Il test consiste di 10 coppie di animazioni per ciascuna sezione di questa terza parte dell’esperimento .

Sottoparte 1

Concentrati sulla parola “triangolo”! In quale delle due animazioni la parola “triangolo” è più enfatizzata? Prova 1.

A

B

1.

A

B

2.

A

B

3.

A

B

4.

A

B

5.

A

B

6.

A

B

7.

A

B

8.

A

B

9.

A

B

10.

A

B

Test

Sottoparte 2

Concentrati sulla parola “nero”! In quale delle due animazioni la parola “nero” è più enfatizzata? Prova 1.

A

B

1.

A

B

2.

A

B

3.

A

B

4.

A

B

5.

A

B

6.

A

B

7.

A

B

8.

A

B

9.

A

B

10.

A

B

Test

Sottoparte 3

Concentrati sulla parola “nero”! In quale delle due animazioni la parola “nero” è più enfatizzata? Prova 1.

A

B

1.

A

B

2.

A

B

3.

A

B

4.

A

B

5.

A

B

6.

A

B

7.

A

B

8.

A

B

9.

A

B

10.

A

B

Test

Sottoparte 4

Concentrati sulla parola “triangolo”! In quale delle due animazioni la parola “triangolo” è più enfatizzata? Prova 1.

A

B

1.

A

B

2.

A

B

3.

A

B

4.

A

B

5.

A

B

6.

A

B

7.

A

B

8.

A

B

9.

A

B

10.

A

B

Test

Grazie per aver partecipato!