Automatische detectie van onbegrip op basis van gezichtsuitdrukkingen

Automatische detectie van onbegrip op basis van gezichtsuitdrukkingen Tineke van den Hoek ANR: 608614

HAIT Master Thesis

THESIS SUBMITTED IN PARTIAL FULFILMENT OF THE REQUIREMENTS FOR THE DEGREE OF

MASTER OF ARTS IN COMMUNICATION AND INFORMATION SCIENCES, MASTER TRACK HUMAN ASPECTS OF INFORMATION TECHNOLOGY, AT THE SCHOOL OF HUMANITIES OF TILBURG UNIVERSITY

Thesis committee: Dr. M. Postma-Nilsenová Prof. Dr. E.O. Postma

Tilburg University School of Humanities Department of Communication and Information Sciences Tilburg centre for Cognition and Communication (TiCC) Tilburg, The Netherlands August 2014

AUTOMATISCHE DETECTIE VAN ONBEGRIP

2

Abstract

Effective communication between health professionals and patients is pivotal to medical care. In particular, older patients are often confused by the medical terminology used by health professionals. These patients may hide their confusion, because they are ashamed or intimidated by the situation. Training health professionals to recognize nonverbal signs of confusion, contributes to the effectiveness of communication. The focus of the study presented in this thesis is on the automatic detection of confusion from facial expressions. Two experiments were performed with elderly participants. In the first experiment, the participants were presented with a medical explanation that was either easy or hard to understand. In the second experiment, the Feeling of Knowing (FOK) paradigm was used to assess the lack of knowledge of the elderly participants. In both experiments, the faces of the participants were recorded on video in order to be able to measure their facial expressions. The measurement of expressions is based on Facial Action Units, the building blocks of facial expressions. Using automatic coding software that converts facial videos in Action Unit estimates in combination with automatic classification software, predictions could be generated using the videos of both experiments. For the videos of the first experiment, confusion could be predicted with an accuracy of 68%. For the videos of the second experiment, a prediction accuracy of 35% was obtained (chance level 17%). These results show that, within favourable conditions, it is possible to detect confusion and Feeling of Knowing well above chance level. No correlation could be established between the confusion and FOK scores.

AUTOMATISCHE DETECTIE VAN ONBEGRIP Inhoudsopgave Abstract…………………………………………………………………………….. 2 1. Inleiding………………………………………………………………………... 5 2. Theoretisch kader………………………………………………………………. 6 2.1. Social Signal Processing ……………………………………………… 6 2.2. Automatische detectie ………………………………………………… 8 2.3. Feeling of Knowing …………………………………………………… 9 2.4. Relatie FOK en onbegrip ……………………………………………... 11 2.5. Medische communicatie……………………………………………….. 13 3. Methode…………………………………………………………………………14 3.1.1 Dataverzameling …………………………………………………..….14 3.1.2 Participanten ………………………………………………………….14 3.1.3 Onderzoeksopzet……………………………………………………... 15 3.1.4 Materiaal …………………………………………………………….. 16 3.1.5 Instrumentatie ……………………………………………………….. 16 3.1.6 Procedure ……………………………………………………………. 18 3.2.1 Data-analyse ………………………………………………………… 19 3.2.2 Opbouw database ……………………………………………………. 19 3.2.3 Computer Expression Recognition Toolbox (CERT) ……………… 21 3.2.4 Machine Learning …………………………………………………… 24 3.2.5 K-NN algoritme …………………………………………………….. 25 4. Resultaten……………………………………………………………………… 25 4.1 Onbegrip detectie …………………………………………………….. 25 4.1.1 Manipulatiecheck …………………………………………………… 25 4.1.2 Gezichtskenmerken …………………………………………………. 26 4.1.3 K-NN classificatie …………………………………………………... 27 4.2 Feeling of Knowing detectie ………………………………………….. 28 4.2.1 FOK score …………………………………………………………… 28 4.2.2 Gezichtskenmerken ………………………………………………….. 30 4.2.3 K-NN classificatie …………………………………………………… 32

3


5. Discussie ………………………………………………………………………. 32 5.1 Verwachting van het onderzoek ……………………………………….. 32 5.2 Uitkomsten van het onderzoek ………………………………………… 33 5.2.1 Onbegrip …………………………………………………………….. 33 5.2.2 Feeling of Knowing …………………………………………………. 33 5.3 Beperkingen en aanbevelingen ………………………………………… 34 5.4 Vervolgonderzoek ……………………………………………………... 34 6. Conclusies ……………………………………………………………………. 36 6.1 Onderzoeksvraag 1……….……………………………………………. 36 6.2 Onderzoeksvraag 2…………………………………………………….. 36 6.3 Toekomstig onderzoek ………………………………………………… 36 7. Referenties………………………………………………………………………37 8. Bijlages………………………………………………………………………… 42 Bijlage A: Scripts video’s………………………………………………….. 42 Bijlage B: Vragenlijst FOK ouderen……………………………………….. 44 Bijlage C: Gemiddelde data per AU……………………………………….. 46

4


5

1. Inleiding Non-verbale communicatie is belangrijk voor informatieoverdracht tijdens een gesprek tussen arts en patiënt (Hall, Roter, Blanch, & Frankel, 2009). De kans op miscommunicatie neemt toe wanneer non-verbale cues niet goed worden overgebracht of waargenomen door een van beide partijen. Wanneer een patiënt de informatie niet heeft begrepen kunnen de non-verbale signalen van onbegrip minimaal zijn. Non-verbale signalen zijn daarnaast ook vaak onbewuste gedragingen (Pinto, 2004). Hierdoor zijn non-verbale signalen, in het bijzonder gezichtsuitdrukkingen, lastig detecteerbaar. Daarom is het van belang dat een arts de nonverbale signalen van een patiënt zo goed mogelijk analyseert en registreert om de informatieoverdracht naar de patiënt goed te laten verlopen. Voor het opmerken van (minimale) non-verbale signalen bestaat software die beweging in het gezicht detecteert. Deze software is in staat om non-verbale signalen van de gezichten van mensen af te lezen. Deze non-verbale signalen worden ook wel non-verbale cues genoemd. Aan de diverse combinaties van non-verbale cues zijn Action Units (AU’s) gekoppeld (Ekman & Friesen, 1978). Action units zijn de bewegende delen in het gezicht. Een voorbeeld van een AU is het bewegen van de wenkbrauw. De software die in dit onderzoek wordt gebruikt voor het detecteren van gezichtsuitdrukkingen is de Computer Expression Recognition Toolbox (CERT). CERT is in staat om door middel van het aflezen van non-verbale cues van het gezicht aan te geven welke AU gebruikt wordt door de persoon. Activiteit in meerdere AU’s tegelijk wordt geclassificeerd tot een gezichtsuitdrukking. Hierdoor kunnen diverse emoties en uitdrukkingen goed worden onderscheiden en met elkaar vergeleken. Het detecteren van emoties en gezichtsuitdrukkingen speelt een belangrijke rol in het waarnemen van onbegrip (Barkhuysen, Krahmer, & Swerts, 2005). De vaardigheid van het waarnemen van onbegrip is belangrijk voor artsen. Zoals eerder beschreven kan het tijdig signaleren van onbegrip bij de patiënt de informatieoverdracht beter laten verlopen (Hall et al., 2009). Wanneer het mogelijk is om onbegrip automatisch te detecteren, kan dat worden ingezet voor training en ontwikkeling van persoonlijke vaardigheden. Artsen kunnen worden getraind in het detecteren van non-verbale signalen en het tijdig herkennen van onbegrip, waardoor de kans op miscommunicatie tijdens arts-patiënt gesprekken afneemt. Een eerste stap is het onderzoeken welke non-verbale cues worden geuit door mensen die onbegrip ervaren. Indien deze cues goed te detecteren en te onderscheiden zijn, zou het mogelijk moeten zijn om onbegrip automatisch te detecteren. Het onderzoek richt zich op bovenstaande stappen, met als eindvraag of het mogelijk is om onbegrip automatisch te detecteren door middel van nonverbale cues.

6


Eerder onderzoek dat nauw verwant is aan begrip is onderzoek naar Feeling of Knowing (FOK) (Hart, 1965). FOK is het gevoel te beschikken over kennis, maar niet in staat zijn deze kennis op dat moment op te halen. Dit gevoel van onwetendheid ligt dicht bij het gevoel van onbegrip. Er is relatief veel onderzoek gedaan naar FOK, in tegenstelling tot onbegrip. De nonverbale signalen die worden waargenomen tijdens eerder onderzoek naar FOK (Swerts & Krahmer, 2005), komen veelal overeen met de non-verbale signalen die getoond worden tijdens onbegrip. Naast bovenstaande onderzoeksvraag, wordt met deze studie ook onderzocht of er een relatie bestaat tussen onbegrip en FOK. Wanneer deze relatie wordt aangetoond, kan eerdere literatuur over FOK gebruikt worden voor nader onderzoek naar onbegrip. 2. Theoretisch kader 2.1 Social Signal Processing Deze studie naar onbegrip en Feeling of Knowing maakt gebruik van Social Signal Processing (SSP) methodes. SSP gaat over het automatisch begrijpen van sociale interactie, door het analyseren van non-verbale cues (Vinciarelli, Salamin, & Pantic, 2009). Onder sociale interactie valt bijvoorbeeld agressie, onenigheid, vriendschappelijkheid, en genegenheid. Nonverbale cues die bij een specifieke interactie horen zijn detecteerbaar met een computer. Hierdoor kunnen interactiesignalen tussen mensen worden afgelezen. Onder deze non-verbale cues vallen bijvoorbeeld gezichtsuitdrukkingen en lichaamshouding. Het gezicht is de belangrijkste informatiebron voor het aflezen van iemands gemoedstoestand (Knapp & Hall, 2006). Tijdens een conversatie worden gezichtsuitdrukkingen gebruikt als non-verbale signalen om de gegeven informatie zo goed mogelijk over te brengen (Barkhuysen et al., 2005). Aan de hand van visuele non-verbale cues zoals gezichtsbewegingen, kunnen emoties, uitdrukkingen en interacties automatisch worden gedetecteerd en gecodeerd. Methodes die hiervoor gebruikt worden zijn computer vision en machine learning technieken. De automatische analyse van non-verbale cues in gezichten is doorgaans gebaseerd op het Facial Action Coding System (FACS) (Ekman & Friesen, 1978). Dit systeem biedt de meest nauwkeurige

beschrijving

van

lokale

gezichtsbewegingen,

de

bouwstenen

van

gezichtsexpressies die Facial Action Units worden genoemd, of kortweg Action Units (AU’s; Ekman & Friesen, 1978). Figuur 1 geeft een illustratie van de meest voorkomende Action Units (Ekman & Friesen, 1978). Er zijn twee verschillende categorieën van AU’s: “upper face Action Units” en “lower face Action Units”, voor respectievelijk de bovenste en onderste helft van het gezicht. De upper face Action Units hebben voornamelijk betrekking op bewegingen van de ogen en wenkbrauwen. De lower face Action Units betreffen met name de neus en de mond.


7

Een voorbeeld van een upper face Action Unit is AU4, de Brow lowerer. Deze Action Unit beschrijft het naar beneden bewegen van de wenkbrauwen. De Action Units van FACS bieden een uitstekende basis voor de automatische detectie van non-verbale cues in gezichten.

Figuur 1. Overzicht van de belangrijkste Action Units van Ekman & Friesen (1978). Iedere foto illustreert de lokale gezichtsexpressie die onder de foto staat. Boven iedere foto staat het Action Unit nummer. De bovenste twee rijen tonen de upper face Action Units, de onderste drie rijen de lower face Action Units. Overgenomen

van

http://what-when-how.com/face-recognition/facial-expression-

recognition-face-recognition-techniques-part-1/


8

2.2 Automatische detectie De Computer Expression Recognition Toolbox (CERT) is gebaseerd op het FACS systeem. Hierdoor is CERT een zeer geschikt programma voor het automatisch detecteren van gezichtsuitdrukkingen met behulp van Action Units (Shen & Bai, 2006). De software leest digitale video’s en detecteert gezichten. Voor ieder frame van de video, worden gezichtsbewegingen en de diverse AU’s gedetecteerd en naar een bestand weggeschreven. CERT is in staat om de gezichtsexpressies behorende bij de basisemoties te herkennen, maar een “niet standaard emotie” zoals onbegrip staat niet voorgeprogrammeerd in deze software. Omdat onbegrip het hoogst scoort op asymmetrische emoties is het de meest opvallende “niet standaard emotie” (Rozin & Cohen, 2003). Gezichtsuitdrukkingen zijn een betere graadmeter voor onbegrip dan lichaamshouding. Deze specifieke cues zeggen meer over onbegrip dan de algehele lichaamstaal (Grafsgaard, Boyer, Phillips & Lester, 2011). Bij asymmetrische emoties, zoals onbegrip, komen twee typen van gezichtsuitdrukkingen vaker voor dan bij symmetrische emoties; dit zijn: het optrekken van één wenkbrauw en het bijten op de lip/het uitsteken van de tong. De laatste gezichtsuitdrukking is verklaarbaar: er is maar één mond en één tong om te bewegen, waardoor deze beweging altijd plaats vindt aan een kant van het gezicht. Echter het optrekken van één wenkbrauw lijkt een andere betekenis te hebben dan het optrekken van beide wenkbrauwen (Rozin & Cohen, 2003). Wat betreft symmetrische gezichtsuitdrukking bij het tonen van onbegrip is het vernauwen van de ogen een veel voorkomende beweging. Maar ook het samentrekken, fronsen, van de wenkbrauwen komt veel voor. Deze beweging van de wenkbrauwen is in FACS gedefinieerd als Action Unit 4. Uit eerder onderzoek naar onbegrip is gebleken dat AU 4 een hoge correlatie heeft met onbegrip (Craig, D’Mello, Witherspoon, & Greasser, 2008; McDaniel et al., 2007). Ook Pope en Smith (1994) hebben een verband aangetoond tussen het “fronsen van de wenkbrauwen” en verwarring en onbegrip. Het is dus waarschijnlijk dat er een relatie bestaat tussen onbegrip, het fronsen van de wenkbrauwen en AU 4, die mogelijk is aan te tonen met behulp van CERT. De verwachte correlatie tussen onbegrip en Action Unit 4 leidt tot de eerste onderzoeksvraag van deze studie: “In hoeverre is het mogelijk om onbegrip automatisch te detecteren aan de hand van gezichtsuitdrukkingen?”. Eerder onderzoek toonde aan dat het met behulp van CERT zeer goed mogelijk is om emoties te detecteren. Daarom is de verwachting dat het ook mogelijk is om onbegrip automatisch te detecteren.


9

2.3 Feeling of Knowing Een concept dat raakvlakken heeft met onbegrip is Feeling Of Knowing (FOK). Om de relatie tussen deze twee concepten duidelijk te maken worden eerst de specificaties van FOK besproken. Feeling Of Knowing (FOK) gaat over het gevoel van zekerheid over het kunnen beantwoorden van een vraag. Er wordt een vraag gesteld en de ondervraagde participant moet daarna inschatten of hij of zij in staat is om deze vraag goed te beantwoorden (Hart, 1965). Wat er dus gebeurd is dat mensen een inschatting maken naar de capaciteit van hun eigen geheugen. Ze kunnen de informatie op dat moment niet ophalen, maar ze kunnen wel bedenken dat ze over de kennis beschikken in hun geheugen (Koriat, 1993). Volgens onderzoek van Hart (1965) beschikt de mens over een soort interne monitor. Deze monitor bekijkt wat er is opgeslagen in het geheugen. Wanneer de informatie er is, kan het geheugen dit ophalen. Wanneer de monitor signaleert dat er geen kennis ligt opgeslagen, hoeft het geheugen ook geen moeite te doen om te proberen de kennis op te halen. Met behulp van deze monitor wordt volgens Hart (1965) FOK ingeschat. Wanneer iemand het antwoord op een vraag niet direct weet te zeggen, maar hij of zij wel de zekerheid heeft over de kennis te beschikken, uit zich dit in een hoge FOK score. Wanneer iemand onzeker is of het goede antwoord kan worden gegeven, uit zich dit in een lage FOK score (Reder & Ritter, 1992). FOK wordt uitgedrukt in een score op een schaal van 1 tot 7. Wanneer FOK duidelijk optreedt, is er sprake van een score van 7: de participant is zeker van het antwoord op de vraag. Wanneer FOK slechts minimaal aanwezig is, duidt dit op een score van 1: de participant is onzeker over het antwoord op de vraag. In figuur 2 is het verschil tussen hoge en lage FOK zichtbaar gemaakt met behulp van twee afbeeldingen. In figuur 2A weet de participant het antwoord op een open vraag. In figuur 2B weet de participant geen antwoord op de vraag. Wanneer de participant zeker is van het antwoord, zoals bij de eerste afbeelding, uit zich dit in een hoge FOK-score. Wanneer de participant onzeker is van het antwoord omdat er geen kennis is van het onderwerp, uit zich dit in een lage FOK-score.

10


(A)

(B)

Figuur 2. De uiting van het FOK-gevoel gaat gepaard met non-verbale signalen van de wenkbrauwen en mondhoeken. Bij een hoge FOK-score (A) staat het gezicht meer neutraal dan bij een lage FOK-score (B).

Wanneer er wordt gevraagd de FOK score van een ander in te schatten is dit Feeling Of Another’s Knowing (FOAK). Deze inschatting wordt gemaakt op basis van de non-verbale signalen die worden geuit door de participant die de vragen beantwoordt (Brennan & Williams, 1995). Deze non-verbale signalen hebben betrekking op de zekerheid dan wel onzekerheid van de participant die de vragen beantwoordt. Wanneer de participant een antwoord formuleert, ongeacht goed of fout, wordt de inschatting van FOAK gemiddeld gezien beter gedaan dan wanneer de participant een non-antwoord geeft (Brennan & Williams, 1995). Een nonantwoord wordt gegeven om de vraagstelling te ontwijken, in vele gevallen omdat de participant geen antwoord weet op de vraag. Dus bij een hoge FOK score lukt het de andere participant beter om FOAK in te schatten. Het verschil tussen hoge en lage FOK-scores is ook non-verbaal zichtbaar. Hoge FOKscores zijn gekenmerkt door weinig tot geen pauzes tijdens het antwoord, een dalende intonatie in de stem en een neutrale gezichtsuitdrukking. Lage FOK scores gaan gepaard met veel (opvul) pauzes, vaker een stijgende intonatie in de stem en weinig neutrale gezichtsuitdrukkingen (Dijkstra, Krahmer, & Swerts, 2006). Tijdens het ervaren van een laag FOK gevoel worden er meer non-verbale signalen geuit dan tijdens een hoog FOK gevoel. Dus wanneer iemand onzeker is over het antwoord op een vraag resulteert dit in meer expressie (Visser, Krahmer, & Swerts, 2013). Gezichten zonder neutrale uitdrukking worden in het FACS weergegeven als “funny faces”. Deze bestaan uit combinaties van diverse upper face AU’s en lower face AU’s. Veel voorkomende combinaties zijn AU 15 lip corner depression, AU 20 lip stretching of AU 24 lip pressing, met AU 15 eye widening en met AU 1 inner brow raise of AU 2 outer brow raise (Swerts & Krahmer, 2005). Een voorbeeld van de visuele non-verbale signalen tijdens


11

een lage FOK score is terug te zien in figuur 2A; er is beweging in de mondhoeken, ogen en wenkbrauwen weergegeven. Een belangrijke factor die van invloed is op de FOK score is leeftijd. Uit eerdere studies naar ouderdom is bekend dat het geheugen van de mens afneemt naar mate men ouder wordt. Hierdoor presteren ouderen minder goed in taken die betrekking hebben op het geheugen zoals herkenning en oproepen van informatie (Prull, Gabrieli, & Brunge, 2000). Naar mate men ouder wordt en de taken met betrekking tot het geheugen minder goed gaan werken, treft dit ook de “interne monitor” uit het onderzoek van Hart (1965). Hierdoor kunnen ouderen minder goed in staat zijn om FOK in te schatten voor zowel zichzelf als bij FOAK. Onderzoek van Souchay, Moulin, Clarys, Taconnat, en Isingrini (2007) toont aan dat er een verschil is op te merken tussen FOK scores in vergelijking met leeftijden van deelnemers, wanneer er vragen gesteld werden die betrekking hadden op het korte termijn geheugen. Jongere deelnemers gaven hogere FOK scores bij recent geleerde informatie dan oudere deelnemers. Bij vragen met betrekking tot het lange termijn geheugen zijn er geen relevante verschillen gevonden. Naast verschil in vragen met betrekking tot het korte termijn geheugen zijn er ook verschillen met betrekking tot nauwkeurigheid, taakuitvoering en herinneringen (Perrotin, Isingrini, Souchay, Clarys, & Taconnat, 2006). Op al deze punten scoren oudere volwassenen tijdens FOK experimenten lager dan jongere volwassenen. Er is ook onderzoek gedaan naar deelname van kinderen aan FOK experimenten. Kennis van gedragsregels, met betrekking op expressie, beïnvloedt hoe mensen onbegrip uiten. Deze kennis wordt opgedaan naar mate men ouder wordt. Oudere kinderen uiten hun onzekerheid daardoor anders dan jongere kinderen (Visser et al., 2013). Dit verschil is ook terug te zien in FOAK. Volwassenen zijn beter in staat om de onzekerheid van oudere deelnemers in te schatten dan de onzekerheid van jongere deelnemers. De invloed van leeftijd op FOK scores is van belang voor dit onderzoek omdat er onderzoek is gedaan naar oudere participanten.

2.4 Relatie FOK en onbegrip Na deze uitleg over FOK wordt aangegeven waarom er een relatie wordt gezocht met onbegrip. Een eerste overeenkomst tussen FOK en onbegrip heeft betrekking op de oorzaak van de visuele non-verbale signalen. De signalen die worden geuit tijdens onderzoek naar FOK worden geanalyseerd als signalen van onzekerheid (Swerts & Krahmer, 2005). Onzekerheid en onbegrip worden beiden veroorzaakt door een gebrek aan kennis (Powell, Dunwoody, Griffin, & Neuwirth, 2007).


12

De tweede overeenkomst heeft betrekking op de non-verbale signalen die worden geuit. Onzekerheid tijdens vraag-antwoord situaties zoals bij onderzoek naar FOK wordt op diverse manieren geuit door middel van visuele non-verbale communicatie (Swerts & Krahmer, 2005). Een aantal belangrijke signalen zijn bewegingen van de wenkbrauwen en mondhoeken (Swerts, Krahmer, Barkhuysen, & Van de Laar, 2003). Dezelfde gezichtsonderdelen zijn actief tijdens het uiten van het gevoel van onbegrip (Craig et al., 2008; McDaniel et al., 2007). Ten derde zijn in beide situaties de non-verbale visuele signalen belangrijker dan de auditieve non-verbale signalen. Eerder onderzoek wijst uit dat dit aantoonbaar is bij de perceptie van emoties (Van Amelsvoort, Joosten, Krahmer, & Postma, 2013). Ondanks dat onzekerheid en onbegrip beide geen standaard emoties zijn, geldt dit wel voor beide concepten. Onderzoek door Dijkstra et al. (2006) toont dit aan voor onderzoek naar FOAK met betrekking op de geuite signalen tijdens de vraagstelling van FOK onderzoek. Tijdens het oplossen van ingewikkelde problemen zijn gezichtsuitdrukkingen expressiever (Amelsvoort et al., 2013). Tijdens ingewikkelde problemen is aan te nemen dat het niveau van onbegrip hoger ligt dan bij eenvoudige problemen. Hierdoor zijn de gezichtsuitdrukkingen duidelijker zichtbaar dan de auditieve non-verbale signalen. Het waarnemen van deze gezichtsuitdrukkingen speelt dus een belangrijke rol bij onderzoek naar zowel FOK als onbegrip. Ten slotte richten onderzoek naar FOAK en deze studie naar onbegrip zich beiden op het detecteren van non-verbale signalen bij derden. Bij onderzoek naar FOAK wordt de onzekerheid van een persoon gedetecteerd op basis van non-verbale signalen die worden geuit tijdens de vraagstelling van het FOK onderzoek. Deze studie naar onbegrip richt zich op het automatisch detecteren van gezichtsuitdrukkingen van participant die onbegrip ervaren tijdens het experiment. Dus beide type onderzoeken gaan over de perceptie van niet standaard emoties. Deze vierde overeenkomst is de laatste reden waarom er een relatie tussen FOK en onbegrip wordt gezocht. Naar aanleiding van deze overeenkomsten tussen FOK en onbegrip is de tweede onderzoeksvraag geformuleerd: “Kan er een relatie worden aangetoond tussen onbegrip en FOK op basis van gezichtsuitdrukkingen?”. Wanneer deze relatie kan worden aangetoond met deze studie kan er in een vervolgstudie worden onderzocht of bestaande literatuur over onderzoek naar FOK kan worden ingezet voor onderzoek naar onbegrip.


13

2.5 Medische communicatie Dit onderzoek naar automatische detectie van onbegrip kan worden toegepast in het werkveld van medische communicatie. Onderzoek naar communicatie tussen arts en patiënt wijst namelijk uit dat non-verbale communicatie bijdraagt aan een betere conversatie (Hall et al., 2009). Er is sprake van een goede conversatie wanneer de informatie die de arts geeft goed wordt begrepen door de patiënt, zonder dat er sprake is van een gevoel van onbegrip bij de patiënt. Er zijn meerdere oorzaken die dit gevoel van onbegrip kunnen veroorzaken. Een eerste oorzaak ontstaat wanneer de non-verbale cues niet goed worden overgebracht of worden waargenomen door een van beide partijen. Een tweede oorzaak voor het gevoel van onbegrip ontstaat wanneer beide personen een verschillende interpretatie geven aan de non-verbale signalen. Wanneer een (hoogopgeleide) arts met een (oudere) patiënt spreekt, kan er zeker een verschil aan interpretatie van non-verbale signalen optreden. Dit komt door achtergrond-, culturele- en leeftijdsverschillen van beide personen (Pinto, 2004). Deze problemen met nonverbale signalen veroorzaken miscommunicatie en onbegrip in de medische conversatie. Een derde oorzaak van onbegrip bij de patiënt tijdens een medische conversatie is het taalgebruik van de behandelend arts. Artsen en zorgverleners maken veel gebruik van medisch jargon in hun manier van communiceren. Dit wordt gebruikt voor zowel communicatie met andere zorgverleners als voor communicatie met patiënten (Houts, Doak, & Loscalzo, 2006). Door het verschil in niveau van medische kennis tussen arts en patiënt kan het gebruik van medisch jargon door de arts onbegrip veroorzaken bij de patiënt. Wanneer patiënten dit onbegrip (non-verbaal) uiten is het van belang dat de arts dit detecteert. Als de arts het onbegrip waarneemt kan hij hierop inspelen door bijvoorbeeld zijn taalgebruik te veranderen waardoor de medische communicatie beter zal verlopen. Een vierde factor voor het ontstaan van onbegrip tijdens medische communicatie is leeftijd. Leeftijdsgebonden factoren als sensorische, functionele of cognitieve beperkingen spelen een rol in de communicatie van arts naar patiënt. Juist doordat deze beperkingen zich meer voordoen naarmate mensen ouder worden, hebben oudere mensen de meeste ervaring met betrekking tot het voeren van een medisch gesprek met een arts (Van Weert, Jansen & Van Dulmen, 2012). Bij oudere patiënten is het noodzakelijk om specifieke informatie over de patiënt te geven om het gesprek zo patiënt gericht en efficiënt mogelijk te laten verlopen. Dit is een belangrijke factor om voor het begrip en de tevredenheid van de patiënt, de uitkomst van de behandeling en therapietrouw (Rost & Roter, 1987). Er zijn nog diverse andere oorzaken van slechte communicatie tussen artsen en oudere patiënten: stereotypering, slechte articulatie, gebruik van medisch jargon door artsen, slechter zien en horen, cognitieve en


14

geheugenproblemen bij de patiënten en ten slotte ook omgevingsgeluiden (Lubinski & Welland, 1997; Van Cott, 1993; Armerman & Parnell, 1992; Kopp, 2001). Een laatste belangrijke oorzaak van communicatieproblemen is het feit dat ouderen andere non-verbale signalen gebruiken om zich uit te drukken dan jongeren (Kaplan, Gandek, Greenfield, Rogers & Ware, 1995; Kent & Burkard, 1981). Deze diverse genoemde leeftijdsgebonden factoren spelen allen een belangrijke rol in de medische communicatie tussen de arts en een oudere patiënt. De vier eerdergenoemde factoren: het detecteren van non-verbale cues, de interpretatie van gedetecteerde non-verbale cues, het gebruik van medisch jargon door de arts en de leeftijd van de patiënt zorgen ervoor dat er onbegrip kan ontstaan tijdens een medische conversatie tussen arts en patiënt. Het is dus belangrijk voor goede communicatie tussen arts en patiënt dat het wordt opgemerkt wanneer een patiënt de verkregen informatie niet begrijpt. Eerder onderzoek van Weert, Jansen, Spreeuwenberg, Van Dulmen en Bensing (2011) heeft aangetoond dat communicatietraining bij artsen ten goede komt van de gesprekken tussen arts en oudere patiënten. Dit onderzoek was gebaseerd op de hoeveelheid informatie die patiënten hadden onthouden na afloop van het gesprek. Door artsen ook te trainen in het herkennen van onbegrip bij oudere patiënten, kan dit wellicht nog beter bijdragen aan de hoeveelheid informatie die de patiënt heeft begrepen en onthouden. Hierdoor wordt de communicatie tussen arts en patiënt alsmaar beter. Wanneer het mogelijk is om onbegrip automatisch te detecteren kan dit worden ingezet voor het trainen van artsen en andere medische hulpverleners. Om te onderzoeken of het mogelijk is om bij te dragen aan betere communicatie tussen arts en patiënt, door middel van automatische detectie van onbegrip, maakt deze studie gebruik van bovengenoemde vier oorzaken van onbegrip tijdens medische communicatie met oudere participanten.

3. Methode Het onderzoek is opgebouwd uit twee delen. Het eerste deel van het experiment is gericht op onbegrip; het tweede deel van het experiment is opgezet met de standaard Feeling of Knowing paradigma.

3.1.1 Dataverzameling 3.1.2 Participanten Er hebben 24 participanten deelgenomen aan het onderzoek: twaalf mannen en twaalf vrouwen. Zij waren allen zeventig jaar en ouder met een gemiddelde leeftijd van 79.5 jaar (SD = 6.2). Er


15

is één participant uitgesloten van deelname omdat de data van onvoldoende kwaliteit was, dit resulteerde in 23 geschikte participanten bestaande uit twaalf mannen en elf vrouwen. De participanten zijn evenredig verdeeld over de twee condities. Ze zijn geworven in Rotterdam en Tilburg. De participanten uit Rotterdam (N = 16) waren bewoners van twee verzorgingstehuizen. De participanten uit Tilburg (N = 7) waren bezoekers van een activiteitencentrum. Het waren ouderen die ofwel zelfstandig woonden, ofwel in een verzorgingstehuis. Ze waren allen cognitief goed in staat om deel te nemen aan het onderzoek. Dit is beoordeeld door de medewerkers van het verzorgingscentrum dan wel activiteitencentrum die dagelijks te maken hebben met de deelnemende participanten. Ook is dit gebleken tijdens uitvoering van het onderzoek. De participanten waren goed in staat om nemen aan de experimenten en begrepen de taak die zij moesten uitvoeren uitstekend.

3.1.3 Onderzoeksopzet Het eerste deel van het experiment bestond uit een 2x2 tussen-participant ontwerp. De onafhankelijke variabele is bepaald door taalmanipulatie. De afhankelijke variabele was het onbegrip van de participant. Iedere participant heeft twee videofragmenten van gemiddeld twee minuten bekeken: een gemanipuleerde video en een controlevideo. Deze video’s toonden een medische instructie over een hartaanval dan wel herseninfarct. Door het gebruik van twee verschillende onderwerpen zijn er twee verschillende variaties ontstaan. In situatie 1 (N=8) heeft de participant gekeken naar een controlevideo met informatie over een hartaanval en een complexe video over een beroerte. In situatie 2 (N=15) heeft de participant gekeken naar een controlevideo over een beroerte en een complexe video over een hartaanval. Om de mate van begrip te kunnen meten wordt de data vergeleken tussen de participanten. Het begrip van de participanten moet gemiddeld hoog liggen tijdens het kijken naar een controlevideo en gemiddeld laag liggen tijdens het kijken van een complexe video. Om deze reden wordt de data vergeleken tussen de participanten die dezelfde video hebben bekeken. Het tweede deel van het experiment naar FOK maakt gebruik van een 2x2 binnen participant ontwerp. Er werd een vragenlijst afgenomen met twintig open vragen. Eenvoudige en complexe vragen werden afwisselend gesteld. Er zijn twee verschillende vragenlijsten gemaakt die random verdeeld over de participanten werden afgenomen. De manipulatie in moeilijkheidsgraad van de vragen bepaalde de onafhankelijke variabele. De mate waarin onwetendheid werd ervaren bepaalde de afhankelijke variabele.


16

3.1.4 Materiaal Voor het opnemen van de instructievideo’s uit het eerste deel van het experiment zijn er vier videoscripts uitgeschreven. Twee scripts bevatten informatie over een hartaanval, de andere twee scripts over een beroerte. De controlescripts zijn geschreven in eenvoudig taalgebruik, de gemanipuleerde scripts maakten gebruik van medisch jargon. In de scripts over een hartaanval zijn 23 gemanipuleerde woorden verwerkt. De scripts over de beroerte bevatten 19 gemanipuleerde woorden. De videoscripts zijn bijgevoegd in bijlage A. Deze scripts zijn voorgelezen door een onderzoeker in een doktersjas. Door het gebruik van deze jas werd geïnsinueerd dat deze persoon een arts was. Het voorlezen van de scripts is gefilmd en daarna aan de participanten getoond waardoor iedere participant dezelfde film kon bekijken met exact hetzelfde taalgebruik. Voor het tweede deel van het experiment zijn vragenlijsten samen gesteld met twintig open vragen. De bestaande vragenlijsten uit eerder onderzoek naar FOK zijn geschikt voor volwassenen en kinderen. Om een vragenlijst voor ouderen te ontwikkelen zijn er vragen uit de bestaande versies voor volwassenen en kinderen gecombineerd tot een nieuwe vragenlijst (Visser, 2013). De vragenlijsten die gebruikt zijn gedurende het onderzoek staan vermeld in bijlage B. Zowel de instructievideo’s als de vragenlijsten zijn vooraf getest bij een ouder echtpaar, een man van 85 jaar en een vrouw van 83 jaar oud. Beiden waren cognitief in staat om het experiment uit te voeren. Omdat deze resultaten zijn gebruikt om het experiment te testen, zijn zij later uitgesloten van deelname aan het daadwerkelijke experiment. De participanten reageerden positief op het materiaal. De vragenlijsten waren goed samengesteld door eenvoudige en moeilijke vragen af te wisselen. Het werd ervaren als een soort quiz, waardoor de participanten aangaven dat het plezierig was om deel te nemen aan het experiment.

3.1.5 Instrumentatie De laptop waarop de video’s zijn bekeken door de participanten was een Asus laptop (ASUS S56CM-XX079H). De camera die gebruikt is voor de opnames van de participanten was een Samsung videocamera (S10 HD Camcorder). Tijdens het kijken van de video zat de participant aan tafel en stond de laptop voor hen op tafel. De videocamera stond achter de tafel waardoor er gemiddeld 70 centimeter afstand ontstond tussen de participant en de camera. In figuur 3 staat de grafische weergave van de eerste onderzoeksopstelling.


17

Figuur 3. Grafische weergave van de onderzoeksopstelling tijdens het eerste deel van het onderzoek.

Tijdens het tweede deel van het experiment zat de participant wederom aan tafel, met daarachter de camera opgesteld. De interviewer zat bewust buiten het beeld van de participant, er is een obstakel tussen hen in geplaatst. Deze tweede onderzoeksopstelling is grafisch weergegeven in figuur 4.

Figuur 4. Grafische weergave van de onderzoeksopstelling tijdens het tweede deel van het onderzoek.


18

3.1.6 Procedure Het eerste deel van het experiment startte met het tonen van de eerste controlevideo aan de participant. Tijdens het kijken naar deze video werd de participant gefilmd, ter analyse van de gezichtsuitdrukking. Na afloop van de eerste film werd de participant gevraagd of alle informatie begrijpelijk was. Ook werd er gevraagd of de participant informatie kon herhalen die zojuist gegeven was in de video. Deze controle taak werd gedaan om te bepalen of de participant de verkregen informatie ook daadwerkelijk had begrepen. Ten slotte werd er gevraagd om de instructievideo een cijfer te geven voor de duidelijkheid van de uitleg. Het cijfer werd gevraagd op schaal van één tot tien, waarbij één stond voor onduidelijke uitleg en tien stond voor duidelijke uitleg. Vervolgens werd de tweede video getoond aan de participant. Het onderwerp van de tweede video was niet gelijk aan het onderwerp uit de eerste video. Hierin werd een variatie aangebracht door middel van de twee onderwerpen “hartaanval” en “beroerte”. De tweede video was de gemanipuleerde video met complex taalgebruik. Hierin waren de eenvoudige termen uit de controlevideo vervangen door medisch jargon. De procedure was verder gelijk aan het bekijken van de eerste video: de participant werd gefilmd en na afloop werd er een controlevraag gesteld. Ook deze film moest worden beoordeeld op duidelijkheid op schaal van één tot tien. Ten slotte is de participanten gevraagd beide videoscripts op papier te lezen. Hierover is gevraagd een cijfer te geven op duidelijkheid op schaal van één tot tien. Deze controle is gedaan als manipulatiecheck van de scripts. Het tweede deel van het experiment startte met het afnemen van de FOK paradigma. Er waren twee versies van de FOK paradigma met elk twintig vragen, die afwisselend zijn afgenomen bij de participanten. Elf participanten kregen versie één, twaalf participanten kregen versie twee. Het experiment startte met het afnemen van de twintig open vragen. Tijdens dit traject zijn de participanten gefilmd, ter analyse van de gezichtsuitdrukking. Tijdens het stellen van de vragen zat de interviewer bewust uit het gezichtsveld van de participant. Hierdoor kon de participant geen contact zoeken met de interviewer en werd de participant ertoe aangezet om zelf na te denken over de vraag en duidelijk in de camera te kijken. De interviewer kon hierdoor geen hints geven om de participant op weg te helpen. Na afloop van het beantwoorden van de open vragen werd de camera uitgezet. Na de productietaak volgde de perceptietaak. Dezelfde twintig vragen zijn nogmaals doorlopen samen met de participant. Per vraag gaf de participant een indicatie van het Feeling of Knowing gevoel op schaal van één tot zeven, met daarbij de volgende uitleg van deze zevenpunts-schaal:


19

1. Absoluut zeker dat ik het juiste antwoord NIET herken. 2. Bijna zeker dat ik het juiste antwoord NIET herken. 3. Waarschijnlijk dat ik het juiste antwoord niet herken. 4. Geen idee of ik het juiste antwoord herken. 5. Waarschijnlijk dat ik het juiste antwoord WEL herken. 6. Bijna zeker dat ik het juiste antwoord WEL herken. 7. Absoluut zeker dat ik het juiste antwoord WEL herken.

Aan de hand van deze indicatie is er een onderscheid gemaakt door de cijfers één tot en met vier te classificeren als lage FOK score en de cijfers vijf tot en met zeven als hoge FOK score. Ten slotte zijn de vragen nogmaals gesteld aan de participanten maar nu met meerkeuze antwoorden erbij. Per vraag werden vier antwoordmogelijkheden gegeven waaruit de participant kon kiezen. Dit werd gebruikt als laatste controletaak om te vergelijken of het gegeven antwoord overeenkomt met de FOK score. Wanneer de participant een hoge FOK score gaf en het juiste antwoord kon selecteren kwam dit overeen. Als de participant een hoge FOK score gaf maar het juiste antwoord niet kon selecteren was er een tegenspraak in het FOK gevoel van de participant. Indien dit voor alle vragen zou gebeuren zou de participant niet geschikt zijn voor dit onderzoek.

3.2.1 Data-analyse Per participant zijn er twintig FOK fragmenten en vier video fragmenten geselecteerd. Deze fragmenten zijn geanalyseerd met de software Computer Expression Recognition Toolbox (CERT). De verzamelde data met betrekking tot onbegrip en onwetendheid vormen de onafhankelijke variabele. Het automatisch detecteren van deze data in CERT vormt de afhankelijke variabele.

3.2.2 Opbouw database Per participant zijn er fragmenten geselecteerd uit de gefilmde opnames. Dit is gedaan met de software Windows Movie Maker. Uit het eerste deel van het experiment waarbij de participanten de gemanipuleerde instructievideo’s hebben bekeken, zijn per participant vier fragmenten geselecteerd. In de eerste situatie hebben de participanten eerst de controlevideo over een hartaanval bekeken. Daaruit zijn twee fragmenten geselecteerd na het uitspreken van de volgende zinnen: “Tijdens het leven ontstaan er versmallingen in de aders.” en “Een deel van het hart krijgt geen zuurstof meer.”. Op deze momenten zijn vijf seconden beeldmateriaal

20


van de gezichtsuitdrukking van de participant geselecteerd. Dezelfde momenten zijn geselecteerd uit de tweede situatie waarin andere participanten de manipulatievideo over een hartaanval bekeken. Door de taalmanipulatie waren dit de momenten waarop de volgende zinnen werden uitgesproken: “Tijdens het leven ontstaan er versmallingen in de arteria.” en “De myocard krijgt geen zuurstof meer.”. Ook voor het onderwerp “beroerte” zijn er fragmenten van vijf seconden geselecteerd. Uit de controlevideo was dat op de volgende momenten: “Het slachtoffer slecht gaat zien.” en “Heel warrig spreken of denken.”. Uit de manipulatievideo zijn de volgende gelijkwaardige fragmenten geselecteerd: “Last van diplopie krijgt.” en “Of last krijgen van confusie.”. In tabel 1 staat het overzicht met fragmenten weergegeven.

Tabel 1 De geselecteerde fragmenten uit de instructie en manipulatie video’s.

Situatie 1 N=8

Hartaanval controle:

Beroerte manipulatie:

“Tijdens het leven ontstaan er

“Last van diplopie krijgt.”

versmallingen in de aders.” “Een deel van het hart krijgt geen

“Of last krijgen van confusie.”

zuurstof meer.” Situatie 2 N=15

Beroerte controle:

Hartaanval manipulatie:

“Het slachtoffer slecht gaat zien.”

“Tijdens het leven ontstaan er versmallingen in de arteria.”

“Heel warrig spreken of denken.”

“De myocard krijgt geen zuurstof meer.”

Er zijn 16 fragmenten van 8 verschillende participanten geselecteerd uit de controlevideo over een hartaanval. In situatie 1 zijn deze fragmenten vergeleken met 30 fragmenten van 15 andere participanten uit de manipulatievideo over een hartaanval. Zo zijn er ook 16 fragmenten van 8 verschillende participanten geselecteerd uit de manipulatievideo over een beroerte. Deze fragmenten zijn in situatie 2 vergeleken met 30 fragmenten van 15 andere participanten uit de controlevideo over een beroerte. De selectie leverde een database op van 92 fragmenten van 5 seconden. Zie tabel 2 voor het onderscheid tussen situatie 1 en situatie 2.

21

AUTOMATISCHE DETECTIE VAN ONBEGRIP Tabel 2 Het vergelijken van de data in twee verschillende situaties.

Situatie 1

Situatie 2

Hartaanval controle:

Hartaanval manipulatie:

16 fragmenten (N=8)

30 fragmenten (N=15)

Beroerte controle:

Beroerte manipulatie:

30 fragmenten (N=15)

16 fragmenten (N=8)

In het tweede del van het experiment werden de participanten twintig open vragen gesteld voor de FOK paradigma. Hier zijn per participant twintig fragmenten geselecteerd. Van het moment waarop de vraag helemaal was gesteld tot en met het moment waarop de participant het volledige antwoord had geformuleerd. Dit leverde per participant twintig fragmenten op, van ongelijke tijdsduur. Per vraag hebben de participanten een FOK-score gegeven op schaal van 1 tot 7. Deze FOK-scores zijn er daarom 20 per participant, wat leidde tot een database van 460 FOK-scores met de bijbehorende 460 fragmenten.

3.2.3 Computer Expression Recognition Toolbox (CERT) De automatische codering van gezichtsexpressies is uitgevoerd met CERT (Littlewort et al., 2011). Aangezien CERT gebaseerd is op het FACS systeem, is het zeer geschikte software voor het automatisch detecteren van minimale non-verbale cues in termen van Action Units (AU’s) (Littlewort et al., 2011; Shen & Bai, 2006). De analyse van het gezicht geschiedt op basis van Gabor filters en Fourier transformaties (Littlewort et al., 2011), die de detectie van Action Units mogelijk maken (Littlewort et al., 2011; Bouzalmat, Zarghili & Kharroubi, 2011). Figuur 5 geeft een schematische weergave van de vijf verwerkingsstappen van CERT. Ieder stadium wordt weergegeven door een pijl met daaronder de naam van de verwerkingsstap. De video data (“Input video”) vormt de input voor CERT. In de eerste gezichtsdetectie (“Face detection”) stap bepaalt CERT de locatie van het gezicht in de video. De tweede stap is facial feature detection (met gebruik van FACS) waarin de belangrijkste gezichtslocaties worden gedetecteerd. De derde stap (“Face registration”) roteert en verkleint of vergroot het gezicht zodanig dat het vergeleken kan worden met andere gezichten. In de vierde stap (“Gabor feature extraction”) worden met behulp van Gabor filters de inputs voor classificatie berekend. Ten slotte, worden in de vijfde stap (“Linear SVM classification”) de inputs door middel van een Support Vector Machine (SVM) leeralgoritme afgebeeld op een AU intensiteit. Een waarde die de intensiteit representeert van een Action Unit. De intensiteit geeft grofweg aan hoe


22

waarschijnlijk het is dat de betreffende AU aanwezig is in het videobeeld. Een negatieve intensiteit of intensiteit van nul duiden op het niet aanwezig zijn. Een positieve intensiteit signaleert de aanwezigheid.

Figuur 5: schematisch diagram van de Computer Expression Recognition Toolbox (CERT). Overgenomen van (Littlewort et al., 2011).

In figuur 6 is een voorbeeld te zien uit het experiment van een gezichtsanalyse door CERT. Het blauwe kader is het resultaat van de gezichtsdetectie. Het groene kader is de gezichtsherkenning. Zoals te zien is in figuur 6 werd er door CERT ook rekening gehouden met de stand van het hoofd. In dit voorbeeld staat het hoofd schuin, wat goed werd onderscheiden door het blauwe en het groene kader. De rode vierkanten gaven de detectie van de gezichtskenmerken weer. Hier is te zien dat CERT goed in staat is om de ogen, neus en mondhoeken te onderscheiden. Wanneer de participant het hoofd bewoog in de video, bewogen deze detectiepunten mee.

Figuur 6: de weergave van een gezichtsscan door CERT.


23

CERT analyseert de visuele input door middel van machine learning technieken. De output (intensiteiten) wordt bijna real-time weergegeven in grafieken zoals getoond in figuur 7. De getoonde output hoort bij de video uit figuur 6. CERT onderscheid de diverse AU’s en kent hieraan waardes toe die af te lezen zijn van de gescande video’s. Zo was te zien dat de AU’s behorend bij de wenkbrauwen verschillende intensiteiten vertonen. AU 1 inner brow raise (2.1289) en AU 2 outer brow raise (-0.9135) vertoonden duidelijk minder activiteit dan AU 4 brow lowerer (0.8406). Zoals eerder vermeld is AU 4 nauw verwant aan onbegrip (Craig et al., 2008; McDaniel et al., 2007). Dit betekent dat de participant op deze momentopname onbegrip kon ervaren. Neutral heeft een lage waarde van 0.02. Zoals eerder beschreven heeft een neutrale gezichtsuitdrukking verband met een lage FOK score (Dijkstra et al., 2006). Een lage FOK score betekent dat de participant het antwoord op de vraag niet weet. Hierdoor is in dit voorbeeld te zien dat deze participant onbegrip of onwetendheid ervaart. Doordat de situaties kunnen worden afgelezen in figuur 6 en 7, toont dit een interessant voorbeeld om te onderzoeken of er een relatie tussen onbegrip en FOK bestaat.

Figuur 7: door CERT gegenereerde output behorende bij de videoscan van figuur 6.

De CERT output zoals weergegeven in figuur 6, wordt opgeslagen in data bestanden voor post-hoc analyse. De gezichtskenmerken werden door CERT uitgedrukt in coördinaten, action units en combinaties hiervan. De locatie van bijvoorbeeld een mondhoek wordt uitgedrukt in een X en Y coördinaat. Indien de aan- of afwezigheid van een kenmerk of Action


24

Unit niet kan worden bepaald, genereert CERT in plaats van een getal, de output “Not a Number” (NaN). Dit kan het geval zijn wanneer de participant niet goed in de camera heeft gekeken waardoor bijvoorbeeld een deel van het gezicht niet goed detecteerbaar was. Het kon ook ontstaan door de lichtval, of door beweging van de participant. De in het experiment verzamelde NaN gegevens waren niet bruikbaar voor analyse en werden behandeld als missing values. In bijlage C is te zien dat vraag 16 uit de FOK paradigma van participant één alleen NaN data weergeeft. Dit betekende dat vraag 16 voor participant één niet geschikt was voor analyse. Waarschijnlijk heeft de participant tijdens het geven van het antwoord op deze vraag niet goed genoeg in de camera gekeken waardoor CERT geen goede output kon genereren. Door deze ruis uit de data te filteren bleef de juiste CERT output over voor verdere verwerking. In de CERT analyses van zowel de FOK video-opnames als de instructievideo-opnames gaven de X en Y coördinaten van de linker en rechtermondhoek NaN gegevens. Deze vier kenmerken zijn daarom niet meegenomen in de verdere analyse. De output waardes van CERT zijn gemiddeld over alle frames per videofragment. In bijlage C is een voorbeeld te zien van deze gemiddelden.

3.2.4 Machine Learning Zoals beschreven in sectie 3.2.2, maakt CERT gebruik van de Support Vector Machine (SVM) als machine Learning algoritme voor de analyse van de videofragmenten. Machine Learning is een onderzoeksgebied gericht op automatische leertechnieken (Mitchell, 1997). In machine learning algoritmen, ook wel leeralgoritmen genoemd, wordt automatisch een model getraind of geleerd op basis van gelabelde data. Een voorbeeld van gelabelde data is de data bestaande uit een videobeeld van fronsende wenkbrauwen en het label “AU4”. Na training wordt het model gebruikt om niet gelabelde data te classificeren. In dit geval wordt een videobeeld aangeboden van fronsende wenkbrauwen en genereert het model het label “AU4”. De mate waarin een door een leeralgoritme verkregen model de juiste labels genereert voor niet-gelabelde data wordt het generaliserend vermogen genoemd. Het generaliserend vermogen van leeralgoritmen is het belangrijkste onderdeel van Machine Learning (Alpaydin, 2004). Wanneer een leeralgoritme getraind wordt op de herkenning van onbegrip uit Action Units, dan heeft het een groot generaliserend vermogen wanneer het onbegrip in nieuwe (niet eerder geziene) video’s en personen kan herkennen.


25

3.2.5 k-NN algoritme Een veelgebruikt algoritme in de machine learning is de k-Nearest Neighbour classifier (k-NN; zie bijvoorbeeld (Alpaydin, 2004)). Dit is een classificatie algoritme dat niet-gelabelde data classificeert door ze hetzelfde label te geven als de meest overeenkomstige gelabelde data. Het k-NN algoritme is toegepast in dit onderzoek. De training set bestond uit gelabelde voorbeelden van begrip en van onbegrip. Voor dit onderzoek is enkel k =1 gebruikt om zo de meest flexibele modellen te genereren, waarbij k staat voor het aantal waardes in de buurt. Om het generaliserend vermogen te bepalen werd gebruikt gemaakt van n-fold cross validation (Witten & Frank, 2005). Met deze validatietechniek werd de dataset meerdere malen

verdeeld in test-sets en training-sets. Door eerst voor elke combinatie van test-set en dataset het generaliserend vermogen te bepalen, kon er daarna één gemiddeld generaliserend vermogen worden bepaald voor de complete dataset. Dit generaliserend vermogen werd daardoor nauwkeuriger dan wanneer het werd berekend aan de hand van slechts één test-set en één dataset. Om het generaliserend vermogen van de training-set te optimaliseren moest voorkomen worden dat er overfitting plaats vindt (Witten & Frank, 2005). Bij overfitting werd de trainingset overtraind op een bepaalde test-set. Hierdoor werd het generaliserend vermogen van het algoritme op de test-set heel hoog, maar was dit resultaat niet representatief op onbekende datasets.

4. Resultaten

4.1 Onbegrip detectie De resultaten van het eerste deel van het experiment dat zich richtte op de automatische classificatie van begrip versus onbegrip worden hieronder beschreven.

4.1.1 Manipulatiecheck Het eerste gedeelte van het onderzoek bestond uit het bekijken van twee instructievideo’s. De participanten hebben de video’s een cijfer gegeven op schaal van 1 tot 10 voor de mate van begrip. Met deze data is een gepaarde t-toets uitgevoerd. Hieruit kon worden geconcludeerd dat de scores van de controle (M = 8.00, SD = 1.01) en manipulatie (M = 7.92, SD = 1.04) video’s niet significant verschilden van elkaar. Er is wel een trend waargenomen van t(21) = 1.82, p = .08. Er is vervolgens een tweede gepaarde t-toets uitgevoerd met de cijfers die de participanten

26


gaven na het lezen van de videoscripts. De scripts van de controlevideo’s scoorden hoger op begrip (M = 8.09, SD = .97), dan de scripts van de manipulatie video’s (M = 7.14, SD = 1.20). Hier is een significant verschil gevonden: t(21) = 7.78, p < .001, effect-consistentie = 90%.

4.1.2 Gezichtskenmerken Drie voorbeelden van gemeten gezichtsposities zijn: Left Eye Imp X, Left Eye Temporal Imp X, en Mouth Left Corner X. Alle drie representeren de horizontale pixelposities van het linkeroog en de mond. De gemiddelde posities voor de manipulatie video’s (715.30; 726.90; 710.12) en de controle video’s (729.96; 742.26; 722.92) verschillen niet veel, hetgeen betekent dat in beide condities de horizontale posities van de gezichten niet veel verschilden. Hierdoor zijn ze niet diagnostisch voor begrip versus onbegrip. De twee AU’s met de gemiddelde hoogste CERT intensiteit zijn AU 1: Inner Brow Raise en AU 14: Dimpler. Dit geldt wederom voor beide condities. In tabel 3 staan de outputwaardes weergegeven. Voor Action Unit 4: Brow lowerer is een klein verschil te zien tussen de gemiddelde waarneming tijdens de manipulatievideo (0.47) en de controlevideo (0.54). Alle verschillen zijn niet significant. Tabel 3 De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de controle- en manipulatievideo’s. Left Eye

Left Eye

Mouth Left

(AU 1) Inner

(AU 14) (AU 4) Brow

Imp X

Temporal Imp X

Corner X

Brow Raise

Dimpler

lowerer

Manipulatie

715.30

726.90

710.12

-0.85

1.10

0.47

Controle

729.96

742.26

722.92

-1.00

1.22

0.54

Verschil

14.66

15.37

12.80

0.15

0.12

0.07

De gemanipuleerde video met het onderwerp “beroerte” is door de participanten beoordeeld als slechtst begrepen video. De controle video met het onderwerp “hartaanval” heeft gemiddeld de hoogste score gekregen voor begrip. De gezichtsbewegingen met het grootste verschil in outputwaardes van CERT, behorend bij deze video’s, zijn daarom met elkaar vergeleken. Dit zijn Right Eye Imp Y, Right Eye Nasal Imp Y en Right Eye Temporal Imp Y. De waardes staan vermeld in tabel 4. De AU’s die het grootste verschil opleveren in de output van CERT zijn AU 23: Lip Tightener en AU 45: Blink/Eye closure. Door het verschil in deze kenmerken tussen de manipulatie video en de controle video zijn deze kenmerken te verbinden aan onbegrip. AU 4: Brow lowerer heeft een miniem verschil van 0.09 tussen de video’s met de hoogste en de laagste score voor begrip.

27


Tabel 4 De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de controle- en manipulatievideo’s. (AU 4) Right Eye Imp Y

Right Eye

Right Eye

Nasal Imp Y Temporal Imp Y

(AU 23) Lip (AU 45) Blink/

Brow

Tightener

Eye Closure

lowerer

Manipulatie Beroerte Controle Hartaanval Verschil

386.57

385.72

387.41

1.53

-0.24

0.47

361.82

361.69

361.96

1.68

-0.37

0.56

24.75

24.04

25.45

0.15

0.13

0.09

4.1.3 k-NN classificatie Met behulp van het k-NN algoritme (in Matlab® en in WEKA) zijn alle CERT outputs gebruikt voor automatische classificatie. Het generaliserend vermogen bepaald met de leaving-onesubject-out validatieprocedure en k=1 resulteerde in een waarde van 68%. In tabel 5 is de confusiematrix weergegeven behorend bij de data uit experiment 1, toegepast op de leave one subject out analyse. Hierin is af te lezen of de automatische detectie van onzekerheid ongeveer gelijke false positives en false negatives heeft. Het 1-NN algoritme heeft 30 van de 44 videobeelden correct geclassificeerd als controlevideo, op basis van de nonverbale kenmerken die CERT heeft afgelezen van het gezicht van de participant. Het 1-NN algoritme heeft 26 van de 44 videobeelden correct geclassificeerd als beelden van de manipulatievideo.

Tabel 5 Confusiematrix met daarin de geclassificeerde FOK scores van de AR.

controle video PP

manipulatie video PP

controle video AR

30

14

manipulatie video AR

18

26


28

4.2 Feeling of Knowing detectie De resultaten van het tweede deel van het experiment dat zich richtte op de automatische classificatie van Feeling of Knowing (FOK) worden hieronder beschreven.

4.2.1 FOK score Er zijn twee variaties van FOK paradigma’s afgenomen. De gemiddelde score van variatie 1 is 4.49; de gemiddelde score van variatie 2 is 5.08; op schaal van 1 tot en met 7. Er is een verschil waargenomen van 0.59 tussen de gemiddelde scores van de twee condities. Van FOK paradigma 1 werden de vragen 4 en 12 het meest beoordeeld met een score van 1. Vraag 20 werd het meest beoordeeld met een score van 7. Deze gegevens staan weergegeven in figuur 8. Van FOK paradigma 2 werden de vragen 12 en 16 het meest beoordeeld met een score van 1. De vragen 1 en 18 werden het meest beoordeeld met een score van 7. Dit is af te lezen uit figuur 9. Het is van belang om hier op te merken dat de vragen van de twee variaties niet aan elkaar gelijk zijn.

Figuur 8: Vragen met een FOK score van 1 en 7, in FOK versie 1.

29


Figuur 9: Vragen met een FOK score van 1 en 7, in FOK versie 2.

4.2.2 Gezichtskenmerken Tabel 6 toont drie voorbeelden van positievariabelen, Right Eye Imp Y, Right Eye Nasal Imp Y, en Left Eye Nasal Imp Y. De verschillen in deze verticale posities voor FOK1 en 7 zijn niet significant. De Action Units met het grootste gemiddelde verschil tussen dezelfde twee FOK scores waren AU 1: Inner Brow Raise en AU 2: Outer Brow Raise. Action Unit 4 is ook weergegeven in de tabel. Daaruit is af te lezen dat er hiervoor een klein gemiddeld verschil, tussen FOK scores 1 en 7, van 0.05 is gedetecteerd door CERT. Voor alle verschillen geldt dat ze niet significant zijn.

Tabel 6 De meest actieve gezichtskenmerken gedetecteerd door CERT, behorend bij de vragen met de meest uitgesproken FOK scores van 1 en 7. (AU 4) Right Eye

Right Eye

Left Eye

(AU 1) Inner (AU 2) Outer

Brow

Imp Y

Nasal Imp Y

Nasal Imp Y

Brow Raise

Brow Raise

lowerer

FOK7

368.20

367.69

367.05

-0.73

-0.24

0.40

FOK1

356.28

355.67

355.06

-0.89

-0.40

0.45

Verschil

11.92

12.02

11.99

0.16

0.16

0.05

Tabel 7 geeft dezelfde resultaten voor de hoge FOK waarden (5,6, en 7) en de lage FOK waarden (1,2,3, en 4). Ook hier zijn de verschillen niet significant.

30


Tabel 7 De gezichtskenmerken met de hoogste output van CERT verdeeld in hoge en lage FOK scores. (AU 4) Left Eye

Left Eye

Mouth Left

(AU 15) Lip

(AU 20)

Imp X

Temporal Imp X

Corner X

727.32

739.69

721.58

2.55

1.9

0.41

733.35

745.68

727.04

2.61

1.87

0.43

6.03

5.99

5.46

0.06

0.03

0.02

Corner Depressor Lip stretch

Brow lowerer

Hoge FOK (5,6,7) Lage FOK (1,2,3,4) Verschil

Samenvattend blijkt uit deze resultaten dat de afzonderlijke gezichtskenmerken geen significante verschillen laten zien voor hoge versus lage FOK scores.

4.2.3 k-NN classificatie Het 1-NN algoritme getraind op de CERT data van het FOK experiment classificeerde iedere video op 1 van de 7 FOK klassen. Dit leverde een leaving-one-subject-out prestatie op van 35%. In tabel 8 is een confusiematrix weergegeven. Hierin is af te lezen of de AR een goede classificatie heeft gemaakt voor de FOK score op basis van de outputwaardes van CERT. Op de horizontale regels staan de scores die de AR heeft geclassificeerd voor de FOK scores één tot en met zeven die zijn gegeven door de participanten (PP). Op de eerste regel geeft de AR de hoogste score voor FOK1PP. Dit is de correcte classificatie. Op regel twee geeft de AR de hoogste score voor FOK7PP, dit is niet correct. De hoogste classificatie zou hier moeten zijn weergegeven bij FOK2PP. Door deze diagonale lijn door te trekken worden de classificaties van de AR weergegeven. Deze diagonaal eindigt bij de classificatie op regel FOK 7 AR waarbij de AR de hoogste score geeft voor FOK 7 PP. Dit is dus een correcte classificatie. Hieruit is op te maken dat de AR de correcte classificaties heeft gedaan voor de FOK scores één en zeven. De CERT outputwaardes sluiten hierop aan. Hieruit bleek dat de gezichtskenmerken gedurende FOK scores één en zeven ook het meest duidelijk te detecteren waren.

31


Tabel 8 Confusiematrix met daarin de geclassificeerde FOK scores van de AR

FOK1

FOK 2

FOK3

FOK 4

FOK 5

FOK 6

FOK 7

PP

PP

PP

PP

PP

PP

PP

FOK 1 AR

35

0

6

4

11

12

29

FOK 2 AR

0

1

0

1

0

0

3

FOK 3 AR

6

0

0

0

1

2

0

FOK 4 AR

3

0

0

1

2

2

14

FOK 5 AR

14

1

1

1

7

5

19

FOK 6 AR

16

1

3

2

1

7

12

FOK 7 AR

44

4

4

19

24

18

104

Tabel 9 is de confusiematrix voor hoge en lage FOK scores. Hierbij geeft de AR enkel de classificatie of de score laag: FOK1 tot en met FOK4, of hoog is: FOK5 tot en met FOK 7. FOK1 en FOK7 krijgen de hoogste score, zowel absoluut als percentueel. Hieruit is af te lezen dat de AR de extreme waarden het beste classificeert.

Tabel 9 Confusiematrix met classificatie van de AR in hoge en lage FOK scores verdeeld

AR Laag (1 t/m4) In procenten AR Hoog (5t/m7) In procenten

FOK1

FOK 2

FOK3

FOK 4

FOK 5

FOK 6

FOK 7

44

1

6

6

14

16

46

37.3%

14.3%

42.9%

21.4%

30.4%

74

6

8

22

32

62.7% 85.73%

57.1%

78.6%

69.6%

34.8% 30 65.2%

25.4% 135 74.6%

De confusiematrix laat zien dat de classificatie van het algoritme beter is gedaan voor de hoge FOK scores. Dit is verklaarbaar doordat de classificatie volgens deze resultaten altijd hoger ligt dan de daadwerkelijke FOK score. Wanneer de FOK score hoger wordt komt deze dus dichter bij het hoge percentage van de algoritme.

32

AUTOMATISCHE DETECTIE VAN ONBEGRIP 5. Discussie 5.1 Verwachting van het onderzoek

Op basis van de onderzochte bestaande literatuur is de eerste onderzoeksvraag geformuleerd: “In hoeverre is het mogelijk om onbegrip automatisch te detecteren aan de hand van gezichtsuitdrukkingen?”. Het gezicht is namelijk de belangrijkste informatiebron voor het aflezen van een gemoedstoestand (Grafsgaard, Boyer, Philips & Lester, 2011; Knapp & Hall, 2006). Met name de beweging van de wenkbrauwen is interessant voor de detectie van onbegrip. Eerder onderzoek wijst uit dat er een correlatie bestaat tussen onbegrip en de beweging van de wenkbrauw (Craig et al., 2008; McDaniel et al., 2007; Pope & Smith, 1994). Door deze uitkomsten van eerdere onderzoeken was de verwachting dat het mogelijk moet zijn om onbegrip automatisch te detecteren aan de hand van gezichtsuitdrukkingen. Om het gezicht af te lezen is gebruik gemaakt van FACS; dit is het meest nauwkeurige systeem voor het detecteren van gezichtsbewegingen (Ekman & Friesen, 1978). Om het annotatieproces te automatiseren is CERT gebruikt, een applicatie die op basis van FACS werkt en is daardoor uitermate geschikt voor de automatische detectie van gezichtsuitdrukkingen (Littlewort et al., 2011). De tweede onderzoeksvraag heeft betrekking op de relatie van onbegrip en FOK: “Kan er

een

relatie

worden

aangetoond

tussen

onbegrip

en

FOK

op

basis

van

gezichtsuitdrukkingen?”. Er werd een relatie verwacht tussen deze concepten op basis van uitkomsten van eerdere onderzoeken. Onzekerheid en onbegrip worden beide veroorzaakt door een gebrek aan kennis (Powell et al., 2007). De non-verbale signalen die worden geuit tijdens een FOK experiment worden dan ook gerelateerd aan signalen van onzekerheid (Swerts & Krahmer, 2005). Wanneer participanten tijdens een FOK experiment lage FOK scores gaven, een blijk van onzekerheid, resulteerde dit in meer expressiviteit (Visser et al., 2013). Een aantal belangrijke non-verbale signalen van deze onzekerheid zijn bewegingen van de wenkbrauwen en mondhoeken (Swerts et al., 2003). Dezelfde gezichtsonderdelen zijn actief tijdens het uiten van het gevoel van onbegrip (Craig et al., 2008; McDaniel et al., 2007). Door deze diverse overeenkomsten werd er een relatie verwacht tussen onbegrip en FOK.


33

5.2 Uitkomsten van het onderzoek 5.2.1 Onbegrip In het eerste deel van het experiment werd er geen effect gevonden met betrekking tot de gemiddelde intensiteit van AU4. Dit is een opvallend resultaat omdat er een relatie werd verwacht tussen (met name) AU 4 en onbegrip. In een eerder onderzoek hebben Pope en Smith (1994) een verband aangetoond tussen het “fronsen van de wenkbrauwen” en verwarring en onbegrip. De resultaten uit dit onderzoek wijzen wel uit dat AU 1: Inner Brow Raise en AU 2: Outer Brow Raise belangrijk zijn voor de detectie van onzekerheid. Het “fronsen van de wenkbrauwen” kan dan ook betrekking hebben op AU 1, AU 2 en AU 4 samen. Indien dat zo is, komen de resultaten uit beide onderzoeken gedeeltelijk overeen. De combinatie van de CERT variabelen leverde middels het 1-NN algoritme met de leave one subject out methode een score op van 68%. De combinatie van meerdere variabelen leverde ook betere voorspellingen op dan van de afzonderlijke variabelen. Dit impliceert dat automatische herkenning van onbegrip tot op zekere hoogte mogelijk is.

5.2.2 Feeling of Knowing In het tweede deel van het experiment waren de gezichtskenmerken die het grootste verschil in output waardes van CERT hadden: AU 1 (Inner Brow Raise) en AU 2 (Outer Brow Raise). Het zijn beide AU’s die betrekking hebben op de beweging van de wenkbrauw, maar ook tijdens dit experiment was er geen verband te leggen tussen onzekerheid en AU 4: Brow lowerer. De outputwaardes van CERT zijn gebruikt door het 1-NN algoritme om een voorspelling te doen van de FOK scores 1 tot en met 7. Het algoritme behaalde een score van 35% correcte voorspellingen. Deze relatief lage score betekent dat het niet goed gelukt is om de FOK scores automatisch te detecteren aan de hand van non-verbale signalen. Dit was weliswaar geen onderdeel van de onderzoeksvraag, maar wel interessant in het kader van de vergelijking met de automatische detectie van onbegrip. De relatie tussen FOK en onbegrip werd verwacht doordat de signalen die worden geuit tijdens onderzoek naar FOK in verband worden gebracht met onzekerheid (Swerts & Krahmer, 2005). Tijdens het onderzoek hebben we twee non-verbale signalen gevonden die beide betrekking hebben op de uiting van onbegrip en onzekerheid. Deze twee signalen zijn een begin om een verband te leggen tussen de uiting van onbegrip en onzekerheid, maar nog niet voldoende om een conclusie uit te trekken.


34

5.3 Beperkingen en aanbevelingen Gedurende het onderzoek zijn er een aantal factoren opgetreden die van invloed kunnen zijn geweest op de resultaten. De data is gemiddeld per video fragment. Dit betekent dat idiosyncratische kenmerken buiten beschouwing zijn gevallen. Deze kenmerken zouden eventueel de data analyse hebben kunnen beïnvloeden wanneer het tijdsverloop zichtbaar zou zijn geweest. Bij voldoende participanten had er een mogelijkheid kunnen zijn om diverse expressietypen te onderscheiden op basis van de idiosyncratische kenmerken. Tijdens de videofragmenten van het tweede deel van het experiment werd er gepraat door de participanten. Door de data hiervan te middelen kan de beweging van het praten invloed hebben uitgeoefend op de waardes van de gedetecteerde gezichtskenmerken. CERT heeft voor een aantal gezichtskenmerken geen goede detectie kunnen uitvoeren. Dit leverde NaN’s (Not a Number) op, die niet te analyseren waren. Dit kan veroorzaakt zijn doordat de video opname van onvoldoende kwaliteit was. Er is geprobeerd zo goed mogelijk te voldoen aan de condities om CERT een goede input te leveren, maar dit is niet volledig gelukt. Een gedeelte van de video opnames vond plaats in de woonkamer van de participanten. Dit zorgde voor de participant voor minder stress, maar hierdoor was de achtergrond op de videobeelden niet altijd neutraal. De diverse achtergronden hebben ook gezorgd voor NaN’s. Vervolg onderzoek zou wellicht beter kunnen plaats vinden in een geschiktere onderzoeksruimte voor betere CERT detectie. Het algoritme behaalde een lage score met de data van experiment twee. Wat invloed zou hebben kunnen uitoefenen op de data is het gegeven dat de fragmenten van het tweede deel van het experiment van ongelijke tijdsduur zijn. Doordat de participanten vrij antwoord geven op de gestelde vraag zijn er zowel korte als lange fragmenten geanalyseerd. Tijdens een langer fragment zijn er meer gezichtsuitdrukkingen te detecteren dan gedurende een kort fragment.

5.4 Vervolgonderzoek Een van de punten die kan worden meegenomen tijdens vervolgonderzoek is het onderscheid tussen detectie van onbegrip en desinteresse of verveling. Uit onderzoek van Baker, D'Mello, Rodrigo, & Graesser (2010) blijkt dat verveling en onbegrip vaak samen voorkomen tijdens het studeren. Om de vicieuze cirkel te doorbreken waarin studenten soms terecht komen is het detecteren van onbegrip belangrijk. Dit onderzoek naar de detectie van onbegrip sluit hier goed bij aan. De relatie die Baker et al. (2010) hebben gevonden tussen verveling en onbegrip kan bijdragen aan vervolgonderzoek naar automatische detectie van onbegrip. Het is van belang om


35

deze twee condities goed te onderscheiden. De invloed van verveling is nu niet meegenomen in dit onderzoek. Daarnaast werd eerder aangetoond dat visuele non-verbale signalen belangrijker zijn voor de detectie van onbegrip en onzekerheid dan auditieve non-verbale signalen (Van Amelsvoort, Joosten, Krahmer, & Postma, 2013). Auditieve signalen zijn niet meegenomen in dit onderzoek, maar zouden toch van belang kunnen zijn om onbegrip en onzekerheid beter te detecteren. Wanneer auditieve en visuele signalen beide worden gedetecteerd kan de automatische detectie wellicht een beter slagingspercentage geven. Dit vermoeden is ontstaan doordat er gedurende de FOK video’s is gepraat door de participanten. Dit heeft ook de visuele non-verbale signalen beïnvloed, door de gezichtsbeweging die veroorzaakt werd door het praten. De leeftijd en medische conditie van de participanten van dit onderzoek is een belangrijke factor geweest voor de mate van onbegrip. Er is meer onderzoek gedaan naar onbegrip onder ouderen, bijvoorbeeld naar een delirium. Het vaststellen van een delirium is geen eenvoudige taak, hiervoor zijn professionele zorgverleners nodig (Zou et al., 1998). Wanneer automatische detectie van onbegrip hierin zou kunnen ondersteunen kan het vaststellen wellicht eenvoudiger worden. Het is belangrijk om het onderscheid te kunnen maken tussen het niet begrijpen van de test en daarom laag scoren, en het hebben van een delirium en daarom laag scoren. Vervolg onderzoek naar delirium detectie en onbegrip detectie kan daarom bijdragen aan het onderzoek van Zou et al. (1998) en González et al. (2004). Naast onderzoek naar deliria kan de detectie van onbegrip ook bijdragen aan onderzoek naar geheugenverlies. Eerder onderzoek naar geheugenverlies en het syndroom van Korsakov is gedaan met behulp van FOK (Shimamura & Squire, 1986). Hieruit bleek dat FOK een goede methode is om onderscheid te kunnen maken in de verschillende vormen van geheugenverlies. Toekomstig onderzoek naar geheugenverlies kan een combinatie zijn van FOK onderzoek en onbegrip detectie. Naar mate mensen ouder worden ervaren zij steeds meer problemen met het geheugen, wat kan leiden tot onbegrip (Prull, Gabrieli, & Brunge, 2000). Het is belangrijk om hier goed onderscheid in te kunnen maken om de juiste diagnoses te stellen.


36

6. Conclusies Deze conclusiesectie bestaat uit drie onderdelen waarin, respectievelijk onderzoeksvragen 1 en 2 worden beantwoord en toekomstig onderzoek wordt geschetst.

6.1 Onderzoeksvraag 1 De eerste onderzoeksvraag luidde als volgt: “In hoeverre is het mogelijk om onbegrip automatisch te detecteren aan de hand van gezichtsuitdrukkingen?”. Op basis van gemeten AU’s kan onbegrip in 68% van de niet eerder geziene gevallen worden gedetecteerd. De Action Units AU 23: Lip Tightener en AU 45: Blink/Eye closure vormen cues voor de detectie van onbegrip. Hoewel de prestatie ruim boven kansniveau is, vergt succesvolle toepassing in de praktijk nader onderzoek.

6.2 Onderzoeksvraag 2 De tweede onderzoeksvraag betrof een mogelijke correlatie tussen onbegrip en Feeling of Knowing: “Kan er een relatie worden aangetoond tussen onbegrip en FOK op basis van gezichtsuitdrukkingen?”. Er zijn diverse overeenkomsten en verschillen gevonden tussen het onderzoek naar onbegrip en FOK. Een directe correlatie kon niet worden aangetoond. De automatische detectie van FOK score was correct in 35% van de gevallen.

6.3 Toekomstig onderzoek De in deze scriptie beschreven resultaten bieden aanknopingspunten voor de verdere ontwikkeling van automatische herkenning van onbegrip en Feeling of Knowing. Toekomstig onderzoek zou gebruik kunnen maken van een groter aantal participanten en een grotere variatie van onbegrip manipulaties. Wellicht dat hiermee de automatische voorspelling van onbegrip en FOK op een hoger niveau gebracht kunnen worden, zodanig dat praktische toepassing in de medische communicatie mogelijk wordt.

37

AUTOMATISCHE DETECTIE VAN ONBEGRIP Referenties

Alpaydin, E. (2004). Introduction to Machine Learning, The MIT Press. Van Amelsvoort, M., Joosten, B., Krahmer, E., & Postma, E. (2013). Using non-verbal cues to (automatically)

assess

children’s

performance

difficulties

with

arithmetic

problems. Computers in Human Behavior, 29(3), 654-664. Armerman, J. and Parnell, M. Speech timing strategies in elderly adults. Journal of Phonetics. 1992; 20: 65–76 Baker, R. S., D'Mello, S. K., Rodrigo, M. M. T., & Graesser, A. C. (2010). Better to be frustrated than bored: The incidence, persistence, and impact of learners’ cognitive–affective states

during

interactions

with

three

different

computer-based

learning

environments. International Journal of Human-Computer Studies, 68(4), 223-241. Barkhuysen, P., Krahmer, E., & Swerts, M. (2005). Problem detection in human – machine interactions based on facial expressions of users. Speech Communication 45 (2005) 343–359. Bouzalmat, Zarghili, Kharroubi, (2011). Facial Face Recognition Method using Fourier Transform Filters Gabor and R_LDA. International Conference on Intelligent Systems and Data Processing (ICISD) 2011 Proceedings published by International Journal of Computer Applications® (IJCA). Brennan, S. E., & Williams, M. (1995). The Feeling of Another′ s Knowing: Prosody and Filled Pauses as Cues to Listeners about the Metacognitive States of Speakers. Journal of memory and language, 34(3), 383-398. Cohn, J. F., Zlochower, A. J., Lien, J., & Kanade, T. (1999). Automated face analysis by feature point tracking has high concurrent validity with manual FACS coding. Psychophysiology, 36(1), 35-43. Van Cott M.L. (1993) Communicative competence during nursing admission interviews of elderly patients in acute care settings. Qualitative Health Research 3(2), 184-208. Craig, S. D., D'Mello, S., Witherspoon, A., and Graesser, A. (2008). Emote aloud during learning with AutoTutor: Applying the Facial Action Coding System to cognitive– affective states during learning. Cognition and Emotion, 22(5), 777-788. The-Crankshaft Publishing. (g.j.) FACS action units (AU) [Afbeelding van internet]. Overgenomen van http://what-when-how.com/face-recognition/facial-expressionrecognition-face-recognition-techniques-part-1/ Dijkstra, C., Krahmer, E. J., & Swerts, M. (2006). Manipulating uncertainty: The contribution


38

of different audiovisual prosodic cues to the perception of confidence. Proceedings of Speech Prosody 2006. Ekman, P., Friesen, W. (1978). Facial Action Coding System: A Technique for the Measurement of Facial Movement. Palo Alto, Calif: Consulting Psychologists Press. González, M. D. P. J., De Pablo, J., Fuente, E., Valdes, M., Peri, J. M., Nomdedeu, M., & Matrai, S. (2004). Instrument for detection of delirium in general hospitals: adaptation of the confusion assessment method. Psychosomatics, 45(5), 426-431. Grafsgaard, J. F., Wiggins, J. B., Boyer, K. E., Wiebe, E. N., & Lester, J. C. (2013). Automatically Recognizing Facial Expression: Predicting Engagement and Frustration. In Proceedings of the 6th International Conference on Educational Data Mining. Grafsgaard, J. F., Boyer, K. E., Phillips, R., & Lester, J. C. (2011). Modeling confusion: facial expression, task, and discourse in task-oriented tutorial dialogue. Artificial Intelligence in Education (pp. 98-105). Springer Berlin Heidelberg. Hall, J.A., Roter, D.L., Blanch, D.C. and Frankel, R.M. (2009). Nonverbal Sensitivity in Medical Students: Implications for Clinical Interactions. Journal of General Internal Medicine. November 2009, Volume 24, Issue 11, pp 1217-1222 Hart, J. T. (1965). Memory and the feeling-of-knowing experience. Journal of educational psychology, 56(4), 208-216. Hendriks, A.C., Kool, W., Oosterlee, A., Reidsma, Y.M. and Rieter, L.S. (2006). Relatie arts patiënt. Gezondheidsrecht. pp 13-46. Houts P., Doak C. and Loscalzo M. (2006). The role of pictures in improving health communication: A review of research on attention, comprehension, recall, and adherence. Patient Educ Couns. 61:173–90. Jack, R. E., Blais, C., Scheepers, C., Schyns, P. G., & Caldara, R. (2009). Cultural confusions show that facial expressions are not universal. Current Biology, 19(18), 1543-1548. Kaplan, S. H., Gandek, B., Greenfield, S., Rogers, W., & Ware, J. E. (1995). Patient and visit characteristics related to physicians' participatory decision-making style: results from the Medical Outcomes Study. Medical care, 1176-1187. Kent, R., Burkard, R., 1981. Changes in the acoustic correlates of speech production. In: Beasley, D., Davis, G. (Eds.), Aging: Communication Process and Disorders. Grune and Stratton Press, New York, pp. 47–62. Knapp, M. L., & Hall, J. A. (2006). Nonverbal communication in human interaction. Belmont, CA: Wadsworth/Thomson Learning.


39

Krahmer, E. en Swerts, M. (2005). Audiovisual prosody and feeling of knowing. Journal of Memory and Language, Elsevier. Krahmer, E. & Swerts, M. (2005). How children and adults produce and perceive uncertainty in audiovisual speech. Language and Speech, 48 (1), 29-53. Kopp, P. (2001). Better communication with older patients. Professional nurse (London, England), 16(8),

1296-1299.

Koriat, A. (1993). How do we know that we know? The accessibility model of the feeling of knowing. Psychological review, 100(4), 609. Littlewort, G., Whitehill, J., Wu, T., Fasel, I., Frank, M., Movellan, J., and Bartlett, M. (2011). The computer expression recognition toolbox (CERT). In Automatic Face & Gesture Recognition and Workshops (FG 2011), 2011 IEEE International Conference on (pp. 298-305) IEEE. Lubinski, R., & Welland, R. J. (1997, May). Normal aging and environmental effects on communication. In Seminars in speech and language (Vol. 18, No. 02, pp. 107-126). © 1997 by Thieme Medical Publishers, Inc.. McDaniel, B. T., D’Mello, S. K., King, B. G., Chipman, P., Tapp, K., & Graesser, A. C. (2007). Facial features for affective state detection in learning environments. Proceedings of the 29th Annual Cognitive Science Society (pp. 467-472). Mitchell, T.M. (1997). Machine Learning. McGraw-Hill. Park, E.K.; Song, M; Communication barriers perceived by older patients and nurses, International Journal of Nursing Studies 42 (2005) 159–166 Perrotin, A., Isingrini, M., Souchay, C., Clarys, D., & Taconnat, L. (2006). Episodic feelingof-knowing accuracy and cued recall in the elderly: Evidence for double dissociation involving executive functioning and processing speed. Acta psychologica, 122(1), 5873. Pinto, D. (2004). Interculturele communicatie, conflicten en management. Bohn Stafleu van Loghum. Pope, L. K., & Smith, C. A. (1994). On the distinct meanings of smiles and frowns. Cognition & Emotion, 8(1), 65-72. Postma, E.O. (2013). Inleiding Machine Learning. Tilburg University. Powell, M., Dunwoody, S., Griffin, R., & Neuwirth, K. (2007). Exploring lay uncertainty about an environmental health risk. Public understanding of science, 16(3), 323-343. Prizant, B.M., & Schuler, A.L. (1987). Facilitating communication: Theoretical foundations.


40

In D. Cohen & A. Donnellan (Eds.), Handbook of autism and pervasive developmental disorders (pp. 316-332). New York: John Wiley & Sons. Prull, M. W., Gabrieli, J. D. E., & Brunge, S. A. (2000). Memory and aging: a cognitive neuroscience perspective. In F. I. M. Craik & T. A. Salthouse (Eds.), The handbook of aging and cognition (2nd ed., pp. 1–90). Mahwah, NJ: Erlbaum. Reder, L.M., Ritter, F.E. (1992). What determines initial feeling of knowing? Familiarity with question terms, not with the answer. Journal of Experimental Psychology: Learning, Memory, and Cognition, Vol 18(3), May 1992, 435-451. doi:10.1037/02787393.18.3.435 Rost, K., & Roter, D. (1987). Predictors of recall of medication regimens and recommendations for lifestyle change in elderly patients. The Gerontologist,27(4), 510-515. Rozin, P., & Cohen, A.B. (2003). High frequency of facial expressions corresponding to confusion, concentration, and worry in an analysis of naturally occurring facial expressions of Americans. Emotion, 3, 68-75. Shen, L., & Bai, L. (2006). A review on Gabor wavelets for face recognition. Pattern analysis and applications, 9(2-3), 273-292. Shimamura, A. P., & Squire, L. R. (1986). Memory and metamemory: a study of the feelingof-knowing phenomenon in amnesic patients. Journal of Experimental Psychology: Learning, Memory, and Cognition, 12(3), 452. Souchay, C., Moulin, C. J., Clarys, D., Taconnat, L., & Isingrini, M. (2007). Diminished episodic memory awareness in older adults: Evidence from feeling-of-knowing and recollection. Consciousness and cognition, 16(4), 769-784. Swerts, M., & Krahmer, E. (2005). Audiovisual prosody and feeling of knowing. Journal of Memory and Language, 53(1), 81-94. Swerts, M., Krahmer, E., Barkhuysen, P., Van de Laar, L. (2003). Audiovisual cues to uncertainty. In: Proc. ISCA Workshop on Error Handling in Spoken Dialogue Systems, Chateau-d'Oex, Switzerland. Van Weert J., Jansen J. and Van Dulmen, S. In gesprek met ouderen. Huisarts en Wetenschap 2012;55(4):174-7. van Weert, J., Jansen, J., Spreeuwenberg, P. M., van Dulmen, S., & Bensing, J. M. (2011). Effects of communication skills training and a Question Prompt Sheet to improve communication with older cancer patients: A randomized controlled trial. Critical reviews in oncology/hematology, 80(1), 145-159. Vinciarelli, A. and Salamin, H. (2009) Social Signal Processing: Understanding social


41

interactions through nonverbal behavior analysis. Universiteit Twente. 978-1-42443993-5/09/$25.00 ©2009 IEEE Vinciarelli, A., Pantic, M., Bourlard, H. & Pentland, A. (2008). Social Signal Processing: State-of-the-Art and Future Perspectives of an Emerging Domain. MM’08, October 26–31, 2008, Vancouver, British Columbia, Canada. Visser, M. (2013) Ontwerp FOK vragenlijst; versie voor ouderen. Visser, M., Krahmer, E., & Swerts, M. (2013). Children’s Expression of Uncertainty in Collaborative and Competitive Contexts. Language and speech, 0023830913479117. Wanzer M.B., Booth-Butterfield M. and Gruber K. Perceptions of health care providers’ communication: relationships between patient-centered communication and satisfaction. Health Communication. 2004;16:363-383. van Weert, J., Jansen, J., Spreeuwenberg, P. M., van Dulmen, S., & Bensing, J. M. (2011). Effects of communication skills training and a Question Prompt Sheet to improve communication with older cancer patients: A randomized controlled trial. Critical reviews in oncology/hematology, 80(1), 145-159. Witten, I.H., Frank, E., Hall, M.H. (2005). Data Mining; Practical Machine Learning Tools and Techniques. Morgan Kaufmann Publishers. Zou, Y., Cole, M. G., Primeau, F. J., McCusker, J., Bellavance, F., & Laplante, J. (1998). Detection and diagnosis of delirium in the elderly: psychiatrist diagnosis, confusion assessment method, or consensus diagnosis? International Psychogeriatrics, 10(03), 303-308.


42

8. Bijlages Bijlage A: Scripts video’s

Wat is een beroerte/CVA en wat zijn de symptomen? Bij een beroerte/CVA gaat er iets mis met de bloedcirculatie in de hersenen. Een beroerte/CVA kan op twee manieren voorkomen. De eerste vorm van een beroerte/CVA is een hersenbloeding. Er is dan sprake van een lek in een bloedvat in de hersenen/cerebrovasculair lek. Zo’n lek kan ontstaan door een zwakke plek in de wand van een bloedvat. Er kan nu bloed de hersenen instromen. De andere vorm van een beroerte/CVA is een herseninfarct. Dit komt het meeste voor. Er is op zo’n moment sprake van een bloedprop die een ader/arteria verstopt of van een ader/arteria die dicht geslibd is. Hierdoor krijgt een deel van de hersenen te weinig bloed. Het slachtoffer kan tijdens een beroerte/CVA aan één zijde van het lichaam of aan het gezicht verlamd raken. Bij een verlamming in het gezicht gaat de mond vaak schuin staan. Verder kan het zijn dat het slachtoffer slecht gaat zien/last van diplopie krijgt en erg duizelig wordt. Ten slotte kan het slachtoffer ernstige/acute hoofdpijn krijgen of heel warrig spreken of denken/last krijgen van confusie. Het kan voorkomen dat een slachtoffer van een beroerte/CVA komt te overlijden. Het kan ook zijn dat het slachtoffer de beroerte/CVA overleeft. Het is wel zo dat het lichamelijke en geestelijke gevolgen heeft voor de patiënt. Mensen kunnen last krijgen van het lichaam, bijvoorbeeld doordat zij verlamd raken/in een staat van paralyse komen of incontinent raken. Maar mensen kunnen ook emotioneel veranderen. Zij kunnen bijvoorbeeld depressief raken. Ten slotte kan een beroerte/CVA gevolgen hebben voor de cognitie. Hiermee bedoelen we dat het slachtoffer bijvoorbeeld vergeetachtig kan worden of trager gaat denken. Het is van belang om snel te handelen als iemand een beroerte/CVA krijgt, omdat de hersenen maar een korte tijd zonder zuurstof kunnen. Dit kan ernstige gevolgen hebben voor de patiënt. Vooral wanneer de eerder genoemde symptomen eerder zijn voorgekomen, is het erg belangrijk om een beroerte/CVA te herkennen. Wanneer u een beroerte/CVA herkent, handel dan direct, en bel 112. Op die manier kunnen de hulpdiensten snel gewaarschuwd worden.

43


Wat is een hartaanval /hartinfarct en wat zijn de symptomen? Tijdens uw leven ontstaan er versmallingen in uw aders/arteriea. U merkt daar meestal helemaal niets van. Zo’n vernauwing kan echter ook ontstaan in de kransslagaders. Deze aders/arteriae zorgen voor de bloedtoevoer/bloedcirculatie naar uw hart. Wanneer zo’n vernauwing/stenose ontstaat in een kransslagader, kunnen er scheurtjes en wondjes ontstaan in de wand van de ader/arteria. Het bloed dat door de ader/arteria stroomt, probeert deze scheurtjes te dichten met een bloedpropje. Het gevaar is alleen dat zo’n bloedprop kan losraken en ergens in de ader/arteria kan blijven steken. Doordat het bloedpropje blijft steken in de ader/arteria, wordt het bloed tegen gehouden en kan het niet verder doorstromen/zo ontstaat er accumulatie. Op zo’n moment is er sprake van een hartaanval/hartinfarct. Een deel van het hart/myocard (hartspier) krijgt geen zuurstof meer en werkt/functioneert daarom niet meer. Dit gedeelte zal uiteindelijk afsterven. Hierdoor werkt/functioneert het hart niet goed meer. De meest voorkomende klacht/symptoom bij een hartaanval/hartinfarct is een beklemmende of drukkende pijn midden op de borst, schouders of kaken. Vaak heeft het slachtoffer ook last van misselijkheid en zweten. Daarnaast kan het slachtoffer kortademig en duizelig raken en angstig of onrustig worden. Wanneer er sprake is van een zware hartaanval/hartinfarct,

kan

het

slachtoffer

binnen

enkele

seconden

tot

minuten

bewusteloos/comateus raken. Het gevolg hiervan kan zijn dat het slachtoffer overlijdt. De gevolgen na een hartaanval/hartinfarct kunnen verschillen per persoon. Dit hangt af van hoe groot de beschadiging van het hart is en waar het hart beschadigd is. Wanneer de patiënt weer thuis is, begint het revalideren. Samen met een arts kan een schema worden gemaakt met wat de patiënt wel en niet mag doen. Een voorbeeld is dat hij of zij moet gaan sporten. Het is erg belangrijk om een hartaanval/hartinfarct te herkennen. Iemand die een hartaanval/hartinfarct krijgt, raakt bewusteloos/comateus. Het slachtoffer reageert niet meer wanneer hij of zij aangesproken wordt. Wanneer u een hartaanval/hartinfarct herkent, handel dan direct, en bel 112 zodat de hulpdiensten snel gewaarschuwd worden.

AUTOMATISCHE DETECTIE VAN ONBEGRIP Bijlage B: Vragenlijst FOK ouderen

Versie 1

1. Hoeveel is een dozijn? 2. Hoe heet de langstlopende Nederlandse soapserie? 3. Welke voetbalclub speelt in het Philips stadion in Eindhoven? 4. Wie schreef het boek “Ontdekking van de hemel”? 5. Wat is de hoogste berg van de Alpen? 6. Hoeveel graden zitten er in een cirkel? 7. Waar wordt glas van gemaakt? 8. Wat is een Friese doorloper? 9. Wie is het staatshoofd van Vaticaanstad? 10. Wat is de hoofdstad van Zwitserland? 11. Welke ziekte werd in de middeleeuwen de zwarte dood genoemd? 12. Wat is de geheime naam van de Mexicaan Don Diego de la Vega? 13. Hoeveel maanden heeft de maan nodig om rond de aarde te cirkelen? 14. Wat wordt bedoeld met het woord “Jihad”? 15. Welk Bijbels figuur ging mosterd halen? 16. Hoe noem je een verhaal dat begint met “Er was eens…”? 17. Welke kleur licht wordt aan stuurboord gevoerd? 18. In welk werelddeel ligt de Sahara? 19. Wat is het scheikundige symbool voor water? 20. Hoe heet een pasgeboren leeuw?

44


45

Versie 2

1. Hoe heet het gebouw waar je boeken kunt lenen? 2. Welke televisie serie gaat over de familie Forrester en Spectra? 3. Wat is de hoofdstad van Nederland? 4. Waarvoor stond FL bij onze gulden? 5. Bij welke temperatuur kookt water? 6. In welk land woonden de Inca’s? 7. Waarvan is leer gemaakt? 8. Welke muzikant had als bijnaam “The King”? 9. Wat was Rembrandts achternaam? 10. In welk werelddeel ligt Brazilië? 11. Wie maakte tekeningen bij Jip en Janneke? 12. Welk boek over een droevige ridder is na de Bijbel het meest herdrukte boek ter wereld? 13. Maak deze zin af: De bisschop van Myra staat beter bekend als….? 14. Wat is het grootste zoogdier ter wereld? 15. Hoe heten de drie neefjes van Donald Duck? 16. Wie schreef de Ilias? 17. Hoe noemt men in de golfsport de stokken waarmee je het balletje wegslaat? 18. Wat is de hoofdstad van Spanje? 19. Hoeveel worpen zijn bij darten toegestaan? 20. Hoe heet een pasgeboren koe?

46

AUTOMATISCHE DETECTIE VAN ONBEGRIP Bijlage C: Gemiddelde data per Action Unit

Participant 1 FOK vraag 1 t/m 20, gemiddelden Action Units 1

AU 1

AU 2

AU 4

AU 5

2

-1.4506

-0.78559

0.38604

3

-0.30794 -0.51055

4

AU 14

AU 15

-0.49273 0.37437 0.057378

-0.036112 1.6395

2.5477

0.38314

-0.54142 0.33029 0.053605

-0.74432

1.5477

2.3704

-0.51308 -0.64981

0.26036

-0.50793 0.29778 0.14168

-0.57972

1.1695

2.584

5

-1.8903

-0.015262 -0.38195 0.23385 0.12919

0.39982

1.8043

2.3616

6

-0.87069 -0.618

0.40611

-0.59312 0.35175 0.023278

-0.67055

1.727

2.4931

7

-1.5807

0.057011

-0.45126 0.2781

0.31101

1.5004

2.6635

8

-0.71078 -0.61914

0.37455

-0.50236 0.34475 0.044176

-0.29723

1.7355

2.5544

9

-0.6935

-0.11505

0.091497

-0.35311 0.19029 0.041194

-0.54372

0.80227 2.1242

-0.75711

0.39369

-0.53549 0.35852 0.078556

-0.29607

1.5219

2.7245

11 -0.81668 -0.44731

0.094848

-0.38309 0.21237 0.0007875 -1.0929

1.0283

2.3676

12 -0.54588 -0.47499

0.23985

-0.47619 0.28047 0.24899

1.1726

2.5319

13 -1.7655

-0.52366

-0.099741 -0.36542 0.2475

-0.016052 1.8048

2.4301

14 -1.431

-0.78655

0.26765

-0.53977 0.34153 0.10478

-0.16314

1.5768

2.7009

15 -0.61668 -0.33604

0.022624

-0.40439 0.19096 0.085075

-0.41175

1.4033

2.3335

16 NaN

NaN

NaN

NaN

NaN

NaN

NaN

NaN

17 -1.0779

-0.66606

0.43269

-0.6515

0.33303 0.054537

0.029616

1.7256

2.3454

0.29216

-0.41712 0.22081 0.067116

-0.49896

1.1399

2.179

19 -0.16511 0.066552 0.24447

-0.52565 0.22408 0.047114

-1.6854

1.1388

2.2749

20 -0.98476 -0.23777

-0.50592 0.1735

-0.6543

1.0426

2.1127

10 -1.258

-0.68904

-0.72048

18 -0.88318 -0.2932

0.12054

AU 9

AU 10

0.093097

0.048464

NaN

0.021232

AU 12

-0.38365

Automatische detectie van onbegrip op basis van gezichtsuitdrukkingen

Recommend Documents