Számítógépes arc animáció PhD tézisek Ruttkay Zsófia
1. Bevezetés Napjainkban egyre több szerepben – hírolvasóként [1] [19], bonyolult rendszerek használatában segédkező asszisztensként [5], tanárként [17], virtuális világok [28], számítógépes játékok vagy játékfilmek szereplőiként – találkozunk számítógépen készített mesterséges emberi lényekkel. Mivel az emberek közötti kommunikációban igen sok információ olvasható le az arcról, a mesterséges arc lehetőséget nyújt arra, hogy számítógépes programokkal is a mindennapi életben megszokott módon érintkezzen a felhasználó. Ugyanakkor a mesterséges arctól is elvárjuk mindazt, ami az emberi arcot jellemzi: legyen egyedi, mozogjon a beszédnek megfelelően, tükrözzön érzelmeket, jelezzen kognitív és biológiai állapotot [5] [22]. Ha 3D és megtévesztésig életszerű a számítógépes fej, akkor annak kifejezései is a valóságot kell hogy tükrözzék. Ha hangsúlyozottan nem realisztikus, karikatúra-szerű vagy sematikus, 3D vagy 2D a fej modell, akkor ugyan nem teljes hűséggel, de ugyancsak az emberi arcokon szokásos kifejezéseket kell valami módon visszaadni. Ráadásul a megvalósításhoz az alkalmazások többségében olyan számítógépes eszközöket kell használni, hogy az arc valós időben reagáljon az átlagos felhasználó számítógépén. A hollywoodi filmeken feltűnő mesterséges arcok a legélethűbbek, de ezek óriási emberi, szoftver és hardver kapacitással készült egyedi, nem interaktív fejek [6]. Egy arc animálásához rendszerint egy előjátszó színész arcmozgását rögzítik, majd aprólékos munkával vetítik és hangolják azt rá a virtuális arcra [25][27]. A néhány első, kifejezetten arc animáció készítésére kifejlesztett szoftver [10][11] modell-függő, és még szenved tipikus gyerekbetegségektől: az arc változását több tucatnyi paraméterrel kell megadni kulcs frame technikát használva, és csak igen korlátozott lehetőséget biztosítanak magasabb szintű vezérléshez. Ennek egyik oka abban rejlik, hogy az arckifejezések időbeliségéről nincsen elegendő tapasztalati adat [12].
2. A kutatási feladatok A fentiek fényében időszerű és új feladat volt egy olyan arc animációs paradigma kidolgozása, amely: 1.
lehetővé teszi különböző (3D/2D, más-más paraméterekkel vezérelhető) arcok animációját;
2.
lehetőséget nyújt letapogatott mozgás felhasználására;
3.
megengedi mimikai repertoár definiálását és újra felhasználását;
4.
alapul szolgál a beszédet kísérő jelenségek részben automatikus előállítására,
5.
a paraméter szintű (extenzionális) manipuláción túl biztosítja dinamikus arckifejezések konceptuális (intenzionális) definícióját;
6.
segíti a felhasználót abban, hogy interaktív módon olyan animációt hozzon létre, amely teljesíti a konceptuális szinten megadott kívánalmakat. 1
PhD dolgozatomban egy, a fentieket lehetővé tevő arc animáció reprezentációt és manipulációs sémát mutatok be, mely alapul szolgált az Animáció Szerkesztőnek elnevezett interaktív arc animációs eszköz specifikálásához. Az Animáció Szerkesztőt kollegáimmal együtt implementáltuk, és azt különböző alkalmazásokon és felhasználókkal teszteltük.
3. Alkalmazott módszerek 3.1 A kifejezés tér felderítése
Egy virtuális arcot, mely lehet 2D vektor grafikus [18], vagy 3D maszk illetve biológiai modell [20], 15100 paraméterrel lehet deformálni. Ahhoz, hogy egy virtuális arcon az emberi arcokon szokásos arckifejezéseket hozzunk létre, ismernünk kell, hogy mely paraméter konfiguráció felel meg egy-egy emberi arckifejezésnek. A fej modellt vezérlő paraméter tér a kifejezés tér, melyben bizonyos pontok ismertek. Ezek az ún. hat alap érzelmi kifejezések – öröm, meglepetés, bánat, félelem, düh, utálat –, melyek az arckifejezések leírása terén tett pszichológiai kutatások alapján egyértelműen kódolhatók [7][8]. Két, egymást részben kiegészítő paradigmát adtam a sokdimenziós kifejezés térben való navigálásra. Az Érzelem Korong korábbi, az arckifejezések érzékelésére vonatkozó pszichológiai elméletre alapoz [23][24]. A hat alap arckifejezést egy 2D korong peremén elhelyezve, és e 2D elrendezésbeli távolságok alapján lineáris interpolációt végezve a kifejezés térben, új arckifejezések folytonos variánsai állíthatók elő. Az Érzelem Négyzetek esetében több ismert arckifejezésből indultam ki. Az ismert mintákat egy alacsonyabb dimenziós térrel közelítettem. Fő komponens analízist [15] végezve azt tapasztaltam, hogy az adott arckifejezések a 15 dimenziós kifejezés térben jól közelíthetők egy alkalmas, 4 dimenziós hipersíkra eső vetületükkel, melyen való navigálást két négyzeten való mozgásra lehet visszavezetni. A hipersíkon az adott kifejezések vetületei megjeleníthetők, és a hipersík pontjainak megfelelő újabb kifejezések állíthatók elő.
3.2 Arc animálás paraméterekkel
Megadtam arc animációk modell-független, paraméter szintű reprezentációját. Az egyes paraméterek időbeli változását egymástól független, szakaszonként lineáris függvényekkel írtam le. Meghatároztam azon operátorokat, melyek lehetővé teszik arc animációk készítését és újra felhasználását. A különböző arcokra készült animációk automatikus adaptálása az ún. reanimáció operátorral történik. Ez az operátor lehetővé teszi azt is, hogy egy, többé vagy kevésbé antropomorf virtuális arcot egy igazi arcról letapogatott mozgással vezéreljünk, illetve azt eltúlozva karikírozzuk.
2
A reanimáció alapot ad animációs repertoár definiálására. Nevezetesen ha azonos, pl. a széles körben elterjedt MPEG-4 szabvány [13] [16] szerinti paraméterekkel, illetve azok részhalmazaival vezérelhető virtuális fejeket kívánunk animálni, akkor a legtöbb paraméterrel vezérelhető fejre készített animáció az összes, kevésbé részletgazdag fejre is alkalmazható, és hasonló arckifejezést eredményez. A virtuális fejek szinte mindig beszélnek. A szájmozgás speciális arc animáció, mely szinkronba kell hogy legyen a hangzó beszéddel. A ’vizuális beszéd’, azaz a beszédnek megfelelő szájmozgás egységei, az úgynevezett vizémák is megadhatók mint statikus arckifejezések. Az egy-egy fonémának megfelelő vizémákat statikus arckifejezésként kezelve, ezeket a megfelelő időpontokba beszúrva kapjuk a szájmozgást mint animációt. A szájmozgás előállítására is alkalmazható az automatikus adaptálás, illetve az animációs repertoár elve.
3.3 Arc animálás korlátokkal Ahhoz, hogy dinamikus arckifejezést ne csak mint egyedi paraméter görbék által meghatározott mozgást tudjuk kezelni, a dinamikus arckifejezés, és általánosan, egy animáció intenzionális definiálására alkalmas formalizmus szükséges. Erre korlátokat használtam. Egy dinamikus arckifejezést
mint korlátozás
kielégítési feladatot tekintettem, és egy-egy konkrét animáció e korlátozás kielégítési feladat megoldása. A feladat változói a paraméter függvényeket meghatározó vezérlő pontok koordinátái. A használt korlátoknak egyrészt alkalmasnak kell lenniük egy arc animálása során fellépő követelmények deklarálására, másrészt lehetőséget kell hogy biztosítsanak az interaktív szerkesztés támasztotta pragmatikus elvárások teljesítésére: egy megoldás valós időben kell hogy előálljon, továbbá a felhasználó maga is tudjon változtatni az animáción a korlátok vagy az egyes változó értékek direkt megadásával. Megadtam az arc animációk definiálására alkalmas korlátok típusát. Megmutattam, hogy a korlát típusok olyan tulajdonságúak, hogy az ún. intervallum propagálás módszere [2][4] hatékonyan használható a megengedett értéktartományok meghatározására. Ennek alapján rugalmas megoldó sémát tudtam definiálni egy megoldás interaktív, inkrementális előállítására. Mivel a korlátok rendszerint nem határoznak meg egyértelműen egyetlen megoldást, általános esetben a megoldó algoritmusba beépített választásokon múlik, hogy melyik lehetséges megoldás áll elő. Én nem egyetlen stratégiát építettem be a megoldó módszerbe, hanem lehetővé tettem, hogy az algoritmust változtatható kritériumok alapján lehessen vezérelni. Az úgynevezett változó és érték választási heurisztikát magasabb szinten, az alkalmazáshoz illő terminológiával megfogalmazott stratégiák közül választva lehet meghatározni.
4. Új tudományos eredmények Az új tudományos eredmények a célkitűzésekben felsorolt új arc animációs lehetőségeket alapozzák meg. Az eredmények az alábbi tézispontokban foglalom össze, hivatkozva az azokat taglaló saját publikációkra: 1. Két, a sokdimenziós kifejezés tér feltérképezését, illetve e térben való navigálást lehetővé tevő paradigmát alkottam. Az első az Érzelem Korong, mely a hat alap arckifejezést egy korong peremére 3
képezi le, és az ottani szomszédsági és távolság viszonyok alapján határoz meg új elemeket a kifejezés térben. A második az Érzelem Négyzetek, mely arra a saját empirikus vizsgálati eredményre alapul, hogy nagyszámú adott érzelmi arckifejezés jól közelíthető egy 4 dimenziós hipersíkkal. A két módszer egymást részben kiegészíti, mivel a kifejezés tér más-más részein való navigálást biztosít. Ezen eredményeket az [0], [J] és [M] publikációk tartalmazzák. 2.
Kidolgoztam arc animációk egy modell-független parametrikus reprezentációját. Megmutattam, hogy ez a reprezentáció alkalmas mind statikus, mind dinamikus arckifejezések és teljes arc animációk megadására.
Ez a reprezentációs forma gazdaságosabb, mint a hagyományos, ún. kulcs frame
animációs módszer, és speciálisan alkalmas arra, hogy animációt továbbíthassunk szűk adatátviteli csatornán keresztül. Ezt a reprezentációt használva megmutattam, hogy nemcsak az interaktív arc animáció szerkesztés alap operátorai definiálhatók könnyen, hanem lehetséges a különböző virtuális fejekre készült teljes animációk illetve dinamikus kifejezések automatikus adaptálása és animációs repertoár használata. Ezekre az eredményekre alapulnak az [ E], [F] és [G] publikációk. 3.
Módszert nyújtottam arra, hogy miként lehet a beszédet kísérő szájmozgást automatikusan, különböző részletességgel előállítani. A fonéma-vizéma tábla megadásával, valamint annak meghatározásával, hogy egy-egy vizéma a fonéma hangzásának mely pillanatához rendelődjön, a módszer nyelvtől és a beszéd előállítására használt eszköztől független, és alkalmas koartikulációs jelenségek bizonyos szintű modellezésére is. Továbbá a 2. pontban említett repertoár elv alapján különböző részletességű szájak mozgathatók egyetlen vizéma készlet alapján. Az automatikus szájmozgás előállítását az [K] publikáció részletezi.
4.
Megmutattam, hogy korlátozásokat használva lehetséges a dinamikus arckifejezések, illetve egy teljes animáció intenzionális definiálása. Ez merőben új megközelítés, amely a szokásos paraméter görbék manipulálásával szemben szemantikus alapot nyújt arcmozgás, illetve kifejezés repertoár megtervezésére. Megmutattam továbbá, hogy korlátok az animáció létrehozásának a fázisában is használhatók. Ehhez meghatároztam az animáció készítés korábbi gyakorlatához és az animátor mentális képességeihez illeszkedő megoldás keresési stratégiák egy halmazát. Megmutattam, hogy az intervallum propagálás általános
módszere egy dinamikusan változtatható megoldás keresési
stratégiával ötvözve alapot ad arra, hogy a felhasználót segítse egy-egy, a kívánalmaknak eleget tevő animáció interaktív előállításában. Bebizonyítottam, hogy az arc animációhoz szükséges korlátok típusa olyan, hogy ekkor a módszer – az általános esettel szemben - visszalépés nélkül, tehát interaktív alkalmazáshoz szükséges hatékonysággal állít elő megoldást. Eme új arc animációs módszer elméleti háttere [D]-ban, a stratégiák meghatározása [H] és [C]-ban szerepelnek. A fenti eredmények alapul szolgáltak egy moduláris arc animációs szoftver implementálásához, lásd [I] és [N].
4
5. Alkalmazások A kutatás különböző fázisainak eredményeit Java nyelven, az OpAC szoftvert felhasználva kollegáim segítségével implementáltam. Az Érzelem Korongot két holland kutatócsoport használta, egyrészt sematikus virtuális arcok kifejezőerejének vizsgálatára [26], másrészt egy virtuális világbeli avatárok arckifejezésének vezérlésére [9]. A vizuális beszédet támogató jegyek érdekesek a számítógépes beszéd szakemberei számára, egyrészt a szájmozgás modellezésére (alap egységek, ko-artikulációs jelenségek), másrészt a beszéd és más, vizuális modalitások együttes kommunikációs szerepének kiderítésére [21].
Az Animáció Szerkesztőt egy
szintetikus beszéddel foglalkozó kutatócsoporttal együtt használtuk egy holland vizéma készlet meghatározására, továbbá a beszédet kísérő vizuális jelenségek virtuális arcon való előállítására és szisztematikus tesztelésére [[14]]. A római La Sapienza egyetemen az Animáció Szerkesztőt használják egy realisztikus 3D fej animálására, illetve a beszéd során fellépő koartikulációs jelenségek vizsgálatára. Az Animáció Szerkesztőt hagyományos animátorok illetve laikus felhasználók eszközként használták arc animációk készítésére, virtuális fejek széles skálájára (2D/3D, realisztikus-sematikus, többé vagy kevésbé emberi fej). A készült, részben saját animációkból válogatás látható mellékelt CD-n. Az eszköz hatékonynak és flexibilisnek bizonyult. Jelenleg a holland EPICTOID cég építi be a CharToon néven forgalmazandó arc animációs szoftver csomag moduljaként.
Köszönetnyilvánítás A PhD-ben foglalt eredményeket az amszterdami CWI intézetben 1997-2001 között az INS részleg arc animációval foglalkozó csoportjának vezetőjeként dolgozva értem el. Köszönöm mindenekelőtt Paul ten Hagennek, hogy osztályán zavartalan lehetőséget biztosított erre a munkára, bízott a sikerében és mindig készen állt újabb ötletek megvitatására. A téma olyan jellegű, hogy az eredmények verifikálása elképzelhetetlen az eredményekre alapuló eszközök implementálása és tesztelése nélkül. Ebben voltak segítségemre Han Noot és Behr de Reiter programozó kollegáim, illetve Paál Zsuzsa és Alban Lelievre hivatásos animátorok. Az empirikus adatok kódolásában és feldolgozásában Mark Savenije, majd Jeroen Hendrix működött közre. A kutatást részben a holland STW finanszírozta, a CW 166.4088 számú projekt keretében. Köszönöm Szirmay-Kalos Lászlónak, valamint a felkért bírálóknak, Vayk Istvánnak és Nagy Ákosnak a munkahelyi vita során tett konstruktív megjegyzéseiket.
5
Saját publikációk listája A legtöbb hivatkozott saját cikk, illetve a CD-n szereplő demok némelyike, valamint néhány további film on-line formában is elérhető a www.cwi.nl/CharToon
illetve www.cwi.nl/~zsofi/publist.html web
oldalakon. A. Ruttkay, Zs., Noot, H. Emotion Disc and Emotion Squares: tools to explore the facial expression sapce, Submitted to the Journal of Visualization and Computer Animation, 2002.
B. Ruttkay, Zs., Pelachaud, C. Excercises of style for virtual humans, Proc. of Animating Expressive Characters for Social Interaction Symposium, 4-5 April 2002, Imperial College, London C. Ruttkay, Zs., Noot, H. FESINC: Facial Expression Sculpturing with INterval Constraints, Proc. of the Autonomous Agents 2001 Workshop on Representing, Annotating and Evaluating Non-Verbal and Verbal Communicative Acts to Achieve Contextual Embodied Agents, Montreal, Canada, 2001. D. Ruttkay, Zs. Constraint-based facial animation, Int. Journal of Constraints, Vol. 6. pp 85-113, 2001.also as: CWI Report INS-R9907 Amsterdam, 1999. E. Ruttkay, Zs., A facial repertoire for animation on the Web, ERCIM News., No. 44. pp. 26-27. 2001. F. Ruttkay, Zs., Noot, H. Animated CharToon Faces, Proceedings of NPAR 2000 – First International Symposium on Non Photorealistic Animation and Rendering, pp. 91-100. 2000. G. Ruttkay, Zs., Noot, H., De Ruiter, B., Ten Hagen, P. CharToon Faces for the Web, Poster Proceedings of the 9th Int WWW conf. pp. 28-31, Amsterdam, 2000. H. Zs. Ruttkay, H. Noot: Solution Strategies to Produce Facial Animations, Proceedings of the ERCIM/CompulogWorkshop on Constraints, June 2000, Padova, Italy I.
Noot, H. Ruttkay, Zs. CharToon 2.0 Manual, CWI Report INS-R0004, Amsterdam, 2000.
J.
Ruttkay, Zs., Hendrix, J., Ten Hagen, P., Lelievre, A., Noot, H., De Ruiter, B. A facial repertoire for avatars, Proc. of the Workshop "Interacting Agents", pp 27-46. Enschede, The Netherlands, 2000.
K. Ruttkay, Zs., Lelievre, A. CharToon 2.1 extensions: Expression repertoire and lipsync, CWI Report INS-R0016, Amsterdam, 2000. L. Ruttkay, Zs, Korlátozás kielégítés, 7. fejezet Budapest, 2000. pp. 281-320.
in: I
Futó (ed). Mesterséges Intelligencia, Aula,
M. Hendrix, J., Ruttkay, Zs.M. Exploring the space of emotional faces of subjects without acting experience, Report INS-R0013, CWI, Amsterdam, 2000. N. Ten Hagen, P., Noot, H, Ruttkay, Zs. CharToon: a system to animate 2D cartoon faces, Short Papers and Demos Proc. of Eurographics'99. O.
Ruttkay, Zs. Ten Hagen, P., Noot, H. Constraint-based keyframing, Proc. of the ECAI'98 workshop on Constraint Techniques for Artistic Applications, Brighton, UK 1998.
P. Ruttkay, Zs., Ten Hagen, P., Noot, H., Savenije, M. Facial animation by synthesis of captured and artificial data, CAPtech '98 Proceedings, 1998. Q. Ruttkay, Zs. Constraint Satisfaction - a Survey, CWI Quarterly, Vol. 11, pp. 123-161, 1998.
6
Hivatkozott irodalom [1] Ananova, http://www.ananova.com [2] Apt, K. The essence of constraint propagation, CWI Quarterly, Vol. 11. No. 2-3, pp. 215-249. 1998. [3] Benhamou, F. Goualard, F.The OpACSolver, University of Nantes, personal communication, 19992001. [4] Benhamou, F. Granvilliers, L., Goualard, F. Interval Constraints: Results and Perspectives. In: Frédéric Benhamou, Laurent Granvilliers, and Frédéric Goualard. In: , K.R. Apt, A.C. Kakas, E. Monfroy, F. Rossi (eds.) New trends in constraints, Procs. of the Joint ERCIM/Compulog-Net Workshop at Cyprus, Lecture Notes in Artificial Intelligence, vol. 1865, pp. 1-16, Springer Verlag, 2000. [5] Cassell, J., Sullivan, J., Prevost, S., Churchill, E. Embodied Conversational Agents, MIT Press, Cambridge, MA, 2000. [6] Digital Elite, http://www.digitalElite.net/ [7] Ekman, P., Friesen, W. Facial Action Coding System, Consulting Psychology Press Inc. Palo Alto, California, 1978. [8] Ekman, P. The argument and evidence about universals in facial expressions of emotion. In: Wagner, H., Monstead, A. (eds): Handbook of Social Psychology. Jophn Wiley, Chicelster, pp. 143-146. 1989. [9] Elians, A., Van Ballegooij, A. (2000) Avatars http://blaxxun.cwi.nl:4499/ VRML_Experiments/FASE/
in
VRML
worlds
with
expressions,
[10] FaceWorks DIGITAL FaceWorks Animation Creation Guide, Digital, 1998. [11] FAMOUS Home Page (1989). http://www.famoustech.com/ [12] Essa, I. Analysis, Interpretation and Synthesis of Facial Expressions, MIT Media Lab Perc. Comp. Tech. Rep. 272, 1994. [13] ISO Information Technology – Generic coding of audio-visual objects – Part 2: visual, ISO/IEC 14496-2 Final Draft International Standard, Atlantic City, 1998. [14] Krahmer, E., Ruttkay, Zs., Swerts, M. Pitch, eyebrows and the perception of focus, Submitted to Prosody’2002. [15] Krzanowski, W. J. (1988) Principles of Multivariate Analysis, a Users Perpective. Clarendon Press, Oxford. [16] Kshirsagar, S., Escher, M., Sannier, G., Magnenat-Thalmann, N. Multimodal animation based on the MPEG-4 standard, Proc. of Multimedia Modeling’99, pp. 215-232. 1999.
system
[17] Lester, J. C., Converse, S. A., Kahler, S. E., Barlow, S. T., Stone, B. A., Bhoga, R. S. The Persona Effect: Affective impact of animated pedagogical agents, Proc. of CHI’97, pp. 359-366. 1997. [18] Litwinowicz, P. Inkwell: a 2 ½-D animation system, Proc. of Siggraph’97, pp. 407-414. 1997. [19] Noma, T., Zhao, L., Badler, N. Design of a virtual human presenter, IEEE Computer Graphics and Applications, Vol. 20. No. 4. 2000, pp. 79-85. [20] Parke, F., Waters, K. Computer Facial Animation, AK Peters, Wellesley, MA, 1996. [21] Pelachaud, C., Badler, N. I., Steedman, M. Generating facial expressions for speech, Cognitive Science Vol. 20. pp. 1-46. 1996. [22] Perlin, K. Responsive Face, http://mrl.nyu.edu/~perlin/facedemo/ [23] Russell, J. A. A circumplex model of affect. Journal of Personality and Social Psychology, 39(6), pp. 1161-1178. 1980. [24] Schlosberg, H. The description of facial expressions in terms of two dimensions, Journal of Experi-
mental Psychology, Vol. 44. No. 4. 1952. [25] Sudarsky, S., House, D. Motion capture data manipulation and reuse via B-splines, In: N. Magnenat-
Thalmann, D. Thalmann (eds.): Proc. of CAPTECH’98, LNAI 1537, pp. 55-69. 1998. 7
[26] Van Veen, H., Smeele, P., Werkhoven, P.: Report on the MCCW (Mediated Communication in Collaborative Work) Project of the Telematica Institute, TNO, January 2000. [27] Williams, L. Performance-driven facial animation, Proc. of SIGGRAPH'90, pp. 235-242. 1990. [28] Zwiers, J., van Dijk, B., Nijholt, A., Op den Akker, R. Design issues for navigation and assitance in virtual environments, In: Proc. Of Interacting Agents Workshop, pp. 119-132. 2000.
8
