Számítógépes Arc Animáció VL 2. ea. szept. 23.
Ruttkay Zsófia University of Twente Assoc. Prof
PPKE ITK Szent-Györgyi Ösztöndijas
e-mail:
[email protected]
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Program 1.
Áttekintés
2.
Arc modell és animációs elvek
3.
Arc animálás – morph (átváltoztatás) és warp (torzítás)
4.
2. HF
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Az arc fontossága
From: J. Walker, L. Sproull, R. Subramani: Using a Human Face in an Interface, CHI’94, pp 85-91. PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Az emberi arckifejezések anatomiája •
kb. 44 pár arcizom, 3 fajta – 1 köteg – lapos – kör
PPKE ITK 2OO5 II. félév
•
kevés fiziológiai adat
•
koartikuláció
•
sok, változó paraméter
•
nem lineáris hatások
Ruttkay Zsófia: Virtuális Lények
Az emberi arckifejezések pszichológiája •
“értelmes” - fizikailag lehetséges - lehetetlen
•
fizikai, érzelmi, kognitív, kommunikatív állapot
•
izmok összehúzódása - agyi aktivitás
•
parancsra nem megy hitelesen – gond az adatgyűjtés
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Emberi arckifejezések: pszichológia •
1882:
Darwin: The Expression of the Emotions in Man and Animals
•
1862:
Duchenne: elektromos impulzussal kiváltott kifejezések fényképe
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Emberi arckifejezések: Ekman •
1970 - ...: Paul Ekman (U. of California)
•
1989: 6 általános érzelmi arckifejezés : öröm, meglepetés, bánat, félelem, düh, undor
•
FACS [1978] leíró kódrendszer – USA-ban elterjedt
•
alapvetően diszkrét paraméterek
•
egyes izomcsoportok aktivitásának vizuális hatása
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Emberi arckifejezések leirása: MPEG4 • 1999: ISO standard • széles körben használt • 68 normált paraméter (FAPs) • folytonos paraméterek • egy-egy fekete pont x vagy y vagy z irányú elmozdulása az arcon mért egységben kifejezve. • min, max, semleges érték.
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
•
Emberi arckifejezések leirása: MPEG4 # FAP name FAP description Unit
•
31 raise_l_i_eyebrow
Vertical displacement of left inner eyebrow ENS
•
32 raise_r_i_eyebrow
Vertical displacement of right inner eyebrow
ENS
•
33 raise_l_m_eyebrow Vertical displacement of left middle eyebrow
ENS
•
34 raise_r_m_eyebrow Vertical displacement of right middle eyebrow
ENS
•
35 raise_l_o_eyebrow Vertical displacement of left outer eyebrow ENS
•
36 raise_r_o_eyebrow Vertical displacement of right outer eyebrow ENS
•
37 squeeze_l_eyebrow Horizontal displacement of left eyebrow ES
•
38 squeeze_r_eyebrow Horizontal displacement of right eyebrow ES
•
51 lower_t_midlip _o
Vertical top middle outer lip displacement MNS
•
52 raise_b_midlip_o
Vertical bottom middle outer lip displacement MNS
•
53 stretch_l_cornerlip_o Horizontal displacement of left outer lip corner MW
•
54 stretch_r_cornerlip_o Horizontal displacement of right outer lip corner MW
•
55 lower_t_lip_lm _o
Vertical displacement of midpoint between left corner and middle of top outer lip MNS
•
56 lower_t_lip_rm _o
Vertical displacement of midpoint between right corner and middle of top outer lip MNS
•
57 raise_b_lip_lm_o
Vertical displacement of midpoint between left corner and middle of bottom outer lip MNS
•
58 raise_b_lip_rm_o
Vertical displacement of midpoint between right corner and middle of bottom outer lip MNS
•
59 raise_l_cornerlip_o Vertical displacement of left outer lip corner MNS
•
60 raise_r_cornerlip _o Vertical displacement of right outer lip corner MNS
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
A számitógépes animációról általában Mozgás érzetének keltése: •
15-24 frame/ sec tempóban képeket játszunk le
•
természetes mozgás érzete: folytonos, 1. ill. 2. derivált is
•
természetességen túl: Disney rajzfilm hatások
Animációs fajták a képek meghatározása szerint: 1.
teljes képek (ld. video) - rengeteg adat, - nincs kontroll
2.
számítógépes modell (3D háromszög háló, 2D vonalak) deformálása és mozgatása, textúra leképezése -
milyen módon deformálható a test?
-
hogyan és milyen gyakran adjuk meg az egyes képeket ?
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Arc modellek-2D •
image – pixelek, jegyek azonosítása (feature identification)
•
2D grafikai elemekből felépült –
az egyes jegyek poligonnal vagy sima görbével határolt objektumok, elég ezek (kontrol) pontjainak a koordinátáit megadni
–
lehet belső vázuk, pl. a szemöldök váza – a vázat mozgatjuk, a burok körülötte automatikusan vele mozog valamilyen elv szerint
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
eyebrows eyes mouths
faces PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Arc modellek-3D egyrétegű •
3D poligon (háromszög) háló
•
sima felülettel megadott
•
poligon sűrűség általában nem egyenletes
többrétegű, fizikailag hiteles (majd később) •
koponya – szövetréteg – bőr
•
rugalmas
•
áthatolhatatlan csont, megőrzött térfogat – ráncok, gödrök
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
3d arc modell (CWI)
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
3d arc animáció (CWI)
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Arc animáció •
hogyan interpolálunk: lineárisan, C1, C2 folytonosan
•
ti-k választása
to
PPKE ITK 2OO5 II. félév
t1
t2
t3
t4
t5
Ruttkay Zsófia: Virtuális Lények
Arc animáció key-framed (kulcskeret) •
bizonyos időnként definiált egy-egy kép,
•
közte interpoláció
•
mintavétel framenként
key frame megadása •
kézzel szerkesztett a modell deformáció
•
parametrizált –
kevés paraméter
–
érthető, irányításra használható
–
sok arckifejezés előállítására alkalmas
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Arc animáció morfolással metamorfozis – morf (morph) •
két modell (kiinduló – cél) között, lehet a 2 azonos fej is (warp)!
•
forma és textúra változása
•
pontpárokat explicit módon megfeleltetünk egymásnak Pi →Qi Pi folyamatosan mozog Qi-be valamilyen T idő alatt: pl: Pi (t) = 1/T ( (T-t) Pi + t Qi) Pi (t) pont színe is hasonlóan interpolált (blended)
•
egy tetszőleges P pont a „körülötte levő” Pi –k alapján mozdul el. Pl. háromszögelés alapján, vagy expliciten súlyozva
•
az arc jegyeket (szem, száj, áll, orr) feletetjük meg egymásnak
•
2D képre és 3D objektumokra, illetve részeikre is.
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
Arc animáció paraméter interpolációval 1. Paraméterek (direkt vagy indirekt, pl MPEG4 FAPs) mint idő függvények Pj(t) 2. Minden Pj(t) függvény bizonyos Pj(tji) helyeken adott, közte interpoláció 3. Animációt megadja: Pj(tji) értékek felsorolva (ascii file) 4. Animáció előállitása: egy t helyen az összes Pj(t) értéket kiszámitjuk, és kiszámoljuk a deformációs elv szerint az érintett háromszög csúcspontok helyét (animation engine) 5. Pj(t) szerkesztéséhez: Cut, paste, scale, flip, ... műveletek
PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
2HF: Morfolás és parametrikus animálás Határidő: Október 5. Szerda 24 óra filmek a web oldalon, óraiak is Feladat: A (órán) B és C hf, minden csoportnak. Mindenkiről 3 nézetben normált (azonos méretű) dig. fotó készül, a vezeteknevX.?? fileba. (X az F, L, R a forntális, bal és jobb nézetnek megfelelően). A C feladat felvételei vezeteknevXY nevüek, ahol XY a kifejezés kódja. A. Jelöljük ki az ábrán megadott MPEG4 pontokat mint referencia pontokat. Ezek segítségével változtassuk át a 2 csoportképet egymásba, tároljuk a filmet csXmorf fileba. B. Egy csoport készítsen egy átlag arcot (referencia pontok átlaga), és az egyikük arcát erre tökéletesítve, illetve ettől távolodva (karikirozva) morfolja. C. Válasszunk ki egy arckifejezést a BOldog, DUhos, MEglepődött, IJedt, SZomorú, GOndolkozó (emlékező),SZAjtátó illetve PIslogó közül, és morfolással animáljuk a semleges arcot az arckifejezésbe. PPKE ITK 2OO5 II. félév
Ruttkay Zsófia: Virtuális Lények
