SEMI AUTOMATIC RETARGETING UNTUK EKSPRESI INTERPOLASI BLENDSHAPE BERBASIS FUZZY LOGIC

TESIS

SEMI AUTOMATIC RETARGETING UNTUK EKSPRESI MIMIK WAJAH MENGGUNAKAN METODA INTERPOLASI BLENDSHAPE BERBASIS FUZZY LOGIC MOH. ZIKKY (NRP. 2209205204) DOSEN PEMBIMBING Mochamad Hariadi, S.T, M.Sc, Ph.D M ht di S.T, Muhtadin, ST M M.T T

PROGRAM STUDI MAGISTER BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA (GAME TECHNOLOGY) JURUSAN TEKNIK ELEKTRO, FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA

Abstrak Untuk menghasilkan ekspresi wajah karakter virtual 3D dari ekspresi alami wajah manusia, manusia facial motion capture adalah teknik yang dianggap paling efektif, terutama dari sisi kecepatan produksi. Namun demikian, pada penerapannya masih ada beberapa hasil ekspresi yang kurang ekspresif, terutama jika pada sisi target karakter 3D mempunyai bentuk fitur wajah yang berbeda dibandingkan model acuannya. Pada riset ini dilakukan perbaikan ekspresi dasar mimik wajah dalam proses facial motion retargeting menggunakan metoda interpolasi blendshape berbasis fuzzy logic. Metoda interpolasi blendshape adalah metoda yang digunakan untuk menggabungkan beberapa bentuk menjadi satu perpaduan dengan konsep interpolasi. Pada riset ini, proses blendshape memenuhi konsep interpolasi linier, yaitu pergerakan titik vertex pada bl d h blendshape menggunakan k garis i lurus. l M Metoda d blendshape bl d h akan k dijalankan dij l k sebagai b i kkorektor k pada d hasil proses retargeting. Pembobotan dari blendshape akan diberikan secara otomatis dari hasil kalkulasi fuzzy logic yang mengacu terhadap masukan posisi penanda facial motion retargeting. Bobot inilah yang kemudian akan memberikan perbaikan agar ekspresi tercipta lebih ekspresif. Proses ini akan lebih mudah dan lebih cepat dilakukan daripada melakukan customize satu persatu pada titik vertex secara manual. Untuk menghindari munculnya gerakan tak teratur (haphazard movement), maka perlu diberikan batasan bobot (weight constraint) dengan range [0,1] Kata Kunci:Blendshape, interpolasi linier, animasi ekspresi wajah, semi automatic retargeting, facial motion capture, logika fuzzy, weight constraint

Latar Belakang 



Untuk membentuk karakter yang meyakinkan meyakinkan, hal penting yang perlu diperhatikan adalah gerakan ekspresi wajah yang nyata dan realistis, karena wajah adalah sumber identitas dan penunjuk situasi mood yang sedang terjadi Animasi wajah ekspresif sangat penting untuk meningkatkan naturalisasi t li i dan d kkesesuaian i yang titinggii pada d kkarakter kt virtual

Gambar 1. Contoh ekspresi wajah sinsesis dalam proses retargeting pada facial motion capture[1]

Latar Belakang (Lanjutan) 



Objek karakter virtual dengan fitur yang variatif (spt. (spt Bentuk kelonjongan wajah, bentuk hidung, dlsb) terkadang menimbulkan ekspresi yang berbeda antara model peraga dengan target karakter wajah 3D. 3D Maka dari itu butuh metoda tambahan yang dapat memberikan kesesuaian ekspresi, salah satunya dengan metoda blendshape. D Dengan ekspresi k mimikk wajah karakter 3D yang ekspresif, pesan emosi lebih maksimal tersampaikan.

Gambar 2. Contoh ekspresi wajah yang dibentuk melalui proses blendshape pada Autodesk Maya [12]

Tujuan Tujuan dalam riset ini adalah melakukan retargeting dari data facial motion capture selanjutnya dilakukan pendekatan metoda blendshape untuk mendapatkan hasil wajah karakter 3D virtual yang mampu memvisualisasikan ekspresi wajah yang lebih ekspresif sehingga pesan emosi akan lebih maksimal tersampaikan. tersampaikan

Rumusan Masalah 



TTargett ekspresi k i wajah j h yang dih dihasilkan ilk seringkali i k li tid tidakk seekspresif apa yang diperagakan model acuan, terutama jika target mempunyai bentuk fitur wajah yang berbeda. Kurang ekspresifnya hasil animasi wajah 3D yang murni dibentuk dari proses motion capture sehingga dibutuhkan suatu metode tertentu sebagai g pemicu p ekspresi p agar g lebih ekspresif p

Batasan Masalah Agar permasalahan yang dibahas tidak bias dan untuk menyederhanakan riset, permasalahan diatas diberi batasan-batasan masalah sebagai berikut:  Ekspresi wajah yang akan diuji cobakan hanya meliputi ekspresi emosi dasar karakter.  Output animasi ekspresi emosi hanya terfokus pada kerutan dan mimik wajah, tidak sampai membahas efek gerakan kepala ataupun otot leher.

Kajian Pustaka 

Facial Motion Capture Milistone

dan Konsep Facial Motion Capture

Gambar 3: Contoh sistem menangkap gerakan wajah. (a) Mike, The Talking Head, dengan alat mekanis pertamanya dalam membuat sintesis ekspresi wajah (b) Vicon, kamera motion capture yang banyak digunakan saat ini

Kajian Pustaka

Gambar 4: Evolusi dalam proses facial rigging dari masa kemasa. kemasa Offline: (a) Parke Parke'ss facial parameter model, model (b) Tony de peltrie, film pendek animasi pertama yang menggunakan model parameter wajah (c) Toy Story, pengenalan film CGI pertama dalam penerapan 12 prinsip animasi, (d) Gollum, karakter realistis CGI dalam film Lord of The Ring (e) The Adventure of Tintin. Reltime: (f) Mike, the talking head, animasi virtual real time pendalangan pertama, (g) Half Life (1998), awal penerapan animasi wajah pada Video Game 3D, (h) Doom "pendalangan" 3 (2004), pergerakan wajah berbasis bone untuk video game, (i) The Samaritan Demo, pengembangan dalam seni animasi wajah real time saat ini. [8]

Kajian Pustaka 

Proses Scanning dan Pengambilan Data 

Marker M k Facial F i lM Mocap biasanya menggunakan 32300 penanda reflective marker. k



Data yang dihasilkan dari kamera Vicon berupa “c3d“, data C3D biasanya dikonversi dulu kedalam bentuk BVH, data inilah yang ditempelkan pada mesh wajah karakter 3D sebagaimana titik-titik yang dipasang pada model.

Gambar 5: (a) ABW Scanner dan (b) contoh hasil scan wajah; (c)sistem motion capture dan (d) pemasangan reflective marker pada model.

Kajian Pustaka 

Retargeting Animasi Wajah Dalam proses retargeting secara umum adalah proses artikulasi gerakan mimik wajah dari model terhadap karakter virtual yang dibuat target  Proses ini dapat dijalankan secara real time ataupun offline. 

Gambar 6:Contoh Proses Realtime Retargeting :(a) Retargeting Mocap dengan model tunggal; (b) Retargeting Mocap dengan Variasi model yang berbeda (Sumber: YouTube )

Kajian Pustaka 

Metoda blendshape Gambaran umum dari metoda ini yaitu pembentukan mimik wajah karakter 3D dari beberapa model ekspresi wajah dasar yang dibuat, seperti halnya membuka mulut, mengkerutkan k tk dahi, d hi menurunkan k bibir, bibi dan d lainnya. l i  Target animasi (gambar tengah) default-nya dibuat dalam bentuk netral, netral sedangkan animasi pembentuk/bobot ekspresi dibentuk pada kondisi maksimal animasi dasar, sehingga prosentase bobot dapat p p dikombinasikan dan menghasilkan g ekspresi yang diinginkan. Misalkan jika diinginkan ekspresi marah, maka diberikan bobot mulut membuka 50%, kerutan dahi sebesar 70%, dan seterusnya. 

Contoh Penerapan Metoda blendshape (b)

(c) (a)

Gambar 7: (a) Gambaran skema metoda blendshape (MAYA), (b) Proses pembuatan berbagai ekspresi dasar; (b) Running dengan pembobotan(weight) dalam blendshape. (Sumber: YouTube )

Ekspresi Dasar Wajah Terkait Emosi

Plutchik (2001) menggambarkan penyusun emosi dasar dan keterkaitannya dengan emosi-emosi lainnya dalam bentuk roda emosi sebagaimana digambarkan Gambar 8

Gambar 8: Konsep relasi emosi (Plutchik, 2001)

Parameter Ekspresi Wajah

Gambar 9: Ekspresi dasar wajah (Murat Tekalp dan Jorn Osterman, 2000)

Konsep Fuzzy Logic Untuk mendapatkan output bobot blendshape, diperlukan 4 tahapan: 1. Pembentukan himpunan fuzzy 2 2. Aplikasi fungsi implikasi (aturan) 3. Komposisi aturan 4. Penegasan (defuzzifikasi)

Konsep Fuzzy Logic 







PPembentukan b k himpunan hi f fuzzy  Variabel V i b l dibagi dib i menjadi beberapa himpunan fuzzy (membership) Aplikasi fungsi implikasi (aturan)  Yang digunakan adalah min (aturannya menggunakan AND), Contoh: IF minum banyak AND makan banyak THEN perut kenyang sekali Komposisi aturan Yang digunakan adalah max, d i beberapa dari b b aturan t yang ada d jika jik menggunakan k MAX, berarti di OR kan (keseluruhan aturan) Defuzzifikasi  Dengan menggunakan nilai membership masukan dan nilai  membership keluaran sebagai berikut: Nilai keluaran= jumlah (membership masukan *  membership keluaran) / (membership masukan )

Variabel dibagi menjadi beberapa himpunan fuzzy (membership) 

Membership segitiga

x2  d ( x )  cd

a  x1 ( x )  ab

Gambar 10: Himpunan Fuzzy Normal (Kurva Segitiga)

Membership Trapesium ( x )  1

d

x2 c

x2  d ( x )  cd

b

x1 a

x

a  x1 ( x )  ab

Gambar 11: Himpunan Fuzzy Trapesium

Metodologi Penelitian

Gambar 12. Diagram alur metodologi penelitian semi automatic retargeting untuk ekspresi mimik wajah menggunakan metoda interpolasi blendshape berbasis fuzzy logic

Peletakan data BVH pada wajah karakter target

Gambar 13: Tampilan data BVH pada blender 2.5 dan strukturnya; (a) data bvh tampak dari depan, (b) data bvh p dari samping, p g dan ((c)) hirarki data bvh tampak

Gambar 14: Area peletakan penanda pada fitur wajah

Desain Model Keyshape 

Untuk membuat serangkaian model ekspresi dasar yang akan dijadikan pembobot blendshape pada target, pertama yang harus didesain adalah keyshape. keyshape Pada riset ini akan diberlakukan setiap satu keyshape memiliki bobot [0,1]. g berarti nilai netral dan 1 adalah kondisi Dimana 0 yyang maksimal ekspresi diberikan

Gambar 15: Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertex untuk mendapatkan kondisi terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex

Gambar 16: Contoh proses perpindahan bentuk pada keyshape dengan ekspresi terkejut

Desain Ekspresi Pembobot Blendshape 

Mengacu terhadap penelitian ekspresi-ekspresi dasar yang dikemukakan oleh Ekman, Freisen, dan Tomkins (1971), ada enam ekspresi dasar yang mencakup seluruh emosi yang ada, yaitu marah, sedih, senang, terkejut, jijik dan takut. Oleh karenanya, pada riset ini ekspresi-ekspresi dasar tersebut dibentuk dan dijadikan pembobot pada facial blendshape. Dari lima keyshape y p y yang g dibuat,, Gambar 3.8 merupakan p kondisi maksimal enam ekspresi dasar pembobot blendshape pada riset ini

Gambar 15: Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertex untuk mendapatkan kondisi terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex

Logika Fuzzy sebagai Pemicu Bobot Blendshape

Gambar 17: Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertex untuk mendapatkan kondisi terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex



Dari pembacaan data koordinat translasi x, y, dan z pada Gambar 18, selanjutnya semua koordinat penanda pada masing-masing masing masing ekspresi yang dijadikan sampel acuan akan dihitung jaraknya terhadap titik pusat ujung hidung, yaitu Nose Tip. Kemudian setelah jaraknya terhitung, terhitung hasilnya akan dibandingkan terhadap ekspresi netral dari masingmasing ekspresi tersebut Gambar 18: Penanda yang akan dibaca sebagai input fuzzy logic

Desain Fuzzy Logic pada Matlab

(a)

(b) Gambar 19: (a) Desain keseluruhan sistem fuzzy logic pada Matlab, (b) Sebagian desain Membership Function (MF), (MF) (c) Pemberian aturan if-then

(c)

Hasil dan Analisa Untuk pengujian bobot blendshape hasil proses logika fuzzy yang dipicukan pada setiap ekspresi dasar proses retargeting, pertama akan diujikan data ekspresi dasar yang akan dijadikan acuan ekspresi,proses pengujian pada sistem logika fuzzy akan p 13 data input p yyang g sudah dipilih p dan dilakukun terhadap dijelaskan pada bab metodologi penelitian. Setelah data acuan didapatkan dan menunjukkan keluaran bobot blendshape yang sesuai, maka akan diujikan contoh data lain dari data ekspresi dasar secara acak

Ekspresi Senang

Ekspresi Sedih

Ekspresi Marah

Ekspresi Takut

Ekspresi Jijik

Ekspresi Terkejut

Penutup KESIMPULAN 



Dari riset yang telah dilakukan, diperoleh beberapa kesimpulan pada proses retargeting, retargeting interpolasi blendshape, blendshape dan fuzzy logic. logic Proses retargeting data facial motion capture terhadap karakter wajah 3D tidak selalu menghasilkan wajah yang ekspresif, oleh karenanya peran metoda blendshape terhadap tingkat keekspresifan karakter sangat signifikan. Pada enam database acuan ekspresi dasar, ekspresi senang paling mudah d h dalam d l pemberian b i identifikasi id ifik i d datanya, kkarena b banyakk sebaran b selisih data yang punya nilai signifikan dan berbeda dengan data p lainnya. y Sedangkan g data acuan ekspresi p marah cukup p sulit untuk ekspresi pemberian identifikasi, karena data nilai selisih terhadap ekspresi netral sangat kecil. Kondisi ini dapat mengakibatkan data baru yang akan diujikan akan kabur atau bisa jadi berakibat condong terhadap nilai ekspresi lainnya.

Penutup PENELITIAN LEBIH LANJUT Agar penelitian ini berlanjut dan membentuk sistem yang sempurna, ada beberapa hal yang harus dilakukan untuk penelitian-penelitian penelitian penelitian selanjutnya, diantaranya: 



Pengembangan e ge ba ga riset se facial ac a motion o o retargeting e a ge g menggunakan e ggu a a interpolasi blendshape dengan konsep markerless dan bisa adaptif terhadap segala bentuk fitur wajah bisa menjadi riset yang menarik untukk dikembangkan dik b k selanjutnya. l j Proses facial motion retargeting dengan perpaduan metoda blendshape yang diaplikasikan secara realtime akan lebih menghemat waktu. Oleh karenanya, pengembangan lebih lanjut, riset ini bisa dikembangkan pada proses retargeting yang dijalankan secara real time.

DAFTAR PUSTAKA (1) Ch Chuang, EErika ik SS. (2004). (2004) Analysis, A l i SSynthesis, th i and d RRetargeting t ti off FFacial i l EExpressions. i S f d University Stanford U i i Sederberg, Thomas W. , dkk. (1993). 2D Shape Blending: An Intrinsic Solution to the Vertex Path Problem. Computer Graphics, SIGGRAPH. Cristobal Curio, Curio Martin Breidt, Breidt Mario Kleiner, Kleiner Quoc C. C Vuong, Vuong Martin A A. Giese Giese, Heinrich H. H Buelthoff (2006). (2006) Semantic 3D Motion Retargeting for Facial Animation. University Clinic Tuebingen, Germany B. Robertson, Mike (1988) The Talking Head. Computer Graphics World, SIGGRAPH. Orvalho,V., Bastos,P., Parke,P., Oliveira, B., dan Alvare, X. (2012). A Facial Rigging Survey. Eurographics Li, King Li, Deng, Zhigang. (2008). Orthogonal-Blendshape-Based Editing System for Facial Motion Capture Data. University of Houston g Blendshape p in Superposition. p p Texas A&M Patrick S.,, Andrew. ((2006).) Muscle-Based Facial Animation Using University Thesis Malherbe, Victor. (2010). Make Human tutorial. http://wiki.blender.org/, diakses pada Mei 2013 Lewis, J.P and Anjoyo, Ken .(2010). Direct Manipulation Blendshapes. IEEE Computer Society Malherbe, Victor. (2010). Blendshape deformer. http:// autodesk.com/, diakses pada Juli 2013 Kusumadewi, Sri dan Purnomo, Hari. (2010) Aplikasi Logika Fuzzy, Graha Ilmu, Yogyakarta. g Jang, g, Jyh y Shing g ((1997)) Neuro Fuzzyy and Soft Computing, p g, Prentice Hall Inc.,, Upper pp Saddle River,, New Roger Jersey.

DAFTAR PUSTAKA (2) h // http://trensains.com. i F Fuzzy LLogic i SSystem. t Di k pada Diakses d Juli, J li 2013 Rusdiana, Hosyi'ah (2013). Penyusunan Database Ekspresi Wajah Perempuan Indonesia-Jawa Berbasis Penanda 3D untuk Pengenalan Emosi. Tugas Akhir Jurusan Teknik Elektro ITS, Surabaya. Sumpeno, Surya (2011). Sumpeno (2011) Antarmuka Cerdas Berbasis Bahasa Alami Berkemampuan Afeksi. Afeksi Disertasi Jurusan Teknik Elektro ITS, Surabaya Tekalp, A. Murat dan Ostermann, Jorn (2000). Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image Communication 15 (2000) 387-421, USA Ekman, Paul. Friessen, Wallace V. Tomkins, Silvan S. (1971). Facial Affect Scoring Technique: A First Validity Study. Semiotica III Plutchik, Robert (2001). The Nature of Emotion. American Scientist, Volume 89

TERIMA KASIH