1
Database Ekspresi Wajah Perempuan IndonesiaJawa Berbasis Penanda 3D untuk Pengenalan Emosi Hosyi’ah Rusdiana, Surya Sumpeno, dan Muhtadin Jurusan Teknik Elektro, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember (ITS) Jl. Arief Rahman Hakim, Surabaya 60111 E-mail:
[email protected];
[email protected];
[email protected] Abstrak—Ekspresi wajah banyak digunakan untuk pengembangan beberapa bidang penelitian, seperti bidang keamanan, hiburan, dan psikologi. Penelitian yang melibatkan ekspresi wajah menuntut penggunaan kualitas sumber data yang baik. Pada penelitian ini dilakukan pembuatan sumber data ekspresi wajah yang berbentuk database ekspresi wajah perempuan Indonesia-Jawa berbasis penanda 3D. Database ini disebut sebagai JIFFE-3D Database (Javanese-Indonesian Female Facial Expression 3D Database). JIFFE-3D Database berisi ekspresi wajah perempuan Indonesia yang menunjukkan emosi dasar, seperti senang, jijik, takut, marah, terkejut, dan sedih. Pembuatan JIFFE-3D Database dilakukan menggunakan sistem motion capture untuk menangkap perubahan ekspresi wajah yang ditandai dengan pergeseran penanda pada bagian-bagian wajah. Ekspresi wajah tersebut direkam menggunakan multi camera dan disimpan dalam bentuk data 3D yang berbasis pada penanda. Data JIFFE-3D Database memiliki kualitas data yang baik dengan ketentuan bahwa semua data memiliki kesamaan acuan mengenai pusat koordinat data dan hanya menggunakan penanda yang berpengaruh terhadap perubahan ekspresi wajah. Pada proses pengklasifikasian emosi, data JIFFE-3D Database dapat menghasilkan nilai akurasi yang cukup tinggi dengan menggunakan metode klasifikasi kNN (k=1), yaitu sebesar 90.71% untuk data .bvh dan sebesar 86.67% untuk data .trc. Kata Kunci—JIFFE-3D Database, motion capture, multi camera, SVM, dan kNN.
Database). JIFFE-3D Database berfokus pada dua hal, yaitu sumber ekspresi wajah yang berasal dari perempuan Indonesia dan penggunaan data berbasis penanda 3D. Saat ini, pembuatan database ekspresi wajah sudah banyak dilakukan, seperti JAFFE (Jappanese Female Facial Expression), BU3DFE (Burmingham University 3D Facial Expression), dan database-database lainnya. Namun, sampai saat ini belum pernah dilakukan pembuatan ekspresi wajah yang menggunakan model perempuan Indonesia. Oleh karena itu, diperlukan adanya pembuatan database ekspresi wajah dengan model perempuan Indonesia. Data JIFFE-3D Database menggunakan data 3D karena data 3D memiliki beberapa kelebihan yang mendukung penangkapan ekspresi. Data 3D mampu memperlihatkan ciri-ciri ekspresi wajah dalam dimensi panjang, lebar, dan tinggi. Selain itu, data 3D mampu menangkap gerakan kepala yang juga mendukung pengungkapan ekspresi [2]. Pembuatan JIFFE-3D Database dilakukan dengan menggunakan metode motion capture dan multi-camera. Motion capture digunakan untuk menangkap perubahan ekspresi wajah yang ditandai dengan pergeseran penanda pada bagian-bagian tertentu pada wajah, seperti pada mata, hidung, mulut, dan bagian-bagian lain. Metode multicamera berfungsi untuk merekam ekspresi wajah dalam bentuk data 3D.
I. PENDAHULUAN
II. JIFFE-3D DATABASE
OPIK interaksi antarmuka manusia dan komputer merupakan salah satu topik yang sering diteliti pada tahun-tahun terakhir ini. Penelitian tersebut bertujuan untuk membuat antarmuka yang lebih bersahabat bagi pengguna. Salah satu penelitian yang dilakukan adalah pembuatan antarmuka berupa avatar yang menyerupai manusia. Avatar tersebut dibuat semirip mungkin dengan manusia agar pengguna merasa lebih nyaman berinteraksi dengan perangkat komputer. Ekspresi wajah merupakan salah satu bagian yang diadaptasi untuk pembuatan antarmuka yang lebih alami. Hal ini dikarenakan ekspresi wajah memiliki peranan penting dalam interaksi sosial antar manusia. Ekspresi wajah berperan sebanyak 55% di dalam tersampaikannya suatu pesan di dalam proses interaksi, sedangkan komponen lain, seperti komponen verbal dan vokal hanya berpengaruh sebanyak 7% dan 38% [1]. Sebagai upaya pengembangan penelitian yang lebih lanjut, maka dibutuhkanlah penelitian yang berhubungan dengan ekspresi wajah, seperti pembuatan database ekspresi wajah. Pada penilitian ini dilakukan pembuatan database ekspresi wajah yang selanjutnya disebut sebagai JIFFE-3D Database (Indonesian Female Facial Expression 3D
JIFFE-3D Database merupakan kumpulan ekspresi wajah dalam bentuk data 3D yang menampilkan emosi-emosi dasar manusia. Terdapat ekspresi netral dan enam emosi dasar yang ditampilkan oleh JIFFE-3D Database, yaitu emosi marah, sedih, senang, terkejut, jijik, dan takut. Emosiemosi tersebut merupakan pembagian emosi dasar berdasarkan penelitian yang dilakukan oleh Ekman, Freisen, dan Tomkins [3]. Data JIFFE-3D Database berbentuk pose 3D yang berbasiskan penanda (3D marker based). Data pose merupakan data ekspresi wajah yang menampilkan emosi tertentu selama satu frame dalam bentuk data 3D. Data 3D ini berbasiskan penanda, yaitu seluruh bagian pada data mengacu pada penanda, seperti acuan berupa posisi ataupun bentuk struktur wajah.
T
Tabel 1. Identitas model JIFFE-3D Database. No.
Kriteria Model
Keterangan
1.
Jenis kelamin
Perempuan
2.
Umur
18 – 25 tahun
3.
Kebangsaan / Suku
Indonesia / Jawa
4.
Kesibukan
Pelajar dan mahasiswa
2 Data JIFFE-3D Database menggunakan 10 orang model perempuan Indonesia. Adapun keterangan lengkap mengenai identitas model JIFFE-3D Database dapat dijelaskan seperti pada Tabel 1. III. TAHAPAN PENELITIAN Tahapan penelitian pada JIFFE-3D Database terdiri atas empat tahap, yaitu tahap persiapan, tahap perekaman ekspresi, tahap perbaikan data, dan tahap penyusunan database. Berikut adalah penjelasan mengenai tahap-tahapan tersebut. A. Tahap Persiapan Tahap persiapan berfungsi untuk mempersiapkan semua peralatan yang dibutuhkan pada proses perekaman ekspresi, seperti kamera dan penanda. Berikut adalah penjelesan lebih lanjut mengenai persiapan yang perlu dilakukan. 1. Penyusunan Kamera Penyusunan kamera dilakukan dengan menggunakan teknik multi-camera. Multi-camera merupakan teknik perekaman gerakan dengan menggunakan beberapa kamera sekaligus secara bersamaan. Kamera-kamera tersebut diletakkan pada posisi tertentu sehingga dapat menangkap seluruh gerakan model dari sudut pandang yang berbeda, serta penangkapan gambar oleh kamera harus tersinkronisasi antara satu dengan yang lain agar data yang dihasilkan memiliki waktu dan mengetahui posisi obyek secara serempak sehingga dapat memunculkan hasil tangkapan gerakan secara utuh. Pada penelitian ini, kamera yang digunakan sebanyak enam buah. Tiga kamera disusun di atas kepala dan tiga kamera lainnya disusun setinggi dada. Kamera-kamera tersebut disusun menyerupai busur lingkaran dengan jarak antar kamera sebesar 60 cm. Masing-masing kamera tersebut difokuskan ke arah hidung model. Gambar 1 menunjukkan ilustrasi penyusunan kamera pada tahap pengambilan data.
pemahaman yang berbeda antar tiap kamera di dalam mendefinisikan suatu titik. d) Proses penentuan ground plane berfungsi untuk menyesuaikan sumbu koordinat pada program agar sesuai dengan sumbu koordinat dunia. 3. Peletakan Penanda Penanda merupakan suatu alat penanda yang digunakan untuk menandai bidang gerak dari obyek yang ingin direkam gerakannya. Pada tahap pengambilan data JIFFE3D Database, obyek yang direkam adalah wajah perempuan Indonesia dan penanda yang digunakan berukuran 4 mm. Jumlah penanda yang ditempel pada wajah model sebanyak 37 buah. Penanda-penanda tersebut harus melingkupi seluruh daerah yang menandai gerakan pada wajah model, yaitu di sekitar daerah kepala, mata, hidung, mulut, dan pipi. Masing-masing penanda harus bisa ditangkap minimal oleh tiga kamera agar dapat terdeteksi oleh program motion capture. Peletakan penanda diilustrasikan seperti pada Gambar 2 dan Tabel 2 sebagai penjelas.
Gambar 2. Ilustrasi peletakan penanda [4]. Tabel 2. Keterangan peletakan penanda [4]. Nomor
Gambar 1. Ilustrasi penyusunan kamera.
2. Kalibrasi Kamera Kalibrasi kamera terdiri atas empat tahap, yaitu: a) Pemastian fokus kamera. b) Penyesuaian pengaturan kamera. c) Proses wanding berfungsi untuk menyamakan
Bagian wajah
Jumlah penanda 4
1
Head
2
Eyebrow
2
3
Orbital upper
1
4
Eyelids
2
5
Ear
1
6
Orbital lower
1
7
Nostril base & bulge
2
8
Puffer
1 3
Keterangan -
Penanda diletakkan pada wajah bagian kiri dan kanan secara simetris
9
Lip & mouth
10
Jaw end
1
11
Nose bridge
1
12
Nose tip
1
-
13
Upper lip
1
-
14
Lower lip
1
-
15
Chin
1
-
-
4. Pembentukan Face Template Face template digunakan untuk mendefinisikan penanda pada wajah model agar sesuai dengan penanda template pada program. Face template dapat terbentuk
3 apabila penanda pada wajah model tertangkap secara lengkap, yaitu sebanyak 37 buah. Tahap pembentukkan face template selalu dilakukan di setiap pengambilan data, sehingga hasil dari tahap ini adalah terbentuknya facebone yang berbeda untuk masing-masing model. B. Tahap Penangkapan Ekspresi Pada tahap ini, ekspresi wajah model direkam dengan menggunakan teknik motion capture. Motion capture berfungsi untuk merekam suatu gerakan di dunia nyata dan menterjemahkannya ke dalam bentuk gerakan 3D. Proses perekaman ini dilakukan dengan melacak sejumlah titik penting yang menandai daerah pergerakan obyek. Pada JIFFE-3D Database, fokus obyek adalah wajah model dan titik-titik yang menandai daerah pergerakan disebut penanda. Tahap penangkapan ekspresi wajah dilakukan dengan cara merekam ekspresi wajah model selama sepuluh detik. Pada tiga detik pertama model berekspresi netral, lalu pada tujuh detik selanjutnya model berekspresi sesuai ekspresi yang ingin ditampilkan, yaitu ekspresi marah, sedih, senang, terkejut, jijik, takut, atau netral. Masing-masing ekspresi diambil sebanyak empat kali. Apabila ada kerusakan facebone atau ekspresi tidak sesuai dengan yang diharapkan, maka perlu dilakukan proses penangkapan ekspresi wajah ulang. Gambar 3 menunjukkan beberapa data hasil penangkapan ekspresi JIFFE-3D Database. Data yang dihasilkan oleh penangkapan ekspresi wajah berupa file extension pt2. File tersebut berupa data penanda 2D yang berasal dari masing-masing kamera. Data-data penanda tersebut disinkronisasi menjadi satu-kesatuan, sehingga mendapatkan data penanda seperti pada koordinat di dunia nyata. Setiap data yang dihasilkan memiliki 1000 frame.
Gambar 3. Beberapa hasil data JIFFE-3D Database
C. Tahap Perbaikan Data Data 2D yang berasal dari pengambilan ekspresi perlu mengalami proses perekaman jejak terlebih dahulu untuk dapat diperbaiki. Pada proses perekaman jejak, setiap penanda dilacak arah pergerakannya. Pergerakan penanda ini divisualisasikan ke dalam bentuk grafik atau lintasan (trajectory) yang dapat diperbaiki. Terdapat tiga macam bentuk perbaikan yang dapat dilakukan untuk memperbaiki penanda, yaitu smoothing, fill gap, dan fix swap. Ilustrasi perbaikan data dapat ditunjukkan seperti pada Gambar 4. 1. Smoothing adalah proses perbaikan yang dilakukan untuk memperhalus hasil capture. Proses ini biasanya
dilakukan apabila terjadi ripple pada hasil trajectory. Ripple pada hasil trajectory terjadi apabila terdapat pergeseran posisi penanda yang tidak sesuai dengan posisi penanda sebenarnya. 2. Fill Gap adalah proses perbaikan yang dilakukan untuk menghubungkan antar dua track yang terputus akibat terjadinya gap atau celah pada hasil capture. Celah pada track terjadi apabila posisi penanda tidak dapat tertangkap oleh kamera. 3. Fix Swap adalah proses perbaikan yang dilakukan untuk menukar track antara dua penanda. Proses ini biasanya dilakukan apabila ada dua penanda yang tertukar.
(a)
(b)
(c)
Gambar 4. Ilustrasi perbaikan data. (a) Ripple dan smoothing; (b) Gap dan fill gap; (c) Penanda tertukar dan fix swap.
D. Tahap Penyusunan Database Tahap penyusunan database merupakan tahap terakhir dari pembuatan JIFFE-3D Database. Pada tahap ini, data 3D yang telah mengalami proses perbaikan dipilih dan diberi label yang sesuai dengan emosi yang ditampilkan. Tahap penyusunan database terdiri atas dua tahap, yaitu tahap pemilihan ekspresi dan tahap pemberian label. Tahap pemilihan ekspresi dilakukan melalui metode survei untuk memilih ekspresi yang mampu menampilkan emosi terbaik. Tahap pemberian label digunakan untuk membedakan data yang satu dan data yang lainnya dengan menggunakan identitas masing-masing data. Berikut adalah penjelasan lebih lanjut mengenai kedua proses tersebut. 1. Pemilihan Ekspresi Tahap pemilihan ekspresi berfungsi untuk memilih ekspresi wajah dengan emosi terbaik dari hasil penangkapan ekspresi. Tahap ini perlu dilakukan karena seorang model tidak selalu menampilkan emosi yang terbaik selama proses penangkapan ekspresi. Pemilihan emosi terbaik dilakukan melalui metode survei kuisioner. Proses survei ini dilakukan dengan cara setiap koresponden memilih salah satu pose dengan emosi terbaik dari beberapa pilihan pose yang ditawarkan. Pose yang menjadi pilihan terbanyak adalah pose yang nantinya dijadikan data JIFFE-3D Database. Pada tahap ini, data survei yang digunakan adalah sebanyak 840 pose, dengan rincian setiap data hasil perekaman ekspresi diwakili oleh tiga pose. Tiga pose tersebut merupakan pose yang dianggap mewakili emosi yang ditampilkan. Pemilihan pose tersebut mengacu pada parameter ekspresi wajah berdasarkan Tekalp dan Ostermann [5] pada Tabel 3.
4
No.
Nama Ekspresi
1
Senang
Alis relaks. Mulut terbuka dan sisi-sisi mulut tertarik ke arah telinga.
2
Sedih
Alis bagian dalam tertekuk naik. Mata agak menutup. Mulut relaks.
3
Marah
Alis bagian dalam tertekuk turun dan menyatu. Mata terbuka lebar. Bibir menyatu atau terbuka menunjukkan gigi.
4
Takut
Alis naik dan menyatu. Alis bagian dalam tertekuk ke atas. Mata tegang dan waspada.
5
Jijik
Alis dan kelopak mata relaks. Bibir atas naik dan berkerut, biasanya tidak simetris.
6
Terkejut
Alis naik. Kelopak mata bagian atas terbuka lebar, kelopak mata bagian bawah relaks. Rahang terbuka.
Deskripsi
2. Pemberian Label Pada tahap penyusunan database, data yang dipilih pada tahap pemilihan emosi dikumpulkan dan diberi label sesuai dengan identitas pengambilan data. Identitas yang dicantumkan pada label adalah nama model, nama emosi, dan nomor urut data. Ketentuan pemberian label pada tahap ini adalah tiga digit nama model, tiga digit nama ekspresi, dan dua digit nomor urut data tiap eksrpesi. IV. HASIL PENGUJIAN A. Pengujian Faktor Eksternal Pengujian ini berfungsi untuk mengetahui faktor-faktor eksternal yang berpengaruh pada proses pengambilan data, yaitu faktor cahaya. Parameter pengujian yang digunakan adalah waktu dan ruangan yang digunakan pada proses pengambilan data. Parameter waktu yang digunakan adalah siang dan malam hari, sedangkan parameter tempat yang digunakan adalah ruang terbuka dan tertutup. Ruang terbuka yang dimaksud adalah ruangan yang memiliki banyak jendela, sehingga memungkinkan banyak cahaya matahari yang bisa masuk ke dalam ruangan. Sedangkan ruang tertutup adalah ruangan yang tidak memiliki jendela, sehingga meminimalisasi cahaya matahari yang masuk ke dalam ruangan. Pengujian faktor eksternal dilakukan dengan cara menguji sejauh mana proses pengambilan data JIFFE-3D Database dapat dilakukan berdasarkan parameter yang telah ditentukan. Proses pengambilan data yang diujikan adalah berupa proses wanding, proses penentuan ground plane, proses pembentukan face template, dan proses penangkapan ekspresi. Adapun hasil pengujian untuk waktu dan tempat pengambilan data dapat dilihat pada Tabel 4. Tabel 4. Hasil pengujian faktor eksternal. Proses pengambilan data
Ruang Tertutup
Ruang Terbuka
Hasil Pengujian
Proses wanding
Penentuan ground plane
Pembentukan face template
Penangkapan ekspresi
Siang
Bisa
Bisa
Tidak bisa
Tidak bisa
Malam
Bisa
Bisa
Bisa
Bisa
Siang
Bisa
Bisa
Bisa
Bisa
Malam
Bisa
Bisa
Bisa
Bisa
Berdasarkan hasil pengujian, pengambilan data tidak dapat dilakukan pada saat siang hari di ruang terbuka. Sedangkan pada kondisi yang lain, proses pengambilan data dapat dilakukan secara lancar. Hal ini disebabkan karena banyak sinar matahari yang masuk di ruang terbuka pada saat siang hari, sehingga mengganggu proses penangkapan ekpsresi. Oleh karena itu, dapat disimpulkan bahawa proses penangkapan ekspresi dapat dilakukan selama tidak banyak sinar matahari yang masuk ke dalam ruangan. B. Pengujian Akurasi Pengklasifikasian Emosi Pengujian akurasi pengklasifikasian emosi ini berfungsi untuk mengetahui faktor-faktor yang berpengaruh terhadap kualitas data JIFFE-3D Database. Pada pengujian ini terdapat tiga variabel uji, yaitu pengujian pusat koordinat data, data training, dan metode klasifikasi. 1. Pengujian Pusat Koordinat Data Sebelum dapat digunakan pada proses pengenalan emosi, data JIFFE-3D Database perlu mengalami proses pengolahan terlebih dahulu. Salah satu pengolahan yang dilakukan adalah mengubah koordinat yang berpusat pada koordinat dunia menjadi koordinat yang berpusat pada penanda nose tip (ujung hidung). Untuk mengetahui apakah pengolahan data tersebut sudah menghasilkan data yang terbaik, maka dilakukanlah pengujian pusat koordinat data pada penanda. Pengujian ini memiliki dua parameter pengujian, yaitu pusat koordinat hasil proses kalibrasi dan pusat koordinat pada penanda nose tip. Hasil pengujian pusat koordinat data dapat ditunjukkan pada Tabel 5. Adapun parameter lain yang digunakan adalah format data berupa .bvh dan .trc, data training tanpa penanda kepala dan telinga, metode validasi berupa 10-Folds Cross Validation, serta metode klasifikasi berupa SVM. Tabel 5. Akurasi pengenalan emosi untuk variabel pusat koordinat data. Akurasi Pengenalan Emosi Sumber Data
Tabel 3. Parameter ekspresi wajah.
Pusat koordinat data Koordinat dunia
Penanda nose tip
Data .bvh
34.23%
83.21%
Data .trc
13.21%
50%
Berdasarkan hasil pengujian, akurasi pengenalan emosi terbaik adalah pada pusat koordinat data di penanda nose tip, yaitu sebesar 83.21% untuk data .bvh dan 50% untuk data .trc. Hal ini disebabkan karena semua data yang telah mengalami pengolahan telah mempunyai kesamaan acuan mengenai pusat koordinat data, yaitu pada ujung hidung. Sedangkan pada data yang belum mengalami pengolahan tidak memiliki acuan yang sama mengenai pusat koordinat data, sehingga mengakibatkan setiap data memiliki perbedaan posisi penanda normal yang bergantung pada sejauh apa posisi model dengan pusat koordinatnya. Oleh karena itu, dapat disimpulkan bahwa pengolah data pada JIFFE-3D Database, yang berupa pengubahan pusat koordinat, perlu dilakukan untuk dapat menghasilkan data yang terbaik. 2. Pengujian Data Training Pengujian data training bertujuan untuk mengetahui penanda apa saja yang dapat membentuk data training terbaik, sehingga dapat menghasilkan akurasi pengklasifikasian emosi yang terbaik pula. Pada
5
Tabel 6. Keterangan data training pada proses pengklasifikasian emosi. Keterangan Perbandingan Penanda Jumlah Alasan penggunaan Data training yang tidak atribut data dipakai Semua penanda
111 buah
Data training
Tanpa penanda kepala
Tanpa penanda kepala & telinga
99 buah
96 buah
Tidak ada
Merupakan data asli dari proses pengambilan data.
4 penanda kepala
Menghilangkan penanda yang memiliki posisi berbeda pada setiap model, yaitu penanda kepala.
4 penanda kepala dan 2 penanda telinga
Menghilangkan penanda yang tidak berpengaruh terhadap ekspresi wajah, yaitu penanda kepala dan telinga.
Tabel 7. Akurasi pengenalan emosi untuk variabel data training. Data training Semua penanda
Tanpa penanda kepala
Tanpa penanda kepala & telinga
Naive Bayes
39.64 %
38.21 %
40 %
SVM
81.07 %
81.42 %
83.21 %
kNN (k=1)
88.93 %
90.71 %
90.71 %
Metode Klasifikasi
Akurasi Pengenalan Emosi
Berdasarkan hasil pengujian, nilai akurasi pengenalan emosi tertinggi adalah pada data training tanpa penanda kepala dan telinga, yaitu sebesar 40% untuk metode Naive Bayes, 83.21% untuk metode SVM, dan 90.71% untuk metode klasifikasi kNN (k=1). Oleh karena itu, dapat disimpulkan bahwa data training terbaik untuk JIFFE-3D Database adalah data training tanpa penanda kepala dan telinga. 3. Pengujian Metode Klasifikasi Pengujian metode klasifikasi bertujuan untuk mengetahui metode klasifikasi manakah yang cocok untuk pengklasifikasian emosi pada JIFFE-3D Database. Proses pengujian ini dilakukan dengan menggunakan metode
klasifikasi Naïve Bayes, SVM, kNN (k=1) untuk mengelompokkan data JIFFE-3D Database ke dalam emosi marah, terkejut, jijik, takut, senang, sedih, dan netral. Sumber format data yang digunakan adalah .bvh dan .trc, metode validasi yang digunakan adalah 10-Folds Cross Validation, serta pemakaian data training tanpa penanda kepala dan telinga. Tabel 8 menunjukkan hasil pengujian sistem untuk variabel metode klasifikasi. Tabel 8. Akurasi pengenalan emosi untuk variabel metode klasifikasi Akurasi Pengenalan Emosi Sumber Data
pengujian ini, terdapat tiga parameter data training yang digunakan, yaitu data training dengan semua penanda, data training tanpa penanda kepala, serta data training tanpa penanda kepala dan telinga. Keterangan lebih lanjut mengenai ketiga parameter data training tersebut dapat dilihat pada Tabel 6. Pada pengujian ini, ketiga parameter data training tersebut digunakan sebagai data uji pada proses pengklasifikasian emosi, sehingga didapatkan nilai akurasi pada masing-masing pengujian. Pengujian data training yang memiliki nilai akurasi terbaik merupakan data training yang mampu membentuk data training terbaik untuk JIFFE-3D Database. Hasil pengujian data training dapat dilihat pada Tabel 7. Adapun metode klasifikasi yang digunakan adalah Naive Bayes, SVM, dan kNN (k=1), metode validasi yang digunakan adalah 10-Folds Cross Validation, dan format sumber data yang digunakan adalah format .bvh.
Metode Klasifikasi Naive Bayes
SVM
kNN (k=1)
Data .bvh
40 %
83.21 %
90.71 %
Data .trc
47.85 %
50.00 %
86.07 %
Berdasarkan hasil pengujian, nilai akurasi pengenalan emosi yang terbaik adalah nilai akurasi pada metode kNN (k=1), yaitu sebesar 90.71% (data .bvh) dan 86.07% (data .trc). Oleh karena itu, dapat disimpulkan bahwa metode klasifikasi yang cocok untuk JIFFE-3D Database adalah metode kNN (k=1). C. Pengujian Specificity, Sensitivity, Precision, dan Accuration Pengujian specificity, sensitivity, precision, dan accuration pada kelas emosi bertujuan untuk mengetahui kinerja pengklasifikasian emosi pada JIFFE-3D Database. Perhitungan nilai specificity, sensitivity, precision, dan accuration pada kelas emosi dapat ditunjukkan seperti pada persamaan-1, 2, 3, dan 4. 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 =
𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹
(1)
𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 =
𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹
(2)
𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴 =
𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 + 𝐹𝐹𝐹𝐹
(4)
𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃𝑃 =
𝑇𝑇𝑇𝑇 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹
(3)
Keterangan: 𝑻𝑻𝑻𝑻 = true positive atau nilai benar yang diprediksi benar. 𝑭𝑭𝑭𝑭 = false positive atau nilai benar yang diprediksi salah. 𝑻𝑻𝑻𝑻 = true negative atau nilai salah yang diprediksi salah. 𝑭𝑭𝑭𝑭 = false negative atau nilai salah diprediksi benar.
Nilai specificity, sensitivity, precision, dan accuration pada masing-masing kelas didapatkan melalui confusion matrix yang dihasilkan pada proses pengklasifikasian emosi. Confusion matrix yang digunakan pada pengujian ditunjukkan seperti pada Tabel 9. Parameter pengklasifikasian emosi yang digunakan untuk menghasilkan confusion matrix tersebut adalah parameter data training tanpa penanda kepala dan telinga, format data .bvh, metode klasifikasi SVM, serta metode validasi 10Folds Cross Validation. Hasil perbandingan nilai spesifikasi specificity, sensitivity, precision, dan accuration untuk masing-masing kelas emosi dapat dilihat pada Tabel 11.
6 Tabel 9. Confusion matrix
Data Aktual
Confussion matrix
Diklasifikasikan sebagai ANG
DIS
FEA
HAP
NET
SAD
SUP
ANG
32
0
2
0
4
1
1
DIS
6
28
1
3
1
1
0
FEA
2
6
26
2
4
0
0
HAP
0
0
0
38
1
0
1
NET
0
0
1
0
39
0
0
SAD
5
0
1
0
1
33
0
SUP
0
0
0
0
3
0
37
Keterangan: ANG (Marah); DIS (Jijik); FEA (Takut); HAP (Senang); NET (Netral); SAD (Sedih); SUP (Terkejut) Tabel 10. Perbandingan nilai specificity, sensitivity, precision, dan accuration (SVM) Metode Klasifikasi SVM Kelas
Specificity
Sensitivity
Precision
Accuration
Marah
95%
80%
71%
93%
Jijik
98%
70%
82%
94%
Takut
98%
65%
84%
93%
Senang
98%
95%
88%
98%
Netral
94%
98%
74%
95%
Sedih
99%
83%
94%
97%
Terkejut
99%
93%
95%
98%
Berdasarkan hasil rata-rata pengujian, kinerja pengklasifikasian JIFFE-3D Database dapat disimpulkan sebagai berikut. a) Nilai specificity tertinggi adalah emosi sedih dan terkejut, sedangkan nilai specificity terendah adalah emosi netral. b) Nilai sensitivity tertinggi adalah emosi senang, sedangkan nilai sensitivity terendah adalah emosi takut. c) Nilai precision tertinggi adalah emosi terkejut, sedangkan nilai precision terendah adalah emosi marah. d) Nilai accuration tertinggi adalah emosi senang dan terkejut, sedangkan nilai accuration terendah emosi marah dan takut.
2. Terdapat tiga hal yang perlu diperhatikan untuk dapat menghasilkan nilai akurasi pengklasifikasian emosi yang terbaik pada data JIFFE-3D Database, yaitu: a) Setiap data pada JIFFE-3D Database harus memiliki kesamaan acuan mengenai pusat koordinat data. Hal ini dibuktikan dengan nilai akurasi yang tinggi untuk data yang telah diubah pusat koordinat data pada penanda nose tip, yaitu sebesar 83.21% untuk data .bvh dan 50% untuk data .trc. b) Data training terbaik untuk pengklasifikasian emosi pada JIFFE-3D Database adalah data training tanpa atribut penanda kepala dan telinga. Nilai akurasi pada data training tanpa atribut penanda kepala dan telinga memiliki akurasi yang tertinggi, yaitu sebesar 40% untuk metode Naive Bayes, 83.21% untuk metode SVM, dan 90.71% untuk metode klasifikasi kNN (K=1). c) Metode klasifikasi terbaik untuk pengklasifikasian emosi pada JIFFE-3D Database adalah metode kNN (K=1), yaitu sebesar 90.71% untuk data .bvh dan 86.07% untuk data .trc. 3. Kinerja pengklasifikasian JIFFE-3D Database dapat disimpulkan sebagai berikut. a) Nilai specificity tertinggi adalah emosi sedih dan terkejut, sedangkan nilai specificity terendah adalah emosi netral. b) Nilai sensitivity tertinggi adalah emosi senang, sedangkan nilai sensitivity terendah adalah emosi takut. c) Nilai precision tertinggi adalah emosi terkejut, sedangkan nilai precision terendah adalah emosi marah. d) Nilai accuration tertinggi adalah emosi senang dan terkejut, sedangkan nilai accuration terendah emosi marah dan takut. DAFTAR PUSTAKA [1] [2]
[3] [4] [5]
V. KESIMPULAN Pada penelitian ini dihasilkan sebuah database ekspresi wajah yang disebut sebagai JIFFE-3D Database (Indonesian Female Facial Expression-3D Database). JIFFE-3D Database dibuat dengan menggunakan sistem motion capture dan multi camera. Selain pembuatan, pada penelitian ini juga dilakukan pengujian terhadap data JIFFE3D Database. Proses pengujian dilakukan dengan cara mengguakan data JIFFE-3D Database untuk proses pengklasifikasian emosi. Berdasarkan pengujian tersebut didapatkan kesimpulan sebagai berikut. 1. Proses perekaman ekspresi wajah terbaik untuk JIFFE3D Database dilakukan pada ruangan tertutup pada waktu kapan pun, serta pada ruangan terbuka di malam hari.
Mehrabian, Albert. 1968. Communication without Words. Psychology Today, nomor P-89, halaman 53-56. Yui, Lijun; Xiazhou, Wei, dkk. 2006. A 3D Facial Expression Database for Facial Behavioral Research. The 7th International Conference on Automatic Face and Gesture Recognition (FG 2006), IEEE Computer Society TC PAMI. Southampton, UK. Ekman, Paul; Friesen, Wallace V.; Tomkins, Silvan S. 1971. Facial Affect Scoring Technique: A First Validity Study. Semiotica III. Arena Expression, Seven Step Quick Start Guide. NaturalPoint Inc. 2008. Tekalp, A. Murat; Ostermann, Jorn. 2000. Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image Communication 15. page 387-421.
