Tugas Akhir
Database Ekspresi Wajah Perempuan Indonesia Berbasis 2D untuk Pengenalan Emosi Oleh : Dwi Angga Y. 2210106042 Pembimbing : I. Dr. Surya Sumpeno, ST., M.Sc. II. Muhtadin, ST., MT.
Halaman 1
Latar Belakang Ekspresi Wajah
Interaksi Manusia- Komputer
Ekspresi pada JAFFE, yaitu Senang, sedih, takut, marah, terkejut,jijik dan normal. JAFFE Halaman 2
Permasalahan 1. 2.
3.
Belum ada data 2D ekspresi wajah perempuan indonesia. Belum ada pengklasifikasian ekspresi wajah yang menggunakan data perempuan Indonesia. Belum ada database dengan fitur warna RGB di Indonesia.
Halaman 3
Tujuan
1. Menyusun IFFE-2D (Indonesian Female Facial Expression 2D). 2. Mengklasifikasikan emosi berdasarkan ekspresi wajah.
Halaman 4
Batasan Masalah
1. Klasifikasi emosi-emosi dasar manusia berdasarkan ekspresi wajah, yaitu marah, sedih, senang, terkejut, jijik, dan takut.1 2. Gambar yang digunakan berdimensi dua. 3. Database ekspresi wajah perempuan Indonesia.
A. M. Tekalp and J. Ostermann, “Face and 2-d mesh animation in mpeg-4,” Signal Processing: Image Communication, vol. 15, no. 4-5, pp. 387–421, 2000. 1
Halaman 5
Perancangan Sistem IFFE-2D Database merupakan kumpulan ekspresi wajah perempuan
Indonesia dalam bentuk data 2D yang menampilkan emosi-emosi dasar manusia. No.
Kriteria Model
Keterangan
1.
Jenis kelamin
Perempuan
4.
Profesi
Siswa dan artis teater ITS
2. 3. 5.
Umur
Kebangsaan Ekspresi
18 – 25 tahun Indonesia
Marah, jijik, sedih, takut, senang, terkejut, dan netral
Halaman 6
Alur Kerja Tugas Akhir Pengambilan dan Penyusunan Data IFFE-2D Rancangan Ruang Foto 2D
Pemilihan Ekspresi
Penyusunan IFFE-2D
+
X11 X21 . .
Xm1
X12 X22 . .
Xm2
Substraksi (n) Ekspresi – Average Faces Netral
X1d X2d
……. .
+
(n) Netral
n
-
Citra substraksi (n) Ekspresi
+
Ekstraksi Fitur
Average Faces Netral
Pengklasifikasian Ekspresi
SVM
X md
Piksel Mentah Citra Substraksi (n) Ekspresi
Halaman 7
Pengambilan Data IFFE-2D 1. Menggunakan kamera Sony DSC-T900. 2. Jarak kamera dan model ~40cm Sony DSC-T900 1. Latar belakang putih. 2. Tempat duduk 3. Tempat peletakan kamera + tripod 4. Pengambilan gambar pada jam 10.00-12.00.
1. Data yang diambil sebanyak 10 orang berjenis kelamin perempuan Indonesia. 2. @orang 7 ekspresi, 3. @ekspresi 4 gambar
Halaman 8
Penyusunan IFFE-2D A
Pemilihan Ekspresi
Penyusunan IFFE-2D
Parameter ekspresi wajah: 1 No.
Nama Ekspresi
1
Senang
2
Sedih
3
Marah
4
Takut
5
Jijik
6
Terkejut
Deskripsi
Alis relaks. Mulut terbuka dan sisi-sisi mulut tertarik ke arah telinga. Alis bagian dalam tertekuk naik. Mata agak menutup. Mulut relaks. Alis bagian dalam tertekuk turun dan menyatu. Mata terbuka lebar. Bibir menyatu atau terbuka menunjukkan gigi. Alis naik dan menyatu. Alis bagian dalam tertekuk ke atas. Mata tegang dan waspada. Alis dan kelopak mata relaks. Bibir atas naik dan berkerut, biasanya tidak simetris. Alis naik. Kelopak mata bagian atas terbuka lebar, kelopak mata bagian bawah relaks. Rahang terbuka.
Tekalp, A. Murat; Ostermann, Jorn. 2000. Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image Communication 15. page 387-421.
1
Halaman 9
Penyusunan IFFE-2D
A
Pemilihan Ekspresi
Penyusunan IFFE-2D
Halaman 10
Implementasi Database IFFE-2D No
IFFE-2D
JAFFE
Ekspresi
1.
Marah
2.
Jijik
3.
Takut
Halaman 11
Implementasi Database IFFE-2D No
IFFE-2D
JAFFE
Ekpresi
4.
Senang
5.
Netral
6.
Sedih
7.
Terkejut
Halaman 12
Ringkasan IFFE-2D dan JAFFE Spesifikasi
IFFE-2D
JAFFE
Tipe File
.tiff
.tiff
Warna
RGB
Greyscale
Ekspresi
7 Ekspresi
7 Ekspresi
Total Gambar
280
213
Ukuran Piksel
256x256
256x256
Halaman 13
Desain Pengklasifikasian Ekspresi
Halaman 14
Optimasi parameter SVM
Setiap data training percobaan Parameter c (cost) dan g (gamma) pada kernel RBF (Radial Basis Function) Easy.py Akurasi optimal
Halaman 15
Ringkasan Percobaan I No.
Spesifikasi
Keterangan
1.
Pre-processing
Crop 120x168, greyscale, average faces netral, substraksi
2.
Ekstraksi Fitur
Raw piksel (piksel mentah)
3.
Pengklasifikasi
SVM
4.
Total Gambar
280 (IFFE-2D ), 213 (JAFFE)
5.
Total Ekspresi
7
6.
Mode Validasi
10-folds cross-validation
Halaman 16
Hasil Percobaan I
Data Aktual
Data Prediksi Ekspresi
Angry
Disgust
Fear
Happy
Sad
Surprise
Angry
38 0 1 0 0 1
0 35 0 1 0 2
2 2 37 1 0 0
0 2 0 38 0 0
0 0 2 0 40 0
0 1 0 0 0 37
Disgust Fear Happy Sad Surprise
Confusion matrix pengujian I menggunakan data set dari IFFE-2D
Data Aktual
Data Prediksi Ekspresi
Angry
Disgust
Fear
Happy
Sad
Surprise
Angry
29
1
0
0
0
0
Disgust
1
25
3
0
0
0
Fear
1
0
28
0
3
0
Happy
0
0
2
26
3
0
Sad
0
1
3
1
26
0
Surprise
0
0
1
0
1
28
Confusion matrix pengujian I menggunakan data set dari JAFFE
Halaman 17
Akurasi Prediksi: Data set JAFFE = 88.52% Data set IFFE-2D = 93.75%
Desain Pengklasifikasian Ekspresi 2. Percobaan II IFFE-2D
JAFFE
Data set PJ’
Data set PI’
Pengklasifikasian
Halaman 18
Ringkasan percobaan II No.
Spesifikasi
1.
Database training yang digunakan. Database uji yang digunakan. Nama Model Total Ekspresi Atribut Ukuran Piksel Pengklasifikasi
2. 3. 4. 5. 6. 7.
Data Set PI’
Data Set PJ’
IFFE-2D
JAFFE
IFFE-2D
JAFFE
10 Orang 7 Ekspresi 20162 120x168 SVM
10 Orang 7 Ekspresi 20162 120x168 SVM
Halaman 19
Hasil Percobaan II Data Set PI’ (IFFE-2D) Database
IFFE-2D
Kode Model
Total Gambar Training
Total Gambar Uji
Akurasi
AN
216
24
45.83 %
UC
216
24
37.50 %
DE
216
24
58.33 %
DM
216
24
12.50 %
HE
216
24
20.83 %
IK
216
24
20.83 %
IS
216
24
20.83 %
MU
216
24
16.67 %
RE
216
24
37.50 %
TI
216
24
33.33 %
Rata-rata akurasi
Halaman 20
30.42 %
Hasil Percobaan II Data Set PJ’ (JAFFE) Database
JAFFE
Kode Model
Total Gambar Training
Total Gambar Uji
Akurasi
MK
165
18
38.89 %
NA
165
18
38.89 %
NM
166
17
47.06 %
TM
165
18
38.89 %
YM
164
19
21.05 %
KA
163
20
30 %
KL
164
19
15.79 %
KR
166
17
35.29 %
UY
165
18
44.44 %
KM
164
19
36.84 %
Rata-rata akurasi
Halaman 21
34.71 %
Desain Pengklasifikasian Ekspresi 3. Percobaan III JAFFE
IFFE-2D
7 Orang model JAFFE
7 Orang model IFFE-2D
2D
FFE-
ang 3 Or
el I mod
3 Or
ang
mod
el JA
FFE
Data Set I’
Data Set J’
Pengklasifikasian
Halaman 22
Ringkasan Percobaan III No. 1.
Spesifikasi
3. 4. 5.
Jumlah model pada database IFFE-2D Jumlah model pada database JAFFE Instances Pengklasifikasi Mode Validasi
6. 7. 8.
Total Ekspresi Atribut Ukuran Piksel
2.
Dat a Set J’ Data Set I’ (Porsi besar (Porsi besar di JAFFE) di IFFE-2D) 3 7 7
3
200 SVM 10-folds crossvalidation 7 Ekspresi 20162 120x168
226 SVM 10-folds crossvalidation 7 Ekspresi 20162 120x168
Halaman 23
Hasil Percobaan III
Data Aktual
Data Prediksi Ekspresi
Angry
Disgust
Fear
Happy
Sad
Surprise
Angry
32 2 1 0 1 0
3 32 0 2 0 1
0 2 34 0 0 1
0 0 0 36 0 1
2 0 2 0 36 3
0 1 1 1 1 31
Disgust Fear Happy Sad Surprise
Confusion Matrix pengujian IV menggunakan data set I’
SVM 10-Folds Cross-Validation Akurasi Prediksi: Data Set J’= 88.00 % Data Set I’ = 88.94 %
Akurasi Prediksi Percobaan I Data set JAFFE = 88.52% Data set IFFE-2D = 93.75%
Nilai Akurasi Turun : JAFFE = 0.52 % IFFE-2D = 4.81 %
Data Aktual
Data Prediksi Ekspresi
Angry
Disgust
Fear
Happy
Sad
Surprise
Angry
30
2
0
1
0
0
Disgust
2
28
2
0
0
0
Fear
1
1
27
0
4
1
Happy
0
0
1
32
1
0
Sad
0
0
5
1
28
0
Surprise
0
0
0
1
1
31
Confusion matrix pengujian IV menggunakan data set J’
Halaman 24
Kesimpulan 1. Nilai akurasi prediksi menggunakan data set dari semua data IFFE-2D sebesar 93.75% dan JAFFE sebesar 88.52 % menggunakan nilai intensitas piksel raw atau piksel mentah dari citra substaksi ekspresi dan mode validasi menggunakan teknik 10-folds cross-validation. 2. Menyusun data set dari facial database, kemudian data set dibagai dua, yaitu data set PJ’ dan PI’. Data set PI’ merupakan data yang disusun dari IFFE-2D, sedangkan PJ’ diambil dari JAFFE. Data set PI’ dan PJ’ terdiri atas data uji dan data training. Data uji PI’ dan PJ’ disusun dengan memisah satu orang semua ekspresi sebagai data uji dan sisanya sebagai data training dari masing-masing sumber facial database. Pengujian dilakukan satu per satu setiap nama model, sehingga diperoleh nilai akurasi prediksi masing-masing nama model. Nilai akurasi prediksi rata-rata data set PJ’ sebesar 34.71 %, sedangkan PI’ sebesar 30.42 %. 3. Menyusun data set dari facial database, kemudian data set dibagi dua yaitu data set J’ dan I’. Data set J’ merupakan data yang disusun berdasarkan jumlah dominasi data JAFFE, sedangkan I’ dari dominasi data IFFE-2D. Penyusunan data set J’ dan I’ dilakukan dengan menukar foto ekspresi tiga orang dari facial database ke dalam masing-masing data set. Nilai akurasi prediksi dat set J’ sebesar 88.00 % dan I’ sebesar 88.94 %. Dibandingkan dengan data set tanpa disisipi data facial database lain, penurunan nilai akurasi berdasarkan jumlah data dominan JAFFE sebesar 0.52 % dan data dominan IFFE-2D sebesar 4.81 %. Halaman 25
Daftar Pustaka [1] A. M. Tekalp and J. , Ostermann, Face and 2-d mesh animation in mpeg-4, ”Signal Processing: Image Communication”, vol. 15, no. 4-5, pp. 387–421, 2000. [2] Zhang, Ligang, Student Member, IEEE, and Dian Tjondronegoro. “Facial Expression Recognition Using Facial Movement Features”, IEEE Transactions On Affective Computing, Vol. 2, No. 4, October-December 2011. [3] Vapnik, Vladimir N. , “An Overview of Statistical Learning Theory”. IEEE Transactions OnNeural Networks, Vol. 10, No.5, September 1999. [4]A.S., Nugroho, Witarto, A.B., Handoko, D., “Application of Support Vector Machine in Bioinformatics", Proceeding of Indonesian Scientific Meeting in Central Japan, December 20, Gifu-Japan, 2003. [5] Lee, Byungsung, Junchul Chun, Poem Park, “Classification of Facial Expression Using SVM for Emotion Care Service”, IEEE Computer Society, 978-0-7695-3263-9/08, Department of Computer Science, Kyonggi University, Suwon, Korea, 2008. Halaman 26
Halaman 27
