Pengenalan Ekspresi Wajah Berdasarkan Bentuk dan Tekstur Pangondian Marhutala Sinaga dan Rully Soelaiman, M.Kom, Teknik Informatika, Fakultas Teknologi Informasi, ITS, Surabaya Email :
[email protected]
Abstrak Pada Tugas Akhir ini diperkenalkan suatu metode untuk mengenali ekspresi wajah. Metode ini terdiri dari 2 teknik utama, yaitu spatially maximum occurrence model (SMOM), yang dapat mengolah banyak citra wajah dengan ekspresi yang sama menghasilkan representasi ekspresi, dan elastic shape-texture matching (ESTM) yaitu mencari kesamaan 2 citra. Dari nilai-nilai persamaan citra wajah antar citra wajah dalam database, akan dikelompokkan dan diklasifikasikan ke dalam 6 kategori ekspresi wajah. Kata kunci : pengenalan wajah; pengenalan ekspresi wajah; Elastic shape–texture matching; Spatially maximum occurrence model; Gabor wavelets.
I. Pendahuluan Selama 1 dasawarsa terakhir ini, penelitian pada analisis ekspresi wajah otomatis kembali aktif lagi; ini memiliki aplikasi yang berpotensi pada wilayah seperti interaksi manusia - komputer, pembacaan bibir, pemampatan gambar wajah, animasi wajah buatan, konferensi video, analisis emosi manusia dan lain-lain. Ekspresi wajah ditimbulkan dengan penyusutan otot wajah, yang menghasilkan pada perubahan bentuk fitur wajah seperti kelopak mata, alis mata, hidung dan bibir, dan juga hasil pergantian menjadi posisi relatif. Pergerakan otot yang sama 1
atau perubahan bentuk fitur wajah yang berbeda dapat disusun pada model ekspresi yang sama— proses ini disebut pengenalan ekspresi wajah. Ekspresi gambar wajah menunjukkan bentuk atau ragam posisi fitur wajah antara citra dan citra yang berhubungan pada ekspresi normal. Oleh karena itu kebanyakan metode pengenalan ekspresi wajah tergantung pada deretan citra atau tangkapan video, yang termasuk gambar wajah dengan ragam ekspresi dan citra pada ekspresi normal sebagai referensi. Sistem pengkodean gerakan wajah (FACS) menyediakan metode yang paling banyak digunakan untuk mengukur pergerakan wajah. Pada FACS, wajah dibagi menjadi 44 unit gerakan (AUs) tergantung pada lokasinya sebagaimana intensitasnya. Kombinasi AU digunakan untuk memodelkan masing-masing ekspresi. Pada Tugas Akhir ini diperkenalkan suatu metode untuk mengenali ekspresi wajah dengan memperhatikan bentuk dan tekstur dari posisi mata dan mulut pada citra wajah untuk normalisasi dan penjajaran. Dengan mengkombinasikan kedua fitur tersebut akan dihitung persamaan dua citra wajah. Dari nilainilai persamaan citra wajah antar citra wajah dalam database, akan dikelompokkan dan diklasifikasikan ke dalam 5 kategori ekspresi wajah.
Segmentasi digunakan dengan suatu algoritma untuk mengenali gambar mana yang merupakan wajah.
II. Pengenalan Wajah Banyak dilakukan penelitian untuk mencari algoritm-algoritma yang tepat bagi komputer agar dapat mengenali suatu wajah yang diinputkan dengan memperhatikan faktor kecepatan dan akurasinya.
•
Ada dua macam feature pada wajah, yaitu holistic features dan partial features. Pada partial feature, dalam hal pengenalan wajah biasanya disebut sebagai facial feature, contoh feature-nya adalah warna dan bentuk rambut, besar dan letak hidung, mulut, mata, telinga dan lain-lain. Sedangkan pada holistic feature setiap feature-nya adalah merupakan suatu karakteristik dari seluruh wajah, maksudnya wajah dianggap sebagai suatu kesatuan yang utuh. • Skew Detection / perbaikan kemiringan
1. Aplikasi pengenalan wajah Beberapa contoh aplikasi dari pengenalan wajah oleh komputer adalah : • • • • • • •
Pengenalan credit card, surat ijin mengemudi (SIM), passport Pengenalan wajah untuk sekuritas sebagai pengganti tanda tangan atau sidik jari, misal untuk verifikasi credit card. Pengenalan pasien yang tidak sadarkan diri. Pengenalan orang yang hilang atau seorang kriminal. Pengontrolan masyarakat, seperti kamera di bank sehingga dapat mengidentifikasi bila ada orang jahat yang masuk ke bank. Rekonstruksi wajah sesuai dengan bayangan dari saksi pada suatu peristiwa kejahatan. Klasifikasi jenis kelamin.
Foto oval dari wajah orang yang didapatkan dari hasil segmentasi dapat tegak, atau miring ke kiri atau ke kanan, atau bahkan terbalik. Oleh karena itu proses perbaikan kemiringan ini diperlukan, sehingga gambar yang miring atau terbalik bisa diperbaiki sehingga menjadi gambar yang benar-benar tegak. •
2. Tahapan umum Pengenalan Wajah Algoritma untuk mengenali wajah ada bermacam-macam. Tapi pada umumnya ada tahapan-tahapan umum yang dipakai dalam pengenalan wajah. Tahapan-tahapan umum dari pengenalan wajah yaitu : •
1. Filter Gaussian Filter Gaussian digunakan dalam pengolahan citra digital untuk membuat citra menjadi lebih halus. Filter Gaussian diformulasikan dengan rumus sebagai berikut :
Perbaikan Gambar
p ( x, σ ) = (− x 2 /( 2σ 2 )) /(σ * 2π ) y ( x, σ ) = e p ( x ,σ ) dimana, σ = standard deviasi
Segmentasi
2
Identifikasi Setelah komputer tahu tentang feature dari testing foto yang diinputkan, maka dapat dilakukan pembandingan dengan feature-feature dari foto pelatihan.
III. Pengenalan Ekspresi Wajah
Citra hasil scanning biasanya mengandung banyak noise yang harus dihilangkan. Kemudian harus diterapkan algoritma-algoritma untuk mempertajam gambar bila gambar kabur, seperti filtering yang teorinya ada pada pengolahan citra. •
Pencarian feature
(1)
2. Metode SMOM untuk menggambarkan ekspresi SMOM dibangun berdasarkan pada kemungkinan kejadian nilai piksel untuk semua citra yang dilatih yang diilustasikan pada gambar . Dimisalkan jumlah citra yang dilatih adalah N, dan ukuran citra M x N. Oleh karena itu ada N (c) nilai yang mungkin pada setiap posisi piksel (x, y). Urutkan nilai kepadatan N ini semua, kita dapat memperoleh histogram Hx,y(b) posisi piksel (x,y) sebagai berikut :
(a)
(b)
Gambar 2. 1 (a) Potongan perspektif fungsi Filter Gaussian. (b) Filter yang ditampilkan sebagai citra. (c) Grafik filter untuk beragam nilai D0
N
H x , y (b) = ∑ δ ( f k ( x, y ) − b) ,
(2)
k =1
Di bawah ini adalah contoh citra sederhana yang difilter secara Gaussian dengan nilai frekuensi cutoff yang beragam
dimana δ (m) = ⎧⎨1 m = 0, untuk 0 ≤ b < B ⎩0 m ≠ 0,
B adalah jumlah bin pada histogram dan fk(x,y) adalah nilai kepadatan citra ke-k pada posisi (x,y). Pada umumnya, B merupakan jumlah tingkat kepadatan pada citra. Bagaimanapun juga, kalau jumlah citra yang dilatih sedikit, jumlah bin harus dikurangi dan histogram harus dihaluskan menggunakan filter Gaussian sebagai berikut :
H ' x , y (b) = H x , y (b) ∗ G (σ , b) (a)
(c)
(b) Dimana G(σ,b) adalah filter Gaussian dengan varians σ, * adalah operator konvolusi, dan H’x,y(b) adalah histogram posisi piksel (x,y) yang dihaluskan. Untuk setiap histogram yang dihaluskan, nilai puncaknya dikenali dan diurutkan secara menurun. Puncak terjadi pada bin jika nilainya lebih tinggi dari kedua bin yang mengapitnya. Jika bin adalah bin pertama (atau terakhir) pada histogram, dan nilainya lebih besar dari bin yang kanan (atau yang kiri), juga dapat disebut puncak. Jika m bin berurutan memiliki nilai yang sama dan nilai ini lebih tinggi daripada 2 bin yang mengapit bin yang berurutan, puncak juga ada, dan nilai bin puncak diatur pada pertengahan m bin berurutan. Tingkat keabuan tergantung pada semua bin yang puncak diurutkan sesuai dengan kemungkinan kejadian. SMOM akantetapi didefenisikan sebagai berikut :
(d)
Gambar 2.2 (a) Citra asli. (b)-(d) Hasil filtering dengan filter Gaussian dengan beragam nilai frekuensi cutoff (D) 5,15,30
3
(3)
SMOM ( x, y, k ) = {b1 , b2 ,.....bk },
0 ≤ b < Bk
Ketiga, proses ESTM untuk mengukur kesamaan antara 2 wajah untuk tiap-tiap wajah yang ada dalam database berdasarkan pada bentuk dan tekstur. Bentuk digambarkan oleh peta tepi E(x, y), dan tekstur digolongkan oleh wavelet Gabor dan kemiringan arah setiap piksel, yang dideskripsikan oleh masing-masing peta Gabor dan peta sudut A(x, y).
dimana
(4)
Untuk 0 ≤ x < M dan 0 ≤ y < H Dimana k adalah jumlah puncak yang ditentukan pada reprensentasi, b1, b2, …bk adalah tingkat keabuan yang berhubungan dengan puncak histogram untuk posisi piksel (x,y), dan kondisi H ' x , y (b1 ) ≥ H ' x , y (b2 ) ≥ ....... ≥ H ' x , y (bk ) dipenu hi. Biasanya, k adalah nilai yang kecil. Jika jumlah puncak p pada histogram lebih kecil dari k, selisih nilai k-p akan sesuai dengan semua bin dengan kemungkinan kejadian yang terbesar. 3. ESTM untuk mencari kesamaan citra ESTM adalah metode yang mengukur kesamaan antara berdasarkan informasi bentuk dan tekstur. Bentuk digambarkan oleh peta tepi E(x,y), dan tekstur digolongkan oleh representasi wavelet Gabor dan kemiringan langsung setiap piksel yang digambarkan oleh masing-masing peta Gabor Ğ(x,y) dan peta sudut A(x,y).
d e ( a, b ) = a − b ,
Gambar 1. Alur Proses Sistem pengenalan ekspresi wajah
2. Proses Filter Gaussian Proses Filter Gaussian adalah untuk membuat data citra wajah menjadi lebih halus. Citra diproses dengan rotasi sebesar theta searah jarum jam dengan parameter standar deviasi tertentu.
(5)
IV. Perancangan 1. Proses Pengenalan Ekspresi Wajah Untuk mengenali suatu citra wajah tergolong pada ekspresi wajah yang mana, ada 3 proses yang harus dilakukan yaitu proses filter Gaussian, proses SMOM, proses ESTM. Pertama, proses filter Gaussian untuk mengolah setiap data citra wajah menjadi lebih smooth. Kedua, proses SMOM untuk mengolah data citra wajah untuk menggambarkan ciri berbagai ekspresi. SMOM dibangun berdasarkan pada kemungkinan kejadian nilai piksel pada setiap posisi piksel untuk semua citra yang dilatih.
Gambar 2. Alur Proses Filter Gaussian
4
Ujicoba untuk ekspresi senyum
3. Proses SMOM Fungsi SMOM wajah ini bertujuan mengolah data citra wajah ujicoba dan mendapatkan representasi dari suatu ekspresi wajah.
Gambar 4. Hasil Uji coba untuk ekspresi Senyum Tabel 1 Jarak smom_wajah ekspresi senyum dengan data citra wajah sampel Orang 9 10 11 12 13 14 15
kerling 95.52 136 102.76 132.75 158.2 69.592 82.122
terkejut 117.06 118.44 56.187 135.94 136.29 90.615 98.914
kedip 102.05 125.83 80.536 108.06 153.33 57.515 77.711
cemberut 130.56 130.05 110.62 113.73 144 94.064 106.24
biasa 103.19 134.36 68.869 125.16 149.19 57.193 88.431
Senyum 100.06 105.76 95.776 93.67 139.32 46.022 103.85
B/S S B S B S B S
Nilai kebenaran untuk ekspresi senyum : 42.86 % Uji coba untuk ekspresi Terkejut
Gambar 3. Alur Proses SMOM
V. Hasil Ujicoba Data citra yang diuji ada 7 orang dengan 6 ekspresi berbeda setiap orang. Semua data citra wajah tersebut dibandingkan dengan representasi ekspresi wajah yang diperoleh dari metode SMOM. Nilai jarak terkecil merupakan ekspresi yang diperbandingkan. Kemudian ekspresi yang dikenali dibandingkan dengan ekspresi yang aslinya apakah benar atau tidak.
Gambar III.5. Hasil Uji coba untuk ekspresi Terkejut Tabel 2. Jarak smom ekspresi terkejut dengan data citra wajah sampel Orang 9 10 11 12 13 14 15
Kerling 91.869 125.14 107.47 118.3 129.32 63.49 78.371
Terkejut 82.843 104.6 57.845 103.78 106.61 63.592 72.111
Kedip 88.61 115.3 87.16 92.98 122.8 56.82 70.11
Nilai kebenaran : 42.8571 %
5
Cemberut 107.57 119.85 115.44 93.365 114.82 76.609 91.181
Biasa 96.089 124.35 72.395 115.1 117.41 58.941 78.269
Senyum 97.35 101.78 102.25 90.36 112.99 53.028 87.937
B/S B S B S B S S
[4] Nilai kebenaran untuk 7 orang citra ujicoba No 1 2 3 4 5 6
Ekspresi Senyum Biasa Cembeut Kedip Kerling Terkejut
Persentase kebenaran 42.86 % 0% 0% 28.58 % 42.86 % 28.58 %
[5]
[6]
VI. Penutup 1. Kesimpulan
[7]
Dari hasil pengamatan selama perancangan, implementasi, dan proses uji coba perangkat lunak yang dilakukan, penulis mengambil kesimpulan sebagai berikut:
[8]
a. Aplikasi mampu menghasilkan representasi suatu ekspresi wajah dari beberapa sampel citra wajah yang diolah. b. Proses pengolahan ekspresi wajah rata-rata 1 menit. c. Aplikasi dapat mengenali ekspresi wajah dengan tepat rata-rata dibawah 50 %.
[9]
d. Untuk ekspresi biasa dan cemberut tidak dapat dikenali (nilai kebenaran 0 %) [10]
2. Saran Dalam pembuatan Tugas Akhir ini, terdapat beberapa kemungkinan pengembangan aplikasi yang dilakukan, yaitu:
[11]
a. Proses SMOM dan ESTM harus diperbaiki lagi. b. Data citra wajah yang diolah harus lebih bagus dan banyak.
VII.
Daftar Pustaka
[1] Xie X, Lam K M, August 2008. Facial expression recognition based on shape and texture. Pattern Recognition 42 Elsevier, 1003-1011. [2] Tian Y L, Kanade T, Cohn, J F. Facial Expression Analysis. [3] Fasel B, Luettin J. February 2002, Automatical facial expression analysis : a survey. Pattern Recognition 36 – Elsevier, 259-275. 6
Moghaddam, Baback, Face Recognition, http://www.white.medi.mit,edu/vismod/fa cerec/index.html, MIT Pentland A. Mofhaddam B., Starner T, View-Based and Modular Eigenspaces for Face Recognition, IEEE conf. on Computer Vision & Pattern Recognition, Seattle, WA, july 1994 Y. Zhu, L.C. De Silva and C.C. Ko, Using moment invariants and HMM in facial expression recognition, Pattern Recognition Lett. 23 (1–3) (2002), pp. 83–91. B. Abboud, F. Davoine and M. Dang, Facial expression recognition and synthesis based on an appearance model, Signal Process. Image Commun. 19 (8) (2004), pp. 723–740. Cendrillon,Raphael,Face Recognition Using Eigenfaces, http://student.uq.edu.au/~s341268/index. html, degree thesis, University University of Queensland, Australia, Department of Computer Science and Electrical Engineering, 1999. Nastar C, Ayach N, Frequency-based nonrigid motion analysis, IEEE Trans. Pattern Anal, Mach, Intell, 18(1996) 1067-1079. Gonzalez R C, Woods R E, Digital Image Processing Second Edition, Prentice Hall, New Jersey, 1997. Xie X, Lam K M, Elastic shape-texture matching for human face recognition. Pattern Recognition 41, page 396-405, 2008
