PROGRAM APLIKASI PENGENALAN EKSPRESI WAJAH SECARA REAL TIME DENGAN METODE BACK PROPAGATION DAN WAVELET HAAR
Comment [S1]: Gak pake kata perancangan karena nyontek randy
Setiawan Alexander Mathematics and Statistic Department, School of Computer Science, Binus University Jl. K. H. Syahdan No. 9 Palmerah Jakarta Barat 11480,
[email protected]
ABSTRACT
Intelligence HCI is a discipline involving study, planning, and design interface with Artificial Intelligence aspect on it. The main purpose of this dissertation is to generate prototype of user inteface through design of software application that capable to recognize facial expression in real time environment using back propagation and haar wavelet methods. The software application is classified as pattern recognition system based on its feature to recognize facial expression automatically. Face feature extraction process has been done by using haar wavelet transform methods. After extracted feature finished preprocessing step, the result will be computed in Artificial neural network system. Design of artificial neural network has done with “over produce and choose” approach and training on neural network has done with back propagation method. Design analysis also described for giving better understanding about the software application. The result is a software application that recognize three facial expression; happy, surprise, and neutral expression. Keywords: Intelligence HCI Interface, Pattern Recognition, Wavelet Transform, Back propagation, Facial Expression, ABSTRAK Intelligence Human Computer Interaction (HCI) adalah disiplin ilmu yang menghasilkan antarmuka dengan aspek kecerdasan tiruan. Tujuan penulisan ini ialah untuk membuat prototipe antar muka interaksi manusia komputer cerdas melalui perancangan aplikasi pendeteksian ekspresi wajah secara real time yang dibangun dengan metode back propagation dan wavelet haar. Aplikasi ini tergolong dalam program aplikasi pattern recognition karena pendeteksian dilakukan secara otomatis. Metode pengekstraksian wajah adalah dengan wavelet Haar. Setelah citra berhasil diekstraksi, data input tersebut akan dimasukkan kedalam jaringan syaraf tiruan. perancangan Jaringan syaraf tiruan dilakukan dengan metode “over produce and choose” dan pelatihan jaringan syaraf tiruan dilakukan dengan metode back propagation. Analisis perancangan juga disajikan disini agar lebih jelas dalam menjabarkan sistem informasi dari program aplikasi tersebut. Hasil yang ingin dicapai adalah sebuah sistem yang dapat mengenali tiga ekspresi wajah; senang, terkejut dan wajah tanpa ekspresi. S.A Kata Kunci Intelligence HCI Interface, Pattern Recognition, Wavelet Haar, Back propagation, Ekspresi wajah
Comment [S2]: Gak yakin boleh sih, tapi buat aja dulu.
PENDAHULUAN Manusia memiliki insting untuk berinteraksi satu sama lain demi mencapai suatu tujuan, dan dalam interaksi itu, mengintepretasi kondisi emosional menjadi penting dalam komunikasi yang baik. Kondisi emosional terefleksi dalam perkataan, gerak tubuh, dan terutama ekspresi wajah. Walaupun sudah banyak tugas manusia yang diotomatisasi oleh komputer, interaksi manusia dan komputer pada umumnya tidak memungkinkan sistem mendeteksi kondisi emosional manusia. Perancangan aplikasi yang memungkinkan pengenalan kondisi emosional tersebut dapat dibangun dengan pendekatan pengenalan ekspresi wajah.”Ekspresi wajah seseorang juga dapat mencerminkan kondisi afektif, kegiatan kognitif, tujuan, personality dan phscyopathology dari seseorang” (Donato, Bartlett, Hager, Ekman, & Sejnowski, 1999). Program aplikasi ini merupakan penerapan langsung dari biometrik. Biometrik, menurut definisi dari digital library Institut Teknologi Telkom, merupakan studi tentang metode otomatisasi untuk mengenali atau mengidentifikasi manusia berdasarkan satu atau lebih bagian tubuh manusia atau kelakuan dari manusia it sendiri. Tujuan pembangunan program aplikasi ini adalah dapat dihasilkannya sebuah sistem pengenalan ekspresi wajah yang dapat mengenal ekspresi wajah secara real time dari citra wajah yang dihasilkan oleh tangkapan kamera. Pemilihan metode – metode dalam perancangan program aplikasi ini berdasarkan ketersediaan metode tersebut di library –library yang bersifat open source untuk memastikan program aplikasi dapat dirancang dengan lebih cepat dan memiliki tingkat keandalan yang tinggi. Pengenalan ekspresi wajah secara real time akan menjadi salah satu awal dari pengembangan alat pendeteksi kebohongan. Informasi dalam mendeteksi kebohongan dapat disediakan oleh pengenalan ekspresi wajah berdasarkan FACS. (Bartlett, Donato, Movellan, Hager, Ekman, & Sejnowski, 1999). Analisis FACS dapat membedakan ekspresi wajah yang tercipta secara alami dan ekspresi yang disengaja dibuat-buat. Walau kondisi emosional manusia dipengaruhi banyak faktor dan juga dapat diketahui melalui indikator lain, seperti gerak tubuh dan faktor lainnya, Analisis FACS ini dapat diandalkan karena beberapa gerak otot wajah yang sulit untuk dilakukan secara sengaja. Aplikasi yang bisa membaca kondisi emosional haruslah diolah dengan hati-hati, terutama untuk konteks pendeteksi kebohongan. Paul Ekman dalam wawancaranya dengan technologyreview.com, mengungkapkan adanya resiko yang dinamakan “Othello’s error”: Othello mengenali ekspresi takut dari Desdemona, namun dia tidak menyadari bahwa rasa takut yang timbul karena menjadi tersangka sama persis seperti rasa takut yang timbul karena takut ditangkap. Wajah memang mengungkapkan kondisi emosional seseorang, namun tidak menjelaskan penyebab kondisi emosional tersebut. “Pendeteksi fitur wajah seperti mata dan mulut adalah isu penting dalam memproses citra wajah (facial image) yang akan digunakan untuk banyak area penelitian seperti pendeteksi emosi dan identifikasi wajah” (Teo, Silva, & Vadakkepat, 2004). Pendeteksian fitur wajah ini pada akhirnya dapat digunakan sebagai input untuk fungsi lain seperti pendeteksian ekspresi wajah. Pada pengembangan sistem ini, akan dilakukan empat tahap yaitu, face tracking, facial feature extraction, transformasi wavelet dan classification dengan menggunakan model jaringan syaraf tiruan yang nantinya akan dilatih dengan metode back propagation. Wavelet Haar dan metode lain yang bersesuaian akan digunakan untuk mengolah fitur wajah yang telah ditangkap agar menjadi input jaringan syaraf tiruan. Hasil perhitungan jaringan syaraf tiruan tersebut akan menjadi dasar dalam mengklasifikasikan ekspresi wajah yang dikenal.
METODE PENELITIAN Sistem pengenalan ekspresi wajah dapat dibagi menjadi dua bagian utama, yaitu : pelatihan pola masukan dan identifikasi ekspresi wajah. Pada pelatihan pola, citra input diolah dan dijadiakan data pelatihan agar sistem dapat mengenali pola dari citra wajah tersebut. Sedangkan pada identifikasi ekspresi
wajah, citra input diolah untuk kemudian diklasifikasikan sesuai dengan data dan informasi hasil proses pelatihan sebelumnya. Untuk mengenali ekspresi wajah, sistem ini memiliki proses yang sama baik untuk pelatihan pola, maupun untuk identifikasi ekspresi wajah. Proses tersebut dapat dilihat dalam Gambar 1.
Gambar 1 Proses Pengenalan Ekspresi Wajah
Mendeteksi Citra Wajah Pendeteksian citra wajah untuk menjadi input dilakukan dengan metode Haar cascade classifier. Setelah mendapatkan citra wajah, citra wajah masih harus divalidasi. Hanya citra wajah yang fitur – fiturnya dapat dideteksi oleh metode Haar cascade classifier saja yang akan diteruskan ke proses selanjutnya. Fitur – fitur yang dicoba di deteksi adalah dua buah mata dan satu mulut. Pre-processing Pemrosesan awal yang dilakukan terhadap citra input adalah graysclaing dan normalisasi histogram. Proses grayscaling diperlukan untuk mengambil nilai intensitas atau tingkat keabuan dari citra. Normalisasi histogram dilakukan untuk memperbaiki kontras pada citra untuk mempermudah klasifikasi. Ekstraksi Fitur Wajah Setelah menghasilkan citra yang diolah, langkah selanjutnya yang harus diambil adalah mengekstraksi nilai – nilai dari citra untuk dijadikan input dalam proses klasifikasi. Ekstraksi fitur wajah dilakukan dengan menerapkan transformasi wavelet haar untuk mendapatkan nilai detil dari citra. Proses ekstraksi ini menyebabkan citra menjadi terkompresi. Karena citra berada dalam ruang dua dimensi, maka transformasi wavelet akan dilakukan dua kali yaitu terhadap baris dan kemudian terhadap kolom. Proses transformasi wavelet Haar dilakukan pada citra beberapa kali hingga didapati kompresi citra wajah menjadi citra berukuran 4 x 4 piksel. Klasifikasi dan Post Processing Setelah sinyal detil dari citra wajah diperoleh, nilai – nilai tersebut dimasukkan kedalam jaringan syaraf tiruan. Lalu setelah jaringan syaraf tiruan memberi nilai output, di urutan post processing, nilai tersebut akan di konversi menjadi pelabelan sehinggal mudah dipahami oleh pengguna. Back Propagation Desain jaringan syaraf yang digunakan adalah sebagai berikut; 1. Jumlah hidden layer adalah satu.. 2. Fungsi aktivasi yang digunakan adalah fungsi sigmoid sehingga nilai output pada jangkauan 0 hingga 1. Representasi Data Output Masing – masing node pada output layer mewakili satu ekspresi wajah dengan nilai 1 menunjukkan ekspresi tersebut sangat terlihat dan 0 untuk menunjukkan bahwa ekspresi wajah tersebut tidak terlihat sama sekali. Untuk tahap identifikasi, kode ekspresi wajah ditentukan oleh node yang memiliki nilai tertinggi pada output layer. Namun karena perancangan sistem tidak memasukkan pendeteksian kombinasi dua atau lebih ekspresi dalam satu citra, maka setiap didapati dua atau lebih nilai node pada output layer melebihi 0,1 sistem akan memberi label “ekspresi wajah tidak dikenali”.
HASIL DAN PEMBAHASAN Prosedur Pengujian Pengujian pada aplikasi pengenalan ekspresi wajah menggunakan data citra tangkapan web-camera dari 10 sukarelawan. Pengujian dilakukan dengan meminta 8 dari sukarelawan untuk diambil citra wajahnya dengan berpose sesuai ekspresi wajah yang dikenali aplikasi. Setelah proses pelatihan selasai, pengujian/ testing dilakukan dengan meminta tiap sukarelawan berpose ekspresi wajah tertentu dalam waktu 5 detik didepan web-camera. Dalam selang waktu tersebut, program aplikasi akan merekam semua citra dan hasil pengenalan dimana hasil perekaman tersebut menjadi dasar pengujian kemampuan program aplikasi mengenali ekspresi wajah secara real time. Evaluasi Hasil Pengujian Tabel 1 Hasil Pendeteksian Fitur Wajah
Jumlah citra input 62
Jumlah Gagal
FTA
8
12.90%
Pengujian menunjukan bahwa metode yang digunakan dapat menerima banyak citra wajah tanpa kendala. Maka penelitian dilanjutkan setelah sebelumnya menghasilkan jaringan syaraf tiruan yang telah dilatih sesuai prosedur. Tabel 2 Detail Jaringan Syaraf yang Diuji
Jumlah Hidden Layer Jumlah Node pada Input Layer Jumlah Node pada Hidden Layer Jumlah Node pada Output Layer Metode Pelatihan Besar Nilai Learning Rate (α) Fungsi Aktivasi Besar Error Besar Epoch (perulangan pelatihan) Lama Pelatihan Jaringan Syaraf Tiruan
1 16 13 4 Back propagation 0,1 Fungsi Sigmoid 0,00001 1.160.000 00:25:57.54
Setelah didapatkan jaringan syaraf tiruan yang diinginkan dengan metode overproduce and chose, maka dipilih jaringan syaraf tiruan seperti yang di deskripsikan pada Tabel 2.
Gambar 2 Tampilan Layar Hasil Pengenalan Ekspresi Wajah
Hasil dari pengujian ini menunjukkan bahwa program aplikasi mampu mengklasifikasi ekspresi wajah dengan tingkat kesalahan sebesar 10% atau kurang untuk ekspresi wajah tertentu. Dari hasil pengamatan terhadap urutan ekspresi wajah yang dikenali yang tercatat, ditemukan bahwa ternyata sangat sedikit ditemukan kesalahan yang pengenalan yang terjadi untuk dua gambar berturut- turut seperti yang terlihat
pada gambar Dari analisis terhadap data, maka disimpulkan bahwa program salah mengklasifikasi ekspresi wajah paling sering dua ekspresi salah berturut-turut. Untuk meningkatkan keakuratan, program baru akan menampilkan label bila didapati dua citra berturut-turut. Ini dapat mengurangi resiko kesalahan dengan ganti sistem akan lebih lama dalam mengenal ekspresi wajah
SIMPULAN DAN SARAN Berdasarkan pengujian disimpulkan bahwa metode yang digunakan untuk pengenalan ekspresi wajah yang digunakan menghasilkan pengenalan ekspresi wajah dengan tingkat akurasi yang baik dan juga metode – metode tersebut dapat berjalan cukup cepat sehinggal program aplikasi dapat berjalan secara real time. Tingkat pengenalan secara umum meningkat saat hasil akhir baru diperlihatkan ketika dua citra berurutan memberikan hasil pengenalan yang sama. Saran 1. 2.
Untuk meningkatkan kualitas pengklasifikasian ekspresi wajah, program aplikasi haruslah dilatih untuk mengenali ekspresi wajah yang tidak dikenali oleh program aplikasi. Pada Perancangan aplikasi selanjutnya disarankan menggunakan wavelet Gabor
REFERENSI Paul Ekman Group LLC. (2012). Content/Recognize: Paul Ekman Group. Dipetik January 24, 2013, dari Paul Ekman Group Website: http://www.paulekman.com/content/recognize Baker, S., & Matthews, I. (2004). Lucas-Kanade 20 Years on: A Unifying Framework. International Journal of Computer Vision , 221-255. Bartlett, M. S., Donato, G., Movellan, J. R., Hager, J. C., Ekman, P., & Sejnowski, T. J. (1999). Face image analysis for expression measurement and detection of deceit. Joint Symposium on Neural Computation Proceeding , 8-15. Chibelushi, C., & Bourel, F. (2003). Facial Expression Recognition: A Brief Tutorial Overwiew. 1. Donato, G., Bartlett, M., Hager, J., Ekman, P., & Sejnowski, T. (1999). Classifying Facial Action. Pattern Analysis and Machine Intelligence, IEEE Transaction on Volume: 21, issue 10 , 974-989. Ekman, P. (1992). Facial Expressions of Emotion: New Findings, New Question. Symposium on Emotion , 3 (1), 34-38. Ekman, P. (1991). Telling Lies: Clues to Deceit in the Marketplace, Politics, and Marriage. New York: W.W Norton. Ekman, P., & Friesen, W. (1978). The Facial Action Coding System : A technique for the measurement of facial movement. San Francisco: Consulting Psychologist Press. Geetha, A., Ramalingam, V., & Palanivel, S. (2011). An Integrated Face Tracking and Facial Expression Recognition System. Journal of Intelligence Learning System and Applications , 201-208. Giacinto, G., & Roli, F. (2001). Design of effective neural network ensembles for image classification purpose. Image and Vision Computing , 699 - 707. Gonzalez, R. C., & Wood, R. E. (2007). Digital Image Processing. Prentice Hall. Song, M.-S. (2006). Wavelet Image Compression. Operator Theory, Operator Algebras, and Applications, Contemp. Math , 414. Szeliski, R. (2011). Computer Vision : Algorithms and Applications. New York: Springer.
Teo, W., Silva, L. C., & Vadakkepat, P. (2004). Facial Expression Detection and Recognition System. Journal of The Institution of Engineers, Singapore vol 44 issue 3 , 14. Yoon, H., Han, Y., & Hahn, H. (2009). Image Contrast Enhancement based Sub-histogram Equalization Technique without Over-equalization Noise. International Journal of Electrical and Electronic Engneering 3 , 6.
RIWAYAT PENULIS Setiawan Alexander lahir di kota Jakarta pada 1 April 1990. Penulis menamatkan pendidikan S1 di Universitas Bina Nusantara dalam bidang ilmu Teknik Informatika dan Matematika pada tahun 2013.
