PENGENALAN EKSPRESI WAJAH MENGGUNAKAN WAVELET GABOR DAN BACKPROPAGATION

Immanuela P. S., Ernawati, B. Yudi Dwiandiyanta, Pengenalan Ekspresi Wajah … 71

PENGENALAN EKSPRESI WAJAH MENGGUNAKAN WAVELET GABOR DAN BACKPROPAGATION Immanuela P. Saputro1, Ernawati2, B.Yudi Dwiandiyanta3 1 Program Studi Teknik Informatika – Fak.Teknik – Univ. De La Salle – Manado 2, 3 Magister Teknik Informatika – Pascasarjana – Univ. Atma Jaya – Yogyakarta Email: [email protected], [email protected], 3 [email protected]

ABSTRAK Dalam satu dekade terakhir, sistem pengenalan ekspresi wajah telah menjadi topik menarik dalam dunia penelitian. Semakin terjangkaunya harga teknologi yang mendukung penelitian tersebut, membuat sistem pengenalan wajah dapat diterapkan dalam kehidupan sehari-hari, salah satunya dalam dunia pendidikan. Tujuan dari penelitian ini adalah mengenali ekspresi wajah menggunakan wavelet Gabor dan Backpropagation, untuk membantu konselor dalam melakukan konseling kepada mahasiswa, khususnya dalam permasalahan non akademik, serta menguji tingkat akurasi jaringan backpropagation dalam melakukan klasifikasi ekspresi wajah seseorang. Vektor masukan bagi jaringan diperoleh melalui transformasi wavelet Gabor, dan inisialisasi bobot menggunakan metode Nguyen Widrow. Beberapa fungsi yang digunakan seperti sigmoid biner untuk aktivasi bobot, fungsi gradient descent untuk pelatihan jaringan, dan fungsi learngd untuk perubahan bobot dengan laju pembelajaran sebesar 0,05. Arsitektur jaringan menggunakan dua lapisan tersembunyi serta tiga node untuk lapisan output. Nilai Mean Square Error (MSE) sebesar 0,001. Jaringan dilatih menggunakan 70 data yang terdiri dari 10 orang dan setiap orang mempunyai tujuh ekspresi. Pengujian dilakukan menggunakan data lain yang terdiri dari lima orang. Ukuran citra untuk pelatihan dan pengujian mempunyai ukuran 16x16 piksel. Berdasarkan hasil pengujian, sistem memberikan unjuk kerja sebesar sebesar 85,71% dalam pengklasifikasian ekspresi wajah. Untuk pengembangan lebih lanjut, sistem dapat diintegrasikan dengan media perekam, sehingga ekspresi wajah dapat langsung dikenali melalui capture video. Kata kunci: ekspresi wajah, wavelet Gabor, backpropagation

ABSTRACT During the last decade, facial expression recognition system has been researched extensively. The increasingly affordable technology which supports the system has boosted the use of facial recognition system in the everyday life, including in the education system. This research aims to develop a facial expression recognition system using Gabor wavelet and Backpropagation to help counselors in helping university students while discussing academic problems, as well as testing the level of accuracy of backpropagation network in classifying a person’s facial expression. The input vector for the network is the result of a Gabor wavelet transform, and the weights are initialized using Nguyen Widrow method. Several different functions are used, namely binary Sigmoid for weight activation, gradient descent for network learning, and learngd to vary the weight with learning rate 0.05. The network uses 2 hidden layers and 3 nodes for output layer. The Mean Square Error (MSE) is 0.001. The network was trained using 70 data from 10 people, and each person has 7 expression. The testing was done with a different data set from 5 test subjects. The image size for training and testing is 16 x 16 pixels. Based on the tests, the system

72 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: 71-78

performance for classifying facial expressions is 85.71%. For further development, the system may be integrated with a recording device so that the facial expression can be instantly recognized via captured image. Keywords: facial expression, Gabor wavelet, backpropagation

PENDAHULUAN Ekspresi wajah pada dasarnya adalah komunikasi nonverbal bagi manusia untuk menyampaikan emosi dan maksud kepada orang lain selama berinteraksi [1]. Selain ekspresi netral, secara universal ekspresi wajah terbagi menjadi enam yaitu senang, sedih, terkejut, marah, takut, dan jijik. Ekspresi-ekspresi tersebut adalah hasil gerakan otot dari bagian wajah seperti hidung, mulut, dan mata [2]. Dalam beberapa penelitian telah dinyatakan bahwa ekspresi wajah mempunyai peranan paling besar dalam menyampaikan pesan yaitu sebesar 55%, dibandingkan suara yang hanya 38%, dan bahasa sebesar 7% [3][4]. Pada tahun 1980, student engagement menjadi topik hangat dalam penelitian di dunia pendidikan. Dilaporkan sekitar 25-60% mahasiswa drop-out dikarenakan merasa bosan dan tidak tertarik di dalam kelas. Terdapat beberapa faktor yang mempengaruhi drop-out seorang mahasiswa. Hal tersebut membuat beberapa institusi pendidikan mengambil keputusan untuk melakukan beberapa strategi agar tingkat drop-out mahasiswa menurun [5]. Salah satu cara untuk mengatasinya dilakukan melalui bimbingan konseling. Supaya proses konseling dapat berjalan dengan baik, seorang konselor harus mampu memahami ekspresi wajah sesuai dengan apa yang dirasakan dan dialami oleh mahasiswa [6]. Saat ini penelitian dalam bidang pengenalan ekspresi wajah telah banyak dilakukan dengan menggunakan beragam objek dan metode; akan tetapi masih sedikit penelitian yang berfokus

pada kegiatan pemberian konseling bagi mahasiswa. Tujuan dari penelitian ini adalah membuat aplikasi pengenalan ekspresi wajah melalui proses konseling, sehingga konselor dapat memberikan solusi yang baik. Aplikasi dibuat dengan menerapkan wavelet Gabor untuk proses ekstrasi ciri dan Backpropagation untuk klasifikasi ekspresi wajah. Selain itu, akan dianalisis cara kerja dan hasil imple-mentasi metode Backprpagation pada proses pembelajaran dan pengenalan berdasarkan pada tingkat akurasi dan kecepatan. Penelitian ini mengacu pada beberapa penelitian yang telah dilakukan sebelumnya dan sebagai perbandingannya dapat dilihat pada Tabel 1. TEORI PENDUKUNG A. Metode Penelitian Tahap-tahap yang digunakan dalam penelitian ini meliputi tahap analisis kebutuhan aplikasi, perancangan aplikasi, implementasi aplikasi, dan pengujian aplikasi. Diagram blok sistem ditunjukkan pada Gambar 1. Proses awal pengenalan ekspresi wajah dimulai dari tahap akuisisi citra yang diperoleh melalui capture kamera digital dengan ukuran 256x256 piksel. Tahap selanjutnya adalah pengolahan citra meliputi perubahan ukuran citra dan thresholding. Pada tahap ekstraksi ciri, vektor bobot citra diperoleh dengan menggunakan wavelet Gabor yang kemudian dinormalisasikan untuk memperoleh data dengan kisaran nilai antara 0 dan 1. Tahap akhir adalah pelatihan serta pengujian data ke dalam jaringan syaraf tiruan backpropagation.

Immanuela P. S., Ernawati, B. Yudi Dwiandiyanta, Pengenalan Ekspresi Wajah … 73

Tabel 1 Perbandingan penelitian Penelitian Jenis Metode

Objek

Bashyal, Venayagamoor- thy (2008) Wavelet Gabor, Learning Vector Quantization (LVQ) Citra dalam basis data JAFFE

Permasa-lahan Bagaimana mengenali tujuh ekspresi wajah berdasarkan citra JAFFE?

Bahasa Pemro- Visual Basic dan graman Matlab Tujuan Mengenali tujuh ekspresi wajah pada citra JAFFE

Hasil

Penggunaan metode Wavelet Gabor dan LVQ memberikan tingkat keakuratan sebesar 87,51% dalam mengenali enam ekspresi tanpa ekspresi takut pada 70 citra, tingkat keakuratan naik menjadi 90,21% pada semua ekspresi

Raheja, (2010)

Kumar Satiyan, Hariharan, Peerven, Gupta, Saputro, Nagarajan (2010) Verma (2012) Immanuela P (2015) Added-boost Wavelet Haar, Statistical Feature Wavelet Gabor, classifier, Backpropagation Extraction, Backpropagation Backpropagation Backpropagation Citra diambil dari Citra yang diambil Citra dalam basis Citra mahasiswa capture web-cam dari hasil rekaman data JAFFE Unika De La video gerakan Manado. wajah seseorang. 1. Bagaimana Bagaimana Bagaimana Bagaimana mendeteksi mendeteksi mengenali tujuh mengenali tujuh wajah dari citra gerakan wajah dari ekspresi wajah ekspresi wajah hasil capture citra hasil rekaman berdasarkan citra pada citra web-cam? video? JAFFE? mahasiswa Unika 2. Bagaimana De La Salle? mengenali ekspresi wajah gembira, berpikir, dan sedih? Java C++ Matlab 7.0 Matlab (R2013a) Mendeteksi dan Mengenali ekspresi Mengenali tujuh Mengenali tujuh mengenali ekspresi wajah berdasarkan ekspresi wajah ekspresi wajah wajah gembira, gerakan alis, pada citra JAFFE pada citra berpikir, dan sedih rahang, dan bibir. mahasiswa Unika berdasarkan pada De La Salle gerakan tubuh. Manado Penggunaan Penggunaan Penggunaan Penggunaan metode Add- metode Wavelet metode Statistical metode Wavelet boosted classifier Haar dan feature extraction Gabor serta dan Backpropagation dan Backpropagation Backpropagation memberikan tingkat Backpropagation dapat memberikan memberikan tingkat keakuratan sebesar memberikan tingkat tingkat keakuratan keakuratan dalam 97% dalam akurasi sebesar dalam mengenali mengenali ekspresi mengenali semua 100% dari data latih tujuh ekspresi gembira sebesar ekspresi pada sebanyak 154 wajah minimal 94.28%, berpikir tingkat pertama dengan kecepatan sebesar 83,6% 85.71%, dan sedih level dekomposisi. waktu pengenalan sebesar 83.33% 0:02:11 detik

Pelatihan

Praproses

Ekstraksi Ciri wavelet Gabor

Klasifikasi ekspresi wajah dengan backpropagation

Pengujian

Praproses

Ekstraksi Ciri wavelet Gabor

Klasifikasi ekspresi wajah dengan backpropagation

Gambar 1 Diagram blok sistem pengenalan ekspresi wajah B.

Landasan Teori Seperti yang telah disampaikan pada bagian sebelumnya, bahwa tujuan dari penelitian ini adalah mengetahui berapa besar tingkat akurasi jaringan

backpropagation sistem pengenalan ekspresi wajah dengan ekstraksi ciri citra menggunakan wavelet Gabor. Citra wajah untuk pelatihan dan pengujian diambil di lapangan. Pada Gambar 2

74 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: 71-78

dapat dilihat hasil capture kamera sebelum citra dilakukan praproses. B.1 Praproses Praproses adalah tahap untuk mendapatkan citra dengan sebaran informasi yang lebih baik dibandingkan dengan citra asli. Pada penelitian ini tahap praproses menggunakan dua metode yaitu Otsu thresholding dan Adaptive thresholding. Metode Otsu thresholding digunakan untuk memisahkan objek dan latar belakangnya. Sedangkan metode Adaptive thresholding digunakan untuk mencari bagian-bagian kecil citra dengan nilai threshold lokal yang dihitung secara adaptif berdasarkan statistik beberapa piksel bertetangga. Gambar 3 menunjukkan hasil praproses citra asli. B.2 Ekstraksi Ciri Ekstraksi ciri adalah proses untuk memunculkan ciri citra, sedangkan wavelet adalah gelombang mini yang mempunyai kemampuan untuk mengelompokkan energi citra dan terkonsentrasi pada sekelompok kecil koefisien. Proses ekstraksi ciri pada penelitian ini menggunakan transformasi wavelet Gabor. Wavelet Gabor adalah wavelet yang terbentuk dari perkalian antara fungsi sinusoidal kompleks dengan Gaussian Envelope [7].

Kelebihan dari wavelet Gabor adalah kemampuannya untuk dengan mudah menyesuaikan lokalisasi detail pada domain spasial dan frekuensi serta kesamaannya dengan representasi frekuensi dan orientasi sistem visual manusia sehingga wavelet Gabor sangat popular dan memberikan hasil yang baik pada area segmentasi tekstur, pengenalan sidik jari, dan pengenalan wajah [8]. Setelah vektor ciri diperoleh, tahap selanjutnya adalah normalisasi data. Normalisasi data perlu dilakukan pada saat merancang suatu sistem pengenalan atau klasifikasi pola yang mempunyai variasi nilai ekstraksi ciri dalam interval yang sangat berbeda. Namun jika normalisasi data akan dilakukan dengan menggunakan interval tertentu, maka data harus ditransformasikan ke dalam interval tersebut. Sebagai contoh vektor ekstraksi ciri N akan diubah dalam interval [0 1] seperti pada keluaran fungsi aktivasi sigmoid biner. Mengingat fungsi sigmoid biner merupakan fungsi asimtotik yang nilainya tidak pernah mencapai 0 atau 1, maka nilai dapat ditransformasikan dalam interval yang lebih kecil, misalnya [0,1 0,9]. Jika a adalah nilai minimum dari N dan b adalah nilai maksimum dari N, transformasi data dalam interval [0,1 0,9] dapat menggunakan rumus metode linear seperti pada Persamaan (1) [9]. (1)

Gambar 2 Citra wajah asli

Immanuela P. S., Ernawati, B. Yudi Dwiandiyanta, Pengenalan Ekspresi Wajah … 75

(a)

(b)

(c)

(d)

Gambar 3 (a) citra awal yang telah diubah ukuran pikselnya menjadi 16x16; (b) citra skala keabuan; (c) citra hasil otsu thresholding; (d) citra hasil adaptive thresholding Hasil ekstraksi ciri dan normalisasi data citra masukan dapat dilihat pada Gambar 4.

Gambar 4 (a) ekstraksi citra dengan wavelet Gabor; (b) normalisasi vektor citra B.3 Backpropagation Backpropagation adalah metode yang didasarkan pada minimalisasi fungsi error (MSE) melalui propagasi mundur sinyal error dalam jaringan. Tiap unit lapisan input dalam jaringan terhubung dengan tiap unit yang ada pada lapisan tersembunyi. Demikian juga untuk tiap unit dalam lapisan tersembunyi akan terhubung dengan lapisan output [10]. Backpropagation dapat dibagi ke dalam dua bagian yaitu algoritma pelatihan dan algoritma pengujian. Jaringan backpropagation pada penelitian ini dibangun menggunakan lapisan input dengan jumlah node sebanyak 256, dua lapisan tersembunyi dengan jumlah node masing-masing 50 dan 40, serta satu lapisan output dengan

tiga node. Fungsi-fungsi yang digunakan dalam jaringan ini adalah sigmoid biner untuk fungsi aktivasi yang menghubungkan setiap lapisan. Hal ini karena output yang diinginkan hanya berupa 0 dan 1. Fungsi pelatihan menggunakan gradient decent backpropagation serta nilai laju pembelajaran sebesar 0,05 dan MSE sebesar 0,001. HASIL PENELITIAN DAN PEMBAHASAN Sebelum dilakukan pengujian, jaringan backpropagation yang telah dibangun perlu dilatih untuk melihat unjuk kerja jaringan. Data yang digunakan terdiri dari 70 ekspresi wajah yang terdiri dari lima mahasiswa perempuan dan lima mahasiswa laki-laki. Waktu pelatihan yang diperlukan untuk melatih jaringan dengan arsitektur yang telah ditentukan adalah 9 detik dengan jumlah iterasi sebanyak 3273 epoch. Setelah proses pelatihan selesai dilakukan, selanjutnya akan dilakukan proses pengujian jaringan. Proses pengujian dibagi menjadi dua bagian, yang pertama menggunakan data latih yang bertujuan melihat kemampuan jaringan mengingat data yang pernah diberikan sebelumnya. Bagian kedua, menggunakan data yang baru dengan tujuan untuk mengukur tingkat akurasi jaringan. Persamaan yang digunakan untuk mengukur kemampuan dan

76 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: 71-78

akurasi jaringan dapat dilihat pada Persamaan (2). (2) Berdasarkan hasil eksperimen yang pertama, jaringan diuji dengan menggunakan data latih yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 100% yang diperoleh dari (35/35)*100%. Detail hasil pengujian 1 dapat dilihat pada Tabel 2.

Berdasarkan hasil eksperimen yang kedua, jaringan diuji dengan menggunakan data baru yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 85,71% yang diperoleh dari (30/35)*100% Detail hasil pengujian 2 dapat dilihat pada Tabel 3.

Nama Nama Ekspresi Set Set Uji Wajah Latih

Netral

Senang

Sedih

gab_

gab_

lat1

uji_a

Marah

Takut

Kaget

Jijik

Keterangan: D = dikenali

Target

Tabel 2 Hasil pengujian 1 Hasil Uji Hasil Uji Hasil Uji Hasil Uji Ket Ket Ket Ket Data 1 Data 2 Data 3 Data 4 0.0262

0

0.0121

0

0.0667

1

0.9410

0,9786

0,8636

0.9668

0.9678

0

0.0333

0,0867

0,3610

0.0128

0.0259

1

0.9825

0

0.0287

0,0766

0,5521

0.0954

0.0199

0

0.0244

0,2262

0,4289

0.3038

0.0259

1

0.9421

1

0.9957

0,9454

0,9463

0.9967

0.9560

1

0.9679

1.0000

0,8912

0.8796

0.9979

0

0.0089

0

0.0530

0,4538

0,5735

0.9221

0.0492

1

0.9804

0,9364

0,9726

0.9347

0.9911

0

0.0238

1

0.9668

0,9756

0,9082

0.9972

0.9591

1

0.9527

0,7282

0,9351

0.9647

0.9749

1

0.9988

0

0.0247

0,3765

0,0548

0.0588

0.0504

1

0.9997

0,8711

0,9934

0.8787

0.9571

1

0.9804

1

0.9579

D

D

D

D

D

D

D

0.2267

0,9654

0,9883

0,0796

0,0998

0,9980

1.0000 0,8419

0,0177 D

D

D

D

D

D

D

0,0345

0,9599

0,9750

0,1381

0,0494

0,9808

0,9405 0,9386

0.0157

Hasil Uji Data 5

D

D

D

D

D

D

D

0.0230

0.9791

0.6119

0.0550

0.0415

0.8120

0.9960 0.9943

Ket

0.0218 D

D

D

D

D

D

D

0.0516

0.9800

0.9687

0.0244

0.0183

0.9801

0.9588 0.9595

D

D

D

D

D

D

D

Immanuela P. S., Ernawati, B. Yudi Dwiandiyanta, Pengenalan Ekspresi Wajah … 77

Nama Nama Ekspresi Set Set Uji Wajah Latih

Netral

Senang

Sedih

gab_ lat2

gab_ uji_b

Marah

Takut

Kaget

Jijik

Target

Tabel 3 Hasil pengujian 2 Hasil Uji Hasil Uji Hasil Uji Ket Ket Ket Data 1 Data 2 Data 3 0,0880

Ket

0,0298

0

0,0493

1

0,9675

0,9258

0,9674

0,9908

0,8258

0

0,0171

0,0175

0,0168

0,0065

0,9175

1

0,9932

0

0,0269

0,4961

0,0414

0,0244

0,4961

0

0,0304

0,9603

0,0282

0,0329

0,9603

1

0,9343

1

0,9693

0,9891

0,9662

0,9565

0,9891

1

0,9722

0,9984

0,9596

0,9973

0,9984

0

0,0086

0

0,0493

0,0350

0,0562

0,0510

0,0350

1

0,9819

0,9687

0,9754

0,9965

0,9687

0

0,0431

1

0,9596

0,8112

0,9827

0,9514

0,2112

1

0,9800

0,9508

0,9995

0,9945

0,9508

1

0,9964

0

0,0097

0,2952

0,9320

0,0411

0,2952

1

0,9976

0,8939

0,9989

0,9641

0,8939

1

0,9862

1

0,9837

D

D

D

D

D

D

0,0891

0,9999

0,9972

0,1308

0,0852

0,9996

0,9991 0,8582

D

D

TD

D

D

D

D

0,0029

0,9916

0,9779

0,0393

0,0211

0,8945

0,9477 0,9394

0,0088

Hasil Uji Data 5

0

D

0,0280

Hasil Uji Data 4

D

D

D

D

D

TD

D

0,0446

0,9821

0,9871

0,0226

0,0335

0,9723

0,9897 0,9641

Ket

0,0880 D

D

D

D

D

D

D

0,0891

0,9999

0,9972

0,1308

0,9852

0,9996

0,9991

D

TD

TD

D

TD

D

D

0,8582

Keterangan: D = dikenali TD = tidak dikenali

SIMPULAN Berdasarkan hasil analisis, perancangan, implementasi, dan pengujian yang telah selesai dilakukan, dapat disimpulkan beberapa hal sebagai berikut: 1. Pengembangan aplikasi pengenalan ekspresi wajah menggunakan wavelet Gabor dan jaringan syaraf tiruan Backpropagation adalah metode yang tepat berdasarkan pada proses pengenalan ekspresi wajah mencapai 100% pada data yang

sudah pernah dilatih dan secara umum pada data uji yang belum pernah dilatih mencapai 85,71%. 2. Kondisi optimal pelatihan jaringan wavelet Gabor dicapai dengan menggunakan kombinasi node 50 40 pada lapisan tersembunyi, konstanta laju pembelajaran 0,05 waktu pelatihan yang diperlukan 9 detik dengan jumlah iterasi sebanyak 3273 epoch. 3. Ekspresi wajah sedih adalah ekspresi yang paling sulit dikenali.

78 JURNAL ELEKTRO, Vol. 8, No. 2, Oktober 2015: 71-78

DAFTAR PUSTAKA [1]

[2]

[3]

[4]

[5]

D. Das. 2014. Human’S Facial Parts Extraction to Recognize Facial Expression. International Journal on Information Theory (IJIT), vol. 3, no. 3, pp. 65-72. L. Ma and K. Khorasani. 2004. Facial Expression Recognition using Constructive Feedforward Neural Networks. IEEE Transactions on Systems, Man, And Cybernetics—Part B: Cybernetics, vol. 34, no. 3, pp. 1588-1595. N. Thomas and M. Mathew. 2012. Facial Expression Recognition System using Neural Network and Matlab. Dindigul Tamilnadu. Z. Abidin and A. Harjoko. 2011. Facial Expression Recognition By using Fisherface Method with Backpropagation Neural Network. Indonesian Journal of Computing and Cybernetics System (IJCCS), vol. 5, no. 1, pp. 83-91. J. Whitehill, Z. Serpell, Y. C. Lin, A. Foster, and J. R. Movellan. 2014. The Faces of Engagement: Automatic Recognition of Student Engagement from Facial Expressions. IEEE Transactions on Affective Computing, vol. 5, no. 1, pp. 86-98.

[6]

J. F. Grafsgaard, J. B. Wiggins and K. E. Boyer. 2013. Automatically Recognizing Facial Expression: Predicting Engagement and Frustration. Memphis. [7] C. Zor. 2008. Facial Expression Recognition. Tesis, tidak dipublikasikan. Guildford, Surrey: University of Surrey. [8] Zhan Yong-zhao, Y. Jing-fu, N. De-jiao, and C. Peng. 2004. Facial Expression Recognition Based on Gabor Wavelet Transformation and Elastic Templates Matching. [9] J. S. Jong. 2005. Jaringan Syaraf Tiruan dan Pemrogramannya Menggunakan Matlab, 2nd ed. Yogyakarta: Andi Offset. [10] Puspitaningrum. 2006. Pengantar Jaringan Saraf Tiruan. Yogyakarta: Andi Offset.