Pengenalan Emosi Akademis Menggunakan Jaringan Syaraf Tiruan untuk Mendukung Personalisasi Sistem E-learning Much. Sukri Ghozali1) Yusuf Bilfaqih2) Achmad Jazidie3) email:
[email protected])
[email protected])
[email protected]) Jurusan Teknik Elektro Institut Teknologi Sepuluh Nopember Surabaya 60111
Abstrak - Sebagian besar institusi pendidikan telah
berpengaruh terhadap pembelajaran dalam sistem elearning secara otomatis berdasarkan gelombang otak [1]. Pekrun et al, melakukan penelitian untuk mengklasifikasi emosi akademis dalam beberapa dimensi serta meneliti pengaruh emosi terhadap motivasi belajar dan pengaturan diri pembelajar dalam belajar [2], [3]. Pengenalan ekspresi wajah merupakan salah satu cara untuk mengenali emosi akademis. Karena ekspresi wajah merupakan hal yang paling kuat, alami dan cepat untuk menyampaikan emosi atau perasaan seseorang. Beberapa penelitian menunjukkan bahwa keterkaitan antara ekspresi wajah dengan hal yang diucapkan oleh seseorang mempegaruhi pemahaman lawan bicara terhadap maksud yang disampaikan [4]. Karakteristik wajah yang tidak kaku (non-rigid) dan memiliki tingkat variabilitas yang tinggi dalam ukuran, bentuk, pose, warna dan tekstur merupakan permasalahan yang sering dihadapi dalam pengembangan sistem pengenalan ekspresi wajah. Facial Action Coding System (FACS) menyediakan metode yang paling sering digunakan untuk mengukur pergerakan wajah. Pada FACS, wajah dibagi menjadi 44 action unit (AU) tergantung pada lokasinya sebagaimana intensitasnya. Dari 44 AU yang didefinisikan, 30 AU berkaitan dengan anatomi wajah, yaitu 12 AU untuk bagian atas wajah dan 18 AU untuk bagian bawah wajah. AU dapat terjadi dari salah satu atau gabungan. Kombinasi AU digunakan untuk memodelkan masing-masing ekspresi. Pada penelitian ini, sistem pengenalan emosi akademis dirancang berdasarkan ekspresi wajah pembelajar. Jaringan syaraf tiruan digunakan untuk mengklasifikasi ciri/fitur penting wajah yang merepresentasikan ekspresi wajah secara otomatis, sehingga proses klasifikasi menjadi lebih fleksibel.
mengembangkan dan mengimplementasikan e-learning dalam kegiatan pembelajaran. Namun, sebagian besar pemanfaatan e-learning masih menitikberatkan pada penyampaian materi tanpa memperhatikan emosi pembelajar, padahal emosi memiliki pengaruh yang cukup besar pada proses pembelajaran. Suasana hati yang sedikit positif tidak hanya membuat seseorang merasa sedikit lebih baik, tetapi juga menginduksi pemikiran yang lebih baik. Oleh karena itu, sistem pengenalan emosi akademis secara otomatis diperlukan untuk mengetahui keadaan emosi pembelajar, agar proses pembelajaran menjadi lebih efektif. Ekspresi wajah merupakan hal yang paling kuat, alami dan cepat untuk menyampaikan emosi atau perasaan seseorang. Ekspresi wajah dapat dikenali berdasarkan perubahan ciri/fitur penting wajah seperti pada mata, alis dan mulut. Selanjutnya, jaringan syaraf tiruan akan mengenali ekspresi dengan membandingkan citra fitur wajah yang diambil dengan citra fitur wajah pada database. Berdasarkan hasil pengembangan dan pengujian sistem pengenalan emosi berdasarkan ekspresi wajah, didapatkan bahwa deteksi wajah berdasarkan warna kulit mampu mendeteksi area wajah dengan cukup baik. Selain itu, integral proyeksi juga mampu diimplementasikan untuk ekstraksi ciri/ fitur posisi wajah dengan cukup baik. Kata kunci : Personalisasi Sistem E-learning, Emosi Akademis, Ekspresi wajah, Jaringan Syaraf Tiruan.
1. PENDAHULUAN Dewasa ini, e-learning berkembang semakin pesat, dengan pembelajaran terpusat, menekankan teknologi pembelajaran pervasive dan personalisasi. Pembelajaran pervasive merupakan sistem pembelajaran yang mengacu pada pembelajaran di mana saja dan kapan saja, yang mana hal ini didukung dengan semakin berkembangnya teknologi komunikasi nirkabel. Selain itu, seharusnya e-learning tidak hanya memperhatikan hasil belajar pembelajar saja, namun juga mempertimbangkan kondisi personal pembelajar. Eksplorasi secara berkelanjutan dan semakin meningkat dari beberapa parameter kompleks seputar pembelajaran online, mengungkapkan pentingnya keadaan emosional pembelajar, terutama hubungan antara emosi dan pembelajaran yang efektif [1]. Telah ada beberapa penelitian yang membahas pengaruh emosi pada sistem e-learning. Shen et al, melakukan pengenalan emosi yang
2. EMOSI AKADEMIS Emosi Akademis merupakan emosi yang secara langsung berkaitan dengan pembelajaran akademis, instruksi ruang kelas, dan prestasi (misalnya, kenikmatan dalam belajar, kebanggaan atas keberhasilan, atau kecemasan terkait ujian). Dengan pendefinisian emosi akademis yang dibahas, istilah akademis yang digunakan sebagaimana umumnya digunakan pada istilah 1
Tabel 1. Klasifikasi Emosi Akademis Positif (Positive) Fokus Obyek (Object Focus)
Fokus pada kegiatan (Activities-Focus)
Menaikkan (Activating)
Negatif (Negative)
Menurunkan (Deactivating)
Menaikkan (Activating)
Menurunkan (Deactivating)
Nyaman
Santai
Marah
Bosan
(Enjoyment)
(Relaxation)
(Anger)
(Boredom)
Frustasi (Frustation)
Fokus pada hasil (Outcome-Focus)
Senang (Joy)
Puas (Contentment)
Cemas (Anxiety)
Sedih (Sadness)
Berharap (Hope)
Lega
Malu (Shame)
Kecewa (Disappointment)
Marah (Anger)
Putus asa (Hopeless)
Bangga (Pride)
(Relief)
Bersyukur (Gratitude)
seperti motivasi akademis atau konsep-diri akademis. Dengan demikian, domain dari emosi akademis akan meliputi emosi prestasi pembelajar yang dialami di lingkungan sekolah atau universitas, tetapi di sisi lain emosi yang berhubungan dengan keberhasilan dan kegagalan juga tercakup, misalnya, emosi yang berhubungan dengan instruksi atau proses belajar [2]. Emosi akademis dapat diklasifikasikan dalam empat dimensi yang berbeda: (1) Valensi, yang mengacu pada apakah emosi yang baik atau tidak (yaitu, positif atau negatif); (2) aktivasi, yang menunjukkan apakah suatu emosi menaikkan atau menghambat semangat belajar (yaitu, menaikkan vs menurunkan); (3) objek-fokus, yang berarti apakah emosi yang muncul terkait dengan ujian, belajar, atau kegiatan yang berkaitan dengan tugas (yaitu, emosi yang terkait dengan aktifitas yang mengacu kepada tes atau untuk proses belajar), dan (4) acuan waktu yang disebut apakah emosi yang dialami sebelum, selama, atau setelah kegiatan atau peristiwa dalam pembelajaran [7].
rendah disebutkan dalam beberapa penelitian sebelumnya. Kemarahan, kegelisahan dan rasa bersalah berkorelasi positif dengan penerapan strategi mengulang, yaitu pembelajar dengan emosi negatif dapat menggunakan strategi yang lebih tegas, seperti strategi pengulangan materi yang telah didapat sebelumnya. Terlalu lega dan bosan akan membuat pembelajar malas secara psikologi dan kognisi, dan dapat menyebabkan konsentrasi dan daya pemrosesan informasi pembelajar menurun [1]. Kecemasan tes berkorelasi negatif dengan strategi meta-kognitif, yaitu, kecemasan tes dapat menghalangi aktivitas meta-kognitif [9]. Secara umum, emosi positif yang tepat sangat membantu untuk meningkatkan motivasi belajar pembelajar, meningkatkan aktivitas kognitif pembelajar dan meningkatkan efisiensi pembelajaran pada sistem e-learning. Oleh karena itu, saat pengajar menggunakan strategi pengajaran, emosi positif seharusnya ditingkatkan tetapi negatif emosi dapat diminimalkan. Beberapa strategi pengajaran dapat digunakan untuk meningkatkan rasa senang pembelajar saat proses pemelajaran, diantaranya : • Pada emosi negatif yang menurunkan (bosan), e-learning dapat menggunakan strategi untuk menumbuhkan ketertarikan pembelajar dengan mengaitkan hobi pembelajar dengan materi pembelajaran. Misalnya, menyediakan permainan yang sesuai dengan hobi pembelajar namun tetap memiliki relevansi dengan materi pembelajaran. • Pada emosi negatif yang menaikkan (cemas, marah, dan malu), sistem e-learning bisa memberikan arahan cara belajar secara tegas
3. EMOSI AKADEMIS DAN STRATEGI PENGAJARAN Emosi akademis yang berbeda akan mempengaruhi aktivitas belajar dengan cara yang berbeda. Emosi akademis positif (kecuali lega) berkorelasi positif dengan strategi meta-kognitif, teliti, terorganisir dan berpikir kritis dan hal ini bermanfaat untuk strategi pembelajaran yang kreatif atau peraturan meta-kognitif yang fleksibel. Emosi akademis negatif berkorelasi negatif dengan strategi pembelajaran yang fleksibel, tetapi korelasi yang 2
kepada pembelajar. Hal ini dilakukan untuk membantu pembelajar untuk tetap berada pada ajur pembelajaran. Sedangkan pada emosi frustasi, sistem e-learning seharusnya memberikan arahan secara halus untuk membantu pembelajar memahami materi pembelajaran. • Pada emosi positif yang menurunkan, sistem elearning hanya perlu mengawasi jalannya kegiatan pembelajaran. Hal ini untuk mengantisipasi ketika terjadi perubahan pada emosi pembelajar. 4. DESAIN SISTEM Sistem pengenalan ekspresi secara umum terdiri dati 4 tahap, yaitu akusisi citra dari kamera video, deteksi wajah , ekstraksi ciri/ fitur penting wajah dan yang terakhir pengenalan ekspresi berdasarkan data ekstraksi fitur. Secara gererik, sistem pengenalan ekspresi wajah dapat dilihat pada gambar 1. 4.1 Deteksi Wajah Proses pendeteksi wajah digunakan untuk memisahkan citra wajah dengan latar belakang, sehingga obyek yang akan diproses dapat diminimalkan. Diagram alir proses deteksi wajah dapat dilihat pada Gambar 2.
Gambar 2. Diagram alir deteksi wajah dengan eucledian distance. Bila nilai jarak kurang dari thresholding, maka citra dianggap sebagai kulit.
Pada proses deteksi wajah, warna kulit dijadikan acuan utama untuk mendapatkan daerah wajah. Warna kulit dicari dengan mencari selisih terkecil antara warna citra dengan rata-rata warna kulit. Pertama dilakukan konversi ruang warna citra dari red-green-blue (RGB) ke luminance-chromaticity red-chromaticity blue (YCrCb) untuk memisahkan intensitas dari warna merah dan biru. Hal ini dilakukan untuk menghilangkan pengaruh perubahan intensitas terhadap citra. Konversi warna dapat dilakukan berdasarkan persaaman (1), (2), dan (3). Y = 0.31R + 0.59G + 0.11B
(1)
Cr = 0.713 (R – Y)
(2)
Cb = 0.564 (B – Y)
(3)
(4)
dan adalah nilai rata-rata Cr dimana, dan Cb kulit pada berbagai kondisi pencahayaan setelah dinormalisasi dengan ditambah 100. Selanjutnya, dilakukan binerisasi citra berdasarkan nilai jarak dengan nilai batas (threshold) = 10. Kemudian dilakukan perhitungan intensitas piksel dengan metode integral proyeksi. Integral proyeksi merupakan salah satu teknik ekstraksi ciri pola gambar untuk mengetahui mengetahui intensitas piksel pada lokasi (x,y), sehingga ekstraksi ciri pola gambar dilakukan secara vertikal dan horisontal. Integral proyeksi vertical (IPFv(x)) dan integral proyeksi horizontal (IPFh(y)) dari suatu intensital I(x,y) pada interval [y1,y2] dan [x1,x2] dapat dijabarkan dalam persamaan (5) dan (6).
Selanjutnya, dilakukan perhitungan selisih warna citra dengan intesitas (jarak) pada setiap lokasi
Gambar 3. Contoh grafik hasil integral proyeksi citra
Gambar 1. Skema Sistem Pengenalan Emosi Akademis 3
melakukan thresholding berdasarkan tingkat keabuan citra, pada penelitian ini iterasi thresholding didasarkan pada selisih antara nilai Cr dan Cb warna citra dengan nilai rata-rata Cr dan Cb pada warna kulit seperti pada proses deteksi wajah. Hal ini dilakukan untuk meminalisir pengaruh perubahan intensitas cahaya pada citra. Selanjutnya, pencarian titik hitam dilakukan berdasarkan pada hasil integral proyeksi dari citra wajah dengan batas
(x1, y1+ ) hingga (x2, y1 + ) ! untuk meminimalisasi obyek citra yang akan diproses. Proses pencarian mata dapat dilihat di diagram alir pada gambar 4. Pada proses menentukan koordinat dua ujung mulut, integral proyeksi digunakan untuk mencari titik ordinat dari garis tengah di antara bibir. Untuk mencari titik absis dua unjung mulut, ada dua tahap yang perlu dilakukan. Pertama, deteksi tepi sobel dilakukan pada daerah sepertiga bagian bawah wajah. Kedua, dari hasil deteksi diiterasi untuk mencari daerah yang paling gelap dari sisi kiri dan kanan citra. Daerah tergelap tersebut merupakan ujung mulut karena pada saat deteksi tepi dilakukan, daerah sudut memiliki perubahan yang paling besar.
Gambar 4. Diagram alir pencarian titik tengah mata dan alis
,
,
2. Ekstraksi Ciri/Fitur Bentuk Ciri/fitur bentuk yang global tidak sesuai untuk menjabarkan bentuk mulut. Oleh karena itu, untuk mengekstraksi ciri/fitur bentuk mulut, deteksi tepi digunakan untuk menormalisasi wajah untuk mendapatkan peta tepi. Selanjutnya, peta tersebut dibagi menjadi daerah 3x3 seperti pada gambar 5. Ukuran setiap daerah ditentukan sama dengan setengah dari jarak kedua mata. Ciri/ fitur bentuk mulut dihitung berdasarkan histogram bentuk daerah tepi pada daerah wajah.
(5) (6)
Sehingga akan didapatkan grafik hasil proyeksi citra seperti pada gambar 3. Selanjutnya, koordinat awal wajah (x1, y1) dan akhir wajah (x2) dicari dengan metode iterasi berdasarkan perbedaan nilai proyeksi citra. Sedang untuk ordinat akhir wajah (y2) dicari dengan persamaan (7).
(7)
4.2 Ekstraksi Ciri/Fitur Wajah Fitur wajah yang berubah secara signifikan pada saat perubahan ekspresi wajah terdapat pada daerah mata, alis dan mulut [6]. Pada penelitian ini, tipe ciri/fitur wajah yang diekstraksi ada dua macam, yaitu fitur lokasi dan fitur bentuk. 1. Ekstraksi Ciri/ Fitur Lokasi Pada penelitian ini, ada enam fitur lokasi yang diekstraksi untuk pengenalan ekspresi wajah, yaitu dua titik tengah mata, dua ujung bagian dalam alis dan dua ujung mulut. Pendekatan ekstraksi ciri/fitur yang digunakan hampir sama dengan yang dilakukan oleh Tian et al [5]. Metode untuk menemukan titik tengah mata dan ujung bagian dalam alis pada wajah tepat menghadap ke kamera (frontal) yang digunakan adalah metode pencarian titik hitam pada hasil iterasi thresholding citra. Jika Tian et al [5],
Gambar 5. Fitur histogram. (a) Citra wajah. (b) Daerah tepi dari citra wajah. (c) Empat tingkat kuantisasi dari perhitungan histogram. (d) Grafik histogram daerah tengah mulut [6]. 4
Pengujian deteksi wajah telah dilakukan pada 15 orang mahasiswa jurusan Teknik Elektro ITS dengan beberapa variasi warna kulit, bentuk dan ukuran wajah. Sekitar lebih 86,67 % wajah dapat dideteksi untuk wajah frontal. Namun, ada beberapa pengujian yang kurang tepat dalam mendeteksi wajah. Hal ini disebabkan warna background relatif mendekati warna kulit atau memiliki warna biru atau merah yang relatif besar, sehingga jumlah nilai Cr dan Cb warna citra hampir sama dengan warna kulit. Gambar 6. Arsitektur jaringan syaraf tiruan
5.2. Pengujian Ekstraksi Ciri/ Fitur Wajah
4.3 Pengenalan Ekspresi Wajah
Ekstraksi ciri / fitur penting wajah digunakan untuk mendapatkan jarak antar fitur wajah dan bentuk daerah mulut sebagai parameter dalam menentukan ekspresi wajah seseorang. Ekstrasi ciri/fitur dilakukan berdasarkan warna kulit dan nilai kerutan atau peta tepi dari daerah mulut.
Pada pengenalan ekspresi wajah, jaringan syaraf tiruan digunakan sebagai metode untuk memklasifikasi ciri/fitur citra masukan dengan ciri/fitur pada database. Jaringan syaraf tiruan yang digunakan adalah metode backpropagation yang terdiri dari 9 unit masukan dan 2 unit lapisan output. Secara generik, arsitektur jaringan syaraf tiruan dapat dilihat pada gambar 6. Masukan yang digunakan untuk jaringan syaraf tiruan pada sistem yang dirancang adalah 5 perbandingan jarak antar fitur dengan lebar wajah (X1, X2, X3, X4, dan X5) dan 4 nilai proyeksi dari ekstraksi ciri/fitur bentuk mulut (X6, X7, X8, dan X9). Jarak antar ciri/fitur yang dimaksud, yaitu dua jarak antara alis dengan mata, dua jarak antara mata dengan ujung mulut dan jarak antar mata. 5. HASIL DAN PEMBAHASAN 5.1. Pengujian Deteksi Wajah Seperti yang telah dijelaskan pada pembahasan sebelumnya, deteksi wajah berfungsi untuk memisahkan citra wajah dengan background, sehingga pada obyek citra yang akan diproses dapat diminimalkan. Deteksi wajah diharapkan mampu mendeteksi wajah yang warna kulit, bentuk dan ukuran bervariasi. Contoh hasil deteksi pengenalan wajah dapat dilihat pada gambar 7.
Gambar 7.
Gambar 9.
Contoh hasil ekstraksi fitur posisi wajah
Tabel 2. Hasil pengujian ekstraksi fitur wajah
Contoh hasil deteksi wajah yang berhasil 5
NO
EMOSI
L1
L2
L3
L4
L5
1
bosan3
2
bosan4
0
0
0
0
0
3
bosan5
0
0
0
0
0
4
bosan6
0
0
0
0
0
5
bosan7
0
0
0
0
0
6
bosan8
0
0
0
0
0
7
bosan9
8
bosan10
9
normal1
13,76 13,76 57,74 60,89 31,31
10
normal2
12,17 12,17 58,05 74,30 28,04
11
normal4
12
normal6
13,39 13,39 53,64 72,60 38,62
13
normal7
14,06 14,06 53,41 67,48 39,97
14
normal8
15
normal9
18,54 18,54 74,36 68,15 35,32
14,68 14,68 60,89 76,13 46,04 0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
14,68 14,68 60,89 76,13 46,04
Gambar 9 menunjukkan contoh hasil ekstrasi ciri/fitur posisi mata, alis dan mulut. Hasil proses ekstrasi mata dan alis sudah cukup baik dalam mendapatkan jarak mata dan alis. Namun, untuk wajah dalam kondisi miring atau tidak frontal, ekstraksi ciri / fitur posisi mata dan alis masih kurang tepat dalam menentukan jarak mata dan alis. Dari hasil pengujian terhadap 15 mahasiswa elektro, ekstraksi ciri/fitur lokasi memiliki akurasi 46,67 %.
[5] Tian, Ying-li, Brown, Lisa, Hampapur, Arun, Pankati, Sharat, Senior, Andrew & Bolle, Ruud, “Real World Real-time Automatic Recognition of Facial Expressions”, IBM Research Report, PETS, 2003. [6] Riyanto Sigit, Setiawardhana, Dadet Pramadihanto. “Sistem Pengenalan Ekspresi Wajah Secara Real Time Menggunakan JaringanSyaraf Tiruan”. Industrial Electronic Seminar. 2007. [7] Bernardo, A.B.I., Ouano, J.A., Salanga, M.G.C. ”What is an Academic Emotion? Insights from Filipino Bilingual Students’ Emotion Words Associated with Learning”. National Academy of Psychology (NAOP) India Psychological Studies 54:28–37. 2009. [8] Ratliff, Matthew S., Patterson, Eric. “Emotion Recognition Using Facial Expressions With Active Appearance Models”. Proceedings of the IASTED International Conference on Human-Computer Interface, Innsbruck, Austria. 2008. [9] Haiyan, Liu & Xianhua, Yang, “Academic Emotions and Its Teaching Strategies in CAI”, First International Workshop on Education Technology and Computer Science, 2009.
6. PENUTUP
6.1. Kesimpulan Pada deteksi wajah, format warna YCrCb merupakan format yang tepat untuk memodelkan warna kulit, karena pengaruh perubahan intensitas dapat diminimalisir dari warna citra. Selain itu, integral proyeksi dan Eucledian Distance juga cukup tepat pada pencarian koordinat pada deteksi wajah, dengan akurasi 86,67 %. Pada ekstraksi ciri/fitur wajah, integral proyeksi cukup tepat untuk mendeteksi posisi mata. Deteksi tepi dan integral proyeksi masih kurang tepat untuk mencari nilai koordinat ujung mulut,yaitu dengan akurasi 46,67 %.
6.2. Saran
7. RIWAYAT HIDUP
Saran- saran yang dapat disampaikan oleh penulis adalah sebagai berikut: 1. Penggunaan segmentasi bentuk mata, alis dalam mulut disamping jarak antar fitur sebagai parameter dalam pengenalan emosi. 2. Pengaplikasian metode Ekstraksi fitur wajah yang mampu mendapatkan bentuk dan jarak fitur wajah meskipun kondisi wajah miring. Hal ini disebabkan posisi wajah yang tidak selalu frontal pada saat pembelajar berada di depan komputer.
Much. Sukri Ghozali lahir di Sidoarjo pada tanggal 05 Maret 1987, merupakan putra kedua dari empat bersaudara dari pasangan Asmadi dan Masrukhah. Pendidikan dasar dilaksanakan di MI. Miftahul Huda Puri Mojokerto. Selanjutnya pada tahun 1999 mengenyam pendidikan menengah di SLTP Negeri 1 Mojoanyar Mojokerto dan SMA Negeri 1 Puri Mojokerto. Pada tahun 2005 melanjutkan ke jenjang strata 1 di Jurusan Teknik Elektro, FTI-ITS dan pada tahun 2010 mengikuti seminar dan ujian lisan tugas akhir di bidang Teknik Sistem Pengaturan, Jurusan Teknik Elektro, FTI-ITS. Email :
[email protected]
6. DAFTAR PUSTAKA [1] Shen, L., Wang, M., & Shen, R. “Affective elearning: Using “Emotional” Data to Improve Learning in Pervasive Learning Environment”. Educational Technology & Society, 12 (2), 176–189. 2009. [2] Pekrun, Reinhard, Goetz, Thomas & Titz, Wolfram, “Academic Emotions in Student’s Self-Regulated Learning and Achievement: A Program of Qualitative and Quantitative Research”, Educational Psychologist, 37 (2), 91–105, 2002. [3] Schutz, Paul A. & Pekrun, Reinhard, “Emotion in Education”, Academic Press is an imprit of Elsevier, Ch. 2, 2007. [4] Tian, Ying-li, Kanade, Takeo, & Cohn, Jeffrey F. “Recognizing Action Units for Facial Expression Analysis”. IEEE Transactions On Pattern Analysis And Machine Intelligence, Vol. 23, No. 2. 2001. 6
