PERBANDINGAN METODE HARRIS CORNER DETECTION, EDGE BASED CORNER DETECTION DAN FAST CORNER DETECTION DALAM APLIKASI PENDETEKSI SENYUM PADA WAJAH MANUSIA
Oleh Eduard Royce Siswanto NIM : 612009003
Skripsi Untuk melengkapi syarat-syarat memperoleh Ijasah Sarjana Teknik Fakultas Teknik Elektronika dan Komputer Program Studi Teknik Elektro Universitas Kristen Satya Wacana Salatiga
2013
INTISARI
Ekspresi wajah adalah salah satu cara komunikasi bagi manusia untuk mengungkapkan perasaan, maksud, tujuan, dan pendapatnya kepada orang lain. Senyum merupakan salah satu ekspresi yang mewakili momen, kejadian ataupun perasaan bahagia dan banyak orang berusaha mengabadikan ekspresi ini. Karena itu, suatu sistem yang mampu mendeteksi ekspresi senyum, kemudian memerintahkan sebuah kamera untuk mengambil gambar, akan mempermudah usaha mengabadikan momen tersebut. Skripsi ini membandingkan metode Harris Corner Detection, Edge Based Corner Detection dan FAST Corner Detection dengan kombinasi pra proses color segmentation dalam mendeteksi senyuman. Untuk menilai performa dari sistem pendeteksi senyum, digunakan perhitungan akurasi. Dari hasil pengujian perangkat lunak didapatkan metode Harris Corner Detection memberikan hasil terbaik jika dikombinasikan dengan pra proses color segmentation dengan tingkat akurasi sebesar 77.5% dengan waktu komputasi sebesar 49.2 mili detik. Sedangkan FAST Corner Detection memberikan hasil terbaik tanpa kombinasi pra proses color segmentation dengan tingkat akurasi sebesar 59.5% dengan waktu komputasi sebesar 13.1 mili detik.
Kata kunci: smile detector, color segmentation, Harris corner detection, edge based corner detection, FAST corner detection.
i
ABSTRACT
Facial expression is one among many communication ways for human to express their feelings, means, purposes, and opinions to others. Smile is an expression that represents happy moment, event or feeling and many people have tried to capture this expression. This is the main reason we need a system that is capable of detecting smile on human face and execute the camera to capture this moment. This final project compares Harris Corner Detection, Edge Based Corner Detection and FAST Corner Detection with combination of color segmentation pre processing in detecting smile on human face. Accuracy calculation is used to calculate system’s performance. From the experiments, Harris Corner Detection gives the best result while combined with color segmentation pre processing resulted 77.5% accuracy and computation time for 49.2 millisecond. FAST Corner Detection gives the best result without pre processing combination resulted 59.5% and computation time for 13.1 millisecond.
Keywords: smile detector, color segmentation, Harris corner detection, edge based corner detection, FAST corner detection.
ii
KATA PENGANTAR
Pertama-tama, penulis panjatkan puji syukur dan terima kasih kepada Yesus Kristus atas karunia dan berkat-Nya yang melimpah sehingga skripsi ini dapat diselesaikan dengan baik. Penulis juga ingin mengucapkan terima kasih kepada pihakpihak berikut: 1. Ibunda tercinta, Orita Tamara, kakak terkasih, Pamela Marchelli dan nenek tersayang, Elia Tamara atas kesabaran, pengertian, dukungan semangat serta cinta kasih yang tak berkesudahan. 2. Fakultas Teknik Elektronika dan Komputer, UKSW atas kesempatan yang diberikan kepada penulis untuk dapat menuntut ilmu dan pengalaman yang tak ternilai. 3. Kedua dosen pembimbing, Bpk. Iwan Setyawan dan Ivanna K. Timotius atas ilmu dan kesempatan yang diberikan kepada penulis untuk dibimbing selama pembuatan skripsi ini. Tanpa beliau berdua, skripsi ini tidak akan terwujud. 4. Seluruh dosen, laboran, staf administrasi dan pegawai yang bekerja di FTEK. Terima kasih atas ilmu pengetahuan dan bantuan yang telah diberikan. 5. Teman terdekat penulis di Salatiga, Budhi K. Wangsa, Ricky Jeconiah, Krisma Putra Salim, Jeffrey Pratama Santoso, Aletheia Anggelia Tonoro dan Anneke Putri K.W. Terima kasih atas semua dukungan, canda, tawa, air mata dan kenangan selama 4.5 tahun ini. 6. RH, yang selalu meragukan kemampuan penulis dari awal perkuliahan hingga skripsi ini selesai ditulis. Terima kasih atas pandangan meremehkan anda, sehingga karenanya penulis terpacu untuk selalu menjadi lebih baik. Skripsi ini adalah pembuktian bahwa saya mampu menyelesaikan apa yang sudah saya mulai. 7. Staf pengajar dan teman-teman di Yeti English Course, terutama Ma’am Yeti yang selalu menjadi sumber inspirasi saya dengan pola pikirnya yang berbeda, unik, cerdas, dan orisinil serta Miss Ida yang ramah, sabar, dan lemah lembut. 8. Teman-teman FTEK yang sudah mau difoto untuk dijadikan dataset skripsi, baik secara sukarela maupun terpaksa. Tanpa kalian, skripsi ini tidak akan bisa selesai. 9. Pihak-pihak lain yang tidak dapat disebutkan satu per satu. Terima kasih untuk segalanya.
iii
Akhir kata, penulis sadar bahwa skripsi yang dikerjakan ini jauh dari kata sempurna. Tetapi penulis berharap skripsi ini dapat dibaca dan dikembangkan lebih lanjut oleh pihak lain dan menjadi berkat buat semua yang membutuhkan.
Mengutip dari mantan Koordinator Asisten favorit penulis, Regina Lionnie: HARD WORK PAYS!
Salatiga, 26 September 2013
Penulis
iv
DAFTAR ISI
INTISARI .............................................................................................................. i ABSTRACT........................................................................................................... ii KATA PENGANTAR ............................................................................................ iii DAFTAR ISI .......................................................................................................... v DAFTAR GAMBAR ............................................................................................. viii DAFTAR TABEL ..................................................................................................x DAFTAR LAMBANG ........................................................................................... xi DAFTAR SINGKATAN ........................................................................................ xiii BAB I. PENDAHULUAN...................................................................................... 1 1.1 Latar Belakang Masalah ........................................................................ 1 1.2 Tujuan ...................................................................................................3 1.3 Batasan Masalah ................................................................................... 3 1.4 Hipotesis Awal ...................................................................................... 4 1.5 Sistematika Pembahasan ....................................................................... 4 BAB II. LANDASAN TEORI ................................................................................ 5 2.1 Metode Viola Jones untuk Mendeteksi Wajah ....................................... 5 2.2 Konversi Citra RGB ke Grayscale......................................................... 5 2.3 Color Segmentation ............................................................................... 6 2.4 Harris Corner Detection ........................................................................ 6 2.5 Edge Based Corner Detection ............................................................... 11 2.6 FAST Corner Detection ........................................................................ 12 2.7 Deteksi Senyum .................................................................................... 14 2.8 Perhitungan Akurasi .............................................................................. 14 BAB III. PERANCANGAN PERANGKAT LUNAK ............................................ 16 3.1 Sistem Pendeteksi Senyum ....................................................................16 3.2 Pemrosesan Data ................................................................................... 16 3.2.1 Konversi Citra RGB ke Grayscale .......................................... 16 3.2.2 Color Segmentation ................................................................ 17 3.3 Harris Corner Detection ........................................................................ 18 3.4 Edge Based Corner Detection ............................................................... 19 3.5 FAST Corner Detection ........................................................................ 20 3.6 Deteksi Senyum .................................................................................... 21 v
3.7 Perhitungan Akurasi .............................................................................. 22 3.8 Pembuatan Dataset Skripsi ....................................................................22 3.9 Graphical User Interface ...................................................................... 23 BAB IV. PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL PENGUJIAN.......................................................................................................... 25 4.1 Pengambilan Data dan Metode Pengujian .............................................. 25 4.2 Hasil dan Analisis ................................................................................. 26 4.3 Perbandingan Ketiga Metode pada Percobaan Pertama .......................... 26 4.3.1 Harris Corner Detection .......................................................... 27 4.3.2 Edge Based Corner Detection ................................................. 29 4.3.3 FAST Corner Detection .......................................................... 31 4.4 Perbandingan Ketiga Metode pada Percobaan Kedua ............................ 33 4.4.1 Harris Corner Detection .......................................................... 33 4.4.2 Edge Based Corner Detection ................................................. 35 4.4.3 FAST Corner Detection .......................................................... 37 4.5 Perbandingan Ketiga Metode pada Percobaan Ketiga ............................ 37 4.5.1 Harris Corner Detection .......................................................... 39 4.5.2 Edge Based Corner Detection ................................................. 40 4.5.3 FAST Corner Detection .......................................................... 42 4.6 Pendeteksian Senyum pada Citra dengan Subyek Lebih Dari Satu ......... 44 BAB V. KESIMPULAN ........................................................................................ 46 5.1 Kesimpulan ........................................................................................... 46 5.2 Saran .....................................................................................................46 DAFTAR PUSTAKA............................................................................................. 47 LAMPIRAN A. SOURCE CODE PEMROGRAMAN YANG DIBUAT DENGAN MATLAB .............................................................................................................. 49 A.1 Source Code Color Segmentation ......................................................... 49 A.2 Source Code Harris Corner Detection .................................................. 49 A.3 Source Code Edge Based Corner Detection .......................................... 50 A.4 Source Code FAST Corner Detection................................................... 51 A.5 Source Code Citra dengan Subyek Lebih Dari Satu .............................. 52 A.6 Source Code Graphical User Interface ................................................. 53 LAMPIRAN B. TABEL HASIL PENGUJIAN PERANGKAT LUNAK ................ 65 B.1 Tabel Hasil Percobaan Pertama............................................................. 65 vi
B.1.1 Metode Harris Corner Detection ............................................ 65 B.1.2 Metode Edge Based Corner Detection ....................................67 B.1.3 Metode FAST Corner Detection............................................. 69 B.2 Tabel Hasil Percobaan Kedua ............................................................... 70 B.2.1 Metode Harris Corner Detection ............................................ 70 B.2.2 Metode Edge Based Corner Detection ....................................72 B.2.3 Metode FAST Corner Detection............................................. 74 B.3 Tabel Hasil Percobaan Ketiga ............................................................... 75 B.3.1 Metode Harris Corner Detection ............................................ 75 B.3.2 Metode Edge Based Corner Detection ....................................77 B.3.3 Metode FAST Corner Detection............................................. 79 B.4 Tabel Hasil Penambahan Batas Nilai Rata-rata Metode FAST Corner Detection ............................................................................................. 80 LAMPIRAN C. PENURUNAN HUBUNGAN DETERMINAN, TRACE DAN METODE HARRIS CORNER DETECTION .......................................................... 81 LAMPIRAN D. CONTOH DATASET SISTEM PENDETEKSI SENYUM ............ 83 D.1 Dataset Pelatihan ................................................................................. 83 D.2 Dataset Pengujian Ekspresi Tersenyum Percobaan Pertama ................. 88 D.3 Dataset Pengujian Ekspresi Tersenyum Percobaan Ketiga .................... 90 D.4 Dataset Pengujian Ekspresi Bukan Tersenyum .....................................92 D.5 Dataset Pengujian Citra dengan Subyek Lebih Dari Satu ...................... 94
vii
DAFTAR GAMBAR
Gambar 2.1
Gradien Garis dari Suatu Piksel ....................................................... 7
Gambar 2.2
Pergeseran Jendela Gaussian ke arah (1,0)....................................... 8
Gambar 2.3
Pergeseran Jendela Gaussian ke arah (0,1)....................................... 8
Gambar 2.4
Hasil Harris Corner Detection ......................................................... 11
Gambar 2.5
Hasil Edge Detection Menggunakan Operator Sobel ........................ 12
Gambar 2.6
Jendela FAST Corner Detection ...................................................... 14
Gambar 3.1
Contoh Citra RGB Bibir yang Digunakan Dalam Skripsi ................. 16
Gambar 3.2
Contoh Citra Bibir yang Telah Dikonversi ke Citra Grayscale ......... 16
Gambar 3.3
Diagram Alir Pra Proses Color Segmentation ..................................17
Gambar 3.4
Diagram Alir Metode Harris Corner Detection ................................ 18
Gambar 3.5
Diagram Alir Metode Edge Based Corner Detection ....................... 19
Gambar 3.6
Diagram Alir metode FAST Corner Detection .................................20
Gambar 3.7
Diagram Alir Proses Pendeteksian Senyum...................................... 21
Gambar 3.8
Contoh Dataset dengan Ekspresi Tersenyum Lebar ......................... 23
Gambar 3.9
Contoh Dataset dengan Ekspresi Tersenyum Tipis .......................... 23
Gambar 3.10 Contoh Dataset dengan Ekspresi Bukan Tersenyum ........................ 23 Gambar 3.11 Graphical User Interface Skripsi ..................................................... 24 Gambar 3.12 Contoh Eksekusi Graphical User Interface Skripsi .......................... 24 Gambar 4.1
Grafik Harris Corner Detection Percobaan Pertama ......................... 27
Gambar 4.2
Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner Detection dengan k = 0.04 Percobaan Pertama.................................27
Gambar 4.3
Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner Detection dengan Sigma = 2 Percobaan Pertama ............................. 28
Gambar 4.4
Perbandingan Hasil Penggunaan Nilai Sigma 1.5 dengan Sigma 5 ...28
Gambar 4.5
Kesalahan Pendeteksian Titik Sudut Bibir pada Nilai Sigma yang Terlalu Kecil.................................................................................... 29
Gambar 4.6
Grafik Edge Based Corner Detection Percobaan Pertama ................ 30
Gambar 4.7
Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based Corner Detection dengan k = 0.15 Percobaan Pertama..................... 30
Gambar 4.8
Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner Detection dengan Sigma = 1.5 Percobaan Pertama .......................... 31
viii
Gambar 4.9
Grafik FAST Corner Detection pada Percobaan Pertama ................. 32
Gambar 4.10 Hasil Penggunaan Nilai Batas Ambang yang Berbeda Pada Citra Bibir ................................................................................................ 32 Gambar 4.11 Grafik Harris Corner Detection Percobaan Kedua ........................... 33 Gambar 4.12 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner Detection dengan k = 0.08 Percobaan Kedua ...................................34 Gambar 4.13 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner Detection dengan Sigma = 0.5 Percobaan Kedua ............................. 34 Gambar 4.14 Perbandingan Hasil Harris Corner Detection...................................35 Gambar 4.15 Grafik Edge Based Corner Detection Percobaan Kedua ................... 35 Gambar 4.16 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based Corner Detection dengan k = 0.04 Percobaan Kedua ....................... 36 Gambar 4.17 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner Detection dengan Sigma = 1.5 Percobaan Kedua ............................. 36 Gambar 4.18 Grafik FAST Corner Detection Percobaan Kedua............................ 37 Gambar 4.19 Sampel Data Uji Ekspresi Tersenyum yang Dideteksi Salah Oleh Ketiga Metode ................................................................................. 38 Gambar 4.20 Grafik Harris Corner Detection pada Percobaan Ketiga ................... 38 Gambar 4.21 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner Detection dengan k = 0.08 Percobaan Ketiga ...................................39 Gambar 4.22 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner Detection dengan Sigma = 0.5 Percobaan Ketiga ............................. 39 Gambar 4.23 Grafik Edge Based Corner Detection pada Percobaan Ketiga .......... 40 Gambar 4.24 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based Corner Detection dengan k = 0.04 Percobaan Ketiga ....................... 40 Gambar 4.25 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner Detection dengan Sigma = 1.5 Percobaan Ketiga ............................. 41 Gambar 4.26 Grafik FAST Corner Detection pada Percobaan Ketiga ................... 41 Gambar 4.27 Perbandingan Hasil Pendeteksian Sudut Dengan Pra Proses Color Segmentation Pada Subyek Dengan Warna Kulit Berbeda ............... 42 Gambar 4.28 Contoh Citra Dengan Subyek Lebih Dari Satu .................................43 Gambar 4.29 Hasil Pengujian Metode Harris Corner Detection Pada Citra Dengan Subyek Lebih Dari Satu...................................................................44
ix
DAFTAR TABEL
Tabel 4.1
Akurasi dan Waktu Komputasi Sistem Pendeteksi Senyum ................ 42
Tabel B.1
Akurasi Metode Harris Corner Detection Percobaan Pertama ............ 63
Tabel B.2
Akurasi Metode Edge Based Corner Detection Percobaan Pertama....65
Tabel B.3
Akurasi Metode FAST Corner Detection Percobaan Pertama ............ 67
Tabel B.4
Akurasi Metode Harris Corner Detection Percobaan Kedua ............... 68
Tabel B.5
Akurasi Metode Edge Based Corner Detection Percobaan Kedua ...... 70
Tabel B.6
Akurasi Metode FAST Corner Detection Percobaan Kedua ............... 72
Tabel B.7
Akurasi Metode Harris Corner Detection Percobaan Ketiga ............... 73
Tabel B.8
Akurasi Metode Edge Based Corner Detection Percobaan Ketiga ...... 75
Tabel B.9
Akurasi Metode FAST Corner Detection Percobaan Ketiga ............... 77
Tabel B.10 Akurasi Metode FAST Corner Detection dengan Penambahan Batas Nilai Rata-rata ................................................................................... 78
x
DAFTAR LAMBANG
a
konstanta variabel orde 2 dari persamaan kuadrat
b
konstanta variabel orde 1 dari persamaan kuadrat
c
konstanta variabel orde 0 dari persamaan kuadrat
d
jendela pada metode FAST Corner Detection ( , )
fungsi citra digital dua dimensi ke arah sumbu x dan sumbu y
k
konstanta sensitivitas dari Harris Corner Detection
l
jumlah piksel dalam jendela yang tergeser di Harris Corner Detection jumlah piksel di sekitar titik pusat p pada FAST Corner Detection titik pusat pada metode FAST Corner Detection batas ambang nilai intensitas yang ditoleransi arah pergeseran jendela ke sumbu horisontal arah pergeseran jendela ke sumbu vertikal jumlah baris pada citra masukan
xmax
koordinat x maksimum citra bibir pelatihan
xmax_u
koordinat x maksimum citra bibir pengujian
xmin
koordinat x minimum citra bibir pelatihan
xmin_u
koordinat x minimum citra bibir pengujian
xp
koordinat x dari titik pusat p jumlah kolom pada citra masukan
yp
koordinat y dari titik pusat p
yrata
rata-rata koordinat y citra bibir pelatihan
yrata_u
rata-rata koordinat y citra bibir pengujian
y1
koordinat y titik sudut bibir sebelah kiri citra bibir pelatihan
y1_u
koordinat y titik sudut bibir sebelah kiri citra bibir pengujian
y2
koordinat y titik sudut bibir sebelah kanan citra bibir pelatihan
y2_u
koordinat y titik sudut bibir sebelah kanan citra bibir pengujian
( , )
jendela biner, bernilai 1 di seluruh jendela dan 0 diluar jendela nilai tiap elemen jendela Gaussian di posisi (u, v)
,
posisi jendela di sumbu horisontal u dan sumbu vertikal v gradien intensitas piksel ke arah sumbu horisontal
xi
gradien intensitas piksel ke-m dengan arah sumbu horisontal gradien intensitas piksel ke arah sumbu vertikal gradien intensitas piksel ke-m dengan arah sumbu vertikal eigenvalue dari matriks M σ
standar deviasi distribusi Gaussian komponen (1,1) dari matriks M nilai intensitas piksel di arah sumbu horisontal i dan sumbu vertikal j
,
nilai blue dalam color space RGB komponen (2,2) dari matriks M keputusan titik p sebagai sudut komponen (1,2) dan (2,1) dari matriks M variasi intensitas citra yang tergeser ke arah (x,y)
,
nilai green dalam color space RGB I
citra bibir nilai intensitas piksel ke-m nilai intensitas piksel ke-n nilai intensitas titik p intensitas citra di posisi (u, v)
, ,
intensitas citra yang tergeser ke arah (1,0), (1,1), (0,1), atau (-1,1) matriks persamaan diferensial Harris Corner Detection nilai red dalam color space RGB nilai tanggapan detektor Harris citra gradien gabungan dari operator Sobel vertikal dengan Sobel horisontal matriks operator Sobel vertikal matriks operator Sobel horisontal nilai piksel hasil konversi citra RGB ke grayscale
xii
DAFTAR SINGKATAN
FAST
Features from Accelerated Segment Test
FP
False Positive
FN
False Negative
GUI
Graphical User Interface
HSI
Hue, Saturation, Intensity
RGB
Red, Green, Blue
TP
True Positive
TN
True Negative
xiii
