TRACKING GERAK TANGAN BERBASIS PYRAMIDAL LUCAS-KANADE Affan Mahtarami Game Technology NRP: 2207 205 753
Pendahuluan • Perkembangan teknologi menuntut teknik interaksi yang natural – Virtual reality, augmented reality, wearable computer
Pendahuluan • Teknik interaksi berbasis visi komputer adalah kandidat metode interaksi natural – Nonintrusiveness – Kaya informasi – Murah
Tujuan & Manfaat • Tujuan: melakukan tracking gerak tangan berbasis marker menggunakan algoritma Pyramidal Lucas-Kanade – Membandingkan berdasar warna marker (RGB) – Tracking dengan re-identifikasi corner
• Manfaat:Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi
Kajian Pustaka • Tracking ujung jari – Teknik korelasi menggunakan mask berbentuk lingkaran: Koike (Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004). – Teknik template matching: Crowley (Crowley, 1995), dan O’Hagan (O’Hagan, 1997). – Menggunakan local-maxima bentuk kurva dari batas-luar (boundary) silhuet tangan: Malik (Malik, 2004), Segen (Segen, 1998), dan O’Hagan (O’Hagan, 2002)
Kajian Pustaka • Penggunaan marker dalam tracking ujung jari: – Maggioni et al. (Maggioni, 1998) menggunakan marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D. – Usabiaga (Usabiaga, 2005) juga menggunakan marker berbentuk ellips namun dengan menggunakan pendekatan multi-kamera. – Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam
Skema Teknik Interaksi Berbasis Gestur
Optical Flow • Optical flow adalah perkiraan gerakan suatu bagian dari sebuah citra berdasarkan turunan intensitas cahayanya pada sebuah sekuen citra. – Seberapa jauh suatu piksel citra berpindah diantara dua frame citra yang berurutan.
Algoritma Lucas-Kanade • Algoritma Lucas-Kanade bekerja berdasar pada informasi lokal yang diturunkan dari window kecil (patch) disekeliling titik yang diperhitungkan. • Asumsi: – Konsistensi pencahayaan – Persistensi temporal – Koherensi spasial.
Algoritma Lucas-Kanade
Algoritma Lucas-Kanade
Pyramidal Lucas-Kanade
Metoda Penelitian tangan
kamera Pengambilan data Sotware video capture
Sekuen video
Identifikasi Corner Pengolahan data Tracking
Sekuen video Hasil tracking
Pengambilan Data • Marker berwarna merah, hijau, dan biru di posisikan pada ujung-ujung jari dan sebuah di pangkal telapak tangan • Tangan menghadap kamera
Pengolahan Data • Dibuat sistem dengan menggunakan software: – Bahasa pemrograman: C++ – Librari visi komputer :OpenCV – Lingkungan pengembangan: Dev-C++
Hasil & Pembahasan • Sekuen Video
1 23 45 67 89 111 133 155 177 199 221 243 265 287 309 331 353 375 397 419 441 463 485
7 7
6 6
5 5
4 4
3 3
2 2
1 1
0 0 1 27 53 79 105 131 157 183 209 235 261 287 313 339 365 391 417 443 469 495 521 547
1 22 43 64 85 106 127 148 169 190 211 232 253 274 295 316 337 358 379 400 421 442
Hasil & Pembahasan
• Identifikasi Corner
7
6
5
4
3
2
1
0
Hasil dan Pembahasan • Deteksi corner pada frame pertama tiap sekuen video
1 22 43 64 85 106 127 148 169 190 211 232 253 274 295 316 337 358 379 400 421 442 463 484
6 7
5 6
4
3
2
1 1
0 0 1 26 51 76 101 126 151 176 201 226 251 276 301 326 351 376 401 426 451 476 501 526 551
1 22 43 64 85 106 127 148 169 190 211 232 253 274 295 316 337 358 379 400 421 442
Hasil & Pembahasan
• Tracking 5
4
3
2
6
5
4
3
2
1
0
Hasil & Pembahasan • Rata-rata jumlah marker yang tepat dapat ditracking n
0
2
5
10
25
50
~
Marker Merah
5.680 5.651 5.727 5.644 5.592 5.338 4.314
Marker Hijau
5.638 5.627 5.584 5.501 5.178 5.119 4.023
Marker Biru
5.512 5.363 5.347 5.311 5.149 5.510 4.618 7,000 6,000 5,000 4,000
Marker Merah
3,000
Marker Hijau
2,000
Marker Biru
1,000 0,000 0
2
5
10
25
50
~
Hasil & Pembahasan • Peningkatan jumlah marker rata-rata yang berhasil ditracking oleh tracking dengan reidentifikasi corner terhadap tracking tanpa reidentifikasi corner n
0
2
5
10
25
50
rata2
Marker Merah
1.366
1.337
1.413
1.330
1.278
1.025
1.291
Marker Hijau
1.614
1.604
1.560
1.477
1.155
1.095
1.418
Marker Biru
0.894
0.745
0.729
0.693
0.530
0.892
0.747
jumlah
3.874
3.685
3.702
3.501
2.963
3.012
3.456
rata2
1.291
1.228
1.234
1.167
0.988
1.004
1.152
Kesimpulan • penggunaan proses re-identifikasi corner meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan terhadap tracking tanpa proses re-identifikasi corner – Rata-rata peningkatannya adalah 1,291 untuk marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru
Kesimpulan • Penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking ini tidak memiliki perbedaan hasil yang signifikan – Nilai selisih rata-rata jumlah marker yang berhasil ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595
