PENDETEKSI PERGERAKAN MANUSIA MENGGUNAKAN KAMERA KINECT DENGAN FITUR KEDALAMAN
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Oleh : Rezha Tri Atmaja 08560032
JURUSAN TEKNIK INFORMATIKA FAKULTAS TEKNIK UNIVERSITAS MUHAMMADIYAH MALANG
2013
LEMBAR PERSETUJUAN
PENDETEKSI PERGERAKAN MANUSIA MENGGUNAKAN KAMERA KINECT DENGAN FITUR KEDALAMAN
TUGAS AKHIR Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Malang, 31 Januari 2013 Menyetujui,
Dosen Pembimbing I
Dosen Pembimbing II
Eko Budi Cahyono, S.Kom, MT NIP. 108.9504.0330
Wahyu Andhyka Kusuma, S.Kom
LEMBAR PENGESAHAN
PENDETEKSI PERGERAKAN MANUSIA MENGGUNAKAN KAMERA KINECT DENGAN FITUR KEDALAMAN TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Disusun Oleh : REZHA TRI ATMAJA 08560032
Tugas Akhir ini telah diuji dan dinyatakan lulus melalui sidang tim penguji pada Tanggal 31 Januari 2013 Menyetujui, Penguji I
Penguji II
Hariyady, S.Kom, MT. NIP. 101.9406.0262
Hardianto Wibowo, S.Kom.
Mengetahui Ketua Jurusan Teknik Informatika
Eko Budi Cahyono, S.Kom, MT NIP. 108.9504.0330
LEMBAR PERNYATAAN
Yang bertanda tangan di bawah ini: Nama
: Rezha Tri Atmaja
Tempat / Tgl Lahir
: Kuala Kapuas / 11 Desember 1990
NIM
:08560032
Fakulats / Jurusan
: Teknik / Teknik Informatika
Dengan ini saya menyatakan bahwa Tugas Akhir dengan judul “PENDETEKSI PERGERAKAN
MANUSIA
MENGGUNAKAN
KAMERA
KINECT
DENGAN FITUR KEDALAMAN” beserta seluruh isinya adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun keseluruhan, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya.
Demikian surat pernyataan ini saya buat dengan sebenar-benarnya. Apabila kemudian ditemukan adanya pelanggaran terhadap etika keilmuan dalam karya saya ini, atau ada klaim dari pihak lain terhadap keaslian karya saya ini maka saya siap menanggung segala bentuk resiko/sanksi yang berlaku.
Malang, Januari 2013 Yang Membuat Pernyataan
Rezha Tri Atmaja
ABSTRAKSI
Pendeteksi pergerakan manusia sangat erat hubungannya dengan ilmu teknologi bidang visi komputer yang mempunyai kemampuan untuk melihat dan mengenali suatu citra. Dimana teknologi ini dapat digunakan sebagai kamera pengawasan untuk peningkatan keamananan dari tempat yang tidak berpenjaga. Proses pendeteksian manusia menggunakan visi komputer bertujuan melakukan pengenalan dan menangkap informasi dari suatu lingkungan yang diawasi oleh kamera serta melakukan pengamatan aktivitas pada objek yang bergerak. Proses pendeteksian pergerakan manusia tersebut menggunakan kamera dan data kedalaman yang didapatkan dari kinect sensor. Jika terdapat beberapa aktifitas dari pergerakkan manusia maka akan terjadi pemisahan gerakkan tersebut dengan latar belakangnya, dengan mengubah gambar dari citra RGB menjadi citra keabuaan dan diperhalus dengan citra biner. Proses analisa pergerakkan aktivitas berupa pelacakan terhadap objek dengan melalui beberapa tahap yaitu pemisahan antara objek dan lingkungan sekitarnya dengan menggunakan metode, background substraction, thresholding dan melakukan tracking untuk melacak keberadaan serta aktivitas pergerakkan objek yang digambarkan pada peta tracking. Setelah melalui pengerjaan terhadap pendeteksian pergerakkan manusia melalui software Visual Studio 2010, dan beberapa library pendukung yang terdapat pada OpenNI dan OpenCV, maka dapat disimpulkan pada saat dilakukan pengujian pada lintasan 1, didapatkan nilai akurasinya sebesar 71% dari 56 titik , dimana 40 titik yang sesuai, dan 16 titik yang tidak sesuai, dan pengujian pada lintasan 2, didapatkan nilai akurasinya sebesar 73% dari 56 titik , dimana 41 titik yang sesuai, dan 15 titik yang tidak sesuai.
keyword: Computer Vision, Human Detection, Kinect Sensor.
i
ABSTRACT
Detection of human movement science is closely related to the field of computer vision technology has the ability to see and recognize the image. Where this technology can be used as a surveillance camera for the improvement of the place's security is not monitored. The process of human detection using computer vision and recognition aims to capture information from the environment monitored by the cameras as well as observing the activity on a moving object. The process of detection of human movement using a camera and depth data obtained from the kinect sensor. If there are multiple activities of human movement there will be a separate motion with the background, by changing the image of the RGB image into a gray image and refined with binary image. The process of analysis such activity tracking movement of objects through multiple stages of separation between an object and its surroundings by using the method, background subtraction, thresholding and perform tracking to track the object movement and activities depicted on the map tracking. After working through the detection of human movement through software Visual Studio 2010, and several supporting libraries contained in the OpenNI and OpenCV, it can be concluded at the time of testing on track 1, a score of 71% accuracy from 56 point, 40 point corresponding , and 16 points were not appropriate, and testing on track 2, a score of 73% accuracy of 56 points, where 41 points were appropriate, and 15 points were not appropriate. keyword: Computer Vision, Human Detection, Kinect Sensor.
ii
LEMBAR PERSEMBAHAN
Puji syukur atas kehadiran ALLAH SWT karena atas rahmat, dan berkah, dan karunia-Nyalah penulis dapat menyelesaikan tugas akhir ini. Tak lupa pula shalawat dan salam penulis panjatkan kepada Nabi akhir zaman Muhammad S.A.W, karena berkat perjuangannyalah karunia Iman dan Islam senantiasa menjadi inspirasi bagi penulis. Oleh karenanya, pada kesempatan ini penulis ingin mengucapkan banyak terima kasih kepada : 1. Allah SWT, Dzat yang Maha Mengetahui, Maha Karya, yang tiada henti melimpahkan rahmat dan karunia-Nya kepada manusia. Subhanallah. 2. Rasulullah SAW, yang telah membimbing manusia dari zaman yang gelap gulita kezaman yang terang benderang. 3. Kedua orang tua saya yang selalu mendukung saya serta tidak henti-hentinya mendoakan saya, memotivasi dan kasih sayang yang tulus sehingga saya dapat menyelesaikan pendidikan sampai saat ini. 4. Istri dan anak saya tercinta yang tiada hari selalu memberikan energi, semangat, motivasi dan kasih sayang. 5. Kedua kakakku yang tercinta, dan segenap keluarga yang memberikan do’a, dukungan. 6. Dosen pembimbing saya, Bapak Eko Budi Cahyono, S.Kom.MT, dan Bapak Wahyu Andhyka Kusuma, S.Kom, yang telah membimbing dan mengarahkan sehingga terselesaikannya Tugas Akhir ini. 7. Teman-teman Teknik Informatika angkatan 2008 khususnya sahabat yang juga selalu mendukung saya, Putera, Ihya, Yudy, Mitha, Faryd, Mirza, Alif, Are, Reza, yang menjadi tempat untuk berbagi ilmu dan Terima kasih atas kerjasama, kekompakan dan kebersamaannya. 8. Kepada teman – teman kost Tirto Rahayu 11 terima kasih banyak atas motivasi dan doanya serta kebersamaannya dalam keseharian. 9. Dan semua pihak yang masih banyak dan tidak bisa disebutkan semuanya, semoga Allah S.W.T membalas dengan kebaikan yang berlipat.
iii
KATA PENGANTAR
Dengan mengucap puji dan syukur kehadirat Allah SWT atas limpahan rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan dengan baik tugas akhir yang berjudul:
“PENDETEKSI PERGERAKAN MANUSIA MENGGUNAKAN
KAMERA KINECT DENGAN FITUR KEDALAMAN” Pada penelitian tugas akhir ini, dilakukan analisa dan pengujian tentang pendeteksi
pergerakan
manusia
menggunakan
kamera
kinect
dengan
memanfaatkan kamera sensor yang mampu menghasilkan gambar kedalaman, dengan menggunakan library openNI dan openCV yang diterapakan pada Visual Studio 2010. Kemudian akan dilakukan analisa dan pengujian terhadap kedua jenis lintasan path yang berbeda didalam peta tracking , sehingga akan diperoleh nilai akurasinya. Penulis menyadari dengan sepenuhnya bahwa penelitian ini masih jauh dari kesempurnaan oleh sebab itu penulis mengharapkan masukan berupa saran maupun kritikan yang membangun untuk hasil penelitian yang lebih baik.
Malang, Januari 2013
Penulis
iv
DAFTAR ISI ABSTRAKSI .................................................................................................
i
ABSTRACT ...................................................................................................
ii
LEMBAR PERSEMBAHAN ..........................................................................
iii
KATA PENGANTAR ....................................................................................
iv
DAFTAR ISI ..................................................................................................
v
DAFTAR GAMBAR ......................................................................................
ix
DAFTAR TABEL ..........................................................................................
xi
BAB I PENDAHULUAN 1.1 Latar Belakang ..................................................................................
1
1.2 Rumusan Masalah .............................................................................
2
1.3 Tujuan Penelitian ..............................................................................
2
1.4 Batasan Masalah ...............................................................................
2
1.5 Metodologi Penyelesaian Masalah.....................................................
3
1.6 Sistematika Penulisan ........................................................................
4
BAB II LANDASAN TEORI 2.1. Visi Komputer .................................................................................
5
2.2. Citra .................................................................................................
6
2.2.1. Citra Digital .............................................................................
7
2.2.2. Citra RGB................................................................................
7
2.2.3. Citra Grayscale ........................................................................
8
2.2.4. Citra Biner ...............................................................................
9
2.3. Motion Capture ............................................................................
9
2.4. Background Substraction.............................................................. 10
v
2.5. Thresholding ................................................................................ 11 2.6. Tracking ....................................................................................... 11 2.7. Kinect ........................................................................................... 12 2.7.1. Komponen Kinect .................................................................... 13 2.7.1.1. Kamera RGB .................................................................. 13 2.7.1.2. Kamera Inframerah ......................................................... 13 2.7.1.3. Cara Kerja Kamera Kedalaman ....................................... 14 2.7.2. Jarak Ideal Sensor Kinect ......................................................... 14 2.8. OpenNI ........................................................................................ 15 2.9. OpenCV ....................................................................................... 17 2.10. Microsoft Visual Studio 2010........................................................ 19 BAB III ANALISA DAN PERANCANGAN SISTEM 3.1. Analisa Sistem.................................................................................. 20 3.2. Perancangan Sistem .......................................................................... 21 3.2.1. Manusia Sebagai Objek Yang Digunakan ................................. 21 3.2.2. Arsitektur Sistem...................................................................... 22 3.2.3. Flowchart Sistem ..................................................................... 23 3.2.4. Perancangan Lintasan Path ...................................................... 24 3.2.4.1. Lintasan Path Pengujian 1 Pada Ruangan ........................ 24 3.2.4.2. Lintasan Path Pengujian 1 Pada Peta Tracking ................ 26 3.2.4.3. Lintasan Path Pengujian 2 Pada Ruangan ........................ 26 3.2.4.4. Lintasan Path Pengujian 2 Pada Peta Tracking ................ 27 3.3. Perancangan Pengujian .................................................................... 27 3.4. Confusion Matrix.............................................................................. 27
vi
BAB IV IMPLEMENTASI DAN PENGUJIAN 4.1. Implementasi Sistem ........................................................................ 30 4.1.1. Konfigurasi Library OpenNI dan OpenCV ............................... 30 4.1.2. Implementasi Kode Program .................................................... 32 4.1.2.1.Menampilkan Gambar Kinect ............................................ 32 4.1.2.2.Menampilkan Citra RGB.................................................... 33 4.1.2.3.Menampilkan Citra Kedalaman .......................................... 33 4.1.2.4.Menampilkan Citra Biner ................................................... 34 4.1.2.5.Menampilkan Peta dan Lintasan Tracking .......................... 35 4.2. Pengujian Sistem dan Analisa .......................................................... 37 4.2.1. Skenario Pengujian .................................................................. 37 4.2.2. Pengujian Sistem ..................................................................... 37 4.2.3. Hasil Pengujian Lintasan Tracking Pertama ............................. 38 4.2.3.1. Hasil Perbandingan Actual dan Predicted .......................... 39 4.2.3.2. Perhitungan Confusion Matrix........................................... 41 4.2.3.3. Nilai Accuracy (AC) .......................................................... 42 4.2.3.4. Recall atau True Positive Rate (TP) ................................... 42 4.2.3.5. False Positive Rate (FP) ................................................... 42 4.2.3.6. True Negative Rate (TN) ................................................... 42 4.2.3.7. False Negative Rate (FN) .................................................. 42 4.2.3.8. Precion (P) ....................................................................... 42 4.2.4. Hasil Pengujian Lintasan Tracking Kedua ................................ 43 4.2.4.1. Hasil Perbandingan Actual dan Predicted .......................... 44 4.2.4.2. Perhitungan Confusion Matrix........................................... 46
vii
4.2.4.3. Nilai Accuracy (AC) .......................................................... 46 4.2.4.4. Recall atau True Positive Rate (TP) ................................... 46 4.2.4.5. False Positive Rate (FP) ................................................... 47 4.2.4.6. True Negative Rate (TN) ................................................... 47 4.2.4.7. False Negative Rate (FN) .................................................. 47 4.2.4.8. Precion (P) ....................................................................... 47
BAB V KESIMPULAN DAN SARAN 5.1 Kesimpulan ..................................................................................... 48 5.2 Saran .............................................................................................. 49 DAFTAR PUSTAKA ..................................................................................... 51 LAMPIRAN HASIL PENGUJIAN ................................................................. 53
viii
DAFTAR GAMBAR Gambar 2.1 Citra RGB....................................................................................
8
Gambar 2.2 Citra Grayscale ............................................................................
9
Gambar 2.3 Citra Biner ...................................................................................
9
Gambar 2.4 Kamera Kinect ............................................................................. 12 Gambar 2.5 Komponen Kinect ........................................................................ 13 Gambar 2.6 Jarak Ideal Sensor Kinect ............................................................. 15 Gambar 2.7 Struktur OpenNI .......................................................................... 17 Gambar 2.8 Struktur Dasar OpenCV ............................................................... 18 Gambar 3.1 Arsitektur Sistem ......................................................................... 22 Gambar 3.2 Flowchart Pendeteksian Pergerakkan Manusia ............................ 23 Gambar 3.3 Lintasan Path Pengujian 1 Pada Ruangan..................................... 24 Gambar 3.4 Lintasan Path Pengujian 1 Pada Sistem ........................................ 25 Gambar 3.5 Lintasan Path Pengujian 2 Pada Ruangan..................................... 26 Gambar 3.6 Lintasan Path Pengujian 2 Pada Sistem........................................ 27 Gambar 4.1 Konfigurasi Kinect....................................................................... 30 Gambar 4.2 Pengaturan Include OpenNI dan Include OpenCV ........................ 31 Gambar 4.3 Pengaturan Lib OpenNI dan Lib OpenCV ..................................... 31 Gambar 4.4 Input fungsi library ...................................................................... 32 Gambar 4.5 Citra RGB.................................................................................... 33 Gambar 4.6 Citra Grayscale ............................................................................ 33 Gambar 4.7 Citra Biner ................................................................................... 34 Gambar 4.8 Peta dan Lintasan Path Tracking Pertama .................................... 35 Gambar 4.9 Peta Tracking dan Lintasan Path Tracking Kedua ........................ 36
ix
Gambar 4.10 Proses Pengujian ........................................................................ 38 Gambar 4.11 Hasil Pengujian Lintasan Path Pertama ...................................... 38 Gambar 4.12 Titik Pengujian Pertama Sesuai Dengan Lintasan Path Sebenarnya ........................................................................ 39 Gambar 4.13 Titik Pengujian Pertama Tidak Sesuai Dengan Lintasan Path Sebenarnya. ....................................................................... 39 Gambar 4.14 Hasil Pengujian Lintasan Path Kedua ........................................ 43 Gambar 4.15 Titik Pengujian Kedua Sesuai Dengan Lintasan Path Sebenarnya ........................................................................ 43 Gambar 4.16 Titik Pengujian Kedua Tidak Sesuai Dengan Lintasan Path Sebenarnya ........................................................................ 44
x
DAFTAR TABEL Tabel 3.1 Confusion Matrix............................................................................. 28 Tabel 4.1 Perbandingan Actual dan Predicted Pengujian 1 .............................. 39 Tabel 4.2 Confusion Matrix Pengujian 1 ......................................................... 41 Tabel 4.3 Perbandingan Actual dan Predicted Pengujian 2 .............................. 44 Tabel 4.4 Confusion Matrix Pengujian 2 ......................................................... 46
xi
DAFTAR PUSTAKA Ahmad, 2005. Pengolahan Citra Digital dan Teknik Pemrogramanya. Jakarta : Graha Ilmu. Anonymous, 2011. Pengetahuan Dasar CCTV. http://www.carakerjakamera.com. (diakses tanggal 9 September 2012) Banerjee, Prithviraj & Sengupta S. Human Motion Detection and Tracking for Video Surveillance. Departement of Electronics and Electrical Communication Engineering, IIT Kharagpur. Bradski, Gary & Kaebler, Adrian. 2008. Learning OpenCV: Computer Vision with the OpenCV Library. O'reilly. Fahmi, 2007. Perancangan Algoritma Pengolahan Citra Mata Iris Sebagai Bentuk Antara Sistem Biometrik, Departemen Teknik Elektro, Medan. Fairhurst, M.C. 1988. Computer Vision for Robotic System : An Introduction by Michael Fairhurst. Prentice Hall Inc, U.K. Gonzales, D, dkk. 2002. Digital Image Processing. Prentice Hall Inc, U.K. Hesthiningsih, Idhawati. 2008. Pengolahan Citra. Irianto, K.D. 2010. Pendeteksi Gerak Berbasis Kamera Menggunakan OpenCV Pada Ruangan. Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta. Kar, Abhishek. Skeletal Tracking using Microsoft Kinect. Department of Computer Science and Engineering, IIT Kanpur. Kean, Sean, dkk. Meet the Kinect: An Introduction to Programming Natural User Interfaces. Apress. Kramer, Jeff, dkk. Hacking the Kinect. Apress. McIvor, A.M. Background Subtraction Techniqes. Reveal Ltd PO Box 128-221, Remuera, Auckland, New Zealand. Meer, Peter. 2004. Robust Techniques for Computer Vision. Electrical and Computer Engineering Department Rutgers University. Dwiwulan, Nita. 2007. Software Testing Untuk Motion Capute Yang di Terapkan pada Tari Pendet. Tekniki Elektro Institut Teknik Sepuluh November Surabaya.
Plagemann, Christian. Real-time Identification and Localization of Body Parts from Depth Images. Artificial Intelligence Laboratory, Stanford University, Stanford, CA 94305, USA. Piccardi, Massimo. Background Substraction Techniques : A Review. Computer Vision Research Group (CVRG) University of Technology, Sydney. Pratama, Ispanji. 2011. Penangkap Gerak Dua Dimensi untuk Dongeng Interaktif. Sumpena, S. 2007. Kinect Body Tracking. http://www.students.netindonesia.net. (diakses tanggal 9 September 2012) Shapiro, L.G & Stockman, G.C. 2001. Computer Vision. Prentice Hall, ISBN. Shotton, J, dkk. 2011. Real-Time Human Pose Recognition in Parts From Single Depth Images. Microsoft Research Cambridge & Xbox Incubation. Smisek, Jan. 3D with Kinect. CMP, Dept. of Cybernetics, FEE, Czech Technical University in Prague. Stiefelhagen, Dirk Focken R. Towards Vision-based 3-D People Tracking in a Smart Room. Interactive Systems Laboratories Universit¨at Karlsruhe (TH), Germany. Wahyu, R. B. & Widyanto, Toto. 2008. Deteksi Gerakan Manusia Dengan Metode Phase Only Correlation. Risalah Lokakarya Komputasi dalam Sains dan Teknologi Nuklir. Webb, Jarrett & Ashley, James. Begining Kinect Programming with the Microsoft Kinect SDK. Apress. Xia, Lu, dkk. Human Detection Using Depth Information by Kinect. The University of Texas at Austin, Department of Electrical and Computer Engineering. Zhou, Jianpeng & Hoang, Jack. Real Time Robust Human Detection and Tracking System. I3DVR International Inc. 780 Birchmount Road, Unit 16, Scarborough, Ontario, Canada.
