PERANCANGAN PROGRAM APLIKASI PEMBELAJARAN BAHASA ISYARAT DENGAN METODE DYNAMIC TIME WARPING ABSTRACT

PERANCANGAN PROGRAM APLIKASI PEMBELAJARAN BAHASA ISYARAT DENGAN METODE DYNAMIC TIME WARPING   Samuel Mahatmaputra Tedjojuwono ,S.Kom.,M.Info.Tec.;Willy Yudithya; AlexanderAgung Santoso  Gunawan, .Si.,M.T.,M.Sc   

ABSTRACT In everyday life, humans communicate directly with the use of verbal language, but not everyone is able to communicate verbally. One example of them were people with hearing and speech impaired. They have their own way of communicating is by using the language. But in reality, not everyone can understand the intent and meaning of the sign language that was exhibited by them. The main thing of this problem is the lack of learning about sign language given to them. The purpose of this thesis is to create a program that can provide learning about sign language. The workings of this program is to mengabungkan kinect sensor hardware technology and methods of dynamic time warping in the identification process of applying the pattern gerakan.Teknologi kinect sensor feature depth sensor used to identify and track the human body while the method of dynamic time warping is used to recognize the movement patterns of sign language. Keyword : learning sign language, movement patterns, kinect sensor, dynamic time warping, depth sensor.

ABSTRAK Dalam kehidupan sehari-hari, manusia berkomunikasi secara langsung dengan menggunakan bahasa verbal, namun tidak semua orang dapat berkomunikasi secara verbal. Salah satu contoh dari mereka adalah para penderita tuna rungu dan tuna wicara. Mereka memiliki cara berkomunikasi sendiri yaitu dengan menggunakan bahasa. Tetapi pada kenyataan, tidak semua orang dapat mengerti maksud dan arti dari bahasa isyarat yang diperagakan oleh mereka. Hal utama dari masalah ini adalah kurangnya pembelajaran tentang bahasa isyarat yang diberikan kepada mereka. Tujuan dari skripsi ini adalah untuk membuat suatu program yang dapat memberikan pembelajaran tentang bahasa isyarat. Cara kerja program ini adalah dengan mengabungkan teknologi perangkat keras sensor kinect dan metode dynamic time warping dalam proses identifikasi pola gerakan.Teknologi sensor kinect menerapakan fitur depth sensor yang digunakan untuk mengenali dan melacak tubuh manusia sedangkan metode dynamic time warping digunakan untuk mengenali pola gerakan bahasa isyarat.

Kata kunci : pembelajaran bahasa isyarat, pola gerakan, sensor kinect, dynamic time warping, depth sensor.  

PENDAHULUAN Manusia berinteraksi satu sama lain melalui komunikasi dalam bentuk bahasa. Komunikasi tersebut terjadi baik secara verbal maupun non verbal. Komunikasi secara verbal artinya komunikasi yang menggunakan kata-kata sedangkan komunikasi non verbal yaitu menyampaikan arti (pesan) yang meliputi ketidakhadiran simbol - simbol suara atau perwujudan suara (Mulyana, 2005). Dalam kehidupan sehari-hari, manusia berkomunikasi secara langsung dengan menggunakan bahasa verbal. Namun tidak semua manusia dapat melakukan komunikasi secara verbal. Beberapa dari mereka memiliki kendala dalam hal berkomunikasi secara verbal, contohnya saja penderita tuna rungu dan tuna wicara. Para penderita tuna rungu dan tuna wicara memiliki cara berkomunikasi sendiri tanpa menggunakan bahasa verbal yaitu dengan berkomunikasi bahasa isyarat. Dalam penggunaan bahasa isyarat, bahasa isyarat tidak memiliki ruang lingkup yang besar, seperti bahasa verbal. Dimana tidak banyak orang yang dapat mengenali atau mengerti bahasa isyarat yang di sampaikan lawan bicaranya. Pada tahun 2010, Microsoft meluncurkan teknologi baru berupa pekerangkat keras sensor kinect. Pada awalnya teknologi tersebut ditujukan kepada pemain game console XBox 360 yang dapat mendeteksi tubuh pemain sehingga pemain dapat bermain tanpa menggunakan controller. Penemuan teknologi sensor kinect, secara tidak langsung merupakan suatu perkembangan untuk teknologi pengenalan bahasa isyarat, karena dengan bantuan sensor kinect, pendeteksian seluruh tubuh akan lebih akurat.   

PEMBAHASAN Metode Dynamic Time Warping 

Metode dynamic time warping (DTW) pertama kali diperkenalkan pada tahun 1960an oleh (R. Bellman, 1959), dan di eksplorasi secara luas pada tahun 1970-an untuk aplikasi pengenalan suara oleh (C. Myers, 1980). Saat ini, metode dynamic time warping sudah diterapkan dalam berbagai bidang, diantaranya: handwriting dan online signature matching oleh (C. C. Tappert, 1990), computer vision dan computer animation oleh (Muller, 2007), protein sequence alignment dan chemical engineering oleh (J. Vial, 2008), dan lain – lain (Senin, 2008, p. 3). Menurut (Sakoe dan Chiba 1978), dynamic time warping (DTW) adalah metode untuk menghitung kesamaan antara dua deret waktu (time series) yang mungkin berbeda dalam waktu dan kecepatan (BlazStrle, 2003). Contohnya, dalam kasus mendeteksi kesamaan pola gerakan berjalan, dimana data yang pertama menunjukan seseorang berjalan secara perlahan-lahan dan data lainnya menunjukan seseorang tersebut berjalan lebih cepat.

Misalkan

terdapat dua deret waktu yaitu , dalam bentuk grafik seperti pada gambar 1.

dan

Gambar 1 Grafik perbandingan nilai X dan Y (Senin, 2008) Pada gambar diatas, terdapat dua grafik yang menunjukan dua deret waktu. Dua deret waktu tersebut memiliki pola yang sama, namun letak posisi yang berbeda. Hal tersebut terjadi karena, adanya perbedaan selang waktu antara dan . Permasalahannya adalah bagaimana mengindentifikasi kedua deret tersebut dapat dianggap sama walaupun memiliki dua rentang waktu yang berbeda. Dengan metode dynamic time waping, masalah diatas dapat dipecahkan. Konsep dari dynamic time warping itu sendiri adalah membandingkan optimal path warping. Dimana optimal path warping adalah jalur dengan cost terpendek dari selisih perbandingan X dan Y.

(a) (b) Gambar 2 Perbandingan X dan Y dengan kasus yang berbeda (a) input sama dengan reference (b) input tidak sama dengan reference Pada gambar 2 (a), input dan reference sama sehingga optimal path warping berbentuk diagonal lurus berhimpitan dengan diagonal X=Y. Sedangkan pada gambar 2(b), input dan reference berbeda, sehingga terjadi beberapa warping pada optimal path warpingnya. Dari perbandingan tersebut dapat dilihat bahwa untuk input dan reference yang sama, cost optimal path warpingnya akan lebih kecil dari pada cost optimal path warping yang memiliki input dan reference yang berbeda. Jika semakin kecil selisih perbandingan optimal path warpingnya, maka dapat disimpulkan bahwa pada gambar 2(b), input dan referencenya juga akan mirip. Dalam mencari optimal path warping itu sendiri, dibutuhkan kriteria-kriteria tertentu. Berikut algoritma dan kriteria yang diuraikan oleh (Senin, 2008) untuk menghitung optimal path warping: 1. Menentukan matriks cost Metode ini, diawali dengan menentukan matriks cost yang memiliki dimensi . Matriks cost adalah matriks yang merepresentasikan selisih dari Himpunan X c dan Y. Masing-masing elemen matriks dapat dihitung dengan persamaan berikut :

Dimana :

(1)

Nilai dari cost setiap matriksnya, digunakan untuk mencari jalur dengan cost terendah dari kolom pertama sampai kolom terakhir. 2.

Menentukan optimal warping path

Setelah matriks cost terbentuk, algoritma ini akan mencari jalur warping dengan cost terendah dengan dan seperti pada gambar 3.

Gambar 3 Optimal path warping dari dua deret waktu X dan Y (Senin, 2008) Dengan Jalur warping yang akan dicari harus memenuhi kriteria-kriteria sebagai berikut: a. Boundary condition: dan . Awal dan akhir jalur harus merupakan titik awal dan titik akhir dari deret waktu. (2) b. Monotonicity condition: dan . kondisi ini akan mempertahankan deret urutan waktu. (3) c. Step size condition: membatasi pergeseraan path/jalur yang terlalu jauh. (4) 3.

Menentukan matriks DTW

Berdasarkan definisi dari optimal warping path dalam pencarian jalur dengan matriks cost, diperlukan pengujian ke setiap jalur antara dan . Hal ini tentu saja tidak efisien, karena kemungkinan jalur yang berpotensi untuk dilewati juga akan semakin banyak seiring dengan panjang deret waktu dan . Untuk mangatasi masalah diatas, digunakan dynamic programming sebagai optimasi pencarian jalur dengan cepat. Menurut (Levitin, 2006) dynamic programming adalah sebuah teknik untuk menyelesaikan masalah dengan cara membagi masalah dalam beberapa sub masalah (stage) sehingga solusi dari masalah dapat dipandang dari sekerangkaian keputusan yang saling berkaitan. Dalam kasus ini dilakukan perhitungan untuk total cost setiap pencarian jalur yang mungkin dilewati (stage). Semua jalur yang telah dilewati diakumulasi terlebih dahulu. Matriks akumulasi yang akan digunakan didefinisikan sebagai berikut:

Dimana perhitungan akumulasi untuk matriks DTW adalah sebagai berikut: a. Baris pertama: b. Kolom pertama: c. Semua elemen

matriks:

4.

Menentukan cost optimal warping path Setelah menghitung matriks DTW, maka untuk menentukan total dari cost jarak yang melewati jalur warping dapat menggunakan persamaan berikut: (6) Dengan cost dari optimal warping path adalah cost akumulasi minimum pada kolom terakhir. Menurut (Senin, 2008) perlu dilakukan modifikasi algoritma dynamic time warping untuk meningkatkan kualitas kinerja dan penyesuaian sensitivitas algoritma dasar metode dari dynamic time warping. Analisis Pengenalan Gerakan dengan Metode Dynamic Time Warping Pola gerakan yang biasanya diperoleh, memiliki deret waktu yang berbeda dengan data perbandingan (reference). Ini dikarenakan dalam melakukan suatu pola gerakan, manusia biasanya mengabaikan deret waktu dan hanya berfokus pada pola gerakannya saja. Oleh karena itu gerakan yang telah dilakukan bisa saja lebih cepat atau lebih lambat dari gerakan reference. Agar program dapat mengenali pola gerakan merupakan pola gerakan yang sama meski waktu operasi pola gerakan tersebut berbeda, digunakanlah metode dynamic time warping untuk mengatasi masalah terhadap perbedaan deret waktu tersebut. Dalam proses pengenalan program ini, pertama-tama program akan membaca file yang berisikan nama gerakan dan deret 32 frame. Setiap frame memiliki data 6 titik sendi dengan koordinat (x,y). Data-data tersebut akan digunakan sebagai data perbandingan (reference). Input diperoleh dari streaming video secara langsung dengan sensor kinect. Deret frame yang didapat disusun (scene reconstruction) secara berurutan. Ketika streaming video dilakukan, frame - frame yang diperoleh akan digunakan sebagai input. Deret frame tersebut akan disimpan kedalam sebuah array dengan maximum data sebanyak 32 frame. Data yang ditampung tersebut bersifat FIFO (first in first out). Dimana ketika jumlah frame yang disimpan telah melebih 32 frame, maka frame dengan urutan pertama akan di remove. Hal ini bertujuan agar pengenalan pola dapat dilakukan secara realtime. Ilustrasi data input tersebut dapat dilihat pada gambar 4.

Array  

Input   … 

[0] 

[1] 

[2] 

[3]

…

[31]

[0] 

[1]

[2]

[3]

… 

[31] 

Gambar 1 Ilustrasi input frame untuk program Pada program ini, metode dynamic time warping akan membandingkan dua urutan pola gerakan yaitu: A=[ , …, ], , …, ] B=[ Dimana A adalah pola gerakan user yang ditangkap sensor kinect dan dijadikan sebagai input dalam program dan B adalah pola gerakan yang digunakan sebagai data pembanding (reference) dengan pola gerakan input. Variabel ,…, dan , …, adalah urutan frame dari pola gerakan yang masing-masing memiliki 6 himpunan nilai koordinat (x,y).

Setelah mengindentifikasi dua pola gerakan yang ingin dibandingkan, tahap berikutnya adalah melakukan perhitungan matriks cost dengan setiap elemennya dihitung dengan persamaan berikut:

Berdasarkan pada dasar teori di bab 2 halaman 11 tentang metode dynamic time warping, algoritma yang digagaskan oleh (Senin, 2008) dalam menentukan matriks DTW dapat disusun sebagai berikut: Algoritma Matriks cost DTW 1: n ← |A| // n diisi dengan banyaknya himpunan input 2: m ← |B | // m diisi dengan banyaknya himpunan reference 3: dtw[] ← new [n × m] // membuat matriks dengan dimensi (n,m) 4: dtw(0, 0) ← 0 // membuat Boundary condition seperti pada persamaan (2) 5: for i = 1; i ≤ n; i + + do // perulangan untuk memenuhi persamaan (5) tahap 1 6: dtw(i, 1) ← dtw(i − 1, 1) + c(i, 1) // baris pertama dihitung akumulasi cost 7: end for 8: for j = 1; j ≤ m; j + + do // perulangan untuk memenuhi persamaan (5) tahap 2 9: dtw(1, j) ← dtw(1, j − 1) + c(1, j) // kolom pertama dihitung akumulasi cost 10: end for 11: for i = 1; i ≤ n; i + + do

12: for j = 1; j ≤ m; j + + do // perulangan untuk memenuhi persamaan (5) tahap 3 13: dtw(i, j) ← c(i, j)+min {dtw(i − 1, j); dtw(i, j − 1); dtw(i − 1, j − 1)} // semua elemen lainnya dihitung akumulasi cost 14: end for 15: end for 16: return dtw // return matriks dtw Namun untuk kasus gesture recognition dengan sensor kinect, (Steve, 2011) mengagaskan metode dynamic time warping yang dimodifikasi dengan step function (slope constraint). Modifikasi tersebut bertujuan untuk meningkatkan sensitivitas pengenalan pola. Berikut adalah pembahasaan metode dynamic time warping yang telah dimodifikasi oleh (Steve, 2011) : Pada awalnya deret frame pada pola gerakan input dan reference akan di reverse. Hal ini bertujuan untuk mendeteksi terlebih dahulu selisih jarak kondisi akhir dari pola gerakan, sehingga lebih cepat mengidentifikasi pola gerakan yang dilakukan oleh user. Nilai dari A dan B setelah di reverse dapat dilihat pada persamaan dibawah berikut: ] A=[ B=[ ] Setelah melakukan tahapan diatas, dibuat tiga matriks yaitu matriks DTW , matriks slopeN , dan matriks slopeM . Matriks DTW digunakan sebagai matriks bobot akumulasi cost, sedangkan matriks slopeN dan slopeM digunakan untuk mengidentifikasi arah jalur yang telah dilewati. adalah positif tak hingga, Nilai awal semua elemen pada matriks DTW kecuali elemen pada matriks DTW (0,0) bernilai 0. Sedangkan nilai awal pada semua elemen matriks slopeN dan slopeM adalah 0.

slope-N

slope-M Setelah menentukan matriks awal, langkah berikut adalah menghitung nilai baru untuk matriks DTW dengan algortima berikut: Algoritma perhitungan nilai matriks DTW dengan slope constrain 1: // n diisi dengan banyaknya himpunan input 2: // m diisi dengan banyaknya himpunan input 3: dtw [] // membuat matriks dtw dengan dimensi 4: slopeN [] // membuat matriks slopeN dengan dimensi 5: slopeM [] // membuat matriks slopeM dengan dimensi 6: for do

7: 8:

for j

do

//inisialisasi matriks awal 9: end for 10: end for 11: dtw // membuat Boundary condition seperti pada persamaan (2) 11: for do 12: for j do 13: if dtw(i,j−1) < dtw(i−1,j−1) & dtw(i,j−1) < dtw(i−1,j) & slopeN(i,j−1)<maxslope then //kondisi jalur (i,j−1) memiliki cost terendah dari jalur yang lainnya serta jalur belum (i,j−1) masih bisa dilalui. 14 : (i, j) c(i – 1, j –1) + (i, j – 1) //jalur cost melewati (i,j−1) 15: slopeN(i, j) slopeN(i, j – 1) + 1 // penanda jalur (i,j−1) telah dilalui 16: slopeM(i, j) ) 0 // penanda jalur (i,j−1) di reset 17: elseif dtw(i−1,j) < dtw(i−1,j−1) & dtw(i−1,j) < dtw(i,j−1) & slopeN(i,j−1)<maxslope then //kondisi jalur (i−1,j) memiliki cost terendah dari jalur yang lainnya serta jalur belum (i−1,j) masih bisa dilalui. 18: (i, j) c(i – 1, j–1) + (i-1, j) //jalur cost melewati (i−1,j) 19: slopeN(i, j) 0 // penanda jalur (i,j−1) di reset 20: slopeM(i, j) ) slopeM(i– 1, j) + 1// penanda (i– 1,j) telah dilalui 21: else 22: (i, j) c(i – 1,j–1)) + (i-1, j-1) //jalur cost melewati (i−1,j−1) 23: slopeN(i, j) 0 // penanda jalur (i,j−1) di reset 24: slopeM(i, j) ) 0 // penanda jalur (i,j−1) di reset 25: end if 26: end for 27: end for 28: return dtw // return matriks akumulasi DTW Setelah melakukan perhitungan matriks DTW, untuk mencari cost dari optimal warping path digunakan persamaan berikut: Berikut adalah algoritma pencarian dari optimal path warping Algoritma perhitungan DTW 1: 2: 3: 4: for 5: 6:

// n diisi dengan banyaknya himpunan input // m diisi dengan banyaknya himpunan reference do if ( (i, m) < ) then = [i, m] // mencari cost optimal warping path

7: endif 8: end for 9: / m //menghitung rata-rata cost 10: return cost cost yang didapat akan dibandingkan dengan nilai toleransi (threshold) yang sudah ditentukan. Jika cost masih dalam batas toleransi, maka gerakan yang dilakukan akan dianggap sama dengan data pada reference. Berikut adalah perbandingan antara penggunaan metode dynamic time warping yang tidak menggunakan slope constraint dan dynamic time warping yang menggunakan slope constraint : Input = { 1, 3, 7, 4} Reference = { 3, 1, 3, 4, 10, 11, 4} (p1)

(p2)

(p3) Optimal path warping DTW = Optimal path warping DTW with slope = = 12

= 9 (p4) (p5)

Dalam perhitungan (p1), dihitung nilai matriks cost dengan menggunakan persamaan (1). Selanjutnya matriks cost tersebut akan dihitung akumulasi matriks cost nya untuk mendapatkan optimal warping path. Pada perhitungan (p2), pencarian optimal warping path selalu mencari nilai terendah tanpa memiliki batasan pergerakan horizontal dan vertical. Sedangkan pada perhitungan (p3) percarian optimal warpting path selalu mencari nilai terendah dengan batasan pergerakan horizontal dan vertical. Dapat dilihat pada perhitungan (p4) dan (p5) bahwa nilai dari perhitungan (p4) akan lebih kecil daripada perhitungan (p5). Hal ini dikarenakan dengan menggunakan batasan slope, sensitivitas pencocokan gerakan lebih besar. Ketika pola gerakan yang dilakukan user tidak dikenali, maka tingkat akurasi akan bernilai 0%. Sedangkan jika gerakan dikenali, maka akan ditampilkan tingkat akurasi kemiripan pola gerakan user dengan pola gerakan reference dengan persamaan berikut:

Evaluasi

Pada evaluasi program, dilakukan pengujian terhadap 5 user dengan 3 kali percobaan untuk setiap 6 pola gerakan. Data-data hasil pengujian dapat dilihat pada tabel 1 berikut: Tabel 1 Tabel pengujian terhadap 5 user Noo Nama Pola gerakan Akurasi Percobaan 1 Percobaan 2 Percobaan 3 1

Kristian Aji Nugroho

2

Tarenjit

3

Maha Andar Pasaribu

4

Andi Putra

5

Leonardo Wibowo

Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca

70.1% 72.3% 72.7% 70.5% 0.0% 71.4% 72.2% 71.1% 70.2% 72.1% 70.2% 0.0% 71.2% 70.3% 72.2% 71.2% 70.2% 0.0% 73.3% 71.4% 73.5% 72.2% 70.2% 71.2% 71.2% 71.2% 71.2% 71.2% 71.2% 0.0%

70.3% 71.1% 71.1% 70.3% 71.2% 0.0% 70.3% 72.3% 70.4% 70.1% 73.2% 0.0% 70.3% 72.4% 72.5% 72.2% 0.0% 0.0% 70.3% 71.4% 71.5% 74.1% 70.3% 0.0% 72.2% 72.2% 70.0% 70.3% 0.0% 0.0%

70.1% 75.2% 73.4% 71.6% 70.5% 72.3% 72.7% 70.1% 71.2% 71.2% 0.0% 70.2% 72.5% 73.1% 75.2% 71.2% 71.0% 71.3% 72.7% 74.2% 74.1% 74.1% 0.0% 72.2% 72.5% 70.7% 70.7% 70.6% 0.0% 72.3%

Berdasarkan data hasil uji coba program pada tabel 4.1, maka presentase pengenalan tiap  pola dapat dihitung dengan persamaan berikut:   

Uji coba program dilakukan terhadap 5 user sebanyak 3 kali untuk setiap pola gerakan. Oleh  karena itu total dari percobaan untuk satu gerakan adalah 15 kali.Sehingga presentase pengenalan  pola gerakan dapat dilihat pada tabel 2. 

Tabel 2 Tabel presentase pengenalan pola gerakan Presentase pengenalan  No  Pola gerakan  1  Saya  100%  2  Bisa  100%  3  Mendengar 100%  4  Melihat  100%  5  Dengan  60%  6  Membaca  46.6%    Dari  tabel  4.1  dapat  dilihat  dalam  30  kali  percobaan,  terdapat  22  kali  terjadi  peningkatan  nilai  akurasi.  Hal  ini  menunjukan  bahwa  tingkat  pembelajaran  (learning  curve)  user  meningkat  seiring  dengan  banyaknya  percobaan.  Tetapi  adapula  terjadi  penurunan  tingkat  akurasi  dalam  pembelajaran bahasa isyarat. Hal ini dapat disebabkan oleh beberapa faktor seperti: 

1. 2. 3.

Faktor hardware: Ketidakmampuan sensor kinect mengidentifikasi kerangka digital jika terjadi proses penyilangan kerangka tubuh (misal : tangan menyilang). Faktor pola gerakan: Pola gerakan rumit, sehingga user sulit mengikuti pola gerak dari reference. Faktor user: Kemampuan user dalam menyerap informasi yang diberikan oleh program.

 

Untuk mengetahui apakah program dapat membantu proses pembelajaran bahasa isyarat, maka dilakukan survey terhadapat 5 user tersebut. Berikut adalah hasil pendapat user tentang apakah program membantu dalam pembelajaran bahasa isyarat Tabel 3 Tabel hasil pengujian apakah program membantu pembelajaran No 

Nama

Membantu pembelajaran bahasa isyarat

1  2  3  4  5 

Kristian Aji Nugroho Tarenjit M Maha Andar Pasaribu Andi Putra Leonardo Wibowo

Ya  Ya  Ya  Ya  Ya 

Pada tabel 3 dapat dilihat bahwa, user merasa terbantu dengan program pembelajaran bahasa isyarat ini baik dalam mengetahui tentang arti dari bahasa isyarat tersebut dan mempraktekkan. Pada pengujian terhadap 5 user, akurasi kemiripan pola gerakan dengan gerakan reference masih dibawah 80%, hal ini dikarenakan ketika data diambil dengan kondisi user tidak mengetahui tentang pola gerakan yang akan dipelajari, sehingga hal ini merupakan sesuatu yang baru yang dilakukan user. Oleh karena itu tingkat kemiripan dengan akurasi

masih dibawah 80%, tetapi dengan seiring user melakukan pola gerakan tersebut, maka akurasi kemiripan dengna pola gerakan reference akan semakin besar.

PENUTUP Setelah melakukan analisis dan perancangan terhadap program aplikasi pembelajaran bahasa isyarat ini, maka dapat disimpulkan bahwa: 1. Program ini dapat mengidentifikasi dan dapat memberikan pembelajaran tentang bahasa isyarat kepada user. 2. Kombinasi antara perangkat keras sensor kinect dan metode dynamic time warping mampu untuk mengidentifikasi pola gerakan berbasis kerangka tubuh manusia dengan deret waktu yang berbeda. 3. Program ini dapat memberikan acuan dalam proses pembelajaran (learning curve).  

Beberapa saran yang dapat diajukan untuk bagi peneliti lain adalah: 1. 2. 3. 4. 5.

Perlu dilakukan penelitian lebih lanjut tentang learning curve pemakaian program. Pengembangan lebih lanjut disarankan untuk menggunakan database dalam menyimpan data-data reference, sehingga pola gerakan reference yang tersimpan lebih terstruktur. Pengembangan lebih lanjut disarankan untuk membuat program yang dapat digunakan oleh multi user. Pengembangan lebih lanjut disarankan untuk mengabungkan pengenalan pola gerakan kerangka tubuh ini dengan anggota tubuh lain. Pengembangan lebih lanjut disarankan untuk melakukan proses training untuk mendapatkan hasil pengenalan pola gerakan dengan akurasi yang lebih akurat.

DAFTAR PUSTAKA Acharya, T. A. (2005). Image Processing Priciples And Application. Canada: A Jonh Wiley & Sons., Publication.  

Aditya, R. (2011). Gambaran Kepuasan Kerja Guru Sekolah Luar Biasa (SLB) di kota Medan. Hambatan Belajar Anak Tunarungu , 22.  

Aron, J. (2011, Maret 25). Microsoft explains the tech behind Kinect. Retrieved Januari 12, 2012, from http://www.newscientist.com: http://www.newscientist.com/blogs/onepercent/2011/03/microsoft-explains-the-techbe.html  

BlazStrle, M. M. (2003). Qualitative approximation to Dynamic TimeWarping similarity between time. Dynamic time warping , 104.  

Carmody, T. (2010, November 3). How Motion Detection Works in Xbox Kinect. Retrieved Januari 12, 2012, from gadgetlab: http://www.wired.com/gadgetlab/2010/11/tonightsrelease-xbox-kinect-how-does-it-work  

Davies, R. (2005). Machine Vision : Theory, Algorithms, Practicalities. Canada.  

Dr. Imran Agus Nurali, S. (2011, Febuari 14). Olahraga bagi penyandang cacat. Retrieved Januari 3, 2012, from Web Direktorat Jenderal GIZI dan KIA: http://www.gizikia.depkes.go.id/archives/798  

Gertakin. (2011). Beranda: Gertakin. Retrieved Januari 3, 2012, from Gerakan kesehatan untuk tuna rungu indonesia: 1

Klug, B. (2010, Desember 9). Microsoft Kinect review. Retrieved Januari 12, 2012, from anandtech: http://www.anandtech.com/show/4057/microsoft-kinect-the-anandtechreview/2  

Levitin, A. (2006). Introduction to The Design & Analysis of Algorithms, 2nd Edition. Boston: Addison Wesley.  

Mathe, Z. (2011, Mei 27). Inside Kinect: Skeletal Tracking Deep Dive. Retrieved Januari 12, 2012, from Microsoft: http://www.microsoft.com/download/en/confirmation.aspx?id=26098  

Metcalf, J. (2009, Juni 1). E3 2009 : Microsoft at E3 Several Metric Tons of Press Releaseapalloza. Retrieved Desember 31, 2011, from Digital Joystick: Video Game News & Views: http://blog.seattlepi.com/digitaljoystick/2009/06/01/e3-2009-microsoft-at-e3several-metric-tons-of-press-releaseapalloza/  

Muchtar, A. S. (2011, April 11). SLB Kekurangan Tenaga Guru. Retrieved Januari 12, 2012, from Gaung NTB: http://gaungntb.com/2011/04/slb-kekurangan-tenaga-guru/  

Muller, M. (2007). Dtw-based motion comparison and retrieval. New York: SpringerVerlag.  

Mulyana, D. (2005). Ilmu Komunikasi: Suatu Pengantar. Bandung: Remaja Rosdakarya.  

Pressman, R. S. (2005). Software Enginering : a Practitioner's Approach. Six Edition. New York: McGraw-Hill.  

Senin, P. (2008). Dynamic Time Warping Algorithm Review. DTW Algorithm , 8-9.  

Steve. (2011, Juli 30). kinect dtw. Retrieved Desember 3, 2011, from Kinect SDK Dynamic time warping gesture recognition: http://kinectdtw.codeplex.com/  

Zhu, Z. (2008). Computer Vision Research Progress. New York: Nova Science.  

PERANCANGAN PROGRAM APLIKASI PEMBELAJARAN BAHASA ISYARAT DENGAN METODE DYNAMIC TIME WARPING   Samuel Mahatmaputra Tedjojuwono ,S.Kom.,M.Info.Tec.;Willy Yudithya; AlexanderAgung Santoso  Gunawan, .Si.,M.T.,M.Sc   

ABSTRACT In everyday life, humans communicate directly with the use of verbal language, but not everyone is able to communicate verbally. One example of them were people with hearing and speech impaired. They have their own way of communicating is by using the language. But in reality, not everyone can understand the intent and meaning of the sign language that was exhibited by them. The main thing of this problem is the lack of learning about sign language given to them. The purpose of this thesis is to create a program that can provide learning about sign language. The workings of this program is to mengabungkan kinect sensor hardware technology and methods of dynamic time warping in the identification process of applying the pattern gerakan.Teknologi kinect sensor feature depth sensor used to identify and track the human body while the method of dynamic time warping is used to recognize the movement patterns of sign language. Keyword : learning sign language, movement patterns, kinect sensor, dynamic time warping, depth sensor.

ABSTRAK Dalam kehidupan sehari-hari, manusia berkomunikasi secara langsung dengan menggunakan bahasa verbal, namun tidak semua orang dapat berkomunikasi secara verbal. Salah satu contoh dari mereka adalah para penderita tuna rungu dan tuna wicara. Mereka memiliki cara berkomunikasi sendiri yaitu dengan menggunakan bahasa. Tetapi pada kenyataan, tidak semua orang dapat mengerti maksud dan arti dari bahasa isyarat yang diperagakan oleh mereka. Hal utama dari masalah ini adalah kurangnya pembelajaran tentang bahasa isyarat yang diberikan kepada mereka. Tujuan dari skripsi ini adalah untuk membuat suatu program yang dapat memberikan pembelajaran tentang bahasa isyarat. Cara kerja program ini adalah dengan mengabungkan teknologi perangkat keras sensor kinect dan metode dynamic time warping dalam proses identifikasi pola gerakan.Teknologi sensor kinect menerapakan fitur depth sensor yang digunakan untuk mengenali dan melacak tubuh manusia sedangkan metode dynamic time warping digunakan untuk mengenali pola gerakan bahasa isyarat.

Kata kunci : pembelajaran bahasa isyarat, pola gerakan, sensor kinect, dynamic time warping, depth sensor.  

PENDAHULUAN Humans interact with each other through communication in the form of language. Communication occurs both verbally and non verbally. Communication means to communicate verbally using words, while non-verbal communication that convey meaning (messages) that include the absence of a symbol - a symbol of sound or noise realization (Mulyana, 2005). In everyday life, humans communicate directly with the use of verbal language. But not all people can communicate verbally. Some of them have constraints in terms of communicating verbally, for example, just people with hearing and speech impaired. The people with hearing and speech impaired has its own way of communicating without using verbal language is to communicate with sign language. In the use of sign language, sign language does not have a large scope, such as verbal language. Where not many people can recognize or understand sign language to convey that in his interlocutor. In 2010, Microsoft launched a new technology in the form of hardware kinect sensor. The technology was originally intended for the Xbox 360 console game players that can detect a player's body so that players can play without using a controller. Kinect sensor technology invention, indirectly represents a development for sign language recognition technology, because with the help of kinect sensor, the detection of the whole body will be more accurate.  

PEMBAHASAN Metode Dynamic Time Warping 

Method of dynamic time warping (DTW) was first introduced in the 1960s by (R. Bellman, 1959), and extensively explored in the 1970's for speech recognition applications by (C. Myers, 1980). Currently, dynamic time warping method has been applied in various fields, including: online handwriting and signature matching by (CC Tappert, 1990), computer vision and computer animation by (Muller, 2007), protein sequence alignment and chemical engineering by (J. vial, 2008), and others - others (Monday, 2008, p. 3). According to (Sakoe and Chiba 1978), dynamic time warping (DTW) is a method to calculate the similarity between two time series (time series) which may vary in time and speed (BlazStrle, 2003). For example, in the case of detecting the same frame of walking motion, wherein the first data showing a person walking slowly and other data indicate someone is running faster. Suppose there are two time series and, in graphical form as shown in figure 1.

Figure 1 Chart comparison of the value of X and Y (Senin, 2008) In the picture above, there are two graphs that show the two time series. Two time series has the same pattern, but the location of different positions. This occurs because of differences in the time interval between and. The problem is to identify the two series can be regarded as though it has two different periods of time. With the dynamic method waping time, this problem can be solved. The concept of dynamic time warping itself was to compare the optimal warping path. Where the optimal warping path is the shortest path to cost ratio of the difference in X and Y.

(a) (b) Figure 2 Comparison of X and Y with different cases (a) equal to the reference input (b) is not equal to the reference input

In the figure 2 (a), and reference the same input so that the optimal warping path form a straight diagonal coincide with the diagonal X = Y. Whereas in Figure 2 (b), the input and the reference is different, resulting in some warping on the optimal path warpingnya. From this comparison it can be seen that for the same input and the reference, the optimal path warpingnya cost will be less than the cost optimal warping path that has the input and reference are distinct. If the smaller the difference in comparison warpingnya optimal path, it can be concluded that in Figure 2 (b), input and referencenya also be similar. In searching for the optimal warping path itself, it takes a certain criteria. These algorithms and criteria described by (Monday, 2008) to calculate the optimal warping path: A. Determining the cost matrix This method, beginning with determining the cost matrix that has dimensions c. Cost matrix is a matrix that represents the difference of the set of X and Y. Each matrix element can be calculated by the following equation:

Where :

(1)

The value of the cost of each matrix, is used to find the path with the lowest cost of the first column to last column. 1.

Determine the optimal warping path Once the cost matrix is formed, the algorithm will look for warping path with the lowest cost and as in figure 3.

Figure 3 Optimal warping path of the two time series X and Y (Senin, 2008)

With the warping path to be searched must meet the following criteria: a. Boundary condition: and . Beginning and end of the line should be the starting point and end point of the time series. (2) dan . This b. Monotonicity condition: condition will maintain the order of time series. (3) c. Step size condition: limit the shifting path / paths that are too far away. (4) 2.

Determine the matrix DTW

Based on the definition of the optimal warping path in the search path with a cost matrix, it is necessary to test every path between and. This of course is not efficient, because of the possibility of a potential path to pass also will be more in line with the length and time series. To mangatasi above problems, dynamic programming is used as a fast path search optimization. According to (Levitin, 2006) is a dynamic programming technique to solve the problem by dividing the problem in several sub-problems (stage) so that the solution of the problem can be seen from sekerangkaian interrelated decisions. In this case the calculation for the total cost of each search path that may be bypassed (stage). All paths have crossed accumulated beforehand. Matrix accumulation that will be used is defined as follows: Where the calculation of accumulation for the DTW matrix is as follows:

a. b. c.

First rows: First Collums: All Matriks:

3.

Determine the optimal warping path cost After calculating the DTW matrix, then to determine the total cost of that distance through the warping path can use the following equation: (6) With the cost of the optimal warping path is the minimum accumulated cost in the last column. According to (Monday, 2008) needs to be modified dynamic time warping algorithm to improve the quality of performance and adjustment of the sensitivity of the basic algorithm of dynamic time warping method. Introduction to Movement Analysis Method with Dynamic Time Warping Movement pattern that is usually obtained, having a different time series of data comparison (reference). This is due to perform a movement pattern, people usually ignore the time series and just focus on the movement patterns alone. Therefore, the movement could have been done faster or slower than the reference motion. That the program can

recognize the movement patterns of the same movement patterns despite the different movement patterns of operation, dynamic time warping method is used to solve the problem of differences in the time series. In the process of introduction of this program, first program will read the file that contains the name of the movement and the series 32 frame. Each frame has a joint data 6 point with coordinates (x, y). These data will be used as a data comparison (reference). Input obtained from the streaming video directly to the sensor kinect. Acquired frame series compiled (scene reconstruction), respectively. When streaming video is done, the frame - the frame will be used as input. Frame sequence is saved into an array with a maximum total of 32 frames of data. The data are fit to the FIFO (first in first out). Wherein when the number of frames that have been stored exceeds 32 frames, the frame with the first order will be remove. It is intended that pattern recognition can be done in realtime. Illustration of the input data can be seen in Figure 4. Array  

Input   … 

[0] 

[1] 

[2] 

[3]

…

[31]

[0] 

[1]

[2]

[3]

… 

[31] 

Gambar 1 Illustration of the input frame for the program On  this  program,  dynamic  time  warping  method  will  compare  two  sequence  patterns  of  movement are:

, …, ], B=[ , …, ] Where A is the user movement pattern is captured and used as kinect sensor input in the program and B is a movement pattern that is used as a data comparator (reference) input motion patterns. A=[

,…, and , …, is a frame sequence of movement patterns, variables each of which has 6 sets of coordinate values (x, y).

Having identified two patterns of movement that want to be compared, the next step is to perform matrix calculations with the cost of each element is calculated by the following equation:

Based on the fundamental theory in chapter 2 page 11 of the dynamic time warping method, the algorithm proposed by (Monday, 2008) in determining the DTW matrix can be structured as follows:

Algoritma Matriks cost DTW 1: n ← |A| // n filled with a set number of input 2: m ← |B | // m filled with a set number of reference 3: dtw[] ← new [n × m] // create a matrix with dimensions (n,m) 4: dtw(0, 0) ← 0 // Boundary condition made as in equation (2) 5: for i = 1; i ≤ n; i + + do // iteration to satisfy equation (5) stage 1 6: dtw(i, 1) ← dtw(i − 1, 1) + c(i, 1) // The first line is calculated accumulated cost 7: end for 8: for j = 1; j ≤ m; j + + do // iteration to satisfy equation (5) stage of the first two lines are calculated accumulated cost 9: dtw(1, j) ← dtw(1, j − 1) + c(1, j) // The first column is calculated accumulated cost 10: end for 11: for i = 1; i ≤ n; i + + do 12: for j = 1; j ≤ m; j + + do // iteration to satisfy equation (5) stage 3  13: dtw(i, j) ← c(i, j)+min {dtw(i − 1, j); dtw(i, j − 1); dtw(i − 1, j − 1)} // iteration to satisfy equation (5) stage 3 14: end for 15: end for 16: return dtw // Return matrix DTW But for the case of gesture recognition with kinect sensor, (Maddox, 2011) method of dynamic time warping mengagaskan modified with step function (slope constraint). Modification aims to increase the sensitivity of pattern recognition. Here is a dynamic time warping pembahasaan method that has been modified by (Maddox, 2011): In the first series of frames in the input and reference patterns of movement going in reverse. It aims to detect the difference in distance in advance of the final conditions of movement patterns, thereby more quickly identify the pattern of movements performed by the user. The value of A and B after the reverse can be seen in the following equation below: ] A=[ B=[ ] After doing the steps above, made three DTW matrix is a matrix, the matrix slopeN, and matrix slopeM. DTW matrix is used as a weighting matrix of cost accumulation, while the matrix slopeN and slopeM used to identify the pathways that have been skipped. The initial value of all elements on the DTW matrix is positive infinity, except for elements on the DTW matrix (0.0) is 0. While the initial value of all matrix elements and slopeM slopeN is 0.

slope-N

slope-M After determining the initial matrix, the next step is to calculate a new value for DTW matrix with the following algorithm: Algoritma perhitungan nilai matriks DTW dengan slope constrain 1: // n filled with a number of the set input 2: // m filled with a number of the set input 3: dtw [] // making DTW matrix with dimensions 4: slopeN [] // making SlopeN matrix with dimensions 5: slopeM [] // making SlopeM matrix with dimensions 6: for do 7: for j do 8: //initialize the initial matrix 9: end for 10: end for 11: dtw // Create a Boundary condition as in equation (2) 11: for do 12: for j do 13: if dtw(i,j−1) < dtw(i−1,j−1) & dtw(i,j−1) < dtw(i−1,j) & slopeN(i,j−1)<maxslope then //  / / line conditions (i, j-1) has the lowest cost of other pathways and pathways have not been (i, j-1) can still be passed. 14 : (i, j) c(i – 1, j –1) + (i, j – 1) // cost path through the (i, j-1) 15: slopeN(i, j) slopeN(i, j – 1) + 1 // marker lane (i, j-1) has passed 16: slopeM(i, j) ) 0 // marker lane (i, j-1) in the reset 17: elseif dtw(i−1,j) < dtw(i−1,j−1) & dtw(i−1,j) < dtw(i,j−1) & slopeN(i,j−1)<maxslope then //  line conditions (i-1, j) has the lowest cost from the other lane and the path has not been (i-1, j) is still passable. 18: (i, j) c(i – 1, j–1) + (i-1, j) // cost path through the (i-1, j) 19: slopeN(i, j) 0 // marker lane (i, j-1) in the reset 20: slopeM(i, j) ) slopeM(i– 1, j) + 1// marker (i-1, j) has been traversed 21: else 22: (i, j) c(i – 1,j–1)) + (i-1, j-1) // cost path through the (i-1, j-1) 23: slopeN(i, j) 0 // marker lane (i, j-1) in the reset 24: slopeM(i, j) ) 0 marker lane (i,j−1) in the reset 25: end if 26: end for 27: end for 28: return dtw // return DTW matrix accumulation

After performing the calculation of DTW matrix, to find the cost of the optimal warping path is used the following equation: Here is the search algorithm of the optimal warping Algoritma perhitungan DTW 1: 2: // n filled with a number of the set input 3: // m filled with a number of the set reference 4: for do 5: if ( (i, m) < ) then 6: = [i, m] // looking for cost optimal warping 7: endif 8: end for 9: / m // calculate the average 10: return cost cost obtained will be compared with the value of tolerance (threshold) that have been determined. If the cost is still within the tolerance limit, then the movement will be done with the data on reference. Here is a comparison between the use of dynamic time warping method that does not use the slope and dynamic time warping constraint that uses the slope Input = { 1, 3, 7, 4} Reference = { 3, 1, 3, 4, 10, 11, 4} (p1)

(p2)

(p3) Optimal path warping DTW = Optimal path warping DTW with slope = = 12

= 9 (p4) (p5)

In the calculation of (p1), calculated using the cost matrix equation (1). The next matrix will be calculated accumulated cost matrix cost is to get the optimal warping path. In the calculation of (p2), the search for the optimal warping path is always looking for the lowest value of the range of motion without having horizontal and vertical. While in the calculation (p3) percarian warpting optimal path is always looking for the lowest score by

the movement of the horizontal and vertical limits. Can be seen in the calculation (p4) and (p5) that the value of the calculation (p4) will be smaller than the calculation (p5). This is because by using the slope limits, greater sensitivity of the matching movement. When the pattern of movement the user is not recognized, then the accuracy will be 0%. Meanwhile, if the motion is identified, it will show the accuracy of user movement pattern similarity with the reference motion pattern with the following equation:

Evaluation On program evaluation, testing the user with 3 times 5 trials for each movement pattern 6. The data of test results can be seen in table 1 below: Table 1 Table 5 tests on user Noo Nama Pola gerakan Akurasi Percobaan 1 Percobaan 2 Percobaan 3 1

Kristian Aji Nugroho

2

Tarenjit

3

Maha Andar Pasaribu

4

Andi Putra

5

Leonardo Wibowo

Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya Bisa Mendengar Melihat Dengan Membaca Saya

70.1% 72.3% 72.7% 70.5% 0.0% 71.4% 72.2% 71.1% 70.2% 72.1% 70.2% 0.0% 71.2% 70.3% 72.2% 71.2% 70.2% 0.0% 73.3% 71.4% 73.5% 72.2% 70.2% 71.2% 71.2%

70.3% 71.1% 71.1% 70.3% 71.2% 0.0% 70.3% 72.3% 70.4% 70.1% 73.2% 0.0% 70.3% 72.4% 72.5% 72.2% 0.0% 0.0% 70.3% 71.4% 71.5% 74.1% 70.3% 0.0% 72.2%

70.1% 75.2% 73.4% 71.6% 70.5% 72.3% 72.7% 70.1% 71.2% 71.2% 0.0% 70.2% 72.5% 73.1% 75.2% 71.2% 71.0% 71.3% 72.7% 74.2% 74.1% 74.1% 0.0% 72.2% 72.5%

Bisa Mendengar Melihat Dengan Membaca

71.2% 71.2% 71.2% 71.2% 0.0%

72.2% 70.0% 70.3% 0.0% 0.0%

70.7% 70.7% 70.6% 0.0% 72.3%

Based  on  the  results  of  testing  the  program  in  Table  4.1,  the  percentage  of  each  pattern  recognition can be calculated by the following equation:    The  test  program  conducted  on  5  user  as  much  as  3  times  for  each  movement  pattern.  Therefore,  experiments  for  a  total  of  15  kali.Sehingga  percentage  movement  is  the  movement  pattern recognition can be seen in Table 2. 

Table 2 Table percentage movement pattern recognition No  1  2  3  4  5  6   

Pola gerakan  Saya  Bisa  Mendengar Melihat  Dengan  Membaca 

Presentase pengenalan  100%  100%  100%  100%  60%  46.6% 

From Table 4.1 it can be seen in 30 attempts, there occurred 22 times value of accuracy. This indicated that the level of learning (learning curve) increases with the number of user trials. But there are unisex decrease in accuracy rate of learning sign language. This can be caused by several factors such as: 1.

Hardware factors: inability to identify kinect sensor digital frame in the event of crossing the frame body (eg arms crossed).

2.

Factor movement patterns: Patterns of complicated movements, so the user is difficult to follow the pattern of motion of the reference.

3.

User factors: The ability of users to absorb the information provided by the program.

To find out whether the program can help the process of learning sign language, the survey conducted terhadapat 5 user. Here are the results of users' opinions about whether the program helps in learning sign language Table 3 Table of test results if the program helps the learning No 

Nama

Membantu pembelajaran bahasa isyarat

1  2  3  4  5 

Kristian Aji Nugroho Tarenjit M Maha Andar Pasaribu Andi Putra Leonardo Wibowo

Ya  Ya  Ya  Ya  Ya 

In Table 3 we can see that, users find it helpful to learning sign language program was good in knowing about the meaning of the sign language and practice. On testing for 5 users, the accuracy of the movement pattern similarity with the reference motion is still below 80%, this is Because the data is retrieved when the user does not by know about the condition of movement patterns will be studied, so this is something new to do user. Therefore, the accuracy level of similarity was below 80%, but the user as do the patterns of movement, then the accuracy of the similarity of movement patterns will be even dengna Greater reference.

PENUTUP After doing the analysis and design of sign language learning application program, it can be concluded that: 1. The program can identify and can provide learning about sign language to the user. 2. A combination of hardware and kinect sensor dynamic time warping method is able to identify patterns of movement of the human body based framework with a different time series. 3. This program can provide guidance in the learning process (learning curve). Some suggestions can be submitted to the other researchers are: Need to do more research on the learning curve using the program. 1. Further development is recommended to use a database to store reference data, so that the stored reference motion pattern is more structured. 2. Further development is recommended to create a program that can be used by multiple users. 3. Further development is recommended to assemble the skeleton movement pattern recognition is a member of another body.

4. Further development is recommended to perform the training process to get the movement pattern recognition with an accuracy that is more accurate.

DAFTAR PUSTAKA Acharya, T. A. (2005). Image Processing Priciples And Application. Canada: A Jonh Wiley & Sons., Publication.  

Aditya, R. (2011). Gambaran Kepuasan Kerja Guru Sekolah Luar Biasa (SLB) di kota Medan. Hambatan Belajar Anak Tunarungu , 22.  

Aron, J. (2011, Maret 25). Microsoft explains the tech behind Kinect. Retrieved Januari 12, 2012, from http://www.newscientist.com: http://www.newscientist.com/blogs/onepercent/2011/03/microsoft-explains-the-techbe.html  

BlazStrle, M. M. (2003). Qualitative approximation to Dynamic TimeWarping similarity between time. Dynamic time warping , 104.  

Carmody, T. (2010, November 3). How Motion Detection Works in Xbox Kinect. Retrieved Januari 12, 2012, from gadgetlab: http://www.wired.com/gadgetlab/2010/11/tonightsrelease-xbox-kinect-how-does-it-work  

Davies, R. (2005). Machine Vision : Theory, Algorithms, Practicalities. Canada.  

Dr. Imran Agus Nurali, S. (2011, Febuari 14). Olahraga bagi penyandang cacat. Retrieved Januari 3, 2012, from Web Direktorat Jenderal GIZI dan KIA: http://www.gizikia.depkes.go.id/archives/798  

Gertakin. (2011). Beranda: Gertakin. Retrieved Januari 3, 2012, from Gerakan kesehatan untuk tuna rungu indonesia: 1

Klug, B. (2010, Desember 9). Microsoft Kinect review. Retrieved Januari 12, 2012, from anandtech: http://www.anandtech.com/show/4057/microsoft-kinect-the-anandtechreview/2  

Levitin, A. (2006). Introduction to The Design & Analysis of Algorithms, 2nd Edition. Boston: Addison Wesley.

 

Mathe, Z. (2011, Mei 27). Inside Kinect: Skeletal Tracking Deep Dive. Retrieved Januari 12, 2012, from Microsoft: http://www.microsoft.com/download/en/confirmation.aspx?id=26098  

Metcalf, J. (2009, Juni 1). E3 2009 : Microsoft at E3 Several Metric Tons of Press Releaseapalloza. Retrieved Desember 31, 2011, from Digital Joystick: Video Game News & Views: http://blog.seattlepi.com/digitaljoystick/2009/06/01/e3-2009-microsoft-at-e3several-metric-tons-of-press-releaseapalloza/  

Muchtar, A. S. (2011, April 11). SLB Kekurangan Tenaga Guru. Retrieved Januari 12, 2012, from Gaung NTB: http://gaungntb.com/2011/04/slb-kekurangan-tenaga-guru/  

Muller, M. (2007). Dtw-based motion comparison and retrieval. New York: SpringerVerlag.  

Mulyana, D. (2005). Ilmu Komunikasi: Suatu Pengantar. Bandung: Remaja Rosdakarya.  

Pressman, R. S. (2005). Software Enginering : a Practitioner's Approach. Six Edition. New York: McGraw-Hill.  

Senin, P. (2008). Dynamic Time Warping Algorithm Review. DTW Algorithm , 8-9.  

Steve. (2011, Juli 30). kinect dtw. Retrieved Desember 3, 2011, from Kinect SDK Dynamic time warping gesture recognition: http://kinectdtw.codeplex.com/  

Zhu, Z. (2008). Computer Vision Research Progress. New York: Nova Science.