BAHASA isyarat adalah bahasa yang mengutamakan komunikasi

Pendekatan Polinomial dan Zero Crossing Untuk Parsing Kata Bahasa Isyarat Indonesia Pada Data Rekaman Finger Motion Capture Widda Ayui Silma‡ , I Ketut Eddy Purnama

Ringkasan—Komunikasi antara penderita tuna rungu dilakukan dengan menggunakan bahasa isyarat. Akan tetapi bahasa isyarat masih belum dimengerti oleh masyarakat pada umumnya, sehingga dibutuhkan sarana penerjemah untuk komunikasi antara penderita tuna rungu dengan masyarakat awam. Seiring dengan kemajuan teknologi, telah dilakukan penelitian dalam rangka untuk menghasilkan perangkat untuk menerjemahkan bahasa isyarat ke dalam tulisan dan atau suara. Di Bidang studi Teknik Komputer dan Telematika Jurusan Teknik Elektro dilakukan penelitian tentang sistem penerjemah bahasa isyarat berbasis sensor, Voice for Voiceless (V4V). Salah satu bagian dari penelitian tersebut yang dijadikan topik dalam tugas akhir ini adalah parsing data isyarat yang direkam dari finger motion capture ke dalam bentuk kata. Pada tugas akhir ini digunakan metode regresi polinomial untuk mendeteksi zero crossing yang digunakan sebagai titik acuan untuk parsing kata. Data yang digunakan terdiri dari enam macam gabungan isyarat kata dengan jumlah data sebanyak sepuluh data setiap macamnya. Pencocokan kata dilakukan dengan sofware SIBI yang menggunakan metode Dynamic Time Warping (DTW) dengan sepuluh data template untuk setiap kata. Hasil akurasi yang dicapai untuk percobaan dengan data gabungan yang terdiri dari dua kata adalah 100%. Sedangkan untuk yang terdiri dari tiga kata akurasi yang dicapai adalah 100% untuk gabungan kata dengan gerakan isyarat yang sangat berbeda, 93.33% untuk gabungan kata yang memiliki kemiripan gerak jari tangan, dan akurasi 86.67% untuk gabungan kata dengan kemiripan gerakan posisi tangan. Tingkat akurasi semakin menurun pada gabungan isyarat kata yang memiliki kemiripan gerak, baik gerakan jari tangan ataupun posisi tangan. Kata Kunci—finger motion capture, polinomial, regresi, zero crossing

I. P ENDAHULUAN AHASA isyarat adalah bahasa yang mengutamakan komunikasi visual, bahasa tubuh, dan gerak bibir, bukannya suara, untuk berkomunikasi. Di Jurusan Teknik Elektro ITS khususnya bidang studi Teknik Komputer dan Telematika sedang dilakukan pengembangkan suatu sistem penerjemah bahasa isyarat V4V (Voice for Voiceless). Pada penelitian ini sedang dikembangkan sebuah perangkat yang berbasis sensor atau finger motion capture. Perangkat ini berupa sarung tangan yang dilengkapi dengan sensor flex dan sensor accelerometer.

B

‡ 2207100096, Jurusan Teknik Elektro ITS Surabaya ([email protected]) ‡‡ Dosen Pembimbing, Jurusan Teknik Elektro ITS Surabaya ([email protected]) ‡‡‡ Dosen Pembimbing, Jurusan Teknik Elektro ITS Surabaya ([email protected])

‡‡ ,

Ahmad Zaini‡‡‡

Finger motion capture berhasil dibuat untuk merekam gerakan tangan dan mendeteksi kata dalam bahasa isyarat dengan menggunakan metode Dynamic Time Wrapping (DTW). Sedangkan untuk mendeteksi gabungan kata masih dalam proses awal penelitian sehingga belum diketahui metode yang tepat untuk menerapkan teknologi parsing dan penerjemah kalimat. Pada tugas akhir ini dilakukan parsing kata dari data gabungan isyarat. Data gabungan isyarat kata yang digunakan adalah hasil rekaman gerakan isyarat tangan oleh finger motion capture. Metode yang digunakan adalah regresi polinomial dan deteksi zero crossing. II. DASAR T EORI A. Sistem Isyarat Bahasa Indonesia[1] Sistem Isyarat Bahasa Indonesia (SIBI) yang dibakukan itu merupakan salah satu media yang membantu komunikasi sesama kaum tunarungu di dalam masyarakat yang lebih luas. Wujudnya adalah tataan yang sistematis tentang seperangkat isyarat jari, tangan dan berbagai gerak yang melambangkan kosa kata bahasa indonesia. Dalam sistem isyarat ini terdapat dua jenis komponen. Yang satu berfungsi sebagai penentu atau pembeda makna, sedangkan yang lain berfungsi sebagai penunjang. Komponen penentu makna misalnya penampil, posisi, tempat, arah dan frekuensi. Komponen penunjang misalnya mimik muka, gerak tubuh, dan kecepatan gerak. B. Sensor 1) Sensor Flex: Sensor flex adalah sensor yang memiliki perubahan resistansi yang bergantung pada ukuran kelengkungan senor. Jika sensor ini semakin dilengkungkan maka semakin besar pula nilai resistansinya. Sensor flex memiliki output berupa resistansi. Output resistansi ini akan diberikan tegangan yang nantinya akan dibaca oleh mikrokontroler. 2) Sensor Accelerometer: Accelerometer adalah alat yang digunakan untuk mengukur percepatan, mendeteksi dan mengukur getaran (vibrasi), dan mengukur percepatan akibat gravitasi (inklinasi). Sensor accelerometer mengukur percepatan akibat gerakan benda yang melekat padanya. C. Least Squares Polynomial Regression yang

Regresi polinomial merupakan suatu metode digunakan untuk mencari nilai-nilai koefisien

PROCEEDING TUGAS AKHIR

2

B 0 , B 1 , B 2 , B 3 , B 4 , . . . , B M pada persamaan pendekatan kurva regresi dalam regresi polinomial. Sebagaimana dalam metode regresi linier sederhana, kurva tersebut digunakan untuk menggambarkan hubungan/korelasi anara sejumlah pasangan data X dan Y. Jika N menyatakan cacah pasangan data yang akan dihitung nilai koefisien-koefisien regresinya, maka persamaan regresi polinomial dinotasikan sebagai persamaan berikut ini: y = B0 x 0 + B1 x 1 + B2 x 2 + B3 x 3 + . . . + BM x M

(1)

keterangan: M : menunjukkan orde persamaan regresi polinomial pada kurva regresi x0 : 1 Secara garis besar prosedur penyelesaian untuk mencari keofisien-koefisien regresi dalam polinomial dapat dituliskan dalam bentuk algoritma berikut: 1) dimasukkan cacah pasangan data (=N), dan setiap pasangan data x dan y 2) ditentukan orde persamaan regresi polinomial (=M) 3) ditentukan persamaan-persamaan regresinya

dimana terdapat tanda tanda perubahan fungsi (misalnya dari positif ke negatif), diwakili oleh suatu persimpangan dari sumbu (nilai nol) pada grafik fungsi. E. Sign Function[6] Sign function atau fungsi sign merupakan fungsi yang berguna untuk menentukan simbol dari suatu bilangan. Fungsi ini disebut juga dengan nama fungsi signum. Fungsi signum dari bilangan real x didefinisikan sebagai persamaan 6.   −1 if x < 0, 0 if x = 0, sgn (x) = (6)  1 if x > 0. III. D ESAIN S ISTEM Desain sistem digambarkan dalam blok diagram, seperti pada gambar 1. Secara garis besar tugas akhir ini dibagi menjadi enam tahap, antara lain:

y0 = B0 x00 + B1 x10 + B2 x20 + B3 x30 + . . . + BM xM 0 y1 = B0 x01 + B1 x11 + B2 x21 + B3 x31 + . . . + BM xM 1 y0 = B0 x02 + B1 x12 + B2 x22 + B3 x32 + . . . + BM xM 2 .. . yN = B0 x0N + B1 x1N + B2 x2N + B3 x3N + . . . + BM xM N (2) 4) dirubah persamaan-persamaan tersebut ke dalam notasi perkalian matriks sebagai berikut:       1 x10 x20 · · · xM y0 B0 0  y1   1 x11 x21 · · · xM    1   B1      y2   1 x12 x22 · · · xM    2    B2   =  ..   ..   . .. .. . . .. ..   ..   .   .  . . yN

1 x1N

x2N

···

xM N

BN

(3) 5) matriks pada langkah-4 dapat dituliskan dalam notasi sebagai berikut: y =xB (4) masing-masing ruas dikalikan dengan x−1 (kebalikan atau invers matriks x), sehingga diperoleh hasil sebagai berikut: B = x−1  y (5) 6) invers martiks x dihitung 7) Setelah x−1 ditemukan hasilnya dikalikan dengan matriks y 8) Hasil yang diperoleh merupakan nilai-nilai koefisien persamaan regresi yang dicari, yaitu: B0, B1, B2, B3, B4, . . . , BM D. Zero Crossing[5] Zero crossing adalah istilah yang umum digunakan dalam elektronika, matematika, pengolahan sinyal dan gambar. Dalam istilah matematika, sebuah zero crossing adalah titik

Gambar 1: Blok diagram sistem Tahap pertama adalah pengambilan data kalimat dengan perangkat finger motion capture. Perangkat tersebut berupa sarung tangan yang dilengkapi lima buah sensor flex dan sebuah sensor accelerometer. Tahap kedua adalah klasifikasi data kalimat yang diperoleh dipisah berdasarkan jenis sensor, yakni sensor flex dan accelerometer menjadi data sensor. Tahap ketiga adalah mencari rata-rata dari data sensor. Pada tahap ini dilakukan pencarian nilai rata-rata dari nilai lima sensor flex dan tiga nilai sensor accelerometer. Tahap keempat adalah mengkonstruksi nilai rata rata yang diperoleh menjadi sebuah kurva atau yang lebih dikenal dengan nama curve fitting. Pada tahap ini digunakan metode regresi polinomial.

PROCEEDING TUGAS AKHIR

Tahap kelima adalah pencarian zero crossing yang digunakan untuk memecah data. Tahap terakhir adalah parsing data kalimat. Parsing data tersebut dilakukan berdasarkan nilai indeks zero crossing yang diperoleh pada tahap sebelumnya.

3

Tabel I: Bagian data kalimat ’adik saya’

IV. I MPLEMENTASI S ISTEM DAN E KSPERIMEN A. Pengambilan Data Kalimat Data yang digunakan pada penelitian tugas akhir ini adalah data yang diperoleh dari perangkat penerjemah bahasa isyarat berbasis sensor, finger motion capture. Perangkat ini (Gambar 2) berupa sarung tangan yang dilengkapi dengan lima buah sensor flex untuk mengukur pergerakan kelima jari tangan serta sensor accelerometer untuk mengukur posisi tangan. Selain perangkat tersebut, diperlukan pula sebuah software yang disebut SIBI. Software SIBI dan perangkat penerjemah bahasa isyarat berbasis sensor ini merupakan hasil dari penelitian sebelumnya di bidang studi Teknik Komputer dan Telematika Teknik Elektro ITS. Data isyarat tugas akhir ini direkam melalui SIBI. Data yang dihasilkan berupa file dengan ekstensi .ibi yang berisi nilai nilai dari sensor pada sarung tangan. Data inilah yang selanjutnya disebut dengan data gabungan kata atau kalimat. Contoh bagian hasil perakaman ‘adik saya’ terdapat pada Tabel I.

Gambar 2: Perangkat finger motion capture Kolom [c1. . . c5] adalah data dari sensor flex untuk lekukan jari jempol sampai dengan jari kelingking, sedangkan [c6..c9] adalah data dari sensor accelerometer untuk sumbu X, Y, Z dan referensi. Baris [r1...r26] menunjukkan urutan data diambil/disimpan, yaitu dari awal gerakan isyarat satu kata sampai dengan selesai gerakan isyarat kata tersebut.

B. Klasifikasi Data Sensor Flex dan Accelerometer Data kalimat yang diperoleh berisi data dari kedua sensor. Pada tahap ini data gabungan akan di pisah berdasarkan nilai sensor flex dan sensor accelerometer. Hasil data yang telah diklasifikasikan adalah seperti pada Gambar 3

(a) data sensor flex

(b) data sensor accelerometer

Gambar 3: Data klasifikasi sensor dari kalimat ’adik saya’

C. Pencarian Rata-rata Data Sensor

D. Curve Fitting

Data sensor yang telah dipisah kemudian dihitung nilai rata ratanya. Data rata rata yang dihasilkan berupa vektor kolom yang berisi nilai rata rata dari tiap baris data sensor. Data rata-rata ditunjunjukkan pada Gambar 4.

Dari data yang diperoleh pada tahap sebelumnya akan dilakukan mencocokan kurva atau curve fitting. Metode least square polynomial regression digunakan pada tahap ini. Dengan metode ini akan dihasilkan koefisien dari polinomial yang

PROCEEDING TUGAS AKHIR

4

(a) Turunan kedua fungsi polino-(b) Nilai signum dari turunan kedmial ua polinomial

(a) data sensor flex

(b) data sensor accelerometer

Gambar 4: Contoh rata rata data sensor dari kalimat ‘adik saya’

dapat digunakan untuk mensimulasikan kurva sesuai dengan data berdasarkan derajat tertentu. Sistem ini memiliki keterbatasan, yakni untuk data yang terdiri dari dua kata digunakan derajat tiga sedangkan untuk data yang terdiri dari tiga kata digunakan derajat empat.

(c) Differensial signum untuk pencarian indeks

Gambar 6: Contoh proses pencarian zero crossing pada data sensor flex ’adik saya’

akan di-parsing menjadi dua bagian yakni pada baris ke-i. sedangkan jika nilai indeks yang di peroleh ada dua nilai, misalnya i dan j, maka data real akan di-parsing menjadi tiga bagian,. Masing masing pada baris ke-i dan baris ke-j. Kemudian hasil parsing tersebut disimpan kembali ke dalam format .ibi. G. Percobaan

Gambar 5: Contoh kurva polinomial derajat 3 data sensor flex dari kalimat ‘adik saya’

E. Pencarian Zero Crossing Setelah diperoleh fungsi kurva polinomial dari data sensor dilakukan pencarian nilai nol pada kurva atau zero crossing. Parsing data dilakukan berdasarkan dari indeks zero crossing yang diperoleh. Pencarian zero crossing dilakukan dengan menggunakan beberapa tahap, yakni penghitungan turunan kedua dan pencarian indeks signum. Untuk penghitungan turunan kedua digunakan fungsi diff. Dari nilai turunan yang didapat kemudian dicari signum dan turunan dari signum. Berdasarkan nilai turunan signum tersebut akan diperoleh nilai indeks yang merupakan nilai x saat berpotongan dengan nol. F. Parsing Data Real Setelah diperoleh indeks zero crossing maka proses berikutnya adalah parsing data isyarat. Parsing data isyarat ini dilakukan dengan acuan nilai indeks zero crossing. Jika terdapat satu nilai indeks, misalnya i maka dara real tersebut

Pada penelitian tugas akhir ini, bahasa isyarat yang digunakan berupa gabungan kata yang terdiri dari dua kata dasar dan tiga kata dasar. Penggabungan kata tersebut dipilih berdasarkan perbedaan dan kemiripan gerakan jari dan posisi tangan. Jumlah isyarat gabungan kata yang digunakan pada penelitian tugas akhir ini adalah enam macam dengan masingmasing isyarat direkam sebanyak sepuluh data. Jadi total data yang diuji adalah 60 data. Untuk pengujian hasil dari parsing kata digunakan software SIBI. Metode yang digunakan pada SIBI adalah pendekatan Dynamic Time Wrapping (DTW). Data template yang paling cocok diukur berdasarkan nilai jarak (distance) yang paling minimum. Berikut adalah rincian percobaan yang telah dilakukan. 1) Gabungan Kata yang Memiliki Isyarat Gerakan Jari Tangan yang Sangat Berbeda: Pada percobaan pertama digunakan data isyarat yang memiliki perbedaan gerakan yang signifikan. Percobaan dengan dua kata dasar digunakan gabungan kata ’adik saya’. Sedangkan percobaan dengan tiga kata dasar digunakan kata ’adik saya minum’. 2) Gabungan Kata yang Memiliki Kemiripan Gerakan Jari Tangan: Pada percobaan ini digunakan isyarat yang terdiri dari kata dasar yang memiliki kemiripan gerakan atau kelengkungan jari tangan. Percobaan dengan data yang terdiri dua kata dasar digunakan gabungan kata ’adik kamu’. Sedangkan

PROCEEDING TUGAS AKHIR

5

Tabel II: Hasil Percobaan ’adik saya’

keterangan: (

√

Data ke1 2 3 4 5 6 7 8 9 10

kata1 √ √ √ √ √ √ √ √ √ √

kata2 √ √ √ √ √ √ √ √ √ √

akurasi 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%

digunakan gabungan kata ’saya haus’. Sedangkan percobaan dengan tiga kata dasar digunakan kata ’saya belum haus’. Tabel VI: Hasil Percobaan ’saya haus’ Data ke1 2 3 4 5 6 7 8 9 10

) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain

Tabel III: Hasil Percobaan ’adik saya minum’ Data ke1 2 3 4 5 6 7 8 9 10 keterangan: (

√

kata1 √ √ √ √ √ √ √ √ √ √

kata2 √ √ √ √ √ √ √ √ √ √

kata3 √ √ √ √ √ √ √ √ √ √

akurasi 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%

Tabel IV: Hasil Percobaan ’adik kamu’ Data ke1 2 3 4 5 6 7 8 9 10 √

kata1 √ √ √ √ √ √ √ √ √ √

kata2 √ √ √ √ √ √ √ √ √ √

akurasi 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%

) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain

kata2 √ √ √ √ √ √ √ √ √ √

akurasi 100% 100% 100% 100% 100% 100% 100% 100% 100% 100%

√ ) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain

Tabel VII: Hasil Percobaan ’saya belum haus’ Data ke-

kata1 √ √ √ √ √ √ √ √ √ √

1 2 3 4 5 6 7 8 9 10

) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain ; (-) tidak ada file

percobaan dengan tiga kata dasar digunakan kata ’adik kamu sakit’.

keterangan: (

keterangan: (

kata1 √ √ √ √ √ √ √ √ √ √

keterangan: (

kata2 X √ √ X √ X √ √ X √

kata3 √ √ √ √ √ √ √ √ √ √

akurasi 66.67% 100% 100% 66.67% 100% 66.67% 100% 100% 66.67% 100%

√ ) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain ; (-) tidak ada file

Pada Tabel VIII terdapat isyarat yang terdiri dari dua kata memiliki tingkat akurasi 100% meskipun kata kata tersebut memiliki kemiripan gerakan jari tangan ataupun gerakan posisi tangan. Sedangkan untuk kalimat yang terdiri dari tiga kata dasar, tingkat akurasi yang dihasilkan menurun kecuali untuk kalimat dengan gerakan isyarat yang sangat berbeda. Tingkat akurasi menurun jika dibandingkan dengan percobaan dengan menggunakan dua kata dasar. Terutama untuk kalimat yang memiliki kemiripan gerak yang hanya berhasil mencapai tingkat akurasi 93.33% untuk kalimat ’adik kamu sakit’ dan 86.67% untuk kalimat ’saya belum haus’. Tabel VIII: Hasil percobaan parsing kata

Tabel V: Hasil Percobaan ’adik kamu sakit’ Data ke1 2 3 4 5 6 7 8 9 10 keterangan: (

√

kata1 √ √ √ √ √ √ √ √ √ √

kata2 √ √ √ X √ √ √ √ √ √

kata3

akurasi

X √ √ √ √ √ √ √ √ √

66.67% 100% 100% 66.67% 100% 100% 100% 100% 100% 100%

) terdeteksi sebagai kata yang sebenarnya ; (X) terdeteksi sebagai kata lain ; (-) tidak ada file

3) Gabungan Kata yang Memiliki Kemiripan Gerakan Posisi Tangan: Pada percobaan ini, data yang digunakan adalah isyarat kata dasar yang memiliki kemiripan gerakan posisi tangan. Percobaan dengan data yang terdiri dari dua kata dasar

Kalimat

Jumlah Data

Jumlah data dengan akurasi 100%

Rata-Rata Akurasi

adik saya adik saya minum adik kamu adik kamu sakit saya haus saya belum haus

10 10 10 10 10 10

10 10 10 8 10 6

100% 100% 100% 93.33% 100% 86.67%

V. K ESIMPULAN DAN S ARAN A. Kesimpulan Dari hasil perancangan dan percobaan seluruh sistem dalam Tugas Akhir ini maka dapat diambil beberapa kesimpulan : 1) Metode regresi polinomial dan deteksi zero crossing dapat digunakan untuk memenggal data isyarat gabungan kata yang direkam oleh finger motion capture

PROCEEDING TUGAS AKHIR

6

2) Jika Parsing data isyarat yang terdiri dengan n kata dasar maka derajat polinomial yang digunakan adalah n + 1. 3) Hasil akurasi parsing data isyarat yang terdiri dari dua kata mencapai akurasi 100% untuk gabungan kata dengan gerakan yang berbeda maupun gabungan kata yang memiliki kemiripan gerak. 4) Hasil akurasi parsing isyarat yang terdiri dari tiga kata mencapai 100% untuk gabungan kata yang memiliki gerakan yang sangat berbeda. Sedangkan untuk gabungan kata yang memiliki kemiripan gerakan jari tangan, tingkat akurasi yang dicapai adalah sampai 93.33% dan untuk gabungan kata yang memiliki kemiripan posisi tangan tingkat akurasi yang dicapai adalah 86.67%. B. Saran Metode regresi polinomial dan deteksi zero crossing ini masih belum optimal untuk parsing dengan isyarat yang memiliki kemiripan gerakan. Hal ini ditunjukkan dengan tingkat akurasi yang rendah untuk data dengan kata yang memiliki gerakan yang sama terutama untuk data sensor accelerator. Untuk kedepannya diharapkan ada algoritma lain dalam metode ini sehingga akurasi bisa mencapai angka yang tinggi. P USTAKA [1] Departemen Pendidikan dan Kebudayaan, 1995, Kamus Sistem Isyarat Bahasa IndonesiaLipschutz, Seymour and Lipson, Marc, “Linear Algebra third edition”, McGraw-Hill, USA, 2007. [2] Lipschutz, Seymour and Lipson, Marc, “Linear Algebra third edition”, McGraw-Hill, USA, 2007 [3] http://en.wikipedia.org/wiki/Vandermonde_matrix, Terakhir diakses tanggal 17 Juni 2011 [4] Mathworks Inc, The. The Student Edition of MATLABT M .Prentice-Hall,Inc, 1992 [5] http://en.wikipedia.org/wiki/Zero_crossing, Terakhir diakses tanggal 17 Juni 2011 [6] http://en.wikipedia.org/wiki/Sign_function Terakhir diakses tanggal 17 Juni 2011 [7] Eamonn Keogh (2002). Exact indexing of dynamic time warping. Proceedings of the 28th VLDB Conference, Hong Kong, China

Widda Ayui Silma dilahirkan di Jember pada tanggal 5 Agustus 1989, merupakan anak kedua dari pasangan Abdul Wachid dan Rindawati. Ia menempuh pendidikan pertama kali di TK ABA Kalisat, kemudian melanjutkan pendidikan dasar di SDN Ajung I Kalisat, pendidikan Menengah pertama di SLTP Negeri 1 Kalisat, dan pendidikan menengah atas di SMA Negeri I Jember. Setelah lulus dari SMA Negeri 1 Jember, ia memilih untuk melanjutkan pendidikan tingginya di Jurusan Teknik Elektro, Fakultas Teknologi Industri, Intitut Teknologi Sepuluh Nopember Surabaya (ITS). Karena memang dari awal penulis telah tertarik dengan komputer, maka pada semester 5 (lima) ia memutuskan untuk mengambil Bidang Studi Teknik Komputer dan Telematika.