PENERAPAN BEHAVIOR BASED ROBOTIC PADA SISTEM NAVIGASI DAN KONTROL ROBOT SOCCER

PENERAPAN BEHAVIOR BASED ROBOTIC PADA SISTEM NAVIGASI DAN KONTROL ROBOT SOCCER Ravi Harish Maulana Jurusan Teknik Elektro ITS, Surabaya 60111, email: [email protected]

Abstrak – Dalam perancangan robot soccer, kestabilan pola gerak dan kemampuan menjelajahi medan yang dinamis menjadi salah satu faktor utama dalam sistem navigasi. Untuk merespon setiap aksi dari robot tersebut dibutuhkan suatu kontrol cerdas yang mampu beradaptasi dengan lingkungan dan memiliki algoritma pengambilan keputusan secara cepat dan tepat. Pada penelitian ini dirancang suatu sistem kontrol untuk keperluan navigasi robot soccer otonom dengan arsitektur behavior based robotic. Dari hasil implementasi terlihat bahwa behavior based robot soccer memiliki mobilitas yang baik dalam mencari obyek (bola) dan dapat menyelesaikan tugasnya untuk menggiring bola ke gawang. Respon keadaan tunak yang dihasilkan dari implementasi behavior search target berkisar antara 3.03% - 16.39% .

bertanggung jawab untuk melakukan satu perilaku (behavior). Tiap behavior mengandung jalur lengkap mulai dari sensing sampai aksi. Semua modul yang mewakili satu behavior bekerja bersama-sama[2]. Terdapat banyak penelitian yang mengembangkan metode ini. Salah satunya adalah Rodney Brooks yang dikenal dengan arsitektur subsumption-nya[3]. Di samping itu masih banyak para peneliti lain yang mengembangkan pendekatan ini. Pada penelitian ini terdapat beberapa behavior yang digunakan dalam aplikasi robot soccer, diantaranya wandering (berkeliling), search target (bola), dan go to goal (gawang). Behavior dengan tujuan berbeda dapat menimbulkan konflik yang tidak dapat diselesaikan. Oleh karena itu, dibutuhkan suatu formulasi mekanisme koordinasi yang efektif dari beberapa aktifitas robot . Makalah ini tersusun dari Bagian 1 yang merupakan pendahuluan. Bagian 2 adalah dasar teori mengenai behavior based robotic. Bagian 3 menjelaskan perancangan sistem. Bagian 4 membahas mengenai implementasi dan analisis. Bagian 5 menjelaskan beberapa kesimpulan dan saran

Kata Kunci: robot soccer, behavior based robotic, mobile robot . I. PENDAHULUAN Perkembangan dunia robotika memiliki unsur yang sedikit berbeda dengan ilmu-ilmu dasar atau terapan lainnya. Ilmu dasar biasanya berkembang dari suatu asas atau hipotesa yang kemudian diteliti secara metodis, sedangkan ilmu robotika lebih sering berkembang melalui pendekatan praktis. Kemudian melalui pendekatan atau asumsi dari hasil pengamatan perilaku makhluk hidup atau peralatan bergerak lainnya dikembangkanlah penelitian secara teoritis. Mobile robot merupakan suatu tipe robot bergerak, baik menggunakan tangan, kaki atau roda. Dalam pengembangannya mobile robot banyak digunakan dalam dunia industri maupun bidang riset dan teknologi. Salah satu aplikasi dari mobile robot adalah robot soccer. Seiring perkembangannya, robot soccer kini menjadi tren dalam dunia robotik bahkan telah banyak yang mengikutsertakan robot soccer dalam perlombaan tingkat internasional. Salah satu tipe robot yang digunakan dalam perlombaan robot soccer, yaitu robot beroda. Robot beroda merupakan jenis robot yang banyak digunakan dalam berbagai aplikasi karena kecepatannya dalam melintasi bidang yang rata serta kemudahan dalam desain dan implementasi. Dalam banyak aplikasi robot, sering kali dibutuhkan reaksi yang cepat dari robot. Arsitektur behavior based robotic adalah suatu sistem kendali yang tidak berbasiskan model, karena memiliki struktur behavior yang bekerja bersama secara paralel. Pada pendekatan ini, sistem diuraikan menjadi beberapa modul yang masing-masingnya

II. BEHAVIOR BASED ROBOTIC (BBR) Pada bagian ini, akan membahas mengenai konsep dasar BBR, dan arsitektur subsumption. 2.1 Konsep dasar behavior based robotic Pendekatan yang biasa digunakan untuk membangun sistem kontrol robot adalah dengan menguraikan setiap masalah kedalam rangkaian unit fungsional sebagaimana ditunjukkan pada Gambar 2.1.

Gambar 2. 1. Dekomposisi sistem kontrol mobile robot dengan task achieving behaviors[3]

Berbeda dengan pendekatan di atas, behavior-based robotic (BBR) mendesain sistem kontrol robot menggunakan pendekatan task achieving behaviors (perilaku menunaikan tugas) sebagaimana ditunjukkan oleh Gambar 2.1. Tiap tugas disebut dengan behavior.

1

Metode dekomposisi ini memiliki arsitektur robot mobile yang sangat berbeda dengan dekomposisi yang berdasarkan unit fungsional (Gambar 2.2). Berbeda secara hardware, dan sejumlah kelebihan lain seperti robutsness, buildability dan testability.

menyebutnya sistem kontrol level ke nol. Selanjutnya dibangun lapisan kontrol yang lain yang disebut sistem kontrol level kesatu. Level ini dapat menguji data dari level 0 dan juga diijinkan untuk menyuntikkan data ke dalam internal interface level 0 menekan data normal yang mengalir. Lapisan ini, dengan tambahan dari lapisan 0 melaksanakan level kompetensi 1. Lapisan ke nol melanjutkan untuk bekerja tanpa mengetahui layar diatasnya yang terkadang mengganggu aliran datanya. Proses yang sama diulangi untuk mendapatkan level kompetensi yang lebih tinggi sebagaimana ditunjukkan oleh Gambar 2.3.

Gambar 2. 2. Teknik penguraian tradisional untuk sistem kontrol mobile robot kedalam unit-unit fungsional[3]

Level 3

2.2 Arsitektur Subsumption Arsitektur subsumption adalah struktur BBR yang diusulkan oleh Rodney Brooks[3]. Dalam membangun robotnya, Rodney Brooks menguraikan permasalahan sistem kontrol robot sesuai dengan manifestasi luar yang diinginkan oleh sistem kontrol robot, tidak berdasarkan pada operasi internal dari sistem kontrol robot sebagamana yang dilakukan oleh beberapa peneliti sebelumnya. Oleh karena itu, dia mendefiniskan sejumlah level kompetensi untuk robot mobil mandiri. Level kompetensi adalah spesifikasi informal dari sekelompok perilaku yang diinginkan robot bekerja pada semua lingkungan yang akan dihadapi. Level kompeten yang lebih tinggi menunjukkan kelompok perilaku yang lebih khusus/spesifik Berikut ini, beberapa level kompetensi yang didefinisikan : 0. Menghindari kontak dengan obyek baik obyek bergerak maupun tetap 1. Berkeliling tanpa tujuan tanpa mengenai sesuatu 2. Menjelajah dunianya dengan melihat tempattempat yang masih bisa dilihat dan mengarahkan dirinya ke tempat tersebut 3. Membangun peta dan merencanakan rute dari satu tempat ke tempat lain 4. Mencatat perubahan dalam lingkungan “statis” 5. Memikirkan dunia dalam bentuk obyek yang dapat dikenali dan melakuka tugas yang berhubungan dengan obyek tertentu 6. Merumuskan dan melaksanakan rencana yang melibatkan perubahan keadaan dari dunia dengan cara yang diinginkan Tiap level kompetensi memasukkan sub kelompok dari level kompetensi sebelumnya. Karena level kompetensi mendefiniskan kelompok perilaku yang valid, dapat dianggap bahwa level yang lebih tinggi memberikan tambahan batasan pada kelompok perilaku tersebut. Rodney Brooks memulai dengan membangun sistem kontrol robot yang melaksanakan level kompetensi 0. Perbaikan kesalahan dilakukan dengan teliti. Dia tidak pernah merubah sistem ini. Dia

Level 2

Level 1

Sensors

Level 0

Actuators

Gambar 2. 3. Arsitektur subsumption [3]

III. PERANCANGAN SISTEM Pada bagian ini, akan membahas mengenai perancangan algoritma behavior, pembuatan algoritma koordinator kompetitif, dan pembuatan algoritma pengolahan citra 3.1 Perancangan algoritma behavior Behavior based robotic adalah suatu sistem kontrol berbasis sifat yang terdiri dari beberapa level kompetensi dan koordinator tertentu. Oleh karena itu, dibutuhkan beberapa tahapan yang digunakan dalam merancang algoritma tersebut yang kemudian diterapkan pada perancangan robot soccer. Langkahlangkah penyusunannya adalah pembuatan koordinator kompetitif, pembuatan algoritma wandering dan search target, serta pembuatan algoritma go to goal. 3.1.1 Perancangan algoritma koordinator kompetitif Dalam perancangan koordinator kompetitif, pengambilan keputusan pada masing-masing behavior dapat diatur melalui level kompetensinya, serta antar sesama behavior tidak dapat saling mempengaruhi. Hasil rancangan koordinator kompetitif terhadap beberapa behavior dapat dilihat pada Gambar 3.1.

Gambar 3. 1. Rancangan competitive coordinator

2

Dalam perancangan robot soccer, terdapat beberapa behavior yang menggunakan koordinator tersebut, antara lain : 1) Behavior stop Proses ini terjadi apabila robot telah mencapai target yang diinginkan. Dalam perancangan robot soccer target berupa bola dan gawang. 2) Behavior search target dan wandering Behavior ini akan aktif apabila sensor kamera mendeteksi koordinat bola, kemudian robot akan bergerak mendekati target dan berhenti ketika telah mendekati target. 3) Behavior go to goal Behavior ini akan aktif ketika behavior search target telah terpenuhi. Prosesnya adalah robot akan bergerak menggiring bola ke gawang meskipun bola tidak berada tepat didepan gawang

3.1.3 Pembuatan algoritma go to goal Dalam perancangan algoritma go to goal, terdapat beberapa basis pengetahuan (knowledge based) yang dapat diterapkan pada mobile robot, diantaranya

3.1.2 Pembuatan algoritma wandering dan search target Pada prinsipnya, jika tidak ada halangan dan target, maka robot akan bergerak sesuai dengan algoritma yang diterapkan pada search target (bola) selama periode tertentu. Tanpa behavior ini, robot hanya akan berjalan maju, ataupun menyusuri dinding arena saja. Dalam perancangan algoritma wandering dan search target, terdapat beberapa basis pengetahuan (knowledge based) yang dapat diterapkan pada robot soccer, diantaranya ketika kondisi di atas telah dipenuhi, maka robot akan melanjutkan behavior selanjutnya. Diagram alir dari behavior tersebut ditunjukkan oleh Gambar 3.2.

Gambar 3.3. Diagram alir behavior go to goal

Kondisi di atas akan terpenuhi apabila behavior wandering dan search target telah terpenuhi terlebih dahulu. Diagram alir dari behavior tersebut ditunjukkan oleh Gambar 3.3. 3.1.4 Pembuatan algoritma pengolahan citra Citra adalah gambar dua dimensi yang dihasilkan dari gambar analog yang kontinu menjadi gambar diskrit melalui proses sampling. Diagram alir pengolahan citra robot soccer terlihat pada Gambar 3.4. Ada beberapa teknik yang dapat diterapkan dalam pengolahan citra ,yaitu thresholding, image and enhancement, histogram, grayscale, dan lain-lain. Untuk pengolahan warna masing – masing obyek dapat digunakan beberapa format piksel, diantaranya HSV (Hue Saturation Value), HSL (Hue Saturation Lightness), YCbCr, RGB, dan lain-lain. Dari beberapa teknik pengolahan citra dan warna, yang digunakan dalam penelitian ini adalah teknik thresholding dan pewarnaan RGB.

Mulai

Kamera aktif A

T

Xrobot<Xbola?

Y

T

T Yrobot
Yrobot>Ybola?

Y

Y

Behavior “Kanan” dan “Maju”

Behavior “Kiri” dan “Maju”

A

T Xrobot>Xbola?

Y

T

T

Yrobot
Yrobot>Ybola?

Y

Y

Behavior “Kiri” dan “Maju”

Behavior “Kanan” dan “Maju”

A

Gambar 3. 2. Diagram alir behavior wandering dan search target

3

Pada Gambar 4.1 dapat dilihat grafik kesalahan (error) pada sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (168,130), posisi depan robot (56,38), dan posisi belakang robot (70,44). 4.1.2 Pengujian kondisi kedua dari behavior wandering dan search target Pada kondisi kedua, koordinat X robot lebih kecil daripada koordinat X bola dan koordinat Y robot lebih besar daripada koordinat Y bola. Pada Gambar 4.2 dapat dilihat grafik kesalahan (error) pada sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (150,105), posisi depan robot (42,190), dan posisi belakang robot (62,194).

Gambar 3. 4. Diagram alir pengolahan citra

Dalam teknik thresholding, masing-masing obyek (robot dan bola) dibedakan jenis warnanya berdasarkan pewarnaan RGB, agar lebih mudah dalam mengidentifikasinya. Kekurangan dari teknik ini adalah warna yang dapat digunakan sangat terbatas pada RGB, sehingga untuk mengidentifikasi warna yang lain dapat mengakibatkan kesalahan dalam mendeteksi obyek.

Gambar 4. 2. Grafik kesalahan koordinat X dan Y terhadap waktu

4.1.3 Pengujian kondisi ketiga dari behavior wandering dan search target Pada kondisi kedua, koordinat X robot lebih besar daripada koordinat X bola dan koordinat Y robot lebih kecil daripada koordinat Y bola. Pada Gambar 4.3 dapat diamati pergerakan robot dalam mencari bola dengan arah depan robot menghadap bola. Pada Gambar 4.4 dapat dilihat grafik kesalahan (error) pada sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (163,132), posisi depan robot (270,41), dan posisi belakang robot (271,54).

IV. IMPLEMENTASI dan ANALISA Pada bagian ini, akan dilakukan implementasi dan simulasi behavior search target. Pengujian pada masing –masing behavior dilakukan dengan kondisi awal robot berada di belakang bola (koordinat X robot lebih besar daripada X bola, berdasarkan posisi kamera). 4.1 Implementasi behavior wandering dan search target Behavior ini menghentikan modul wandering dan mengarahkan robot menuju bola. Didalam proses search target, posisi robot terhadap obyek (bola) dalam lapangan dibagi menjadi empat kondisi. 4.1.1 Pengujian kondisi pertama dari behavior wandering dan search target Pada kondisi pertama, koordinat X dan Y robot lebih kecil daripada koordinat X dan Y bola.

Gambar 4. 3. Trayektori pada kondisi ketiga

Gambar 4. 1. Grafik kesalahan koordinat X danY terhadap waktu

Gambar 4. 4. Grafik kesalahan koordinat X dan Y terhadap waktu

4

4.1.4 Pengujian kondisi keempat dari behavior wandering dan search target Pada kondisi pertama, koordinat X dan Y robot lebih kecil daripada koordinat X dan Y bola. Pada Gambar 4.5 dapat diamati pergerakan robot dalam mencari bola dengan arah depan robot menghadap bola. Pada Gambar 4.6 dapat dilihat grafik kesalahan (error) pada koordinat X dan koordinat Y terhadap waktu. Kondisi awal posisi bola (167,120), posisi depan robot (262,205), dan posisi belakang robot (267,192).

4.2.2 Simulasi kondisi kedua dari behavior wandering dan search target Pada kondisi kedua, koordinat X robot lebih kecil daripada koordinat X bola dan koordinat Y robot lebih besar daripada koordinat Y bola. Pada Gambar 4.8 dapat dilihat grafik kesalahan (error) pada koordinat sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (150,105) dan posisi depan robot (42,190)

Gambar 4. 8. Grafik kesalahan koordinat X dan Y terhadap waktu Gambar 4.5. Trayektori pada kondisi keempat

4.2.3 Simulasi kondisi ketiga dari behavior wandering dan search target Pada kondisi ketiga, koordinat X robot lebih besar daripada koordinat X bola dan koordinat Y robot lebih kecil daripada koordinat Y bola.

Gambar 4.6. Grafik kesalahan koordinat X dan Y terhadap waktu

4.2 Simulasi behavior wandering dan search target Simulasi yang dilakukan pada behavior wandering dan search target bertujuan untuk menganalisa performa kerja alat setelah sistem dibangun serta untuk mengetahui kemampuan algoritma sistem kontrol untuk menjaga posisi obyek tetap pada referensi posisi yang dikehendaki.

Pada Gambar 4.9 dapat dilihat grafik kesalahan (error) pada koordinat sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (163,132) dan posisi depan robot (270,41).

4.2.1 Simulasi kondisi pertama dari behavior wandering dan search target Pada kondisi pertama, koordinat X robot lebih kecil daripada koordinat X bola dan koordinat Y robot lebih kecil daripada koordinat Y bola. Pada Gambar 4.7 dapat dilihat grafik kesalahan (error) pada koordinat sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (168,130) dan posisi depan robot (56,38)

4.2.4 Simulasi kondisi keempat dari behavior wandering dan search target Pada kondisi keempat, koordinat X robot lebih besar daripada koordinat X bola dan koordinat Y robot lebih besar daripada koordinat Y bola. Pada Gambar 4.10 dapat dilihat grafik kesalahan (error) pada koordinat sumbu X dan sumbu Y terhadap waktu. Kondisi awal posisi bola (167,120) dan posisi depan robot (262,205)

Gambar 4. 9. Grafik kesalahan koordinat X dan Y terhadap waktu

Gambar 4. 10. Grafik kesalahan koordinat X dan Y terhadap waktu

Gambar 4. 7. Grafik kesalahan koordinat X dan Y terhadap waktu

5

4.3 Analisa wandering dan behavior search target Respon robot terhadap percobaan yang telah dilakukan terlihat bahwa pada masing-masing kondisi dari behavior search target terdapat perbedaan antara simulasi dan implementasi dalam hal settling time dan kesalahan keadan tunak.

V. KESIMPULAN Pada penelitian ini telah diterapkan algoritma behavior based robotics pada mobile robot yang diaplikasikan sebagai robot soccer. Dari hasil implementasi terlihat bahwa behavior coordination dari robot soccer telah berjalan dengan baik dan dapat mencapai tujuan dalam mencari bola, serta menggiring bola ke gawang. Respon keadaan tunak yang dihasilkan dari implementasi behavior search target berkisar antara 3.03% - 16.39%. Sebagai pengembangan selanjutnya, akan dieksplorasi pemanfaatan Q learning pada aplikasiaplikasi lain, misalnya penentuan lintasan terpendek. Algoritma ini juga dapat dikembangkan dengan menggabungkan fuzzy logic dan Q learning untuk mendapatkan pembelajaran yang akurat.

Tabel 4.1. Behavior wandering dan search target pada kondisi pertama Hasil Hasil simulasi Implementasi Settling time sumbu X 1.25 detik 2.875 detik Settling time sumbu Y 2 detik 4.624 detik Kesalahan keadaan 0% 3.03 % tunak sumbu X Kesalahan keadaan 0% 16.15 % tunak Sumbu Y

Referensi [1] Brooks R. (1989). “A Robot that Walks : Emergent Behaviors from Carefully Evolved Network”, Neural Computation, vol. 1, no. 2, pp. 253 – 262. [2] Perez M.C., (2003). “A Proposal of Behavior Based Control Architecture with Reinforcement Learning for an Autonomous Underwater Robot”, Tesis Ph.D.,University of Girona. [3] Brooks R., (1986). “A Robust Layered Control System For a Mobile Robot”, IEEE Journal of Robotics and Automation, vol. 2, no. 1, pp. 14 – 23. [4] Wicaksono, Handy., (2008). “Penerapan Behavior Based Architecture dan Q Learning pada Sistem Navigasi Otonom Hexapod Robot”., Journal Vol 2.1.

Tabel 4.2. Behavior wandering dan search target pada kondisi kedua Hasil Hasil simulasi Implementasi Settling time sumbu X 1.125 detik 2.6875 detik Settling time sumbu Y 1.875 detik 4.5625 detik Kesalahan keadaan 0% 6.62 % tunak sumbu X Kesalahan keadaan 0% 16.39 % tunak sumbu Y Tabel 4.3. Behavior wandering dan search target pada kondisi ketiga Hasil Hasil simulasi Implementasi Settling time sumbu X 1.25 detik 2.125 detik Settling time sumbu Y 2 detik 2.4375 detik Kesalahan keadaan 0% 7.38 % tunak sumbu X Kesalahan keadaan 0% 10.6 % tunak sumbu Y

Riwayat Hidup Ravi Harish Maulana dilahirkan di DenpasarBali. pada tanggal 1 Juli 1987. Tempat tinggal penulis adalah Jl. Jojoran I Perintis III No. 26 Surabaya, Jawa Timur, Indonesia. Setelah lulus dari SMU, penulis diterima sebagai Mahasiswa Jurusan D3 Teknik Elektro – FTI, Institut Teknologi Sepuluh Nopember Surabaya pada tahun 2005, kemudian Lintas Jalur pada tahun 2008 di Jurusan Teknik Elektro, konsentrasi penulis adalah Teknik Sistem Pengaturan (TSP).

Tabel 4.4. Behavior wandering dan search target pada kondisi keempat Hasil Hasil simulasi Implementasi Settling time sumbu X 1.25 detik 1.5 detik Settling time sumbu Y 1.875 detik 2.25 detik Kesalahan keadaan 0% 10.58 % tunak sumbu X Kesalahan keadaan 0% 6.25 % tunak sumbu Y

Dari hasil pengujian di atas, terdapat beberapa perbedaan keadaan tunak yang signifikan. Hal tersebut dikarenakan dalam mencapai target (bola) pada kondisi pertama dan kedua posisi belakang robot yang terdeteksi oleh kamera, sehingga jarak posisi belakang robot terhadap bola terlihat cukup jauh. Pada kondisi ketiga dan keempat posisi depan robot selalu terdeteksi oleh kamera. Pergerakan robot dalam berbelok ke target (bola) sangat berpengaruh dalam update posisi belakang maupun posisi depan robot.

6

Algoritma ini juga dapat dikembangkan dengan menggabungkan fuzzy logic dan Q learning untuk mendapatkan pembelajaran yang akurat. Referensi [5] Brooks R. (1989). “A Robot that Walks : Emergent Behaviors from Carefully Evolved Network”, Neural Computation, vol. 1, no. 2, pp. 253 – 262. [6] Perez M.C., (2003). “A Proposal of Behavior Based Control Architecture with Reinforcement Learning for an Autonomous Underwater Robot”, Tesis Ph.D.,University of Girona. [7] Brooks R., (1986). “A Robust Layered Control System For a Mobile Robot”, IEEE Journal of Robotics and Automation, vol. 2, no. 1, pp. 14 – 23. [8] Wicaksono, Handy., (2008). “Penerapan Behavior Based Architecture dan Q Learning pada Sistem Navigasi Otonom Hexapod Robot”., Journal Vol 2.1.

sfddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd dddddddddddddddddddddddddddddddddddddddddddddddd ddddddddddddddddddddddddddddddddddd

V. KESIMPULAN Pada penelitian ini telah diterapkan algoritma behavior based robotics pada mobile robot yang diaplikasikan sebagai robot soccer. Dari hasil implementasi terlihat bahwa behavior coordination dari robot soccer telah berjalan dengan baik dan dapat mencapai tujuan dalam mencari bola, serta menggiring bola ke gawang. Respon keadaan tunak yang dihasilkan dari implementasi behavior search target berkisar antara 3.03% - 16.39%. Sebagai pengembangan selanjutnya, akan dieksplorasi pemanfaatan Q learning pada aplikasiaplikasi lain, misalnya penentuan lintasan terpendek.

Riwayat Hidup Ravi Harish Maulana dilahirkan di Denpasar-Bali. pada tanggal 1 Juli 1987. Tempat tinggal penulis adalah Jl. Jojoran I Perintis III No. 26 Surabaya, Jawa Timur, Indonesia. Setelah lulus dari SMU, penulis diterima sebagai Mahasiswa Jurusan D3 Teknik Elektro – FTI, Institut Teknologi Sepuluh Nopember Surabaya pada tahun 2005, kemudian Lintas Jalur pada tahun 2008 di Jurusan Teknik Elektro, konsentrasi penulis adalah Teknik Sistem Pengaturan (TSP).

7