BAB II TINJAUAN PUSTAKA 2.1 Sistem Augmented Reality (AR) Azuma [1] mendifinisikan AR sebagai sistem yang menggabungkan nyata dan virtual, interaktif dalam real-time dan register dalam 3D. Dalam lingkungan virtual reality (VR) pengguna sepenuhnya berbaur dan mampu berinteraksi dengan dunia sintetik. Sementara, lingkungan AR pada sisi lain dapat menampilkan obyek virtual ke dalam dunia nyata. Berikut contoh sistem AR.
Gmb 2.1 Contoh sistem AR.
Sistem AR seperti pada gambar di atas memiliki tiga komponen utama. Tracking system menentukan posisi dan orientasi obyek-obyek dalam dunia nyata. Graphic system
menggunakan
informasi
yang
disediakan
tracking
system
untuk
menggambarkan gambar-gambar virtual pada tempat yang sesuai, sebagai contoh 6
melalui obyek-obyek nyata. Tampilan system menggabungkan dunia nyata dengan gambar virtual dan mengirimkan hasilnya ke pengguna, misalkan dikirim ke HMD, tetapi tampilan biasa juga seperti monitor dapat digunakan. Pendekatan populer untuk efek augmentasi pengguna adalah menggunakan seethrough HMD, yang terdiri dari dua jenis yaitu video see-through HMD dan optical see-through HMD. Optical see-through HMD menggunakan layar transparan dimana dunia nyata dapat dilihat. Sedangkan video see-through HMD menggabungkan closed-view HMD dengan satu atau dua head-mounted camera. Video dari kamera tersebut ditempatkan dengan material virtual dan dilihat pada tampilan. Pengguna melihat dunia nyata melalui video pada HMD.
Gmb 2.2 Diagram konsep optical see-through HMD.
Gmb 2.3 Dua optical see-through HMD. 7
Gmb 2.4 Diagram konsep video see-through HMD.
Gmb 2.5 Aktual dari video see-through HMD.
Ada banyak masalah dengan kedua pendekatan termasuk masalah biaya yang tinggi, berat, dan ukurannya. Optical see-through HMD tidak memiliki cukup kecerahan, resolusi, bidang pandang dan kontras untuk memberikan khayalan ketika nyata dan virtual dicampur bersama-sama. Video see-through dislay rentan terhadap kesalahan paralaks karena kamera sering diarahkan terlalu jauh dari mata pengguna sehingga menghasilkan sudut pandang yang berbeda secara signifikan. Masalah lainnya adalah bahwa kebanyakan tampilan hanya dapat memusatkan mata pada jarak tertentu, yang merupakan permasalahan ketika
AR melibatkan penglihatan pada obyek-obyek 8
untuk lokasi yang berbeda. Ada beberapa sistem yang telah dikembangkan dapat membantu memecahkan masalah-masalah tersebut, sebagaimana digambarkan secara rinci oleh Azuma. Beberapa jenis alternatif tampilan sebagai tambahan terhadap HMD yang dipaparkan di atas yakni small handheld dan flat panel Liquid Crystal Display yang dapat berlaku sebagai window atau kaca pembesar untuk menunjukkan obyek nyata dengan penempatan AR seperti ditulis Rekimoto[14]. Pendekatan lain adalah memproyeksikan gambar virtual secara langsung ke dalam obyek nyata menggunakan sebuah proyektor yang dapat diarahkan dalam suatu lingkungan atau dipakai oleh pengguna. Keuntungan HMD atas handheld tampilan adalah memberikan keleluasaan bagi tangan untuk melakukan pergerakan secara bebas dan lebih alami ketika augmentasi terjadi melalui pandangan pengguna. Suara merupakan aspek AR yang sering diabaikan. Sintetik, suara terarah dari headphone dan mikropon dapat mendeteksi suara yang datang dari lingkungan. Haptic feedback, berhubungan dengan sensasi sentuhan atau gerak pada badan juga penting, seperti contoh sarung tangan yang memberikan tactile feedback dapat menambahkan gerak nyata dalam lingkungan. Rasa merupakan sensasi lain yang mungkin dapat ditambahkan. Obyek-obyek tertentu dalam dunia nyata dapat di-track sehingga sistem tahu dimana informasi virtual ditempatkan. Dua metoda tracking paling popular dalam AR adalah tracking magnetik
dan optik. Tracking magnetik melibatkan suatu devais yang
memancarkan suatu medan magnet yang dideteksi oleh beragam jenis sensor dalam lingkungan. Sensor-sensor ini melewatkan informasi tersebut, biasanya melalui suatu kawat terhadap filter yang bekerja di luar posisi dan orientasi sensor. Tracking optik menggunakan kamera untuk men-track posisi obyek dalam dunia nyata menggunakan teknik computer vision. Saat ini kebanyakan sistem optik mengandalkan pada tracking marker khusus seperti fiducial yang ditempatkan di area khusus dalam suatu lingkungan. Tracking magnetik cukup andal tetapi tidak akurat dikarenakan medan magnet, sementara tracking optik cukup presisi tetapi 9
tidak andal dikarenakan sering terjadi macet, bayangan, dan pergerakan cepat. Menggunakan kedua teknik bersamaan seperti dikemukakan State[18] dapat memperbaiki tracking. Outdoor atau mobile AR merupakan masalah yang menarik, ketika lingkungan tidak dikendalikan atau tidak dipersiapkan sebelumnya dan ketika ada keterbatasan menggunakan marker. Beragam pendekatan inovatif untuk proses tracking dikembangkan dalam area ini. Kebanyakan sistem sekarang sangat terbatas; sebagai contoh Global Positioning System, tak hanya tidak akurat untuk aplikasi AR, juga memerlukan kondisi optimal seperti pandangan yang jelas dari langit. Outdoor AR juga dipengaruhi oleh isu-isu perangkat keras ketika peralatan mensyaratkan harus bisa dibawa ke mana-mana, ringan, nyaman, dan daya rendah untuk kehidupan batrei yang lebih lama tetapi masih cukup daya untuk menjalankan operasi yang kompleks. Beberapa contoh isu ini ditunjukkan pada gambar berikut.
Gmb 2.6 AR untuk penyiaran peristiwa olahraga.
Dalam beberapa aplikasi, misalkan sistem AR untuk medis, registrasi yang akurat adalah sangat penting. Kesalahan registrasi akan berdampak langsung, ketika obyek virtual akan nampak di luar di tempat dimana pengguna melihat. Kebanyakan sistem AR yang ada memerlukan kalibrasi akurat antara devais tracking dengan devais tampilan untuk meminimalkan kesalahan registrasi. Menyedehanakan proses kalibrasi merupakan tujuan dalam banyak riset AR.
10
2.2 Marker-based AR Beberapa sistem AR yang telah dikembangkan didasarkan pada kemudahan untuk men-track marker, biasanya tercetak pada kertas. Teknik computer vision dapat digunakan secara akurat untuk menentukan posisi dan orientasi kartu serta memungkinkan sistem AR untuk menempatkan obyek virtual pada kartu tersebut. Ada banyak keuntungan dengan marker yang didasarkan kertas. Keuntungannya antara lain sangat murah dan mudah untuk diproduksi. Dengan cara melakukan encoding ID ke dalam marker, memungkinkan untuk melakukan link dari suatu obyek fisik atau lokasi menjadi bentuk informasi digital. Jika marker ditempatkan pada kartu sehingga dengan mudah obyek-obyek dapat dimanipulasi, marker dapat digunakan sebagai devais masukan untuk antarmuka AR Tangible. Kegunaan lainnya adalah menempatkan tag ke dalam obyek untuk memberikan penampakan bahwa pengguna sedang berinteraksi dengan obyek selain dengan marker. Suatu contoh pengguna secara fisik melakukan drag and drop printer atau proyektor data dari devais wearable AR dikemukakan oleh Rekimoto dan Ayatsuka[13].
2.3 ARToolKit ARToolKit adalah salah satu pustaka (library) perangkat lunak berbasis C dan C++ , yang dibangun pertama kali oleh Dr. Hirokazu Kato dari Universitas Osaka Jepang dan didukung oleh Human Interface Technology (HIT) Laboratory University of Washington dan HIT Lab. NZ University of Canterbury New Zealand, memberikan kebebasan bagi pemrogram untuk mengembangkan aplikasi augmented reality (AR). ARToolKit dibuat sebagai bagian dari Shared Space Project, bertujuan untuk meningkatkan kolaborasi tatap muka dan kolaborasi jarak jauh.
Proyek ini
mengizinkan pengguna untuk saling melihat satu sama lain pada waktu yang sama, mendukung komunikasi alami antara pengguna dan mendukung manipulasi intuitif terhadap obyek virtual. Pada kolaborasi jarak jauh, window konferensi video virtual ditempatkan pada lingkungan nyata lokal, mendukung isyarat ruang dan 11
menghilangkan kebutuhan terhadap kehadiran fisik pada mesin desktop
untuk
melakukan konferensi. Collaborative web browser dikembangkan sehingga memungkinkan pengguna untuk melakukan loading dan menempatkan halaman web virtual disekitar mereka pada dunia nyata. Beberapa aplikasi telah diimplementasikan menggunakan ARToolKit. Augmented Groove adalah AR disk jockey system. Pengguna dapat memainkan musik bersamasama, dengan atau tanpa instrumen musik tradisional, dengan cara melakukan manipulasi terhadap marker di meja. MagicBook merupakan suatu buku kisah tradisional dimana kartu AR marker dicetak pada halaman buku tersebut. Ketika pembaca melihat buku tersebut menggunakan ARToolKit, maka gambar akan muncul pada halamannya dan hidup sebagai adegan animasi 3D virtual. Aspek penting dari ARToolKit adalah bahwa ketersediaannya secara bebas, open source dan memiliki kebutuhan sistem yang rendah seperti komputer, kamera video, dan kartu marker. Ini yang menjadikan ARToolKit menjadi demikian penting bagi banyak pendatang baru AR, dan telah digunakan oleh banyak kelompok peneliti di belahan dunia. Salah satu hal yang paling sulit dilakukan dalam mengembangkan sebuah aplikasi AR adalah perhitungan yang tepat dalam sudut pandang pengguna secara real time sehingga gambar virtual dapat sejajar dengan dengan obyek-obyek nyata. ARToolKit menggunakan metoda computer vision untuk menghitung posisi dan orientasi kamera relatif terhadap marker. Marker pada ARToolKit dilambangkan dengan gambar yang terdiri atas border outline (tepian kotak) berwarna hitam dan pattern image (gambar dalam marker) yang merupakan kombinasi warna hitam dan putih. Salah satu contoh marker dapat dilihat pada Gmb 2.7.
12
Border Outline Pattern Image
Gmb 2.7 Contoh marker.
2.3.1 Sistem Koordinat ARToolKit memiliki sistem koordinat yang berbeda dengan algoritma computer vision dan rendering, sehingga dibutuhkan pemahaman di antara sistem-sistem koordinat tersebut untuk menghindari tampilan yang terbalik atau posisi yang tidak tepat. Gmb 2.8 di desain oleh Kato untuk menunjukkan sistem koordinat dalam ARToolKit.
Gmb 2.8 Sistem koordinat pada ARToolKit.
2.3.2 Prinsip Dasar ARToolKit Dasar dari metoda computer vision ARToolKit adalah pendeteksian marker. Secara 13
garis besar langkah-langkah pendeteksian tersebut sebagai berikut (Gmb 2.9). 1. Kamera menangkap gambar dari dunia nyata secara live dan mengirimkannya ke komputer. 2. Perangkat lunak dalam komputer mencari marker pada masing-masing frame video. 3. Jika ditemukan sebuak kotak, maka digunakan perhitungan matematik untuk menghitung posisi kamera relatif terhadap kotak berwarna hitam. 4. Setiap kali posisi kamera diketahui,
maka model grafis hasil rekayasa
komputer digambarkan pada posisi yang sama. 5. Model tersebut ditampilkan di atas gambar video dunia nyata dan tampak menempel pada marker yang berbentuk kotak. 6. Hasil akhir menunjukkan jika pengguna melihat pada tampilan, maka akan tampak obyek virtual tambahan pada dunia nyata.
Gmb 2.9 Skema prinsip kerja ARToolKit.
2.3.3 Deteksi Marker pada ARToolKitPlus ARToolKitPlus adalah pengembangan dari ARToolKit. ARToolKitPlus ditulis ulang dalam pemrograman berbasis obyek. Kelebihan ARToolkitPlus antara lain adalah 14
pemakaian memori yang lebih efisien, penggunaan lebih dari satu tracker dalam sekali proses, dan yang paling tampak adalah identifikasi marker yang dibangun menggunakan metode digital encoding. Hal ini memungkinkan pendeteksian marker yang banyak secara serentak dan untuk mengurangi tingkat kesalahan deteksi marker. ARToolKitPlus juga menerapkan penggunaan threshold (batas warna pixel antara hitam dan putih) otomatis sehingga pengaruh pencahayaan dapat diredam. Hal ini dapat dilihat pada Gmb 2.10.
Gmb 2.10 Deteksi marker pada ARToolKit Plus. Dari Gmb 2.10 di atas, sebelah kiri merupakan gambar asli, gambar tengah treshold manual, dan gambar tengah menunukkan treshold otomatis. Ketika mendeteksi marker, gambar dari kamera diambil dan diproses untuk selanjutnya dicari keberadaan tepian marker yang berbentuk kotak. Pada tiap kotak yang ditemukan, dipelajari gambar yang ada di dalam kotak tersebut untuk menentukan jenis marker.
2.3.4 Deteksi Border Outline Ketika melakukan pencarian tepian marker dari kemungkinan marker-marker tiaptiap frame kamera, hal pertama yang dilakukan adalah gambar dari kamera diproses menjadi gambar abu-abu dengan kedalaman warna sebanyak 256 tingkat warna abu (grey scale). Kemudian gambar dalam grey scale tersebut diproses kembali untuk diubah menjadi gambar hitam putih berdasarkan nilai threshold (batas antara warna hitam dan putih pada warna abu-abu) untuk mengatasi penyinaran yang lemah dengan tujuan agar pixel yang berwarna putih tidak menjadi hitam. Hal ini dilakukan untuk mempercepat waktu pendeteksian bentuk kotak. Kemudian inversi warna 15
dilakukan sehingga hitam akan berubah menjadi putih begitu juga sebaliknya seperti tampak pada Gmb 2.11.
Gmb 2.11 Gambar hitam putih yang telah diinversi untuk deteksi tepian marker.
2.4 Interaksi AR Tangible Augmented Reality
menggunakan teknik antarmuka pengguna tangible
untuk lingkungan AR. Menurut Kato[8] , antarmuka tangible didasarkan pada penelitian bahwa orang memiliki kemampuan untuk melakukan sensasi dan manipulasi terhadap lingkungan fisik mereka. Demikian sebagai ganti penggunaan devais masukan keluaran seperti mouse, keyboard dan monitor, antarmuka pengguna tangible didasarkan pada interaksi dengan obyek fisik, seperti balok kayu sederhana. Dengan menepatkan gambar virtual melalui obyek fisik tersebut, AR memberikan kemampuan tampilan yang ditingkatkan untuk antarmuka ini, menghilangkan kebutuhan untuk mengintegrasikan tampilan ke dalam obyek fisik, menggunakan proyektor besar atau monitor eksternal. Di sana ada potensi besar untuk jenis antarmuka jenis ini ketika aksi-aksi yang dilakukan pada obyek nyata, seperti menyusun, menggetarkan atau menggerakkan sesuatu sehingga memicu peristiwa atau kejadian. Hal demikian tidak praktis atau bahkan tidak mungkin dengan divais tradisional. Antarmuka tangible mengizinkan interaksi dua tangan secara alami, kolaborasi antara banyak orang disekitar antarmuka dan memberikan lingkungan lebih stabil. Tidak seperti antarmuka tradisional, obyek-obyek fisik tidak akan hilang atau 16
bergerak dengannya ketika sistemnya berubah status. Tangible AR menurut Poupyrev[12] memberikan kesempatan untuk menggabungkan ruang fisik tempat pengguna berada dan bekerja dengan ruang virtual untuk menyimpan dan berinteraksi dengan informasi digital. Sinergi ini dihasilkan dalam ruang AR dimana informasi digital dan obyek dapat secara sederhana dimanipulasi seolah-olah itu nyata. Tanpa adanya kebutuhan untuk devais masukan-keluaran kegunaan khusus, interaksi dapat menjadi intuitif dan seamless sehingga dapat digunakan alat yang sama untuk bekerja dengan informasi digital maupun obyek nyata. Namun demikian, diskontinu ruang terjadi ketika antarmuka terbatas pada permukaan tertentu dan tidak dapat diperluas jauh di atas ini, juga ada dukungan terbatas untuk interaksi dengan obyek virtual 3D.
2.4.1 Rancangan Interaksi pada AR Rancangan interaksi pada AR mengizinkan pengguna untuk melihat dan berinteraksi dengan model 3D untuk keperluan visualisasi informasi. ARToolkit Plus mendukung aplikasi tangible user interaction dengan fiducial marker yang berfungsi sebagai titik referensi untuk menyinkronkan posisi dan arah dunia virtual dan dunia nyata. Dijelaskan oleh Bowman[2] bahwa seleksi dan manipulasi obyek merupakan salah satu interaksi mendasar yang digunakan dalam lingkungan virtual. Seleksi kaitannya dengan kegiatan menentukan atau memilih suatu obyek untuk berbagai kegunaan, misalnya memilih item menu atau menghapus obyek. Sedangkan manipulasi adalah kegiatan mengubah posisi dan orientasi dari obyek yang diseleksi. Teknik yang paling umum dan jelas untuk interaksi tersebut adalah metafora di dunia nyata melalui manipulasi menggunakan tangan. Pengguna memilih suatu obyek dengan “menyentuh” obyek dengan tangan virtual dan melakukan manipulasi secara langsung dengan cara memindah-mindahkan posisi tangan tersebut. Lebih jauh Bowman menyatakan bahwa interaksi ini bersifat intuisi dan sederhana secara kognitif, tetapi memiliki keterbatasan dalam hal praktis. 17
Banyak metoda interaksi yang telah dikembangkan, tetapi ringkasnya menurut Poupyrev dapat dibagi ke dalam dua kategori; ray-casting dan arm-extension. Raycasting melakukan perluasan ray virtual dari tangan pengguna. Arm-extension menggunakan perpanjangan representasi virtual dari tangan pengguna, lalu menyediakan pencapaian obyek pada jarak yang jauh. Teknik Go-Go Popyrev[11] adalah contoh dari tangan virtual atau teknik perluasan tangan dengan cara melakukan seleksi dan manipulasi obyek. Teknik Go-Go memungkinkan pengguna memilih obyek yang semula di luar jangkauan dengan cara memperpanjang representasi virtual lengan pengguna. Ketika kondisi lengan pengguna berada pada dua per tiga panjangnya, maka interaksi dipertimbangkan antara pengguna dan obyek terdekatnya. Akan tetapi jika pengguna memperpanjang jangkauan tangannya jauh dari daerah tersebut, maka representasi tangan virtual akan diperluas searah dengan arah tangan pengguna. Magic Pen menggunakan teknik ray-casting untuk melakukan seleksi dan manipulasi obyek virtual. Tracking kamera dilakukan menggunakan ARToolkit. Dua atau lebih LED diarahkan pada pergerakan pena nyata. Sebuah kamera digunakan untuk melakukan tracking posisi pena menggunakan LED sebagai marker posisi. Manipulasi langsung dapat dilakukan dengan ujung pen, atau sinar virtual dapat dicast searah dengan arah pena. Teknik ini memberikan devais interaksi cable-less baik untuk lingkungan AR maupun VR. Bowman menguraikan teknik lampu senter. Teknik ini menggunakan suatu kerucut cahaya yang diposisikan dalam arah yang tangan pengguna hadapi. Teknik ini berguna untuk memilih kelompok obyek pada jarak-jarak yang besar, tetapi menjadi rumit dengan obyek kecil pada jarak yang besar. Wloka[20] menyarankan penggunaan devais jenis “virtual tricorder” yang dapat menjalankan tugas jamak menggunakan satu instrument. Instrumen fisik yang memiliki devais tracking dilekatkan untuk mengendalikan representasi virtual devais tersebut. Pengguna dapat melakukan loading tuga-tugas ke dalam devais dan 18
memilih aksi yang sesuai dengan menekan tombol yang berhubungan dengan tugastugas tertentu. Bowman mengkategorasi teknik interaksi untuk seleksi dan manipulasi melalui taksonomi sebagai berikut.
Gmb 2.12 Taksonomi seleksi manipulasi pada teknik interaksi.
2.4.2
Penggunaan Fiducial Marker
Fiducial marker sederhananya adalah suatu pola yang telah dilatih untuk dikenali program. Ketika program ARToolkit mendeteksi marker, posisi aktual dihitung menggunakan data yang disimpan dalam template dan menggunakan ukuran marker 19
dari aliran masukan. Ini kemudian digunakan untuk melakukan penskalaan grafis yang akan dilekatkan pada marker. Gmb 2.13 di bawah menunjukkan fiducial marker dengan tiga tahapan komputasi. Gambar sebelah kiri bawah menunjukkan masukan video digital terhadap program. Gambar kanan bawah menunjukkan versi masukan yang di-treshold. Pencocokan pola dijalankan pada semua area segi empat. Ketika pola yang sesuai ditemukan, model 3D diposisikan untuk menempati pusat dari pola.
Gmb 2.13 Fiducial marker dengan tiga tahapan komputasi.
2.4.3 Switching Atribut Menggunakan Fiducial Marker Beberapa teknik yang dipergunakan untuk melakukan tugas switching atribut obyek virtual on dan off. 1. Array Marker Fiducial marker sederhananya disusun pada suatu permukaan. Untuk mengubah salah satu atribut obyek virtual, pengguna melakukan buka tutup terhadap susunan marker seperti contoh di bawah ini. 20
Gmb 2.14 Array marker. 2. Sistem Menu Fiducial Marker dapat digunakan juga sebagai sistem menu. Lima marker kecil dirancang untuk merepresentasikan opsi lima menu. Masing-masing lapisan sistem menu mempunyai suatu pembatas. Untuk memilih salah satu opsi, suatu kartu dibalik. Representasi kartu virtual akan berubah untuk menunjukkan lapisan berikutnya dari sistem menu. Berikut contoh gambar marker digunakan sebagai sistem menu.
Gmb 2.15 Sistem menu.
21
3. Switch Toggle Fiducial marker dapat juga digunakan sebagai switch toggle. Fiducial marker ini memiliki pola pada masing-masing sisi kartu. Dua pola dihubungkan dengan tugastugas yang akan memberikan fungsi berlawanan atau berkebalikan. Sebagai contoh, gambar di bawah menunjukkan suatu kartu yang menghubungkan titik-titik grafik yang diarahkan bersama-sama ketika sisi pertama ditunjukkan, dan kartu tersebut juga memutus titik-titik ketika dibalik.
Gmb 2.16 Switch toggle.
22
