Eksplorasi 3D Photorealistic Situs Warisan Waruga menggunakanvirtual Reality

Eksplorasi 3D Photorealistic Situs Warisan Waruga menggunakanVirtual Reality Andria K. Wahyudi

Joe Yuan Mambu

Program Studi Teknik Informatika Universitas Klabat Airmadidi, Indonesia [email protected]

Program Studi Teknik Informatika Universitas Klabat Airmadidi, Indonesia [email protected]

Abstract— Seiring perkembangan, teknologi Virtual Reality telah di implementasikan di berbagai area. Virtual Reality juga telah banyak di terapkan untuk melestarikan peninggalan bersejarah. Paper ini membahas penelitian yang mengkombinasikan beberapa teknologi terkini. Penelitian ini dimulai dari rekonstruksi situs warisan budaya Indonesia Waruga menggunakan teknik photogrammetry, dan model 3D ditampilkan menggunakan VR headset. Dengan memanfaatkan gyroscope dan accelerometer, pengguna bisa bergerak didalam dunia VR cukup dengan berdiri dan berjalan ditempat. Untuk melakukan eksplorasi pengguna tidak hanya melihat secara 360 derajat, tapi dapat melakukan eksplorasi. Hasilnya sistem dapat memberikan inovasi visualisasi virtual reality dengan tampilan photorealistic.

perhatian kalangan masyarakat pada umumnya, Ini terlihat pada kurangnya minat kunjungan ke museum [2].

Keywords—Augmentd Reality; Photogrammetry; Virtual Reality Headset; 3D reconstruction

Teknologi modeling 3D ini sudah sangat sering diaplikasikan di penelitian arkeologis seperti rekonstruksi artifak[3] dan reproduksi virtual suatu situs bersejarah [4]. Ada juga beberapa material yang pernah di buat dengan metode yang sama seperti batu [5] tulang [6] hingga keramik [7]. Namun dengan masuknya teknologi wearable virtual reality (VR) seperti Google Cardboard yang memanfaatkan telepon genggam beberapa tahun belakangan membuka sebuah ruang yang baru yaitu pemanfaatan VR dalam pelestarian situs bersejarah.

I. PENDAHULUAN Sejarah menyimpan banyak cerita kehidupan manusia di masa lalu. Sisa-sisa peninggalan sejarah dan purbakala seperti artifak, struktur, monumen dan lainnya menyimpan nilai-nilai kultural dan sejarah yang bisa seolah-olah membawa kita ke sebuah peradaban di masa lalu. Sayangnya banyak peninggalan sejarah khususnya yang berbentuk struktur seperti artifak dan monument mudah tergerus oleh cuaca seperti angin dan hujan ataupun dan aktivitas alam seperti gempa, banjir dan badai yang menyebabkan degradasi dan deformasi struktur dan permukaannya [1]. Artifak yang kondisinya sudah rusak berat tidak bisa dengan mudah di restorasi, Selain itu banyak nilai sejarah suatu artifak, seperti relief, terdapat pada permukaannya yang masih otentik, sehingga restorasi yang massif bisa di lakukan tapi tidak bisa mengembalikan detail yang telah hilang. Perekaman melalui foto saja kadang terasa kurang karena tidak adanya atribut spasial atau 3 dimensi, ini akan sangat berarti untuk perekaman sebuah struktur, patung, monument ataupun relief dinding dain lain-lainnya. Ini masalah yang pertama. Masalah yang ke dua, Indonesia merupakan sebuah negara yang memiliki kekayaan kultural yang sangat besar yang disebabkan oleh banyaknya suku dan budaya yang menjadi bagian dalam negara kesatuan ini. Kekayaan ini juga bisa di lihat sisi artifak arkeologis yang bertahan hingga saat ini. Namun sayangnya artifak, struktur dan peninggalanpeninggalan sejarah lainnya yang ada kurang mendapat

Kedua masalah diatas, kurangnya kualitas perekaman artifak yang baik dan kurangnya minat terhadap artifak arkeologis, menjadi perhatian penulis dan percaya dengan teknologi dan inovasi yang ada, kedua permasalahan bisa kurangi. Dalam penelitian ini kami menyusun sebuah metode, teknik dan aplikasi yang bisa membantu mengurangi intensitas masalah diatas yaitu dengan penggunaan teknologi photogrammetry yang bisa menghasilkan pengalaman eksplorasi 3D photorealistic dari sebuah situs, artifak, monument ataupun objek bersejarah lainnya yang bisa di jelajahi.

Tujuan dari penelitian ini adalah untuk menciptakan sebuah interface ataupun aplikasi dimana user bisa menikmati objek 3D suatu monument ataupun artifak dengan kualitas photorealistic dengan menggunakan photogrammetry. Selain, dengan memanfaatkan gyroscope perangkat telepon gengam, pengguna bisa bergerak didalam dunia VR cukup dengan berdiri dan menggerakan kakinya namun tidak berpindah tempat. Dengan fitur diatas diharapkan pengguna bisa lebih mengapresiasi suatu objek bisa di lihat dari segala sisi dan mengajak pengguna benar-benar bergerak untuk melihat objek secara 3D. Adapun objek yang kami ambil yaitu peninggalan bersejarah Waruga yang terletak di Minahasa Utara, Sulawesi Utara. II. PENELITIAN TERKAIT Penggunaan teknologi seperti VR dan Augmented Reality (AR) untuk pariwisata dan kebudayaan sudah banyak di terapkan seperti tampilan 3D model pada pengunjung museum yang dibuat Miyashita et. al [8]. Namun oleh karena system ini menggunakan AR maka pengunjung harus mendatangi tempat tersebut baru bisa menikmatinya. Adapun

karya yang dibuat Weng et. Al [9] namun mayoritas objek 3Dnya dibuat secara manual sehingga tidak photorealistic. Pemanfaatan photogrammetry untuk dokumentasi peninggalan bersejarah juga di lakukan oleh Boehler dan Marbs [6] dengan menggunakan laser scanning. Namun proses ini memakan waktu 3 jam hingga selesai untuk satu objek. Penelitian-penelitan yang baru, kurang dari 2 tahun, seperti situs bersejarah di Nova Scotia, Canada [10], situs pertambangan di Virgina, USA [11] dan situs purbakala di Siberia [12] merupakan contoh nyata bagaimana photogrammetry dimanfaatkan untuk dokumentasi dan konservasi situs sejarah, namun penelitan-penelitian tersebut lebih menekankan pada kualitas jadi. Penelitian kami, selain pada kualitas, juga memanfaatkan immersion experience dengan pemanfaatan VR dan juga gyroscope yang memungkinkan user untuk berjalan secara virtual dengan menggerakan kaki, seperti berjalan di tempat. III. METODE PENELITIAN DAN USULAN SISTEM Perancangan sistem yang di usulkan untuk mengintegerasikan VR, photogrammetry, dan Accelerometer dalam penelitian ini dapat dilihat pada Figur 1.

A. Platform Project ini dirancang dengan Operating Sistem Android. dapat berjalan di bermacam macam tipe smartpone dan tablet. Smartphone sangat ideal untuk mengembangkan teknologi virtual reality karena prosesor yang dapat melakukan komputasi yang besar, ram yang hampir setara personal komputer, dan dilengkapi berbagai macam sensor seperti accelerometer, gyroscope, dan lain lain. Dalam penelitian ini digunakan Unity3D sebagai IDE untuk pengembangan software dan di integerasikan dengan Google VR yang menyediakan tampilan virtual reality dengan SDK open source. B. Garis Besar Sistem Secara umum gambaran sistem yang di usulkan dapat dilihat seperti pada Figur 2. Setelah sistem di jalankan, Smartphone Android dimasukan ke dalam VR Box atau VR headset. Secara otomatis pengguna langsung seperti berada di dalam lingkungan lokasi situs warisan budaya Waruga. Pengguna dapat melakukan eksplorasi pada situs warisan budaya yang ada. Tidak seperti pada VR360, dimana pengguna tidak bisa berjalan di lingkungan virtual, penelitian ini memungkinkan pengguna untuk berjalan untuk melakukan eksplorasi area Waruga. Untuk melakukan navigasi, user dapat melihat ke arah sekeliling area virtual. Untuk berjalan ke depan, user dapat melangkah berjalan ditempat.

Figur 2. VR akan bergerak maju jika sensor membaca ada gerakan naik turun

Ketika user berjalan di tempat, sensor accelerometer akan membaca gerakan naik turun atau gerakan Y(vertikal). Setelah itu kemudian ditranslasikan sebagai perintah maju ke depan sebagai respons dari sistem. Dengan demikian user dapat dengan leluasa untuk melihat sekitar objek, dan berjalan di sekitar objek tanpa perlu menggunakan alat kontrol. Pengguna cukup memasukan smartphone ke dalam VR headset seperti pada Figur 3.

Figur 1. Proses integrasi yang diusulkan Figur 3. Smartphone dimasukan ke VR headset[13]

Dari segi developer seperti pada Figur 4, diagram yang berwarna hijau, dimulai dari proses photogrammetry, pengambilan gambar pada objek warisan sejarah capturing object menggunakan kamera DSLR untuk objek yang kecil dan menggunakan Unmanned Aerial Vehicle (UAV) untuk objek yang berukuran besar, kemudian di rekonstruksi menjadi model 3D. Hasilnya adalah model 3D dengan ekstensi .obj dan .tiff yang kemudian akan di masukan ke dalam Environment Smartphone. Figur 5. Metode pengambilan gambar Waruga

Untuk melakukan pengambilan gambar pada setiap warga, diperlukan minimal 50% gambar yang overlapping agar dapat menghasilkan model 3D yang baik ketika akan dilakukan proses photogrammetry. C. Eksperimen Photogrammetry Setelah tahap persiapan di jalankan, selanjutnya pdilakukan proses photogrammetry. Untuk menghasilkan model 3D geometri yang baik diperlukan minimum gambar yang saling overlap 50% [14][15][16].

Figur 6. Hasil dari photogrammetry model Figur 4. Model sistem yang diusulkan

IV. PENGEMBANGAN DAN EKSPERIMEN

Dapat di lihat pada Figur 6 model 3D berhasil di rekonstruksi menggunakan beberapa software seperti autodesk remake, dan agisoft photoscan. Model tersebut kemudian di eksport dengan format .obj yang merupakan format universal.

A. Peralatan

C. Disain Prototipe

Dalam melakukan pengambilan gambar, digunakan kamera DSLR Canon 5D dan Unmanned Aerial Vehicle(UAV) dengan tipe DJI Phantom 3 Advanced seperti pada. UAV digunakan untuk mengabil gambar pada objek Waruga yang berukuran besar. UAV tersebut memiliki SDK yang bisa di program. Digunakan android OS untuk melakukan pengontrolan UAV.

Setelah model 3D waruga selesai dibuat, dilakukan pengkodean sistem aplikasi, dimana pada tahap ini dilakukan proses penulisan program untuk merealisasikan rancangan sistem menggunakan bahasa pemrogramman C#. Pada tahap ini digunakan Unity 3D sebagai IDE untuk perancangan Environment dari Virtual Reality seperti pada Figur 7.

UAV yang digunakan telah dilengkapi dengan 3-axis gimbal yang memungkinkan pengambilan photogrammetry menjadi lebih baik karena sudut kemiringan kamera tersebut dapat di kontrol. B. Pengambilan Data Objek Waruga yang ada memiliki ukuran yang bervariasi, sehingga diperlukan UAV untuk Waruga yang berukuran besar, dan kamera DSLR untuk warga yang berukuran kecil. Pengambilan model di lakukan dengan metode seperti pada Figur 5.

sensor gyroscope. Pada Figur 7 tampilan layar yang terbagi menjadi dua bagian.

Figur 9. Tampilan smartphone dengan mode Virtual Reality

A. Antarmuka tampilan VR headset

Figur 7. Pemodelan environment VR

Selanjutnya integrasi Accelerometer untuk melakukan eksplorasi Environment. Figrue 8. Menampilkan deskripsi dimana ketika terjadi gerakan naik turun berdasarkan Y axis maka aplikasi akan melakukan triger pada camera object untuk memberikan perintah Move Froward.

Untuk memulai, user dapat langsung membuka aplikasi dan memilih VR mode. Selanjutnya memasukan smartphone ke dalam VR headset. Seperti pada Figur 8. Pada saat sistem dimulai, secara otomatis suara narator yang menjelaskan tentang model tersebut langsung dimulai. Figur 8 menampilkan cara pengguna dalam berinteraksi dengan Virtual reality.

Figur 10. User menggunakan VR headset

Figur 8. Trigger maju ke depan diaktifkan saat accelerometer mendeteksi gerakan naik turun.

Kemudian digunakan Google VR SDK untuk enggine VR. Model 3D yang dihasilkan dari photogrammetry berukuran sangat besar, sehingga untuk di masukan ke dalam smartphone harus di kurangi jumlah polygon-nya menggunakan software Autodesk Remake. Hal ini bertujuan untuk meringankan proses pada smartphone yang terbatas. V. FUNGSIONAL SISTEM Sistem ini dirancang sebagai aplikasi smartphone. Sistem dapat langsung dimasukan ke dalam VRheadset. Pada saat digunakan oleh pengguna, pengguna akan langsung berada seakan berada di lokasi waruga. Untuk melakukan eksplorasi, user dapat menggerakan kaki, atau berjalan di tempat sehingga mengaktifkan sensor accelerometer yang kemudian ditranslasikan menjadi gerakan maju pada Virtua Reality. Pengguna juga dapat melihak sekeliling secara 360 derajat. Fitur ini hanya bisa digunakan oleh smartphone yang memiliki

VI. HASIL DAN PEMBAHASAN Model 3D yang dihasilkan dari photogrammetry dapat bervariasi dari segi jumlah faces untuk membentuk 3d geometry. Semakin besar jumlah faces maka dibutuhkan juga kinerja processor yang besar. Agar dapat berjalan lancar pada perangkat smartphone, jumlah faces disesuaikan dengan kemampuan proses smartphone. Visualisasi model 3D dengan Virtual Reality sangat baik jika digabungkan dengan sensor Accelerometer. Penggunaan VR headset dapat menambah pengalaman pengguna untuk melakukan eksplorasi. VII. KESIMPULAN DAN PENELITIAN KEDEPAN Paper ini menampilkan keberhasilan eksperimen menggunakan teknik photogrammetry yang digabungkan dengan VR headset dan menggunakan sensor accelerometer pada smartphone. Hasil yang ditampilkan dapat di implementasikan untuk berbagai hal karena kemudahan untuk di gunakan dengan biaya yang cukup murah untuk diterapkan. Keterbatasan dari jarak, lokasi, dan biaya untuk mengunjungi situs warisan budaya saat ini dapat diselesaikan dengan sistem

ini. Selain kemudahan, sistem ini dapat meningkatkan rasa antusias dari para pengguna. Penelitian kedepan dari sistem ini adalah menambah jumlah model 3D yang ada sehingga informasi menjadi semakin lengkap. Selanjutnya memberikan usability testing dalam penggunakan sistem ini. Dalam virtual reality dapat ditambahkan fitur voice recognition agar user dapat melakukan pengontrolan melalui suara atau metode lain untuk interaksi.

REFERENCES

[1] J. King, G. Wijesuriya, I. E. D. Erdbebenkatastrophen, A. Vatandoust, E. M. Taleqani, M. Nejati, W. Koellisch, W. Jäger, D. Napitupulu, and R. Langenbach, “Cultural Heritage and Natural Disasters.” [2] A. Risma, “Strategi Museum Perjuangan Kota Yogyakarta Dalam Meningkatkan Minat Pengunjung,” uny, 2014. [3] U. A. Schurmans, A. Razdan, A. Simon, M. Marzke, P. McCartney, D. Van Alfen, G. Jones, M. Zhu, D. Liu, and M. Bae, “Advances in geometric modeling and feature extraction on pots, rocks and bones for representation and query via the internet,” Bar Int. Ser., vol. 1016, pp. 191–204, 2002. [4] X. Zabulis, A. Patterson, and K. Daniilidis, “Digitizing archaeological excavations from multiple views,” in Fifth International Conference on 3-D Digital Imaging and Modeling (3DIM’05), 2005, pp. 81–88. [5] B. MAFART, “3D Imaging in Paleoanthropology and Prehistoric Archeology: A New Tool for Old Sciences or an Emerging Science,” Three-Dimens. Imaging Paleoanthropology Prehist. Archaeol. Oxf. Archaeopress Publ. Br. Archaeol. Reports, pp. 1–3, 2002. [6] W. Boehler, K. Boehm, G. Heinz, A. Justus, C. Schwarz, and M. Siebold, “Documentation of stone age artifacts,” in Proceedings of the XIX th CIPA Symposium. ISPRS/CIPA, 2003, pp. 506–510. [7] M. Kampel and R. Sablatnig, “Automated 3d Recording of Archaeological Pottery,” in Proceedings of the International Conference on Cultural Heritage and Technologies in the Third Millennium, 2001, pp. 169–182.

[8] T. Miyashita, P. Meier, T. Tachikawa, S. Orlic, T. Eble, V. Scholz, A. Gapel, O. Gerl, S. Arnaudov, and S. Lieberknecht, “An Augmented Reality Museum Guide,” in Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, Washington, DC, USA, 2008, pp. 103–106. [9] E. N. G. Weng, B. Parhizkar, L. C. H. Ping, and A. H. Lashkari, “Augmented reality for museum artifacts visualization,” Int. J. Comput. Sci. Inf. Secur., vol. 9, no. 5, p. 174, 2011. [10] K. Percy, S. Ward, M. S. Quintero, and T. Morrison, “Integrated Digital Technologies for the Architectural Rehabilitation & Conservation of Beinn Bhreagh Hall & Surrounding Site, Nova Scotia, Canada,” Isprs Ann. Photogramm. Remote Sens. Spat. Inf. Sci., vol. 2, no. 5, p. 235, 2015. [11] C. Kinsley, “The Hetzel-Hunter Quarry: A Case Study in the Use of Photogrammetry to Reevaluate Previously Excavated Sites,” Theses Diss. Honors Pap., Apr. 2016. [12] O. V. Zaitсeva, M. V. Vavulin, E. V. Vodyasov, and A. A. Pushkarev, “Photogrammetry: From Field Recording to Museum Presentation (Timiryazevo burial site, Western Siberia),” Ioannis Liritzis Univ. Aegean Gr Arne Flaten Ball State Univ. Susan Berger., vol. 23, p. 17, 2015. [13] “Facebook, you fools! Forget Oculus, you could have bought TRON-type headsets • The Register.” [Online]. Available: http://www.theregister.co.uk/2014/03/31/review_durovis_dive_ htc_oculus_facebook/. [Accessed: 24-Jun-2016]. [14] N. Tyutyundzhiev, K. Lovchinov, F. M. Moreno, J. Leloux, and L. Narvarte, “Advanced PV modules inspection using multirotor UAV,” presented at the 31st European Photovoltaic Solar Energy Conference and Exhibition, Campus Sur UPM. Ctra. Valencia km. 7. EUIT Telecomunicación. 28031 Madrid, Spain, 2015, vol. 31. [15] A. Zingoni, M. Diani, G. Corsini, and A. Marsini, “Real-Time 3D Reconstruction from Images Taken From UAV,” presented at the ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, University of Pisa, Italy, 2015, vol. Volume XL-3/W3. [16] J. Liénard, A. Vogs, D. Gatziolis, and N. Tyutyundzhiev, “Embedded, real-time UAV control for improved, image-based 3D scene reconstruction,” Elsevier, vol. 81, no. 81, pp. 264– 269, Dec. 2015.