PENGEMBANGAN MOTION CAPTURE SYSTEM UNTUK TRAJECTORY PLANNING
ELVA SUSIANTI 2209204802
Pembimbing: 1. ACHMAD ARIFIN, ST., M. Eng., Ph.D 2. Ir. DJOKO PURWANTO, M. Eng., Ph.D.
Bidang Keahlian Teknik Elektronika Program Pasca Sarjana Teknik Elektro Institute Teknologi Sepuluh Nopember (ITS) 2012
Outline • • • • •
Pendahuluan Dasar TeoriLatar Belakang Metodologi Penelitian Hasil dan Pembahasan Penutup
Chapter 12
Pendahuluan • • • • •
Latar Belakang Perumusan Masalah Batasan Masalah Maksud dan Tujuan Manfaat Penelitian
Chapter 12
Latar Belakang Motion Capture System yang ada sekarang mahal
Bipedal robot trajectory planning ditentukan manual
Teknologi Motion capture yang low cost untuk bipedal robot trajectory planning secara online
Rumusan Masalah Penentuan metode pengolahan image menjadi image biner
Pembacaan posisi marker untuk semua gerakan kaki berjalan
Prosedur perhitungan posisi sudut hip, knee dan ankle untuk semua gerakan
Pembuatan trajectory planning untuk kaki menggunakan simulator planar 3 dof
•Kecepatan gerakan kaki harus dipertahankan agar marker tetap dideteksi kamera ketika kaki bergerak. •Gerakan yang dilakukan tidak untuk gerakan ekstrim ketika sudut hip lebih besar dari sembilan puluh derajat.
Batasan Masalah Kecepatan gerakan kaki harus dipertahankan agar marker tetap dideteksi kamera ketika kaki bergerak
Gerakan yang dilakukan tidak untuk gerakan ekstrim ketika sudut hip lebih besar dari sembilan puluh derajat
Tujuan Penelitian Penelitian ini bertujuan untuk menggunakan kamera low cost dalam metode motion capture system untuk menangkap gerakan kaki manusia ketika berjalan. Melakukan pengolahan image menjadi image biner untuk mendapatkan data posisi dan besaran sudut hip, knee dan ankle.
Hasil motion capture system digunakan untuk membuat trajectory planning robot.
Manfaat Penelitian Manfaat penelitian antara lain untuk mengembangkan image processing untuk menghasilkan motion capture system yang lowcost dengan menggunakan kamera webcam. Pengembangan dan penyempurnaan lebih lanjut terhadap sistem akan menambah variasi gerakan dan dapat ditampilkan dalam bentuk simulasi 3D.
Kajian Pustaka Lindequist (Reports from MSI, 2004 ) Capture image menggunakan satu kamera dan satu objek yang sudah dipasangi marker (Ultra Violet)
Huang (IEEE Transactions On Robotics And Automation,2001) Pola berjalan pada biped robot, walking cycle, trajectory hip and foot.
Lindequist dan Huang
Trajectory planning
PENGEMBANGAN MOTION CAPTURE SYSTEM UNTUK HUMANOID ROBOT TRAJECTORY PLANNING
Dasar Teori • Body Structure Analysis
Fase gaya berjalan Stance Phase
Swing Phase
• • • •
• 1. Toe off • 2. Mid-swing • 3. Initial Contact
1. Initial Contact 2. Foot Flat 3. Mid Stance 4. Heel Off
Sketsa Gait cycle
Trajectories joint angles pada level gait
Blok diagram Image processing
Kamera
Normalisasi
Filtering
Threshold
webcam
Biner Tahap Persiapan
Trajectory Planning
Sudut hip, knee dan ankle
Chapter 12
Kordinat marker (x,y)
Marker 1. Body 2. Hip
3. Knee
4. Ankle 5. Heel
• Sensor pasif (kertas merah) • Bentuk Diameter 4cm • Ditempelkan ke kostum putih
6. Toe
Spesifikasi peralatan 2 • Kamera webcam portable dengan interface USB • Tipe chip Color CMOS image sensor yang bisa menyimpan gambar hingga resolusi 640x480 • Video formatnya 24bit RGB dengan frame rate 320x240 sampai 30 frame/s Chapter 12
Ruangan 4.5 m
• Ruangan ukuran 4.5m x 3m x 3m (p x l x t) • Ditutupi kain putih • Jarak kamera ke model 2.05m
Jalur berjalan
2m 3m
Kamera
Batas berjalan
Capture Image
Image Processing
Capture
Kamera
Antar Muka Sistem a) Image display citra asli yang ditangkap kamera b) Image display setelah image processing c) Image display plot stick figure berdasarkan posisi marker d) Image display tampilan kurva sudut hip e) Image display tampilan kurva sudut knee f) Image display tampilan kurva sudut ankle g) Botton normalisasi h) Botton filter gaussian i) Botton filter rata-rata j) Botton image biner k) Menu play file video manual dan otomatis l) Tampilan koordinat marker m) Menu pilihan tampilan stick figure, continious atau single model n) Simpan data sudut, tampilkan dan bersihkan grafik
l
b
d
a
e
g
j
h
f
i
c
m
Chapter 12
n
Normalisasi • r-normalisasi
Filter
• Gaussian
Rata-rata
Chapter 12
Threshold • RGB Image
• Binary Image
Penentuan Koordinat Start
Baris = 1 Kolom = 0 Scan baris and determine ymin
Baris = ymin Kolom = 0
Scan baris and determine ymax
Baris = ymin, Tinggi area = ymax – ymin Kolom = 0
A
A
Start
B
Scan kolom and determine xmin
Baris = ymax4, lebar area = lebar_canvas-xmax4, Kolom = xmax4
Scan kolom and determine xmin6
Kolom = xmin, Tinggi area = ymax – ymin Baris = ymin Scan kolom and determine xmax
x = (xmax - xmin)/2 + xmin y = (ymax - ymin)/2 + ymin
Scan baris and determine ymin6
Baris = ymin6, lebar area = lebar_canvas-xmax4, Kolom = xmax4 Scan baris and determine ymax6
Baris = ymax4 Kolom = xmin6
Scan kolom and determine xmax6
x6 = (xmax6 - xmin6)/2 + xmin6 y6 = (ymax6 - ymin6)/2 + ymin6
Stop Stop
Baris = ymax4 Kolom = xmax4
B
Mathematical skeletal model • θ1 : hip joint angle • θ2 : knee joint angle • θ3 : ankle joint angle
Body
Hip
1 Knee
2
Ankle Heel
3
Toe
Chapter 12
Pengujian bagian image processing • Pengujian warna merah, • Pengujian warna hijau, orange, kuning dan biru hitam, orange dan merah
Chapter 12
Kalibrasi sudut
(
S u d d e u g t
)
35 30 25 20 15 10 5 0
1
6
11
16
21
Jumlah data
Chapter 12
26
31
36
Pengujian posisi gerakan dasar • IC
• Mid Stance
• FF
• HO
Chapter 12
Pengujian posisi gerakan dasar • TO
• Mid Swing
Chapter 12
Sudut gerakan berjalan satu cycle Sudut (deg)
Hip
Knee
Ankle
Waktu (s)
Chapter 12
Trajectory Planning 30.00
Sudut Knee (deg)
10.00 0.00 -10.00
0
200
400
600
-20.00
800
1000
1200
1400
t (ms)
Sudut Ankle (deg)
Sudut Hip (deg)
20.00
60.00 50.00 40.00 30.00 20.00 10.00 0.00 -10.00 0 -20.00 -30.00
200
200
400
600
800
t (ms)
Chapter 12
1000
1200
600
800
t (ms)
90.00 80.00 70.00 60.00 50.00 40.00 30.00 20.00 10.00 0.00 0
400
1400
1000
1200
1400
Contoh Simulasi
Chapter 12
Kesimpulan Pengembangan motion capture system untuk bipedal robot trajectory planning dilakukan dengan menggunakan kamera low cost
Saran Marker berbentuk bola agar gerakan lebih mudah ditangkap kamera Tambahan satu atau dua kamera untuk joint movement yang berbeda
TERIMAKASIH
