REGISTRASI CITRA TIGA DIMENSI MENGGUNAKAN SURFACE CURVATURE FEATURE UNTUK OBYEK RIGID

REGISTRASI CITRA TIGA DIMENSI MENGGUNAKAN SURFACE CURVATURE FEATURE UNTUK OBYEK RIGID Presentasi Disertasi Eko Mulyanto Yuniarno Pembimbing Prof. Ir. Mauridhi Hery Purnomo, M.Eng., Ph.D. Mochamad Hariadi, S.T., M.Sc., Ph.D. PROGRAM DOKTOR JURUSAN TEKNIK ELEKTRO FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA 2013

Latar Belakang

1. Citra 3D terletak pada sistem koordinat lokal. 2. Posisi relatif citra 3D tidak diketahui 3. Tidak ada informasi daerah overlaping pada permukaan yang berbeda.

Tujuan • Registrasi akurat dan otomatis terhadap dua citra 3D yang overlap dari suatu objek rigid.

Permasalahan • Problem 1. Menentukan informasi daerah yang overlaping pada dua permukaan rigid. 2. Menemukan korespondensi antara titik-titik yang sama pada dua permukaan dengan daerah yang overlaping.

• Solusi – Registrasi menggunakan fitur geometri permukaan.

Kontribusi Topik riset Metode Registrasi. Ekstraksi Kurvature pada suatu titik di hitung feature pada beberapa skala dengan fitting permukaan ke titik lokal pada berbagai macam ukuran. (Ho dan Gibbins, 2009) Estimasi Fitting tangen vektor pada data titik vektor normal untuk menentukan vektor normal berbasis local voronoy mesh.. (OuYang dan Feng, 2005) Estimasi The Adjacent-Normal Cubic principal Approximation direction (Goldfeather dan Interrante, 2004) Registrasi Normal distribution transform. berbasis fitur (Pathak, Birk, permukaan. Vaskevicius dan Poppinga, 2010) Registrasi 3D Warna rgb berbasis (Johnson dan Kang, 1997). warna. (Douadi dkk., 2006) Registrasi berbasis warnoHSV. (Druon, Aldon dan Crosinier, 2006) Registrasi dengan Modified color ICP. (Joun,Ang,Kang,Chung dan Yu(2009)

Kontribusi Peneliti Lain

Kontribusi Keterangan Peneliti A Curvature-based Approach Multi-scale Feature Extraction for Multi-scale Feature from 3D Meshes and Unstructured Point Cloud Extraction from 3D Meshes and Unstructured Point Clouds 2009 Metoda baru untuk estimasi vektor normal.

Estimasi principal direction dan vektor normal pada permukaan dengan noise yang tinggi. Online registrasi pose untuk menentukan posisi robot. Menggantikan fitur geometri ketika informasi geometri permukaan tidak mencukupi. Registrasi tidak di pengaruhi oleh intensitas warna. Registrasi untuk lingkungan 3D.

Matriks konvarian rata-rata pada lokal permukaan.

Registrasi debgab nebggunakan kombinasi antara warna RGB dengan jarak ecludiean.

Kontribusi Topik riset Metode Registrasi.

Registrasi Berbasis geometri permukaan.

Kontribusi Peneliti Lain

Kontribusi Peneliti

Keterangan

Registrasi dengan angular invariant Angular invariant feature feature. invarian terhadap rotasi dan (Jiang dkk., 2009) skala.

Point Feature Histograms (PFH) as robust multi-dimensional features (Rusu, Blodow, Marton, Soos dan Beetz, 2007) Fitting quadratik surface (Chen dan Bhanu, 2007)

Kombinasi curvature, vektor normal dan vektor pcincipal direction. Permukaan lolal sebagai deskriptor.

Fitting permukaan quadratik ke k titik tetangga untuk membangun permukaan lokal

Kontribusi Topik riset Metode Registrasi.

Outlier Removal

Tiga konstrain untuk memperoleh korspondensi akurat. (Liu, 2008) Dua konstrain untuk memperoleh korspondensi akurat. (Xin dan Pu, 2010)

Kontribusi Lain

Korespondensi akurat

Peneliti Kontribusi Peneliti

Keterangan

Registrasi Citra 2D multiview untuk penangkap gerak manusia Registrasi permukaan berbeasis surface curvature feature.

Semina Sesindo 2010 (Yuniarno, Mardi, Sumpeno dan Hariadi, 2010) Jurnal Jatit (Yuniarno, Hariadi dan Purnomo, 2013a)

perbaikan korespondensi dengan rigid constraint berbasis dua titik referensi dan surface curvature feature

Jurnal Kursor (Yuniarno, Hariadi dan Purnomo, 2013b)

yang

Perbaikan tiga konstrain yang diusulkan oleh Liu dengan meletakan origin ke titik berat permukaan.

Publikasi yang telah dihasilkan • Jurnal internasional JATIT 2013 yang membahas registrasi menggunakan surface curvature feature (Yuniarno, Hariadi dan Purnomo, 2013a). • Jurnal nasional KURSOR 2013, yang membahas Perbaikan korespondensi. (Yuniarno, Hariadi dan Purnomo, 2013b) • Seminar Nasional SESINDO 2010, registrasi citra 2D multiview untuk penangkap gerak manusia (Yuniarno, Mardi, Sumpeno dan Hariadi, 2010)

Metodologi 1. input : dua permukaan berupa data citra 3D 2. Ekstrasi Surface curvature fitur dengan sampling koordina z pada koordinat lokal permukaan tiap titik 3. Menemukan pasangan matching berdasar kesamaan geometri permukaan yang diwakili oleh surface curvature feature. 4. Perbaikan korespondensi menggunakan konstrain rigid duat titiik referensi 5. Estimasi posisi relatif kedua dua permukaan. 6. Apliikasukan registrasi hasil beripa citra 3D teregistrasi.

Citra 3D ke 1

Citra 3D ke 2

Ekstrak Surface Curvarture Feature Korespondensi Perbaikan Korespondensi Estimasi Rigid Transformasi Citra 3D ke 1 tergistrasi

Citra 3D ke 2 teregistrasi

Peta Posisi Penelitian

Outline • Latar Belakang

• Kajian Pustaka Tentang Registrasi 3D – – – – – – – –

• • • •

Citra 3D Transformasi Obyek Rigid Parameterisasi Transformasi Obyek Rigid Problem Registrasi 3D Iterative Closest Point Konvergensi Algoritma ICP Closest Point Computation Estimasi Transformasi Rigid

Surface Curvature Feature Registrasi Citra 3D DenganSurface Curvature Feature Perbaikan Korespondensi Kesimpulan Akhir Dan Rencana Ke Depan

Citra 3 Dimensi

Citra intensitas

Citra jarak

Point cloud

• Citra 3 Dimensi Data tiga dimensi koordinat sampling permukaan suatu obyek atau scene. – Citra Jarak Citra jarak merupakan bentuk khusus citra 3D dimana data geometri permukaan diorgaisasi dalam array 2D. Koordinat permukaan tersimpan didalam pixel. p(i, j ) = (x(i, j), y(i, j), z(i, j )). – Data spasial koordinat titik pada permukaan.

Obyek Rigid R.t R.t

• • Kumpulan partikel subset OXR3 •tidak mempunyai internal degree fredom •jarak tiap partikel tetap. •Posisi partikel pada sumbu ecluidean (x, y, z) XR3

Apabila Posisi dua partikel p dan q pada saat ke t dinyatakan lintasan parametrik p(t) = (xp(t), yp (t), zp (t)) XR3 q(t) = (xq(t), yq (t), zq (t)) XR3

Transformasi Obyek Rigid p'  Rp  t dengan

R  R 3x3 , t  R 3x1 R

Orthonormal

RR T  R T R  I Sumbu koordinat Obyek

x'  Rx, y '  Ry, z '  Rz

Obyek pada koordinat lokal

Obyek Pada Koordinat Dunia

Parameterisasi Transformasi Obyek Rigid p'  Rp  t t  (t x , t y , t z ) R  Rx ( x ) R y ( y ) Rz ( z ) 0 1 R  0 cos  x 0  sin  x

0   cos  y  sin  x   0 cos  x   sin  y

 r11 R  r21 r31

r13   c y cz  r23    s x s y c z  c y s z r33   c x s y c z  s y s z

r12 r22 r32

0 sin  y  cos  z  1 0   sin  z 0 cos  y   0

 sin  z cos  z 0

c y sz  sx s y sz  cxcz  cx s y sz  sxcz

0 0 1

sy   sxc y  c x c y 

c x  cos( x ), s x  sin( x )

 y  arcsin(r13 )

c y  cos( y ), s y  sin( y )

 x  arctan 2(r23 / cos( y ), r33 / cos( y ))

c z  cos( z ), s z  sin( z )

 z  arctan 2(r12 / cos( y ), r11 / cos( y ))

Problem Registrasi 3D R,t

Di berikan dua himpunan titik P dan X

P

Np  { pi }i 1 , X

 {x j } Njx1

Jarak kuadrat error matching permukaan

e( R , t ) 

y i  c ( p i , X ), y i  X

 ( Rp  t )  y i

2 i

i

Estimasi transformasi Rotasi R dan translasi t optimal untuk meminimalkan error matching permukaan

e  min e ( R, t ) R ,t

Iterative Closest Point

Algoritma Registrasi ICP

Np

d m 1 

1 Np

 i 1

yi  ( Rm 1 pi  t m 1 )

2

Konvergensi Algoritma ICP Iterasi ke i

Iterasi ke i+1

N

d

(i)



d

N

i,k

d

k 1

(i )



d

i,k

k 1

R(i),t(i) R(1+i),t(1+i) N

e

(i )



e

N

i,k

e

k 1

(i 1)



e

i 1, k

k 1

e (i 1)  d (i 1)  e (i )  d (i ) e(i)=error matching iterasi ke i d(i) =error kopel iterasi ke i

R(i) = rotasi rigid iterasi ke i t(i) = translasi rigid iterasi ke i

Closest Point Computation • Jarak Metrik • warna • Orientation Matching

Closest Point Computation Jarak Metrik

Point to point y i  min x

 (x

 pi )

j

2

j

(Besl dan McKay,1992)

Point to tangen plane yi  min x



n xj ( x j  pi )

2

j

Point To projection x i  ( x xj , y xj , z xj ), p i  ( x pi , y pi , z pi ) c (i )  arg min j

yi  xc (i )

 ( x j

xj

 x pi ) 2  ( y xj  y pi ) 2



2

Closest Point Computation Color Matching c  (r, g, b) p  (x p , y p , z p , rp , g p , bp ) x  (xx , yx , zx , rx , g x , bx ) (a) Tanpa warna

  (1, 2 , 3 )

model warna Vektor titik p Vektor titik x Faktor warna

Fungsi error matching

d ( p.x)  ( x p  x x ) 2  ( y p  y x ) 2  ( z p  z x ) 2 

(b) Dengan warna

1 (rp  rx ) 2  2 ( g p  g x ) 2  3 (b p  bx ) 2

Peneliti

Metoda Closest Point computatuin

(Godin, Rioux dan Baribeau, 1994)

1. Membangun subset closest point dengan warna sebagai konstrain untuk mencari kandidat closest point 2. Mencari titik terdekat menggunakan jarak geometrik diantara kandidat yang kompatibel tersebut

(Johnson dan Kang, 1997). (Douadi dkk., 2006)

Vektor warna c = (r, g, b) menjadi bagian didalam perhitungan mean square error. Menggunakan vektor warna Hue dengan model warna HSV.

Closest Point Computation Orientation Matching

(a) Orientasi

(b) Dengan Orientasi

Peneliti (Barequet dan Sharir, 1997) (Pulli, 1999) (Feldmar, Ayache dan Betting, 1994)

Metoda Closest Point computation Vektor normal permukaan sebagai konstrain untuk menentukan closest point.

(Bernardini, Mittleman, Rushmeier, Silva dan Taubin, 1999)

Vektor normal sebagai pembobot jarak ecludiean dengan menggantikan kuadrat jarak .

Closest Point Computation Orientation Matching

Peneliti

Metoda Closest Point computation

(Godin dan Boulanger, 1995).

Pencocokan curvature, invariant terhadap transformasi rigid dan skala.

(Johnson dan Hebert, 1997).

Spin ImageHistogram dua dimensi koordinat polar seluruh permukaan titik yang di ukur relatif terhadap bidang tangensial permukaan yang melalui suatu titik yang telah dipilih terlebih dahulu. Pencocokan fitur Angular Invarian . sudut antara vektor normal permukaan dengan k nearest vektor normal permukaan.\

(Jiang dkk., 2009).

Estimasi Transformasi Rigid Estimasi Vektor Translasi Dua himpunan titik N

P  { pi }i 1p , X  {x j }Njx1

Dengan mempertimbangkan centroid Persamaan error matching ditulis ulang

Pasangan matching N

{ pi , yi }i 1p , yi  X

atau

centroid dari P dan Y p 

1 N



i 1

pi ,  y 

1 N



y i 1 i

Posisi P dan Y terhadap centeroid

dengan Persamaan (4) minimal apabila t’=0 Maka diperoleh vektor translasi terbaik adalah

Di cari R dan t untuk minimisasi Error matching

Estimasi Transformasi Rigid Estimasi Matriks Transformasi R

Oleh karena t’=0 maka persamaan (4) berubah menjadi persamaan rotasi murni.

Dekomposisi H dengan SVD U dan V matriks orthonormal

 Estimasi R diselesaikan dengan menggunakan SVD (Arun dkk., 1987). N

H

 i 1

p 'i y 'Ti

Matrix diagonal

Estimasi Transformasi R

R  UV '

Outline • Latar Belakang • Kajian Pustaka Tentang Registrasi 3D

• Surface Curvature Feature – – – – – – – –

Bidang Tangen Permukaan Dan Vektor Normal Principal Curvature Estimasi Vektor Normal Estimasi Principal Curvature Dan Principal Direction Surface Curvature Feature Ekstraksi Fitur Curvature Uji Korespondensi Kesimpulan

• Registrasi Citra 3D DenganSurface Curvature Feature • Perbaikan Korespondensi • Kesimpulan

Definisi Permukaan • Permukaan Implisit F(x,y,z)=0 • Permukaan Explisit Apabila salah satu variabel merupakan fungsi variabel yang lain. z =f(x,y) • Permukaan parametrik x=x(u,v),y=(u,v),z=(u,v). – Fungsi x(u,v),y(u,v) dan z(u,v) mempunyai kontinyu dervatif sampai orde ke r. – Parameter u dan v terbatas pada interval u1
Kurva Pada Permukaan Persamaan Vektor Tangen kurva Pada Permukaan r

Dengan menggunakan chain rule diperoleh : Gambar xx Pemetaan kurva [ada ruang parameterik 2D ke permukaan biparametrik 3D. • • •

r(u,v) persamaan permukaan pada domain D. b(t)=(u(t),v(t)) kurva pada bidang parameter r=(r(u(t),v(t)) kurva terletak pada permukaan

Bentuk Fundamental I (Panjang Busur) Panjang busur kurva

pada permukaan

Dengan

dr dt

ds Bentuk funamental pertama didefinisikan sebagai

• E, F, G adalah kooefisien bentuk fundamental pertama. •E = ru .ru > 0 dan G = rv. rv > 0 • I >=0

r

Bidang Tangen Permukaan Dan Vektor Normal Oleh karena vektor tangen kurva diperoleh Penurunan r pada arah t adalah

Maka persamaan bidang teangen yang melalui Titil r(u ,v) adalah

ru dan rv tidak selalu tegak lurus vektor Bidang tangen pada titik r(uo ,vo) adalah union vektor tangen seluruh kurva yang melalui r(uo ,vo)

Definisi Normal Kurvatur k  κ n  κ n N  k n  k g vektor curvatur kurva C di titik P n vektor normal kurva C N vektor normal permukaan S k n  κ n N vektor kurvatur normal terhadap permukaan S k g vektor kurvatur geodesic terhadap ke permukaan S n vektor normal kurva C κ n  κ n .N normal curvature pada arah t κ kurvatur kurva C pada titik P t unit tange n vektor kurva c

Kurva C pada permukaan S yang melalui P

Oleh karena terhadap s

Bentuk fundamental ke II

differensial

Normal kurvature permukaan

oleh karena Maka persamaan xx menjadi dengan

Principal Curvature Nilai ekstrim

Diperoleh dari evaluasi

Di penuhi secara simultan apabila

Disederhanakan menjadi Dengan mendefinisikan K dan H sebagai

Maka kurvature exktrim adalah

Kn harus memenuhi persamaan simultan

Maka diperoleh persamaan kuadratik Principal curvature

Estimasi Vektor Normal Estimasi Vektor Normal Berbasis Estimasi Himpunan titik : P  { p1 , p1 ,.., p N }, pi  R 3

pi  ( p ix , piy , piz )

estimasi Vektor Normal ni  ( nix , niy , niz ) k titik tetangga Qi

 { pi , qi1 , qi 2 ,.., qik }, qij  Pi Qi  {qi1 , qi 2 ,.., qik }, qij  P, qij  pi

Fungsi objektif

Estimasi Vektor Normal Estimasi Vektor Normal Berbasis Rata-Rata

Estimasi Principal Curvature Dan Principal Direction Estimasi Principal Curvature Persamaan quadratik orde k dengan k > 3.

Pada koordinat lokal di titik p persamaan xx Dapat disederhanakan menjadi

Untuk l1 dan l2 eigenvalue matrik w dengan | l1 |< |l2 | maka diperoleh principal curvature permukaan

κ κ

max min

 λ2  λ1

Principal Direction Eigenvektor dari Eigen value l1 dan l2 vmin = eigenvektor l1 vmax = eigenvektor l2

Dari persamaan (xx ) principal curvature adalah determinant dari matrik weingarten :

Koordinat Lokal Permukaan Vektor normal permukaan N dan principal direction vmin dan vmax merupakan vektor orthonormal dan membentuk koordinat permukaan di titik p

N

p

vmin

vmax

Posisi Titik Pada Koordinat Lokal

Posisi titik terhadap koordinat lokal invarian terhadap transformasi rigid

Surface Curvature Feature Sampling k koordinat sumbu z kurva tertutup c berjarak r dari sumbu koordinat lokal titik p mulai dari sumbu x pada sudut  =  1, 2,.., k derajad. Hubungan antara  dengan koordinat z kurva c didenisikan sebagai fitur kurvature permukaan (Surface Curvature Feature) Gambar xx: Definisi Surface Curvature Feature Surface Curvature Feature

SCF ( p)  ( z1 , z 2 , z 3 ,.., z k ) Gambar xx hubungan antara sudut dengan koordinat z

Pengukuran Similaritas Permukaan Dua Titik

k

similaritas ( pi , p j ) 

z l 1

il

 z jl

Korespondensi Permukaan Berbasis Surface Curvature Feature Diberikan dua himpunan titik

P 

Np { p i } i 1 N

P'  { pi}i 1p Dan surface curfature untuk tiap titik di P dan P’

SCF ( pi )  ( zi1 ,., zik )

SCF ( p j )  ( z j1 ,.., z jk ) Pasangan titik korespondensi {pi, pc(i)} dihitung berdasar c(i) diperoleh dengan mencari pasangan titik matching berdasar jarak vektor surface curvature feature terdekat. N p N p'

c(i )  arg min j

 SCF ( p )  SCF ( p ) i

i 1 j 1

j

2

Ekstraksi Fitur Curvature

Uji Estimasi Vektor Normal Data Percobaan Data Obyek Nyata

Data Sinteteis Obyek Donat Jumlah titik : 10000 non uniform sampling permukaan analitik Radius luar rl =10 Radius Dalam rd=7 Vektor normal:analitik

Obyek Tabung Jumlah titik : 10000 non uniform sampling permukaan analitik Radius luar rl =10 Radius Dalam rd=7 Vektor normal:analitik

Abyek Angry bird View 1 Jumlah titik : 34312 Dimensi 30 mmx 37mm x 19mm Vektor normal : software

Obyek Angry bird View 2 Jumlah titik : 31444 Dimensi 78mmx 43mmx 28mm Vektor normal :software

Indeks Kualitas Vektor Kualitas vektor normal di ukur dari nilai absolut dot product antara hasil vektor yang diestimasi dengan ground truth vektor normal

Indeks kualitas vektor adalah rata-rata seluruh kualitas vektor

Uji Kualitas Vektor Normal Uji Noise Terhadapap Indeks kualitas Objek Sintetis Gausian Noise Tinggi noise 0,0.1,0.2,0.3,0.4 dan 0.5 mm Titik tetangga 10

a. ObjekDonat

b. Objek tabung

Uji Kualitas Vektor Normal Uji Jumlahtitik tetangga terhadap Indeks kualitas Objek Sintetis Gausian Noise Tinggi noise 0.5 mm Titik tetangga 10,15,20,25,30,35,40,45

a. ObjekDonat

b. Objek tabung

Uji Kualitas Vektor Normal Uji Noise Terhadaap Indeks kualitas Angry Bird View1 dan View 2 Gausian Noise Tinggi noise 0.5 mm Titik tetangga 10,15,20,25,30,35,40,45

a. Angry bird View 1

b. Angry bird View 2

Uji Kualitas Vektor Normal Uji Jumlah titik tetangga terhadap Indeks kualitas ObjekAngry bird View 1 dan View 2 Gausian Noise Tinggi noise 0.5 mm Titik tetangga 10,15,20,25,30,35,40,45

a. Angry bird View 1

b. Angry bird View 2

Uji Korespondensi Data Percobaan Tabel. Jumlah titik tiap view obyek bunny

(a).

a. b. c. d. e.

(b).

(c).

(d).

(e).

Nama Pose View-1 View-2 View-3 View-4 View-5

Pose (Sudut ) 0 45 90 270 315

Jumlah Titik 40256 40097 30379 31701 35336

Hasil Uji Korespondensi Parameter pengujian

Hasil Pengujian

Kesimpulan 1.

2.

3.

Pengujian metoda estimasi vektor normal permukaan terhadap obyek sintetis diperoleh indeks kualitas estimasi vektor normal dengan metoda plane PCA dan PCA mempunyai nilai tertinggi dengan rata-rata sebesar 0.835. Sedangkan pengujian metoda estimasi vektor normal permukaan terhadap obyek sintetis pada pengujian dengan menggunakan 10 k nearest neighbors diperoleh bahwa metoda PCA dan plane PCA tetap menghasilkan indeks kualitas tertinggi sebesar rata-rata 0.76. Pada pengujian terhadap obyek Angry Bird diperoleh metoda menempati peringkat tertinggi pada pengujian noise sebesar 0.5 dengan indeks kualitas rata-rata 0.97. Sedangkan pada penggujian dengan menggunakan 10 k nearest neighbors untuk estimasi vektor normal diperolehmetoda plane SVD juga menempati peringkat pertama dengan indeks kualitas rata-rata 0.95 Pengujian korespondensi terhadap obyek bunny menunjukan peningkatan dari rata-rata 79.3 dengan AIF menjadi rata-rata 679.5 dengan SCF atau meningkat sebesar 856%.

Outline • Latar Belakang • Kajian Pustaka Tentang Registrasi 3D • Surface Curvature Feature

• Registrasi Citra 3D Dengan Surface Curvature Feature – – – –

Blok Diagram Registrasi Dengan Surface Curvature Data Input Ekstraksi Surface Curvature Feature Pemilihan Titik Kontrol

– Eliminasi Outlier – Metoda Pengujian

• Perbaikan Korespondensi • Kesimpulan Akhir Dan Rencana Ke depan

Blok Diagram Registrasi Dengan Surface Curvature

Data Input

Dua himpunan titik permukaan obyek

p {

Np p i } i 1

p

N p  { pi}i 1

Ekstraksi Surface Curvature Feature SCF(pi)

pi

SCF(p‘i)

p‘j

Pemilihan Titik Kontrol 1. Berjarak r dari batas mesh. Kriteria ini untuk menjamin bahwa surface curvature feature pada titik tersebut merupakan sampling dari permukaan yang ada didalam batas mesh. 2. Mempunyai sudut normal dibawah 60 derajad terhadap sumbu koordinat Z. 3. Dipilih n% secara random dari salah satu permukaan.

Batas mesh

Z

n

Titik dipilih

Eliminasi Outlier 1. Hapus n% pasangan titik dengan jarak vektor dua vektor surface curvature feature terburuk. 2. Hapus pasangan titik yang teletak pada batas mesh. 3. Hapus pasangan titik yang mempunyai jarak point-topoint DIST(pi, pc(i)) lebih besar batas maksimum yang diijinkan.

Metoda Pengujian Algoritma Registrasi ICP surface curvature feature (ICP-SCF) dibandingkan dengan Algoritma Registrasi ICP dan ICP dengan angular invariant feature (ICP-AIF) 1. Membandingkan registrasi dengan menambahkan beberapa noise berbeda(uji noise). 2. Membandingkan algoritma registrasi pada permukaan dengan luas daerah overlap yang berbeda(uji luas daerah overlap). 3. Membandingkan algoritma registrasi pada dua permukaan dengan posisi berbeda(uji pose). 4. Pengujian dilakukan terhadap jenis obyek 1. 2. 3.

5.

Obyek sintetis Obyek bunny Obyek Ganesha

Ketelitian registrasi di hitung dengan RMS error registrasi.

Obyek Sinusoidal

1. Dua permukaan sinusoidal dengan persamaan z = sin(a1 +f1) + sin(a2+f2) a1  {0... }, a 2  {0... } 2. Daerah overlap dapat diatur 3. Posisi relatif kedua permukaan dapat diatur 4. Jumlah Noise dapat dapat diatur

Uji Noise Pada Obyek Sintetis • Uji noise – Jumlah Noise yang diujikan 2%,7% dan 10% dari seluruh jumlah titik. – Pose diatur dengan merotasi salah satu permukaan 5 derajad ke sumbu x dan sumbu y – Daerah overlap diatur tetap dengan luas 90% dari total seluruh titik. – Jumlah vektor fitur 20 – Radius fitur 10

Uji Noise Pada Obyek Sintetis 20

15

Rms registration error (mm)

ICP ICP-AIF ICP-SCF

10

5

0

10

20

30

40

ICP ICP-AIF ICP-SCF

15

10

5

0

50

10

20

Iteration

(b) 7% noise

20 ICP ICP-AIF ICP-SCF

15

10

5

0

30

Iteration

(a) 2% noise Rms registration error (mm)

Rms registration error (mm)

20

10

20

30

Iteration

(c) 10% noise

40

50

40

50

Uji Pose Pada Obyek Sintetis • Uji pose – Jumlah Noise 2%titik. – Pose diatur dengan rotaso salah satu permukaan 5 derajad ke sumbu x dan sumbu y – Luas daerah overlap yang diujikan 86%, 68%, and 41%.

Uji Pose 30

25

Rms registration error (mm)

ICP ICP-AIF ICP-SCF

20 15 10 5 0

10

20

30

40

ICP ICP-AIF ICP-SCF

25 20 15 10 5 0

50

10

20

Iteration ICP ICP-AIF ICP-SCF

25 20 15 10 5 0

30

Iteration

30

Rms registration error (mm)

Rms registration error (mm)

30

10

20

30

Iteration

40

50

40

50

Uji Overlap Area Pada Obyek Sintetis • Uji Overlap Area – Jumlah Noise 2%titik. – Pose diatur dengan merotasi salah satu permukaan 5 derajad ke sumbu x dan sumbu y – Overlap Area : 86%, 68%, and 41%.

Uji Overlap Area 6

5

Rms registration error (mm)

ICP ICP-AIF ICP-SCF

4 3 2 1 0

5

10

15

20

25

ICP ICP-AIF ICP-SCF

5 4 3 2 1 0

30

5

Iteration

(a).86%

10

15

20

Iteration 6

Rms registration error (mm)

Rms registration error (mm)

6

(b). 68%

ICP ICP-AIF ICP-SCF

5 4 3 2 1 0

5

10

15

20

Iteration

(c). 41%.

25

30

25

30

Obyek Bunny Data Percobaan Tabel. Jumlah titik tiap view obyek bunny

(a).

a. b. c. d. e.

(b).

(c).

(d).

(e).

Nama Pose View-1 View-2 View-3 View-4 View-5

Pose (Sudut ) 0 45 90 270 315

Jumlah Titik 40256 40097 30379 31701 35336

Uji Obyek Bunny

Registration

View 1-View 2 View 2-View 3 View 3-View 4 View 4-View 5

Average

Iteration Convergence ICPAIF 43 47 48 63 50.25

ICPSCF 28 43 49 26 36.5

Convergence Time (sec) ICPICPAIF SCF 0.100 0.032 0.053 0.050 0.047 0.039 0.065 0.019 0.066 0.035

RMS Error Registration (mm) ICP-AIF ICP-SCF 0.336 0.326 0.294 0.443 0.397

0.317 0.339 0.275 0.299 0.307

Processing Time After 50 iteration (sec) ICP- AIF ICPSCF 0.109 0.045 0.054 0.053 0.279 0.053 0.047 0.032 0.122 0.045

Objek Ganesha Tabel. Jumlah titik tiap view obyek Ganesha

a.

d.

b.

e.

c.

f.

a. b. c. d. e. f.

Nama Pose View-1 View-2 View-3 View-4 View-5 View-6

Jumlah Titik 56107 54781 59680 51580 46206 57632

Uji Obyek Ganesha

Kesimpulan

Kesimpulan 1. Algoritma registrasi ICP gagal konvergen ketika posisi dua permukaan yang diregistrasi berjauhan. 2. Algoritma ICP-SCF telah meningkatkan ketelitian registrasi rata-rata sebesar 40% dari RMS error registrasi 1.61 mm dengan ICP-AIF menjadi RMS error registrasi 1.02 mm dengan ICP-SCF. 3. Rata-rata jumlah iterasi untuk mencapai konvergensi turun dari 43.1 iterasi dengan ICP-AIF menjadi ratarata 20.17 iterasi dengan ICP-SCF atau terejadi penurunan jumlah iterasi sebanyak 46%.

Outline • • • •

Latar Belakang Kajian Pustaka Tentang Registrasi 3D Surface Curvature Feature Registrasi Citra 3D Dengan Surface Curvature Feature

• Perbaikan Korespondensi

•

– Konstrain Liu – Konstrain rigid dengan dua titik referensi – Metoda Perbaikan Korespondensi – Kriteria pemilihan pasangan titik referensi – Perbaikan korespondensi dengan surface curvature feature – Pengaruh perbaikan korespondensi – Hasil Pengujian Registrasi dengan Perbaikan korespondensi – Kesimpulan Kesimpulan Akhir Dan Rencana Ke depan

Konstrain Liu Liu mengusulkan 3 konstrain untuk eliminasi outlier. Diberikan dua pasang titik (p1, p’ 1) dan (p2, p’ 2). p’ 1 adalah konjugate p1,dan p’ 1 konjugate p2

1. konstrain orientasi 2. konstrain rigiditas 3. konstrain matching error Dengan

Konstrain rigid dengan dua titik referensi Jarak sembarang titik terhadap titik refrensi yang sama tetap.

Korespondensi dengan konstrain rigid dengandua titik referensi terhadap (c(i)

dengan

Metoda Perbaikan Korespondensi

Kriteria pemilihan pasangan titik referensi

• Jarak antara titik referensi ||p1, p2||cukup jauh. • Beda jarak pasangan referensi dan jarak pasanga titik konjugatenya || p1, p2 ||- || p’1, p’2 ||<er • Beda jarak vektor surface curvature feature titik referensi dengan konjugatenya kecil . (||SCF(p1),SCF(p1’) ||2+ || SCF(p1),SCF(p1’) || 2 )1/2 < ec • Pilih pasangan titik dan konjugatenya yang pasangan titik yang memenuhi konstrain rigid terbanyak.

Perbaikan korespondensi dengan surface curvature feature

Perbaikan korespondensi dengan mempertimbangkan surface curvature feature

dengan

Pengaruh perbaikan korespondensi

korespondensi tanpa perbaikan korespondensi

Korespondensi dengan perbaikan korespondensi

Perbandingan RMS error registrasi registrasi dengan perbaikan dan tanpa perbaikan korepondensi

ICP -AIF

ICP

ICP -SCF

Hasil Pengujian Registrasi dengan Perbaikan korespondensi

A tanpa perbaikan korespondensi B dengan perbaikan korespondensi

Kesimpulan Algoritma registrasi dengan perbaikan korespondensi 1. meningkatkan kecepatan registrasi 64 % 2. meningkatkan keakuratan rata-rata 30% 3. Meningkatkan korespondensi kompatibel 530%

Outline Latar Belakang Kajian Pustaka Tentang Registrasi 3D Surface Curvature Feature Registrasi Citra 3D Dengan Surface Curvature Feature • Perbaikan Korespondensi • • • •

• Kesimpulan Akhir Dan Rencana Ke depan

Kesimpulan Akhir Dan Rencana Ke Depan Kesimpulan

•

• • • •

Korespondensi dengan Surface curvature feature diperoleh pasangan titik matching yang lebih tepat rata-rata 856% lebih banyak dari pada korespondensi dengan angular invarian feature dari rata-rata 79.3 pasangan menjadi 679.5 pasangan. Pengujian registrasi menunjukan registrasi dengan menggunakan surface curvature feature lebih teliti 40% dari rata-rata RMS error registrasi 1.61 mm dengan ICP-AIF menjadi rata-rata RMS error registrasi 1.02 mm. Jumlah iterasi yang diperlukan untuk algoritmauntuk konvergen rata-rata 46% lebih sedikit dari rata-rata 43.1 iterasi dengan ICP-AIF menjadi ratarata 20.17. Perbaikan korespondensi dengan rigid konstrain dengan dua titik referensi berbasis SCF telah meningkatkan jumlah titik matching dari rata-rata 679.5 titik menjadi 2852 titik. Dari seluruh uji coba, secara umum, ICP-SCF lebih unggul dibandingkan dengan ICP dan ICP-AIF.

Kesimpulan Akhir Dan Rencana Ke depan Rencana Ke Depan

• Sebagai rencana ke depan algoritma registrasi dengan surface curvatrue feature akan dikembangkan untuk registrasi terhadap obyek non rigid. Dengan menambahkan faktor skala, surface curvature feature dapat digunakan untuk mengamati perubahan permukaan pada permukaan non rigid dari waktu ke waktu. Perubahan yang diamati tersebut akan digunakan untuk berbagai macam aplikasi yang meliputi :Pegenalan Obyek 3D, Obyek segmentasi,motion capture dan pemodelan 3D.