IWT-TETRA PROJECT GEBRUIKERSGROEPVERGADERING IV 21 FEBRUARI 2014

IWT-TETRA PROJECT 120162

GEBRUIKERSGROEPVERGADERING IV 21 FEBRUARI 2014

STATUS Project

WP4: Evaluatie van de 3D puntenwolk

WP3: Optimalisatie

WP5: Toepassingsmatrix

Afgerond Afronding nabij

Resultaten Wordt vervolgd

WP6: Technologieverspreiding

WP2 - Gevalstudies • Verwerking vluchten zandgroeve: dense point cloud • Erfgoed kartering ahv ORBIT vlucht • Fotogrammetrie in contrastloze gebieden

WP2 - Erfgoed kartering ahv ORBIT vlucht • Kerk te hoog om vanaf de grond goede foto’s te maken • Doel: mogelijkheden van UAV als cameraplatform voor gevelopmetingen onderzoeken • Uit voorzorg voor GPS bouncing enkel bovenste deel van de toren gevlogen als eerste test • + terrestrische fotoset met fotomast (1,5m - 5m – 9m)

• Verwerking in Photoscan: o

o

Geen automatische oriëntatie mogelijk van 2 sets samen Apart oriënteren en vervolgens op basis van gemeenschappelijke GCP’s samenvoegen

WP2 - Erfgoed kartering ahv ORBIT vlucht • Ortho Photoscan

WP2 - Erfgoed kartering ahv ORBIT vlucht • Vergelijking

WP2 - Erfgoed kartering ahv ORBIT vlucht • Mesh bekomen met Recap o o

Geen oriëntatie UAV cluster Geen mogelijkheid tot orthofoto, extra software nodig

WP2 –Grenzen van fotogrammetrie strand van Wenduine DOEL: Wat is de grens van fotogrammetrische reconstructie? Waar kan een beeld de één van de ander niet meer onderscheiden. Denk aan: strand, sneeuw, steenkool. Eerst was reconstructie niet mogelijk, maar nu wel...... Hoe komt dat?

WP2 – Grenzen van fotogrammetrie strand van Wenduine Topografie reconstructie: Een kleine uitsnede in het ene beeld wordt over andere uitsnedes gelegd en vergeleken.

WP2 – Grenzen van fotogrammetrie strand van Wenduine Wiskundig kan een synerchie worden gemaakt met waterpassen: 0 = ℎ𝑖𝑗 −ℎ𝑗𝑖 Dus kan deze opzet benaderd worden via een kleinste kwadraten methode: 𝑡 = 𝑩 ∙ 𝐸{𝑦}

sluitterm model

J.W. Altena waterpassend langs de Waal

metingen

WP2 – Grenzen van fotogrammetrie strand van Wenduine Afgezien van de meetopzet is ook een model en zijn groodheden van de variantie nodig:

𝑥~𝑁(𝜇, 𝜎)

Dit geeft inzicht in de grote van fout voortplanting. Verder kan de voorafgestelde kennis gebruikt worden om een verwachtingswaarde en fouten te voorspellen.

WP2 – Grenzen van fotogrammetrie strand van Wenduine De sluittermen kunnen worden vergeleken met de verwachte resultaten, en zo statistisch te testen:

𝑇𝑏 ~𝜒 2 (𝑏, 0)

vrijheidsgraden

WP2 – Grenzen van fotogrammetrie strand van Wenduine

Daarmee kunnen twee dingen worden bekeken:

1. Is er overeenstemming? 2. Is een andere meting beter?

WP2 – Grenzen van fotogrammetrie strand van Wenduine De variantie van een beeld is afhankelijk van verschillende componenten. Deels zijn dit instellingen die kunnen worden ingesteld op de camera (ISO, belichting). Deze instellingen zijn in afstemming met het op te meten object.

Om deze varierende grootheid te bepalen wordt op het beeld de variantie geschat, door middel van het vierde moment (kurtosis).

WP2 – Vindt de grenzen van fotogrammetrie strand van Wenduine Variantie schatting, op beelden: .JPEG - beeld .RAW - beeld

𝜎 = 0,72𝐷𝑁 𝜎 = −𝐷𝑁

Verschil in variantie, maar compressie van een beeld lijkt geen verchil te maken, in ieder geval bij contrastvolle objecten

WP2 – Grenzen van fotogrammetrie strand van Wenduine Variantie schatting, op zandgroeve vlucht:

𝜎 ≈ 0,42𝐷𝑁

WP2 – UAV fotogrammetrie Open mijn bij Meensel-Kiezegem DOEL: vergelijking van verschillende opname platformen en verwerkingspakketten. Wat is de behaalde nauwkeurigheid?

WP2 – UAV fotogrammetrie Open mijn bij Meensel-Kiezegem

148 33 13 trianguleer

foto’s Paspunten (6 waterpas) check punten

WP2 – UAV fotogrammetrie Open mijn bij Meensel-Kiezegem

481 9 13 Trianguleer / DSM

foto’s paspunten (allen waterpas) check punten

WP2 – UAV photogrammetrie Open mijn bij Meensel-Kiezegem DOEL: Hoe nauwkeurig is de stralen bundel vereffening van de verschillende pakketen, en hoe gemakkelijk is de tot standkoming daarvan?

WP2 – UAV photogrammetrie Orientatie schatting

Rekentijd (h): Punten (#): Sluitfout (m):

12:~~’ 4’147 -0,022 (0,01) -0,039 (0,03) 0,011 (0,07)

2:20’ 735’138 -0,011 (0,01) -0,018 (0,02) 0,090 (0,05)

2:45’ 1’794’640 0,08 (0,02)

gemiddelde (deviatie)

WP2 – UAV photogrammetrie Orientatie schatting

Projectopzet: Aanmeten: Vereffening: Blunderdetectie:

+ +-

+ + + +

++ ++ + +-

WP2 – UAV photogrammetrie Open mijn bij Meensel-Kiezegem Posities: ΔX = 0,24 ΔY = 0,21 ΔZ = -0.71

Orbit Pix4Dmapper Photoscan

Orientatie: Δω = 0,072̊ Δφ = 0,023̊ Δκ = 0,012̊

WP2 – UAV photogrammetrie Open mijn bij Meensel-Kiezegem

WP2 – UAV photogrammetrie Open mijn bij Meensel-Kiezegem Triangulatie Trimble UX5 vlucht 0,024

0,018

0,021

...

...

...

...

...

...

WP3 Optimization • Multi-photo rectification  Concept : remove the perspective distortion from an image

o

Exists in commercial software (eg elcovision, photoplan, perspective rectifier, …)

WP3 Optimization • Multi-photo rectification o

Problem statement • Extension to multiple photographs (long wall, better detail, ..) • Requires 4 control points per image  homography • Lot of manual work  is automation possible ?

WP3 Optimization • Multi-photo rectification o o

Thesis Vincent Vrijsen (2012- jan 2014) Development of prototype code


Step 1: Finding relations between the images


Step 1: Finding relations between the images • Detecting keypoints (SIFT) • Match Keypoints


Step 1: Finding relations between the images • • • •

Detecting keypoints (SIFT) Match Keypoints Perform filtering (RANSAC homography) Only keep the relations with more than 100 inliers


Step 1: Finding relations between the images • • • • •

Detecting keypoints (SIFT) Match Keypoints Perform filtering (RANSAC homography) Only keep the relations with more than 100 inliers Put in Graph structure 1

2

1

3

H12 1753

H23 ….

3

2

….

H36. ….

….

4

5

6

4 ….

5 ….

6


Step 2: Define a reference frame • Problem : transforming images indices drift (small errors) • The reference frame = node with most connections to other images (include weights)

1

2

1

3

1753

….

3

2

…. ….

….

4

5

6

4 ….

5 ….

6


Step 3: Transform control points to the reference frame • Find shortest path from image with GCP to the reference frame (take wheights into account)  Dijkstra shortest path algorithm • Ex.GCP1  H15 = H25 x H12 (Homography = associative)

GCP1

GCP2 1

1 2

H12 1753

H23 ….

3

2

3 …. ….

H36. ….

…. ….

4 GCP3

4 5

6 GCP4

…. ….

5

6 …. ….


Step 4: Compute the global rectification homography

GCP1

GCP2 1

4 GCP3

2

3

5

6 GCP4


Step 4: Compute the global rectification homography Step 5: Optimize all homography parameters

GCP1

GCP2 1

4 GCP3

2

3

5

6 GCP4

• Intermediate homographies  H12 H14 H23 H25 H36 H45 H56 • Hglobal  Hglobal

Nr of unknows = nrOfHomographies * 8 + 8 (Hglobal)


Step 4: Compute the global rectification homography Step 5: Optimize all homography parameters (non-linear refinement) • Intermediate homographies  H12 H14 H23 H25 H36 H45 H56 • Hglobal  Hglobal

Minimize the reprojection errors

Nr of unknows = nrOfHomographies * 8 + 8 (Hglobal)


Step 6: Create transformed images








Step 6: Create transformed images Combined image without blending


Step 7: Fuse the transformed images (uses Enblend) uses a multiresolution spline to blend images together blended across a transition zone proportional in size to the spatial frequency of the features (eg. sky versus windows)

P. Burt and E. Adelson. "A Multiresolution Spline With Application to Image Mosaics". ACM Transactions on Graphics, Vol. 2, No. 4, October 1983. Pg. 217-236.


Step 7: Fuse the transformed images (uses Enblend)

WP3 Optimization • Multi-photo rectification Voor blending

Na blending

WP3 Optimization • Multi-photo rectification




WP3 Optimization • Multi-photo rectification 

Nog te doen Integreren camera calibratie Interface gebruiksvriendelijk maken

Bugs, fail-safe Testen, analyseren van de nauwkeurigheid

WP3 Optimalisatie - Sky Filter • Probleemstelling: Lucht op foto’s zorgt voor ruis in 3Dmodel

• Manueel masken neemt veel tijd in beslag voor grote datasets

• Oplossing: Maken van een tool die lucht automatische maskeert in een reeks van foto’s

• Vervolgens gemaskeerde fotoreeks inladen in fotogrammetrisch pakket

WP3 Optimalisatie - Sky Filter

VOOR

WP3 Optimalisatie - Sky Filter

NA

WP3 Optimalisatie - Sky Filter • Lucht is zeer variabel (helder blauw – witte wolken – grijs) • Bijgevolg zeer brede range nodig voor omschrijving • Nieuwe piste: Algoritme van Hoiem classificeert een beeld in 3 categorieën: grond – verticaal - lucht

WP3 Optimalisatie Panoramische fotogrammetrie

WP3 Optimalisatie Panoramische fotogrammetrie Voordelen : • Veel informatie aan hoge resolutie => reduceert het aantal te oriënteren foto’s • Betere spreiding van keypoints (360°) => betere oriëntatie • Interessant voor interieurmetingen (waar klassieke fotogrammetrie zeer veel foto’s vereist) Bestaande software: • AgiSoft Photoscan • Andere uit gaming/animatie wereld

WP3 Optimalisatie Panoramische fotogrammetrie Hardware: • Roterende lijncamera vb. Spheron (duur)

• Sferische panorama’s: DSLR camera + Panorama head o o o

Fisheye (ca. 30 MPix pano) 24 mm (ca. 300 MPix pano) 50 mm(ca. 1,2 GPix pano)

• Trimbe V10 Imaging rover o o

(60 Mpix pano, €14.345) Test met Couderé (midden maart)

WP3 Optimalisatie Panoramische fotogrammetrie Stitching:

•

Oriënteren foto’s  combineren op bol  projectie zodat een vlakke voorstelling ontstaat (Equirectangulaire projectie)

•

Software: o

PtGui (beste resultaten)

o

Autopano

o

Windows Ice (gratis)

(Wahbeh, 2011)

WP3 Optimalisatie Panoramische fotogrammetrie Mathematisch model voor panoramische fotogrammetrie Drie mogelijke werkwijzen: 1. Absolute oriëntatie (thesis Fabian, per pano 4 GCP nodig) 2. Fangi et al. (2007) (beperkingen : pano benaderend verticaal nemen en initiële waarden nodig) 3. Pagani et al.(2011)  geen beperkingen

WP3 Optimalisatie Pagani et al. (2011) • Eerste stap: oriëntatie van eerste twee pano’s op arbitraire schaal met behulp van epipolaire geometrie

(Guan, 2011)

• Tweede stap: optimalisatie van de oriëntatie

WP3 Optimalisatie Pagani et al. (2011) • Derde stap: • Alle corresponderende punten reconstrueren • Telkens volgende panorama toevoegen; oriëntatie door achterwaartse insnijding met corresponderende key points die reeds gereconstrueerd zijn in 3D als referentiepunten

• Vierde stap: dense matching • Ofwel een aantal perspectief foto’s van de geörienteerde pano’s afleiden en deze dense matchen • Ofwel rectificatie van pano’s

WP3 Optimalisatie Pano rectificatie Reductie van zoektocht naar corresponderende pixel tot 1D

(Guan, 2011)

WP3 Optimalisatie Panoramische fotogrammetrie Verkennende nauwkeurigheidstest panoramische fotogrammetrie

dX (cm)

dY (cm)

dZ (cm)

dXYZ (cm)

Photoscan

2,74

0,75

1,25

3,23

Absolute meth.

2,66

0,59

1,13

2,95

Fangi

1,34

2,35

3,01

4,05

Pagani

3,40

2,36

4,40

6,04

Photoscan (50mm)

1,86

0,88

0,88

2,38

WP3 Optimalisatie Meetconfiguratie Panorama’s

http://hugha.co.uk/

WP3 Optimalisatie Panoramische fotogrammetrie Verkenning interieurreconstructie: • Deel Sint-Jan-Baptist kerk in Gent • Fisheye • Tijdsduur Gigapan (4 min per pano) • 11 pano’s met veel overlap • Stitching: 2 minuten per pano • Reconstructie in Photoscan: 1 uur rekentijd

Verkenning interieur reconstructie

Verkenning interieur reconstructie

WP3 Optimalizatie netDesign Nu ook mogelijk om panoramische camera’s te simuleren

WP3 Optimalizatie Open mijn bij Meensel-Kiezegem DOEL: Optimalisatie van de stralenbundel vereffening. Door grondpunten met hoge nauwkeurigheid te meten, kan dit resulteren in een betere schatting van het camera model.

WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Automatische koppeling nodig: meer dan 500 metingen in de foto’s, voor één vlucht. Optie: SIFT beschrijving van de omgeving

WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Kleinste kwadraten schatting, werkt beter. Na rotatie, wordt een kleine scheefstand toegevoegd om nog beter overeen te komen.

WP3 Optimalizatie Open mijn bij Meensel-Kiezegem

Sub pixel verplaatsing en correlatie schatting

WP3 Optimalizatie Open mijn bij Meensel-Kiezegem Optie: MSER detectie, om grove schatting van rotatie en schaal te krijgen.

WP3 Optimalizatie Stralen bundel vereffening Vanuit meerdere kanten wordt een object in het beeld aangemeten, maar niet allemaal met dezelfde nauwkeurigheid

WP3 Optimalizatie Stralen bundel vereffening De invloed van de buitenste opnames hebben bij gelijk gewogen vereffening is niet ideaal.

WP3 Optimalizatie Stralen bundel vereffening

Er zit verschil in randen, hoe deze te beschrijven en mee te nemen in de vereffening...

vs.

WP3 Optimalizatie Stralen bundel vereffening

Ieder automatisch gevonden punt, wordt opnieuw bezocht om zo de precisie van dat punt te schatten, dit geeft:

𝜎𝑖𝑖 𝐷 𝑦 = 𝜎 𝑖𝑗

𝜎𝑖𝑗 𝜎𝑗𝑗

WP3 Optimalizatie Stralen bundel vereffening Van Pix4D naar Move3

WP3 Optimalizatie Data reductie Stadsmodellatie: Automatische detectie van daken, gebruikmakend van de omvalling

WP3 Optimalizatie Data reductie Opbouw aanpak:

WP3 Optimalizatie Data reductie 1. Triangulatie op hoekpunten

WP3 Optimalizatie Data reductie 2. Vinden van randen

WP3 Optimalizatie Data reductie 3. Genereren van een triangulatie met voorwaardes “ligt een rand tussen twee hoeken: gebruik deze dan”

WP3 Optimalizatie Data reductie Creeer vlakken door samenvoegen van driehoeken.

WP4 Evaluatie van de 3D puntenwolk • Vergelijking met 3D laserscan data o o

Zandgroeve Alsemberg

WP4 Evaluatie van de 3D puntenwolk • Zandgroeve: Deviaties mesh met scan in CloudCompare (m)

WP4 Evaluatie van de 3D puntenwolk • Zandgroeve

Vergelijking met 3D laserscan data • Zandgroeve

Vergelijking met 3D laserscan data • Zandgroeve

WP4 Evaluatie van de 3D puntenwolk • Alsemberg

Noordgevel

WP4 Evaluatie van de 3D puntenwolk

Zuidgevel

Gunstige invloed van UAV foto’s

WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning DOEL: Hoe informatie te extraheren uit een hoogtemodel?

WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning AANPAK1 (stereo): direct meten in de foto’s door middel van een anaglyph of gepolariseerd scherm.

WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning AANPAK2 (3D): meten in een 3D omgeving op de fotogrammetrische producten.

WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning AANPAK3 (gecombineerd): eerst meten in een 3D omgeving, dan optimaliseren op de foto’s.

WP5 Evaluatie van de verwerkingstools Topografische informatie inwinning VERGELIJKING: het vinden van de balans tussen Geometrische kwaliteit Hoe goed is dit in overeenstemming met de gemeten parkeerplaats met terrestrische methodes Tijd Hoe lang duurt het om de belijning van de parkeerplaats op te meten. Wellicht ook het meten van de campus home (?)

WP6 – Verspreiding van de resultaten Strand van Wenduine Fotogrammetrie wordt instagrammetrie Kwalitatief ontwerp met netDesign

Houten (NL) workshop netDesign

Great Malverne (UK) a visit to the optician for Argus Panoptus

Wenen (AU) a proxy for dense matching variance over homogeneuos terrain

WP6 Disseminatie • Update projectwebsite: http://eavise.be/3d4sure/

• Organisatie demo-dag Ebee – streefdoel april 2014 o

Contacten lopen met Geometius/Gatewing

• Organisatie workshop multifotorectificatie+ panoramische fotogrammetrie – juni 2014 (GG5)

CONTACTGEGEVENS • EAVISE: −

− −

Liesbet Cockx • [email protected] • 015/31 69 44 Toon Goedemé • [email protected] Bas Altena • [email protected]

• KAHOSL: −

−

Bjorn Van Genechten • [email protected] • 09/265 86 10 Jasper Wisbecq • [email protected]

IWT-TETRA PROJECT GEBRUIKERSGROEPVERGADERING IV 21 FEBRUARI 2014

Recommend Documents