UNIVERZITA KARLOVA V PRAZE. Přírodovědecká fakulta Katedra aplikované geoinformatiky a kartografie

UNIVERZITA KARLOVA V PRAZE Přírodovědecká fakulta Katedra aplikované geoinformatiky a kartografie

TVORBA A VIZUALIZACE 3D BODOVÉHO MRAČNA Z NEMĚŘICKÝCH SNÍMKŮ

Bakalářská práce

Monika Pernerová

květen 2014

Vedoucí bakalářské práce: Mgr. Lukáš Brůha

Prohlašuji, že jsem tuto bakalářskou práci vypracovala samostatně a že jsem všechny použité prameny řádně citovala. Jsem si vědoma toho, že případné použití výsledků, získaných v této práci, mimo Univerzitu Karlovu v Praze je možné pouze po písemném souhlasu této univerzity. Svoluji k zapůjčení této práce pro studijní účely a souhlasím s tím, aby byla řádně vedena v evidenci vypůjčovatelů.

V Dubí dne 22.5. 2014

……………………………….. Monika Pernerová

Poděkování Chtěla bych poděkovat vedoucímu práce Mgr. Lukáši Brůhovi za připomínky a pomoc při zpracování práce a RNDr. Jakubu Lysákovi s Mgr. Lukášem Holmanem, kteří mi byli nápomocni v průběhu terénního šetření. Mé poděkování zároveň patří Ing. Haně Olešovské, která tuto bakalářskou práci připomínkovala po odborné stránce.

Tvorba a vizualizace 3D bodového mračna z neměřických snímků Abstrakt Tato bakalářská práce je zaměřena na tvorbu 3D bodového mračna skalních stěn v okolí Pravčické brány s využitím korelačních metod neměřických snímků. V textu je rozebrána problematika související s digitálním obrazem, principem obrazového spárování a algoritmy, které jsou hlavními komponenty pro tvorbu 3D bodového mračna. V praktické části se provádí generace bodového mračna v programu PhotoModeler Scanner z fotografií pořízených při vlastním terénním šetření, následuje tvorba povrchu modelu v programech CloudCompare a MeshLab a posledním krokem je integrace 3D modelu do 2.5D TIN modelu okolí Pravčické brány v programu ArcGis. Práce proběhla ve spolupráci se správou Národního parku České Švýcarsko. Klíčová slova: digitální obrazová korelace, spárování snímků, kalibrace, bodové mračno, 3D model

Image-based reconstruction of 3D point cloud Abstract The objective of this work is reconstruction of 3D point clouds of a wall rock terrain around Pravčická brána using digital image correlation techniques. The text describes problematics of digital images, principles of image matching and algorithms which are the main component of 3D point clouds modelling. In practical part of this thesis 3D point clouds are generated from self-taken photos using PhotoModeler Scanner, followed by reconstruction of model surface in CloudCompare and MeshLab and integration of the 3D model to 2.5D TIN model of surroundings of Pravčická brána in ArcGis. This work is carried out in cooperation with Správa Národního Parku České Švýcarsko. Keywords: digital image correlation, image matching, calibration, point cloud, 3D model

Monika Pernerová: Tvorba a vizualizace 3D bodového mračna z neměřických snímků

OBSAH Přehled použitých zkratek ..........................................................................................7 Seznam obrázků, tabulek a grafů ...............................................................................8 1. Úvod .......................................................................................................................10 2. Úvod do problematiky ...........................................................................................11 2.1 Obraz.................................................................................................................11 2.1.1 Digitalizace ..................................................................................................11 2.2 Digitální obrazová korelace ................................................................................12 2.2.1 Obrazová korelace metodami feature-based ...............................................13 2.2.1.1 Metody detekce prvků ...........................................................................14 2.2.1.2 Detekce hran a regionů .........................................................................16 2.2.1.3 Detekce bodů a rohů .............................................................................16 2.2.1.4 Korespondence prvků ...........................................................................18 2.2.2 Obrazová korelace metodami area-based ...................................................19 2.2.3 Zhodnocení obrazové registrace .................................................................20 2.3 Kamera ..............................................................................................................21 2.3.1 Kalibrace kamery.........................................................................................21 2.3.2 Zkreslení objektivu ......................................................................................22 2.4 Epipolární geometrie ..........................................................................................24 2.5 Algoritmy generování bodového mračna ............................................................25 2.6 Algoritmy zhušťování bodového mračna ............................................................26 3. Metodika ................................................................................................................28 3.1 Přístrojové vybavení ..........................................................................................28 3.1.1 Neměřická kamera Sony Alpha DSLR-A 200 ..............................................28

5


3.2 Softwarové vybavení..........................................................................................29 3.2.1 PhotoModeler Scanner ................................................................................29 3.2.2 MeshLab .....................................................................................................29 3.2.3 Cloud Compare ...........................................................................................29 3.2.4 ArcGis 10.1 .................................................................................................30 4. Data ........................................................................................................................31 4.1 Vlastní data ........................................................................................................31 4.2 Bodové mračno z leteckého skenování ..............................................................33 5. Praktická část ........................................................................................................34 5.1 Kalibrace kamery ...............................................................................................34 5.2 Tvorba 3D bodového mračna.............................................................................36 5.2.1 SmartPoints projekt .....................................................................................37 5.2.2 Idealizace projektu ......................................................................................39 5.2.3 Tvorba bodového mračna ............................................................................39 5.2.4 Export bodového mračna ............................................................................41 5.3 Georeferencování 3D bodového mračna ...........................................................42 5.4 Tvorba povrchu modelu .....................................................................................45 5.5 Integrace 3D modelu s 2.5D modelem okolí ......................................................46 5.5.1 Tvorba TIN ..................................................................................................46 5.5.2 Import modelu .............................................................................................47 6. Diskuse a závěr .....................................................................................................49 Seznam zdrojů ...........................................................................................................51 Seznam příloh............................................................................................................55

6


PŘEHLED POUŽITÝCH ZKRATEK ASCII – American Standard Cod efor Information Interchange CAD- Computer-aided drafting CC – Cross-Correlation CCD - Charge Couple Device CMVS – Clustering Views fom Multi-View Stereo DIC – Digital Image Correlation DSM – Dense surface modeling DXF – Drawing Exchange Format FAST – Features From Accelerated Segment Test FBM – Feature-Based Matching JPEG – Joint Photographic Experts Group PLY – Polygon File Format PMVS – Patch-based Multi-View Stereo RAW – obrazový formát SIFT – Scale-Invariant Feature Transform SAD – Sum of Absolute Differences SfM – Structure from Motion SNPČS – Správa Národního Parku České Švýcarsko SSD – Sum of Squared Differences TIN – Trianguled Irregular Network TXT – Textový soubor UTM – Universal Transverse Mercator VÚGTK – Výzkumný ústav geodetický, topografický a kartografický WGS84 – World Geodetic Systém 1984

7


SEZNAM OBRÁZKŮ, TABULEK A GRAFŮ Obrázky Obr. 1: Spárování snímků Obr. 2: SIFT algoritmus Obr. 3: FAST algoritmus Obr. 4: Testovací pole Obr. 5: Pozice kamer při snímkování Obr. 6: Typy radiálního zkreslení Obr. 7: Epipolární geometrie Obr. 8: Generování bodového mračna Obr. 9: Vznik bodového mračna Obr. 10: Sony Alpha DSLP-A200 Obr. 11: První zóna NPČS Obr. 12: Stanoviska snímání Obr. 13: Nabídka automatických projektů Obr. 14: Postup SmartPoints projektu Obr. 15: Řídké bodové mračno Obr. 16: Funkce DTM Trim Mode Obr. 17: Výsledek Dense Surface Obr. 18: Exportované souřadnice bodového mračna Obr. 19: Snímané stěny Obr. 20: Georeferencování bodového mračna Obr. 21: Bodová mračna posazená do okolního terénu Obr. 22: Possonův algoritmus Obr. 23: Prostředí ArcGIS Obr. 24: Integrovaný model v prostředí ArcScene

8


Tabulky Tab. 1: Nastavení kamery před kalibrací Tab. 2: Parametry kamery po kalibraci Tab. 3: Matice transformace

Grafy Graf. 1: Průběh radiální distorze

9


KAPITOLA 1 Úvod V současné době se můžeme setkat s mnoha variantami pořizování a zpracování dat později určených k tvoření prostorových modelů, které mají za úkol věrně zachytit povrch vybraného objektu. Mezi základní metody pořizování dat patří například laserové skenování, geodetické a fotogrammetrické měření a v poslední řadě i optické korelační analýzy, které jsou typickým výpočetním procesem počítačového vidění (computer vision). Počítačové vidění v poslední době prochází neuvěřitelným vývojem. Uživatelům zprostředkovává manipulaci se snímky například pro rekonstrukci modelů objektů, kalibraci kamer, tvorbu panoramatických snímků a stává se tak velice populárním. Cílem této bakalářské práce je vytvoření 3D modelu skalních stěn v okolí Pravčické brány pomocí již zmíněné digitální obrazové korelace. Výsledky této práce mají přispět k pořízení podrobnějšího bodového vyhodnocení této oblasti, kde se vylučuje použití měřických snímků a data z leteckého laserového skenování jsou nedostačující. V rešeršní části se tedy bude nutné seznámit s obecnou problematikou automatického spárování obrazů, dojde k rozboru používaných metod korelace a následného vygenerování bodového mračna. Praktická část kromě tvorby 3D bodového mračna dále zahrnuje také jeho integraci do 2.5D modelu širšího okolí Pravčické brány pořízeného metodou leteckého laserového skenování.

10


KAPITOLA 2 Úvod do problematiky 2.1 Obraz Jelikož korelační procesy pracují s obrazovým materiálem, bylo by vhodné si pro přiblížení podstaty a uvedení bližší charakteristiky korelačních metod připomenout, co to je obraz a jakými vlastnostmi a informacemi disponuje. Vlastní proces snímání můžeme chápat jako radiometrické měření, které je možné získat pomocí fotografických kamer nebo různých typů radiometru. Nabízí se nám dvě varianty vzniku obrazu. V případě snímání objektu dnes již méně používanou fotografickou kamerou hovoříme o tz. klasickém, analogovém snímání. Obraz je výsledkem zaznamenání změn způsobených chemickou reakcí a snímkování je prováděno na fotografický film (Kolář, Halounová, Pavelka, 1997).

Digitální

snímkování se od analogového liší tím, že snímkování není prováděno na fotografický film, ale na speciální čip, který je v digitální kameře zabudovaný. Jedná se nejčastěji o CCD snímač. Ten je tvořen křemíkem a zastává nezbytnou funkci polovodičové součástky, která je odpovědná za zaznamenání intenzity dopadajícího světla (Sachs, 1999). Při vzniku digitálního obrazu dochází ke vstupu fotonů do optického systému a následně do detektoru, kde jsou schopné zvýšit úroveň energie v mřížce snímače. To zapříčiňuje vznik elektrického náboje, který je ve formě elektrického napětí zesílen předzesilovačem a poté převeden na konečnou binární hodnotu (Kolář, Halounová, Pavelka, 1997).

2.1.1 Digitalizace Digitalizace obrazu je proces, díky němuž dochází k převodu spojitého analogového signálu do digitální podoby. Digitální obraz je ekvivalentem spojité obrazové funkce 11


f(x,y), kde x a y jsou souřadnice v prostoru. Je získán pomocí vzorkování obrazu do matice M x N bodů a kvantováním do K úrovní. Kódované hodnoty obrazových funkcí obvykle odpovídají některým fyzikálním veličinám, v tomto případě se jedná o jas. Digitální obraz je tvořen řadou čtvercových elementů, který se nazývají pixely (picture elements). Ty jsou uspořádané do sloupců a řádků a vyznačují se určitou naměřenou hodnotou (Burger, Burge, 2009).

2.2 Digitální obrazová korelace Pod pojmem digitální obrazová korelace (DIC) se rozumí automatický proces, tedy proces bez spoluúčasti uživatele, který je určen ke spárování dvou či více snímků. Jelikož optické korelační systémy v současné době zaujímají dosti široké pole působnosti, hraje jejich využití velice důležitou roli nejen v digitální fotogrammetrii, ale i v automatizovaném modelování a mapování. Obecně se dá říci, že párování obrazů (image matching) je klíčovým komponentem pro mnoho obrazových analýz, které řeší otázku například stereo vnímání hloubky obrazu, analýzy pohybu, detekci změn, rozpoznání a lokalizaci objektů (Gruen, 1985). Není se tedy čemu divit, že se mnoho autorů, řešící tuto problematiku, shoduje na tom, že se jedná o jeden z vůbec nejnáročnějších výzkumných procesů v počítačovém vidění (computer vision), o kterém se již mnoho let vedou dlouhé diskuse. První snahy o použití metody obrazové korelace ve fotogrammetrii jsme mohli zaznamenat již v 50. letech 20. století. V této době se jednalo a analogický proces, který pracoval na principu elektrického obvodu, díky němuž bylo možné řešit rovnice pro párování snímků. Přístroj, určený ke korelaci, pracoval s fotografiemi o vysokém rozlišení s cílem umožnit co nejpřesnější měření. Ve finále se mohlo hovořit o počátečním nástinu metody korelace, která se pro následující vývoj obrazových korelací stala stěžejní. Z výše zmíněných poznatků se s nástupem 70. let, kdy docházelo ke značnému pokroku v úrovni počítačových výpočtů a procesů, postupně začaly řešit otázky, týkající 12


se digitalizace obrazu a jeho následného zpracování (Gruen, 2012). Sutton (2009) poznamenal, že v tu dobu šlo především o boom v rozvoji vision-based algoritmů a stereo vision metod paralelně s využitím fotogrammetrických metod při zpracování leteckých snímků. Jedním z hlavních cílů výzkumu bylo omezení zásahu uživatele a docílení tak úplného zautomatizování procesu. Jednalo se hlavně o definování nových operátorů (interest operators), které byly schopné detekovat prvky zájmu a provézt spárování snímků. To vše bylo doprovázeno vysokými nároky na výpočetní techniku. Přes tyto komplikace se nakonec dospělo nejen k vylepšování a urychlení procesů, ale také dosažení větší přesnosti (Jazayeri, Cronk, Fraser, 2010). V posledních letech došlo k neuvěřitelnému progresu v oboru pracujícím s digitálním obrazem. S tím nepochybně souvisel i nutný rozvoj automatického procesu párování, který se kvůli zvýšení kvalit digitálního obrazu stal dosti náročnou záležitostí jak z hlediska výpočtu, tak z hlediska času (Gruen, 2012).

2.2.1 Obrazová korelace metodami feature-based Obrazová korelace má schopnost vyhledat odpovídající body mezi dvěma obrazy a spárovat je tak s co nejmenší požadovanou chybou. Vzhledem k tomu, že je obraz reprezentován obrazovou maticí, která je tvořena hodnotami jednotlivých pixelů, se dá tedy předpokládat, že je možné vygenerovat mezi dvěma snímky obrovské množství podobných nebo dokonce identických pixelů. Proto se k hledání využívá unikátního okolí bodu, díky němuž je možné identifikovat bod ve druhém obraze (Burger, Burge, 2009). Pro aplikaci obrazové korelace a vytvoření 3D modelu je nutné, aby se jednalo o snímky jedné scény, které ovšem mohou být pořízeny v různých časových horizontech a z různých stanovisek. Zitová a Flusser (2003) dále zmiňují existenci velké rozmanitosti snímků, která je většinou zapříčiněna způsobem jejich pořízení, rozdílnými geometrickými zkresleními a specifickými radiometrickými deformacemi. Přes to je možné vymezit univerzální metodu registrace obrazu, která platí pro všechny případy. Jsme tak schopní nastínit alespoň hlavní kroky potřebné k registraci sady snímků, jak je tomu na obrázku 1: 13


1. Předzpracování obrazu – snímky jsou podle potřeby vyhlazovány, ostřeny a zároveň se provádí úprava zkreslení způsobeného distorzí použitého objektivu. 2. Detekce prvků – použitím operátorů máme možnost vygenerovat body, linie, plochy a rohy. 3. Stanovení

korespondence

bodů

–

dochází

k nalezení

shodný

dvojic

mezi referenčním a transformovaným obrazem. 4. Odhad

transformačního

pro transformaci,

modelu

parametry

–

funkce

odhadování jsou

nejvhodnější

stanoveny

podle

funkce použité

korespondence vybraných prvků. 5. Převzorkování a transformace obrazu připojovaného obrazu – obraz je transformován pomocí mapovací funkce nebo interpolováním.

Obr. 1: Spárování snímků: 1. Detekce prvků; 2. Párování prvků; 3. Přibližná transformace; 4. Převzorkování (zdroj: Zitová, Flusser, 2003)

2.2.1.1 Metody detekce prvků Jednou z možností, jak provézt párování dvou snímků, je metoda detekce prvků neboli feature-based matching (FBM), která je založena na extrakci nejvýznamnějších strukturních prvků v obrazu (Zitová, Flusser, 2003). Nejčastěji dochází k vygenerování 14


výrazných prvků v různých měřítkách, mezi kterými jsou následně porovnávány jejich charakteristiky. V prvé řadě jsou přednostně vybírány velmi kvalitní prvky, tedy výrazné body, linie a plochy, které mají zajistit vysokou přesnost výsledného 3D modelu (Jazayeri, Cronk, Fraser, 2010). Walia a Suneja (2010) se dokonce zmiňují o podrobnějším dělení této FBM a to na metodu hran (Edge string based matching technique), metodu rohů (Conner based matching technique) a metodu textury regionu (Texture region based matching technique). Podle Zitové a Flussera (2003) je nutné, aby byl prvek rozpoznatelný na vícero po sobě jdoucích snímcích. Očekává se tedy, že prvky budou stabilní v čase a jejich pozice zůstane fixní. Počet společných elementů detekovaných setů prvků by měl být dostatečně vysoký a invariantní vzhledem ke změnám geometrie obrazu a radiometrických podmínek, které mají v konečné fázi přímý vliv na přesnost a spolehlivost párování. Dhindsa a Babbar (2011) upozorňují, že by se měl brát zřetel i na odlišnost prvků a následně na požadavky a funkce jednotlivých operátorů, které se ve většině případů zaměřují pouze na určité druhy prvků. Detekce prvků se podle nich dá popsat několika kroky: 1. Dojde k výběru zcela rozdílných prvků. 2. Prvky jsou vybrány na základě zájmu operátora, který byl pro detekci shledán za optimální. 3. Podle míry podobnosti jsou vybrány páry, ze kterých je následně sestaven předběžný seznam. 4. Vytvoří se finální seznam párů korespondujících bodů. Jak již bylo zmíněno, operátory nám zajišťují detekci prvků, díky nimž je možné snímky spárovat. V praxi se můžeme setkat s celou řadou algoritmů, které se můžou vyznačovat určitým zaměřením. Obecně se dají rozdělit do dvou kategorií. Liao, Liu a Hui (2013) ve své práci hovoří o globálních operátorech, zaměřujících se na obraz jako celek, a lokálních operátorech pracujících s určitými částmi snímku. Globální algoritmy testovací obraz rozdělují na více částí, následně vyextrahují globální prvky a použijí je pro statistickou klasifikaci. Jde o robustní algoritmy, které se ovšem setkávají s častými nepřesnostmi a chybami v lokálních oblastech. Oproti tomu 15


lokální algoritmy pracují s klíčovými body v oblastech 15 x 15 nebo 21 x 21 pixelů, okolo kterých jsou vytvořeny areály, které mají reprezentovat a uchovat charakter prvku. Algoritmy jsou velmi přesné, ale výběr lokálních prvků je nejednoznačný, a proto nemusí být shodné. Babbar [et al] (2010) uvádí, že využití globálních algoritmů je běžné spíše pro rekonstrukci homogenních objektů, lokální algoritmy je možné použít pro texturované robustní objekty. 2.2.1.2 Detekce hran a regionů Hrana se dá v obraze charakterizovat jako rychlá změna ve spojitosti hodnoty šedi, ke které dochází na malé ploše. Právě tento prvek je při vnímání místa velmi důležitý a nese nejvíce informací. Hrany jsou totiž charakteristické svou invariantností osvětlení a místem pohledu. Pro detekci linií se ve standardních postupech nejčastěji používá Cannyho operátor, Harrisův operátor a Laplacianův operátor, který pracuje na principu kombinace vyhlazování snímku a derivační operace, která ve výsledku vyprodukuje hrany (Dai, Khorram, 1999). S detekcí hran souvisí i následná lokalizace regionů. Hrany nám mohou posloužit jako prostředek pro hledání hranic jednotlivých objektů. Prvky regionů se vyznačují vysoce kontrastní ohraničenou ploškou. Za regiony mohou být považovány vodní rezervoáry, urbanizované areály a lesy. Výhodou operátorů, které pracují s areály, je reprezentace areálů pomocí jejich těžišť. Díky nim totiž nedochází k deformacím způsobeným rotací, změnou měřítka či zkosení a prvek se jeví jako stabilní (Zitová, Flusser, 2003).

2.2.1.3 Detekce bodů a rohů Nejjednodušší vyhledávání zájmových bodů (points of interest) je prováděno na principu Moravcova operátoru. Dochází k detekci bodů, kde je viditelná změna variance jasů ve všech směrech. Moravcův operátor zprostředkovává posun okna o velikosti (2k+1) x (2k+1) pixelů v horizontálních, vertikálních a diagonálních směrech. Variance pro daný posun se vypočítá jako suma čtverců rozdílů odpovídajících si pixelů ve dvou směrech.

16


Liao, Liu a Hui (2013) se zmiňují o jednom z nejznámějších a nejčastěji používaných algoritmů SIFT (Scale-Invariant Feature Transform), který v computer vision slouží pro detekci a následný popis prvků v obrazech (viz. Obr. 2). SIFT algoritmus zprostředkovává vyhledávání extrémů obrazové funkce, se kterými se dále pracuje jako s kandidáty. Z nich jsou následně vybrány body nestabilní s nízkým kontrastem a body na hranách (Koutsoudis, Vidmar, Arnaoutoglou, 2013). Výše zmínění autoři se shodují na tom, že se užití tohoto algoritmu stává pro uživatele velice přínosným, jeho přesnost v identifikaci prvků je totiž velice přesná a samotný proces identifikace není tak časově náročný. Algoritmus se vyznačuje svou schopností detekovat prvky v obrazu jak při změně měřítka, tak při změně rotace, jasu a šumu ve snímku.

Obr. 2: SIFT algoritmus (zdroj: Westoby [et al], 2012)

Ve studii Jazayeriho, Cronka a Frasera (2010) se můžeme například dočíst o jedné z možných variant detekce rohů. Roh se dá popsat jako obrazový bod, ve kterém se sbíhají dvě hrany. To způsobí, že má obrazová funkce v bodě velký gradient ve směrech x a y. Autoři zde rozebírají princip algoritmu zvaného FAST (Features From Accelerated Segment Test), což je detektor, který je charakteristický svou rychlostí a možností využití v případě změny měřítka a natáčení snímků. Jak můžeme vidět na obrázku 3, algoritmus při detekci rohů používá kruhové okno, kde se porovnává intenzita šedi uvnitř nebo okolo okna s centrálním pixelem. FAST se dá podle nich přirovnat ke známějšímu algoritmu SUSAN, který pracuje na posuzování míry podobnosti jednotlivých plošek v obrazu s vlastnostmi rohů. 17


Obr. 3: FAST algoritmus (zdroj: Jazayeri, Cronk, Fraser, 2010)

2.2.1.4 Korespondence prvků Po provedení detekce jsou k dispozici dvě skupiny prvků, které je potřeba spárovat na základě společných vlastností neboli deskripcí. Jak se můžeme dočíst v práci Walii a Suneji (2010), nejjednodušším možným způsobem jak získat popis prvku je korelační koeficient intenzity. Jedná se o výpočet normalizovaného korelačního koeficientu v okolí vybraného prvku. Hledání korespondence mezi deskripcemi jednotlivými body může být provedeno hned několika způsoby. Mezi ty základní patří metody užívající prostorové vztahy. Tyto metody jsou aplikovány hlavně v případech, kdy jsou vybrané prvky nejednoznačné nebo se nachází v okolí s lokálním zkreslením. Jedním ze zástupců těchto metod je například technika shluku (clustering technique), která se snaží párovat body spojené vyextrahovanými liniemi nebo rohy (Zitová, Flusser, 2003). Alternativou výše zmíněných metod je využití různých deskriptorů, které nejsou na rozdíl od metod využívající prostorové vztahy náchylné na deformaci obrazu. Dhindsa a Babbar (2011) ve své studii hovoří o nutných kritériích, která by měla být při korespondenci bodů, nahlížejících na deskripci jednotlivých prvků, splněna. 1. Neměnnost – deskriptory dvou odpovídajícím znakům z referenčního a transformovaného obrazu musí být shodné. 2. Jedinečnost – dva různé znaky musí mít různé deskriptory. 3. Stabilita – deskriptor mírně deformovaného znaku musí být podobné deskriptoru původního znaku. 18


4. Nezávislost – pokud je popis znaku sdružen do vektoru, musejí být jeho prvky na sobě nezávislé. Není ale možné vždy splňovat všechny zmíněné podmínky, a proto je třeba vytvořit rozumný kompromis. Výsledkem práce deskriptorů je spárování prvků, které jsou charakteristické podobnou deskripcí.

2.2.2 Obrazová korelace metodami area-based Druhou možností, jak docílit spárování obrazů, je použití plošně založených algoritmů (area based), v mnoha zdrojích označovány také jako korelační metody nebo párování se vzorem (template matching). Template matching se oproti předešlým feature-based technikám liší spojením fáze detekce a spárování prvků. Principiálně tyto metody fungují prostřednictvím předem definovaného okna se vzorem, které je postupně posouváno po dalším snímku a hledá místa shodná s místem na původním obrazu (Joglegar, Gedam, 2012). Algoritmy, na rozdíl od feature-based algoritmů, počítají přímo s hodnotami pixelů, což napovídá o citlivosti vypočítaných koeficientů na šum nebo odlišnou celkovou světlost obrazu. Area-based technika je také limitována požadavky na nižní míry deformace obrazu. Bude-li se totiž pracovat se snímky, které byly deformovány složitějšími transformacemi, je možné, že testovací okno nebude schopné pokrýt stejnou část scény referenčního a transformovaného snímku. Korelace představuje klasického zástupce area-based metod. Jedná se o algoritmy umožňující vzájemné porovnávání podobnosti dvou obdélníkových vzorků. Vlastní normalizovaný korelační koeficient známý jako cross-correlation (CC) se vypočítá podle vztahu, kde f‘ a g‘ jsou aritmetické průměry hodnot pixelů v dané oblasti registrovaných snímků a

jsou na hodnoty pixelů na pozicích daných

souřadnicemi X a Y.

19


Výpočet korelačního koeficientu spočívá v odečítání hodnot vektorů. Je proto vhodný v případech, kdy jsou jasy registrovaných obrazů lineárně závislé. Díky ne příliš složitému výpočtu a zároveň kvalitním výsledkům je korelační koeficient oblíbeným a velmi často používaným způsobem spárování snímků (Guo, Dyer, 2007). Podobné koeficienty jako je korelační jsou SAD (Sum of Absolute Differences), vznikající součtem absolutních rozdílů hodnot pixelů, a SSD (Sum of Squared Differences), který je vypočten součtem druhých mocnin rozdílů. Tyto způsoby jsou ovšem velmi náchylné na změny kontrastu a šumu v porovnávacích obrazech, proto je vhodné je používat pro porovnávání velmi podobných obrazů. U plošně založených metod lze použít algoritmy založené na Furierově transformaci, které oproti běžné korelaci dosahují mnohem lepších výsledků. Algoritmy vykazují silnou odolnost vůči změně osvětlení na snímcích a nemají problém se zpracováním snímků, které obsahují frekvenčně závislý šum. Poslední metodou z area-based způsobem spárování obrazů je metoda vzájemné informace (mutual information method), která vypovídá o míře statistické závislosti dvou množin dat. Při registraci obrazu dochází k určení maxima vzájemné informace.

2.2.3 Zhodnocení obrazové registrace Po seznámení se s metodami optické korelace by bylo vhodné uvést, v čem by mohl nastat problém, který by se v závěru podepsal na přesnosti registrace jednotlivých snímků. Bez ohledu na kvalitu snímků, použitou metodu obrazové registrace a oblast, ve které bylo fotografování prováděno, se v průběhu registračního procesu můžeme setkat hned s několika chybami, které ve své studii nastínili Zitová a Flusser (2003). V případě, že dojde k posunutí souřadnic kontrolních bodů způsobeným nesprávnou

detekcí,

hovoříme

o

lokalizační

chybě

(localization

error).

Pravděpodobnost výskytu této chyby by mohla být snížena výběrem jiného algoritmu pro detekci prvků. Ovšem zde si musíme uvědomit, že by tato změna mohla mít za následek výběr menšího počtu kontrolních bodů, který by pro 3D měření nemusel být dostačující. Záleží tedy na uživateli, zda preferuje více bodů s vyšší lokalizační chybou nebo body s přesnějším umístěním. 20


Ve fázi párovnání snímků může dojít k párovací chybě (matching error), která je určována číslem chybných párování při stanovení korespondence mezi jednotlivými kontrolními body. Tato chyba je považována za velmi vážnou, protože vede k selhání celého registračního procesu. Párovací chybě se dá předejít použitím robustních algoritmů párování.

2.3 Kamera Pro pořízení snímků později určených k využití ve fotogrammetrii nám mohou posloužit různé typy kamer. V praxi se nejčastěji setkáváme s dělením kamer na měřické a neměřické neboli digitální fotoaparáty. Hlavní rozdíl mezi těmito dvěma typy je v míře dostupných informací a důležitých parametrů přístroje, které uživatel k práci potřebuje. U měřických kamer je jisté, že jsou parametry stabilní a dostatečně přesné, oproti tomu u neměřických kamer jsou tyto parametry neznámé nebo nedostačující (Štefanová, 2006).

2.3.1 Kalibrace kamery K tomu, aby se digitální fotoaparát mohl použít pro účel tvorby 3D modelu, je nutné provézt kalibraci. Podstatou tohoto důležitého procesu přípravy fotoaparátu je určení základních parametrů, které jsou jinak označovány jako prvky vnitřní orientace (Remondino; Fraser, 2006). Jde především o parametry (Terminologický slovník VÚGTK, 2013): 1. Konstanta komory - vzdálenost hlavního snímkového bodu od středu promítání v obrazovém prostoru. 2. Poloha hlavního bodu snímku - průsečík roviny snímku, jehož paprsek prochází přes promítání obrazového prostoru a kolmo na rovinu snímku. 3. Zkreslení objektivu (distorze) - vada objektivu, která způsobuje posun obrazu bodu od jeho správné polohy v rovině snímku. Kalibrace se může provádět třemi základními způsoby. Laboratorní kalibrace se kvůli své náročnosti na vybavení realizuje pouze na speciálních pracovištích a pracuje 21


jen s měřickými kamerami. Při simultánní kalibraci se zase testovací pole nachází přímo na foceném objektu (Pavelka, 2009). Nejpopulárnější metodou, která se díky své malé náročnosti na vybavení stala nejčastěji používanou, je provedení kalibrace pomocí testovacího pole. Takové testovací pole (viz. Obr. 4) je pokryto body, které sebou nesou informace s vlastními snímkovými a referenčními souřadnicemi v dané soustavě (Remondino; Fraser, 2006). Základem této metody je nafocení testovacího pole z několika stanovisek. Štefanová (2006) připomíná, že je nutné dbát zásad průsekové fotogrammetrie. Pro správné určení prostorové polohy bodů je tedy potřeba, aby byl určovaný bod dobře viditelný alespoň na třech snímcích. Podle Pavelky (2006) stačí ke kalibraci pořízení čtyř až osmi snímků, které mají konvergentní osy záběru. Štefanová (2006) tvrdí, že se při praktickém provádění kalibrace prokázala nevhodnost tohoto počtu snímků. Problémem je nestabilita v přesnosti polohy hlavního snímkovacího bodu, proto je vhodné pořídit minimálně dvanáct snímků, kdy je testovací pole snímáno z frontálních stran ve vodorovné poloze a z diagonálních stran v poloze vodorovné i svislé. (viz. Obr. 5).

Obr. 4: Testovací pole (zdroj: Photomodeler, 2013)

Obr. 5: Pozice kamer při snímkování (zdroj: Štefanová, 2006)

2.3.2 Zkreslení objektivu Jak již bylo řečeno, pomocí kalibrace fotoaparátu lze zjistit zkreslení, které je jinak označováno jako distorze objektivu. Obecně se jedná o vady objektivu, které mají vliv

22


na přesnost geometrie ve snímku. Dochází tedy ke změnám v přesnostech snímkových souřadnic v různých částech snímku (Zhang, 2004). Celkem se můžeme setkat se dvěma typy distorze. Pokud se hovoří o radiální distorzi, rozumí se tím relativně symetrické zkreslení bodů v radiálním směru od středu snímku. Zhang (2004) hovoří o deformaci celého snímku, výjimkou je poloha hlavního snímkového body, kde k distorzi dochází. Druhým typem distorze je distorze tangenciální, která způsobuje zkreslení bodů v kolmém směru na směr radiální distorze. Ta ovšem nedosahuje takových hodnot jako je tomu u distorze radiální, tudíž je možné ji zanedbat. Rozsah distorze čočky se u každého fotoaparátu může lišit. San Choi, Lam a Wong (2006) zmiňují, že fotoaparáty od stejného výrobce, dokonce i fotoaparáty stejného typu mají čočku se zcela odlišným stupněm zkreslení. Distorze totiž vzniká ve výrobní fázi fotoaparátu, kdy dochází ke geometrickým nepřesnostem způsobeným špatným urovnáváním prvků objektivu do jeho optické osy. Nejčastější příčinou zkreslení je nevhodná poloha clony v systému čoček. V tomto případě je velikost a charakteristika polohové odchylky v radiálním směru určována pozicí clony. Jestliže se clona nachází mezi předmětem a čočkou fotoaparátu, je pozice výsledného obrazu určována paprsky světla dopadajícími na čočku značně šikmo. Vzniká tak zkreslení soudkovité. Opakem tohoto zkreslení je zkreslení poduškovité, které je způsobeno umístěním clony mezi čočkou a CCD snímačem. Paprsky světla poté dopadají na čočku méně šikmo. Na obrázku 6 můžeme vidět příklady již zmíněných zkreslení v porovnání s obrazem nezkresleným, který se jinak nazývá ortoskopický. Tento obraz bez distorze vzniká díky správné lokaci čočky na cloně, která zapříčiňuje, že světelný paprsek prochází skrz optický střed a opouští čočku pod stejným úhlem, ve kterém do ní vstoupil.

23


Obr. 6: Typy radiálního zkreslení (zdroj: San Choi, Lam, Wong, 2006) 1. ortoskopický obraz; 2. soudkovité zkreslení; 3. poduškovité zkreslení

Výše zmínění autoři kromě stavu objektivů hovoří i o variantě, kdy je míra zkreslení ovlivňována i ohniskovou vzdáleností. Obvykle se objektivy s krátkou ohniskovou

vzdáleností

potýkají

s vyšším

stupněm

soudkovitého

zkreslení.

Poduškovité zkreslení postihují hlavně objektivy s dlouho ohniskovou vzdáleností.

2.4 Epipolární geometrie 3D rekonstrukce ze dvou a více rovinných průmětů je jednou z klasických úloh computer vision. Většina algoritmů computer vision je založena na předpokladu, že základem pro určení vzájemného vztahu stereo páru je epipolární geometrie. V současné době vyhodnocovací systémy umožňují analyzovat téměř všechna obrazová data, pořízená různými způsoby, což znamená, že metoda epipolární geometrie není nijak limitována strukturou scény, závisí pouze na vnitřních parametrech kamery a relativní pozici snímání (Cho, Schent, Madani, 1992). Principem epipolární geometrie, jak je možné vidět na obrázku 7, je středové promítnutí bodu z prvního obrazu na přímku v druhém obrazu, což značně zjednodušuje nalezení korespondujících bodů. Hlavním výsledkem je fundamentální matice, která definuje geometrii korespondencí mezi dvěma body, kódování prvků vnitřní orientace a relativních prvků vnější orientace.

24


Obr. 7: Epipolární geometrie (zdroj: Polleys, 2000)

2.5 Algoritmy generování bodového mračna Dnes nejpoužívanějším algoritmem, se kterým pracuje většina programů pro tvorbu bodových mračen, je Structure from Motion (SfM). Tento algoritmus dokáže na základě zjištěné fundamentální matice určit pozici kamer všech snímků a je schopný zrekonstruovat významné 3D body objektu (viz. Obr. 8). Předpokladem, že se tento algoritmus dobere k úspěšnému výsledku, je stálost snímaného objektu (Young [et al], 2013).

Obr. 8: Generování bodového mračna (zdroj: Polleys, 2000)

25


Vzhledem k tomu, že se SfM musí potýkat s distorzí a rotacemi snímků, které jsou problematické pro přesnou generaci 3D bodů, byl vyvinut závěrečný algoritmus Bundle Adjustment neboli svazkové vyrovnání. Jedná se o algoritmus, který zvládá vyrovnat všechny parametry jako jsou pozice a orientace kamer v prostoru a souřadnice významných bodů, a minimalizovat tak projekční chyby (Westoby [et al], 2012). Kvalita provedení algoritmu je značně závislá na povrchových vlastnostech snímaného objektu, a tak se pro lepší průběh tohoto procesu doporučuje pracovat s terči, které zajistí vyšší pravděpodobnost 3D rekonstrukce bodů. Obecně platí, že výsledky dosažené použitím výše zmíněných algoritmů jsou pro

většinu

rekonstrukcí

3D

modelů

nedostačující.

Pokud

jde

o

hustotu

vygenerovaného bodového mračna pomocí těchto algoritmů, výsledkem SfM a Bundle Adjustment je pouze řídké bodové mračno (Koutsoudis, Vidmar, Arnaoutoglou, 2013). Na

druhou

stranu,

jestliže

uživatel

manuálně

vytváří

model

s geometricky

jednoduchými plochami, je výstup z těchto algoritmů optimální.

2.6 Algoritmy zhušťování bodového mračna Za účelem vygenerování hustšího a podrobnějšího bodového mračna se většinou Structure from Motion spojuje s dalšími algoritmy. Yang [et al] (2013) uvádí přehled algoritmů, které se podílejí na tvorbě finální podoby bodového mračna. Samotné fáze realizace 3D modelu je možné vidět na obrázku 9. Jsou jimi Clustering Views for MultiView Stereo (CMVS) a Patch-based Multi-View Stereo (PMVS).

Obr. 9: Vznik bodového mračna: 1 – objekt na scéně, 2 – řídké bodové mračno, 3 – zhuštěné bodové mračno, 4 – výsledný model (zdroj: Yang [et al] (2013))

26


První z algoritmů CMVS provádí seskupení snímků se stejnou scénou a uvádí je do multi-projekce. Algoritmus pracuje s nezkresleným digitálním obrazem a dále s informacemi, které byly zjištěny již v procesu SfM. Jedná se především o parametry snímků, projekční matici a vygenerované řídké bodové mračno. Algoritmus PMVS je charakteristický generováním malých plošek obdélníkového tvaru (patches), které probíhá na základě výstupních snímků z CMVS. Ahnadabadian [et al] (2013) popisuje tento algoritmus v následujících třech krocích: 1. Párování prvků – krok, který byl proveden pomocí algoritmu Structure from Motion. 2. Rozšíření plošek – rozšiřování plošek, dokud nepokryjí celý povrch scény. 3. Filtrace – filtrování nových plošek a odstraňování nesprávně lokalizovaných plošek. Po korekci a rekonstrukci 3D bodového mračna je možné využít dalších algoritmů pro závěrečnou kosmetickou úpravu. Nabízí se například Poissonova rekonstrukce povrchu, která bodové mračno spojí do sítě (mesh) a určí tak 3D modelu komplexnější tvar.

27


KAPITOLA 3 Metodika 3.1 Přístrojové vybavení 3.1.1 Neměřická kamera Sony Alpha DSLR-A 200

Obr. 10: Sony Alpha DSLP-A200 (zdroj: Digimanie.cz, 2013)

Sony Alpha DSLP-A200 (viz. Obr. 10) je digitální zrcadlovka, která se vyznačuje vsazeným APS CCD snímačem. Čip s rozměry, které činí 23,6 x 15,8 mm, disponuje rozlišením 10,2 megapixelů. Citlivost se u tohoto typu pohybuje v rozmezí 100 až 3200 ISO. Tento fotoaparát umožňuje ukládat fotografie ve čtyřech stupních kvality – 2x ve formátu JPEG a 2x v nejkvalitnějším formátu RAW a uživatelům nabízí pořizování snímků ve třech velikostech. Fotoaparát se také může pochlubit optimalizovaným procesorem BIONZ, který je schopný vylepšovat kvalitu obrazu, redukovat šum obrazu a obecně usnadňuje celkové ovládání. Spolu s již zmíněným fotoaparátem byl použit objektiv Sony DT 18-70mm, který se vyznačuje světelností f/3,5 a nejkratší zaostřovací vzdáleností 38 cm. Dále byl vypůjčen stativ pro zajištění stability fotoaparátu.

28


3.2 Softwarové vybavení 3.2.1 PhotoModeler Scanner Při zpracovávání fotografií jsem pracovala v prostředí programu PhotoModeler Scanener. Tento program slouží především k tvorbě vysoce kvalitních 3D modelů z fotografií a bezdotykovému 2D a 3D měření. V novějších verzích se můžeme setkat s funkcemi umožňujícími tvorbu bodových mračen (Dense Surface Modeling), které jsou schopné modelovat téměř všechny povrchy libovolných velikostí a svou kvalitou se mohou rovnat výsledkům z laserového skenování. Jedná se o systém, který je založen na principech metody průsekové fotogrammetrie. K tvorbě mračen se používá již zmíněná obrazová korelace SmartMatch, která probíhá mezi dvěma snímky. V případě PhotoModeleru se jedná o software provádějící digitální korelaci s využitím areálových metod.

3.2.2 MeshLab MeshLab je přenosný a rozšiřitelný systém pro zpracování a editaci nestrukturované 3D trojúhelníkové sítě. Systém je zaměřen na pomoc při zpracování typických nestrukturovaných modelů vzniklých při 3D skenování, poskytuje soubor nástrojů pro editaci, čištění, opravu, kontrolu, interpretaci a konvertování těchto sítí.

3.2.3 Cloud Compare Tento open source program zahrnuje mnoho užitečných algoritmů sloužících k práci s bodovými mračny. Jedná se především o algoritmy zprostředkující registraci mračen, vzorkování, statistické výpočty.

29


3.2.4 ArcGis 10.1 Pro integraci zpracovaného 3D bodového mračna byl vybrán software ArcGIS 10.2, který poskytuje kompletní software pro GIS a zahrnuje mnoho vzájemně propojených aplikací. Ve své práci budu využívat ArcMap pro tvorbu podkladů, které následně vizualizuji v prostředí ArcScene podporující práci s 3D modely.

30


KAPITOLA 4 Data 4.1 Vlastní data V rámci zpracování bakalářské práce jsem měla možnost se zúčastnit terénního šetření, které se konalo ve dnech 13. a 14. 4. 2013 v první zóně Národního Parku České Švýcarsko (viz. Obr. 11). Celý průzkum terénu probíhal za doprovodu Mgr. Lukáše Brůhy, RNDr. Jakuba Lysáka, Mgr. Lukáše Holmana a zástupce SNPČŠ Mgr. Oldřicha Holešinského. Při této příležitosti jsem byla seznámena s obecnými informacemi a zajímavostmi o oblasti a také jsem měla možnost navštívit lokality potřebné k nafocení Pravčické brány, které jsou pro veřejnost stěží přístupné.

Obr. 11: První zóna NP České Švýcarsko (zdroj: Mapy.cz, 2013)

Cílem terénního šetření bylo pořízení fotografií, zachycující skalní stěny Pravčické brány a jejího okolí. S ohledem na velikost a dostupnost snímaného objektu bylo nutné si předem zvolit nejvhodnější stanoviska, ze kterých je objekt co nejlépe viditelný. Poloha jednotlivých stanovisek je znázorněna na obrázku 12. 31


Obr. 12: Stanoviska snímání (zdroj: Vlastní zdroj)

Snímky byly pořízeny již zmíněným fotoaparátem typu Sony Sony Alpha DSLPA200. Aby byly fotografie vhodné pro zpracování, bylo nutné fotoaparát zachovat se stálými prvky vnitřní orientace. S tím tedy souviselo zafixování objektivu v krajní poloze a vypnutí automatického ostření. Během snímkování byl objektiv nastaven v krajní poloze s ohniskovou vzdáleností 35 mm. Snímky disponují citlivostí ISO400 a byly pořízeny se závěrkou clony f/22. Fotografie byly ukládány do formátu JPG, ale v okamžiku důkladnějšího zaměření se na samotnou Pravčickou bránu byly snímky ukládány do formátu RAW, který by měl zajistit co nejvyšší kvalitu. Dále je nutné se zmínit o podmínkách, které v průběhu fotografování převládaly, neboť se jistě podílely na celkové kvalitě snímků. Počasí se v oba dny jevilo velice nepříznivě. Docházelo k častým přeháňkám, které zapříčiňovaly problém s udržováním čistoty a optimálního stavu fotoaparátu. Zároveň bylo poměrně větrno a 32


v brzkých hodinách jsem se mohla setkat i s hustými mlhami, které ztěžovaly focení samotného objektu. Na druhou stranu je obecně pro fotografování nejvhodnější právě zatažené počasí. Za těchto podmínek je zajištěno, že je svit měkčí a nedochází ke vzniku stínů, které by mohly představovat jisté komplikace při procesu automatického detekování.

4.2 Bodové mračno z leteckého skenování Pro možnost integrace 3D modelu do blízkého okolí Pravčické brány jsem obdržela datový soubor, který obsahuje body zaměřené metodou laserového skenování. Laserové skenování proběhlo v roce 2002 za účelem získání kompletních informací o tvaru a velikosti skalního tělesa. Surová data byla poskytnuta SNPČS, já jsem ovšem pracovala s již zpracovaným modelem, který byl výstupem bakalářské práce Brýdla (2012) zaměřující se filtraci a klasifikaci lidarových dat. Jedná se o datový soubor Cloud_after_ATIN.txt. Výsledná lidarová data jsou uložené v textovém souboru ASCII, který obsahuje mračno bodů o polohových souřadnicích X, Y a výškové souřadnice Z a je zorientovaný v souřadném systému WGS84 v zobrazení UTM.

33


KAPITOLA 5 Praktická část 5.1 Kalibrace kamery Kalibrace byla provedena pro fotoaparát Sony Alpha DSLP-A200, který byl následně využit pro snímkování v terénu. Pro realizaci kalibrace bylo použito kalibrační testovací pole, které bylo postupně nasnímáno z osmi stanovisek ve vzdálenosti okolo 0,5 m. Čtyři snímky byly pořízeny z frontálních stran ve vodorovné poloze a osm snímků z diagonálních stran v poloze vodorovné i svislé, tak jak zmínila Štefanová (2006). Během snímkování byla potřeba zachovat prvky vnitřní orientace beze změny. Prvotní nastavení fotoaparátu je možné vidět v tabulce 1. Ohnisková vzdálenost fotoaparátu byla nastavena na 35 mm, ISO400, délka expozice 1/10 sekundy a závěrkou clony f/22. Kamera konstanta kamery poloha hlavního snímkového bodu rozměr snímku radiální distorze tangenciální distorze

Sony Alpha DSLP-A200 35 mm x = 12,1154 mm, y = 8,1103 mm 3872 x 2592 pixelů (1366 mm x 915 mm) K1 = 0, K2 = 0 P1 = 0, P2 = 0

Tab. 1: Nastavení kamery před kalibrací (zdroj: Vlastní tvorba)

Samotná kalibrace byla spuštěna v programu PhotoModeler Scanner. Zde byl vytvořen nový Camera Calibration Project, kam se následně pořízené snímky nahrály. Po automatickém měření bodů byla provedena kontrola, která spočívala v opravě bodů, které byly změřené, ale nedošlo k jejich referenci. Došlo také k promazání bodů, které se nacházely mimo kalibrační pole. Referencování bylo spuštěno pomocí funkce Referencing Mode, která nám umožňuje editaci ID bodů, jejich polohy nebo tvorbu 34


nových bodů. Po úpravě, kdy konečný počet měřených bodů musel činit 144 spolu se čtyřmi kontrolními body, bylo možné provézt finální výpočet prvků vnitřní orientace. Kamera konstanta kamery poloha hlavního snímkového bodu rozměr snímku radiální distorze tangenciální distorze

Sony Alpha DSLP-A200 37,1423 mm x = 12,1115 mm, y = 8,1103 mm 3872 x 2592 pixelů (1366 mm x 915 mm) K1 = 5.366e-005 K2 = 0 K3 = 0.000e+000 P1 = 0 P2 = 0

Tab. 2: Parametry kamery po kalibraci (zdroj: Vlastní tvorba)

Průběh radiální distorze 1200

dr [µm]

1000 800 600 400 200 0 0

1

2

3

4

5

6

7

8 9 r [mm]

10

11

12

13

14

15

16

Graf. 1: Průběh radiální distorze (zdroj: Vlastní tvorba)

Z výše uvedených výsledků v tabulce 2 je patrné, že konstanta kamery se po kalibraci kamery z hodnoty 35 mm změnila na 37,1423 mm. Dále bylo zjištěno, že díky chybě objektivu dochází k radiální distorzi o hodnotách K1 = 0,00005366 mm. To má za následek, že se v maximálních rozměrech snímku hodnota distorze pohybuje okolo 1,14 mm. Průběh radiální distorze použitého fotoaparátu je možné vidět v grafu 1. 35


5.2 Tvorba 3D bodového mračna V této části jsou popsány jednotlivé body tvorby bodového mračna skalních stěn okolí Pravčické brány. Program PhotoModeler Scanner nám umožňuje zpracovávat snímky jak pomocí klasické fotogrammetrie provedené uživatelem, tak pomocí automatické obrazové korelace. V hlavní nabídce se nám tak nabízí výběr standardního nebo automatického projektu. Ve standardním projektu máme k dispozici funkci Mark Points Mode, díky které můžeme pracovat s vlastně zvolenými vlícovacími body, po jejichž určení jsme schopni referencovat danou dvojici snímků. Oproti tomu automatický projekt (viz Obr. 13) probíhá bez zásahu uživatele.

Obr. 13: Nabídka automatických projektů (zdroj: Vlastní tvorba)

V tomto automatickém projektu je program schopný detekovat body sám. Může se jednat například o terčíky (targets), které sami na objektu vytvoříme a v pokročilejším nastavení stačí určit jejich tvar i barvu, na které se má program zaměřit. Pro naše potřeby byla využita funkce SmartPoints Project, při které program umí registrovat přirozeně vytvořené rysy

charakterizující tvar snímaného objektu.

Předpokládá se, že se objekt nejeví hladkým povrchem a je bohatě otexturován.

36


5.2.1 SmartPoints projekt Po spuštění programu tedy došlo k založení nového SmartPoints projektu. Při této příležitosti se program zeptá na typ fotoaparátu, který byl na snímání použit. Došlo tedy k výběru z databáze již kalibrovaných fotoaparátů. Ve fázi nahrávání fotografií jsem nejprve začala pouze s jednou dvojicí snímků, aby měl software snazší práci s prvotní orientací snímků. Ovšem po pozdějších snahách orientovat více snímků najednou docházelo k častým chybám, které vedly k odmítnutí snímků pro účel tvorby mračna, tudíž přidávání snímků po jednotlivých párech mě doprovázelo celým procesem tvorby mračen. Jak je možné vidět na obrázku 14, realizace SmartPoints projektu je doprovázena třemi základními procesy a to detekcí prvků na snímcích, jejich označením a párováním a následnou orientací použitých snímků. Po ukončeném procesu je program schopen z orientovaných snímků, které jsou označeny symbolem malého fotoaparátu, vytvořit soubor řídkého 3D bodového mračna o souřadnicích X,Y a Z (viz Obr. 15).

Obr. 14: Postup SmartPoints projektu (zdroj: Vlastní tvorba)

37


Obr. 15: Řídké bodové mračno SmartPoints (zdroj: Vlastní tvorba)

Také je nutné se zmínit o velmi častých problémech s registracemi snímků v určitých oblastech. V některých případech je totiž objekt snímán z poloh, které kvůli malému, nebo naopak velkému úhlu mezi jednotlivými stanovisky nevyhovují pro úspěšné zaměření stereopárů. V případě malého úhlu mezi stanovisky může dojít k projekční chybě, u větších úhlů body nemusí být zase detekované. Mezi optimální úhly se řadí úhly v rozmezí 45-60°. Tyto komplikace byly zapříčiněny značně členitým terénem a místy i komplikovaným přístupem k samotným hranám skalních stěn. O nedostatečné vytvoření základního řídkého mračna SmartPoints se také zasloužily i křovinaté porosty, které se upínaly na skalní stěny, stromy a další objekty nacházející se v těsné blízkosti snímaného objektu. Výsledkem těchto zmíněných faktorů jsou místa, kde mračno není vůbec vygenerované nebo jen ve velmi řídké formě, která nemusí být do finálního výpočtu 3D modelu vůbec zahrnuta.

38


5.2.2 Idealizace projektu Během následujícího kroku bylo nutné provézt idealizaci projektu. Jedná se o proces, na jehož základě jsou snímky upraveny odstraněním distorzí objektivu fotoaparátu. Předtím, než se tedy začne se snímky pracovat, je vhodné spustit funkci Project/Idealize Project, kdy dojde k výpočtu vlivu distorze objektivu na vybrané snímky. Program po tomto kroku vytvoří nové snímky, které už jsou idealizované a je možné je použít pro pozdější proces.

5.2.3 Tvorba bodového mračna Jak již bylo řečeno, PhotoModeler Scanner je schopný vygenerovat bodové mračno na bázi scanneru. Toto vyhodnocování se provádí pomocí nástroje Dense Surface/Create Dense Surface. Ještě než je spuštěna tato funkce je vhodné použít nástroj DMT Trim Mode, díky němuž je možné vybrat požadovanou oblast (viz. Obr. 16), ze které by mělo dojít k výpočtu mračna.

Obr. 16: Funkce DTM Trim Mode (zdroj: Vlastní tvorba)

39


Po výběru požadované oblasti na každém snímku je tedy možné spustit nástroj Create Dense Surface, který nám vygeneruje potřebné bodové mračno (viz. Obr. 17). Tento nástroj požaduje výběr párů snímků, se kterými bude pracovat, a nabízí dosti obšírné nastavení a kritéria, která se ve finální fázi podílí na kvalitě vytvořeného 3D mračna. Jsou jimi: 

Sampling interval – parametr určující vzdálenost mezi body mračna



Sampling interval units – nastavení jednotek pro vzdálenost mezi body



Extents from – možnost výběru místa, ze kterého proběhne generování (DSM Trim – vytvoření z vybraných oblastí; whole photo boundary – vytvoření mračna z celého snímku



Depth range – parametr určující odlehlost body od generovaného povrchu



Matching region radius – určení velikosti korelačního okna v pixelech



Texture type – určení typu textury



Run isolated point filter – použití filtru na izolované body

Obr. 17: Výsledek Dense Surface (zdroj: Vlastní tvorba)

40


Při generování mračna byl jedním z nejčastějších problémů výskyt šumu v těsné blízkosti povrchu modelu. Tvorba a redukce šumu byla nejvíce ovlivňována hodnotou paramertu Matching region radius, se kterým se dá pracovat v rozmezí hodnot 0-30, udávajícím velikost korelačního okna. Podle manuálu od PhotomMdeleru se nižší hodnoty vyznačují generací mračna s velkým šumem, hodnoty blízké 30 vytváří mračno s minimálním šumem, ale jsou časově zdlouhavé a produkují nedostatečnou kresbu povrchu. Výrobci PhotoModeleru tedy doporučují pro nejlepší kvalitu modelu využívání hodnot Matching rerion radius 10-15 spolu s texturou 2.

5.2.4 Export bodového mračna Ve finálním kroku byl proveden export jednotlivých bodových mračen do formátu TXT. Na obrázku 18 je možné vidět, že tento soubor obsahuje jak prostorové souřadnice bodů, tak hodnoty informující o barvě jednotlivých bodů. Byly vyexportovány soubory pro všechny čtyři stěny (viz. Obr. 19): stena_1.txt, stena_2.txt, stena_3.txt a stena_4.txt.

Obr. 18: Exportované souřadnice bodového mračna (zdroj: Vlastní tvorba)

41


Obr. 19: Snímané stěny (zdroj: Vlastní tvorba)

5.3 Georeferencování 3D bodového mračna V tomto

kroku

jsem měla

za

úkol přiřadit jednotlivým bodovým mračnům,

reprezentovaným modelovým souřadným systémem, systém referenčního modelu získaného z leteckého laserového skenování v souboru Cloud_after_ATIN.txt. Nejprve jsem si pro lepší přehlednost vytvořila samostatné výřezy jednotlivých stěn. Tento krok se dá snadno provézt v programu CloudCompare, kde jsem použila nástroj Segment, ohraničila tak potřebné místo a vyexportovala nové soubory ve formátu .txt, které jsem následně pro lepší kompatibilitu převedla do formátu asc. Samotné georeferencování mračen pak proběhlo v programu MeshLab prostřednictvím funkce Align. Zde se referenční model označí jako vrstva s označením Glue Here Mesh, vybere se model určený k referencování a zvolí se možnost Point Based Glueing. Následně se nám zobrazí okno s oběma mračny (viz. Obr. 19), kde se dostáváme ke kroku vybírání vhodných vlícovacích bodů. Po výběru dostatečného množství bodů se georeference potvrdí a program nám vygeneruje matici posunu, jejíž ukázku můžeme vidět v tabulce 3). Před uložením nově transformovaného bodového mračna v souřadném systému 42


WGS 1984 UTM Zone 33N je nutné v nabídce Filters/Normals, Curvatures and Orientation zvolit Freeze Current Matrix pro uložení nové matice. Jednotlivé stěny byly uloženy

do

souborů

stena_1_trans.txt,

stena_2_trans.txt,

stena_3_trans.txt,

stena_4_trans.txt.

Obr. 20: Georeferencování bodového mračna (zdroj: Vlastní tvorba)

-14,68 -24,8 1,1 0

-4,37 3,84 28,24 0

-24,44 14 -5,71 0

449362,9 5637225 451,65 1

Tab. 3: Matice transformace (zdroj: Vlastní tvorba)

Při této příležitosti bych se zmínila o problému s hledáním totožných bodů. Vhledem k tomu, že se v některých místech nepodařilo dostatečně vytvořit povrch modelu, nebylo vždy možné určit polohu korespondujících bodů se stoprocentní jistotou. Situaci zkomplikovala i skutečnost, že data z leteckého skenování nejsou příliš podrobná a v některých částech terénu zcela chybí. Pro další manipulaci s georeferencovanými bodovými mračny jsem si zvolila program CloudCompare, kde se dají mračna snadno a přehledně vizualizovat a nadále upravovat. Díky lepšímu pracovnímu prostředí jsem si mohla ověřit, zda transformace 43


proběhla úspěšně, či ne, popřípadě posunout mračna použitím funkce Register Entities. V mém případě transformace v MeshLabu proběhla velice dobře, takže nebyla potřeba dalších manipulací. Na obrázku 21 je možné vidět jednotlivé transformované stěny s červeným podkladem z dat leteckého laserového skenování.

Obr. 21: Bodová mračna posazená do okolního terénu: 1. stěna 1; 2. stěna 2; 3. stěna 3; 4. stěna 4 (zdroj: Vlastní tvorba)

44


5.4 Tvorba povrchu modelu V této části jsem se inspirovala serverem Geospatial Modeling & Visualization (2014), který se zaměřuje na problematiku tvorby 3D objektů, modelování povrchu a vizualizace. Jelikož textové soubory obsahují statisíce až miliony bodů a zabírají velkou část paměťové kapacity, je pro pozdější práci v ostatních programech vhodné snížit hustotu mračen a zmenšit tak jejich velikost. Tento krok je možné provézt v programu CloudCompare funkcí Subsample . Vzniklá bodová mračna jsou uložena do souborů stena_1_t_sampl, stena_2_t_sampl, stena_3_t_sampl a stena_4_t_sampl. Vzhledem k tomu, že byly stěny nasnímané a vytvořené zvlášť, bylo by vhodné je pro pozdější modelování povrchu spojit v jeden celek. Tohoto výsledku docílíme v programu CloudCompare

použitím

funkce

Fuse.

Výstupním

souborem

je

Pravcicka_brana_fuse.txt. Po předešlých krocích je možné se přesunout na samou tvorbu povrchu modelu. V rešeršní části jsem se zmínila o jedné z nejpoužívanějších metod rekonstrukcí a tou je použití Poissonova algoritmu, který je součástí funkcí v MeshLabu. Ve studii Kazhdana, Bolitha a Hoppeho (2006) je Poissonova rekonstrukce prezentována jako algoritmus pracující na principu prvotního určení normál, které určí směr jednotlivých rekonstruovaných plošek a z nich je možné vytvořit plochu pro každý vrchol v modelu. Před spuštěním tohoto algoritmu je nutné si definovat parametry jako hloubka oktanového stromu (octree depht), hlouka výpočtu rovnic (solver devide), počet bodů zahrnutých do jednotlivých buněk (samples per node) a vzdálenost povrchu od bodového mračna (surface offsetting). V testech prováděných výše zmíněnými autory nejlépe dopadla kombinace octree depth – 8, solver devide – 8, samples per node – 1 a surface offsetting – 1, kterou jsem pro model použila. Stejné parametry jsem si pro porovnání vyzkoušela i v CloudCompare a výsledek je možné vidět na obrázku 22. Konečný model jsem poté exportovala do souborů pravcicka_brana.dxf a ostatni_steny.dxf, což je typ formátu kompatibilní s CAD softwary, který se později bude hodit pro integraci do 2.5D modelu.

45


Obr. 22: Poissonův algoritmus: 1. MeshLab, 2. CloudCompare (Zdroj: Vlastní tvorba)

5.5 Integrace 3D modelu s 2.5D modelem okolí Posledním krokem k dobrání se k 3D modelu Pravčické brány, který je posazen do 2.5D modelu okolí, je import modelu do programu ArcGIS a úprava okolního terénu, aby do něj model bez problémů zapadl.

5.5.1 Tvorba TIN Závěrečné integraci předcházela úprava bodového mračna z leteckého skenování způsobem, kdy jsem použila program CloudCompare k jednoduchému ořezání (clip) pomocí funkce Segment. Po dokončení byl exportován soubor cloud_final_clip.txt, který je určen ke vzniku TIN terénu sledované oblasti. Import textového souboru do ArcGIS prostředí spočívá v přepisu souboru na asc. a následné použití funkce ASCII to Feature Class. Zde se vybere asc. soubor, dále se zvolí používaný souřadný systém tedy WGS 1984 UTM Zone 33N a jako typ výstupu se nastaví Point. Vzniklá vrstva byla exportována jako cloud_final_clip_shp. Pro tvorbu TIN je následně využita funkce Create TIN. Zde se nastavuje název nově vzniklého souboru, bodová vrstva, ze které TIN vznikne a stejný souřadný systém. Nově vytvořený TIN je uložen ve složce tin_final_clip.

46


5.5.2 Import modelu Z předchozích kroků se vytvořil soubor pravcicka_brana.dxf a ostatni_steny.dxf a následně se importuje do prostředí ArcGIS pomocí funkce CAD to Geodatabase. Jak je viditelné na obrázku 23, výstupem tohoto procesu je soubor linií, polygonů a multipatches, který je uložen ve složce pod názvem pravcicka_brana. Samotná vizualizace vytvořeného 3D modelu Pravčické brány je provedena v programu ArcScene (viz. Obr. 24). V případě potřeby úpravy 2.5D modelu okolí, aby jednotlivé stěny bez problémů zapadly na své místo, byla zpětně použita editace TIN v ArcMap prostřednictvím funkce TIN Editing.

Obr. 23: Prostředí ArcGIS (Zdroj: Vlastní tvorba)

47


Obr. 24: Integrovaný model v prostředí ArcScene

48


KAPITOLA 6 Diskuse a závěr Cílem této bakalářské práce bylo vytvoření 3D bodových mračen skalních stěn v okolí Pravčické brány pomocí metody optických korelačních systémů a jeho následné integrování do 2.5D modelu okolního terénu. Práce je sestavena z rešerše literatury, vygenerování bodového mračna, tvorby mesh povrchu mračna a integrace. V rešeršní části své práce jsem se věnovala principu registrace obrazů, která je pro provedení automatického výpočtu 3D modelu stěžejní. Jsou zde rozvedeny metody, kterými se v současné době obrazová korelace provádí, a zmínila jsem se také o nejpoužívanějších algoritmech, které se zasluhují o detekci bodů a určení jejich polohy v prostoru. Pro vypracování této bakalářské práce bylo nutné provést terénní průzkum, jehož cílem bylo pořízení základních dat ve formě fotografií, na kterých byla Pravčická brána spolu s jejím okolím zachycena. Zároveň jsem pracovala s převzatými, již upravenými daty, protože jejich opětovné zpracování by bylo nad rámec studovaného tématu práce. V praktické části jsem se nově seznámila s programy PhotoModeler Scanner, umožňujícím generování a vyhodnocení 3D bodového mračna metodou obrazové korelace, MeshLab a CloudCompare, které zajistily registraci jednotlivých mračen a jejich finální podobu reprezentace. Kdybych měla hodnotit práci s programem PhotoModeler Scanner, tak přestože se jedná o komerční software, vyznačuje se poměrně velkou časovou i hardwarovou náročností. V souvislosti s tímto programem jsem se v průběhu zpracování práce setkala s komplikacemi, které se týkaly hlavního kroku praktické části, tedy registrace obrazu. Vzhledem k tomu, že je Pravčická brána masivní přírodní útvar, už samotné nasnímání objektu znamenalo první překážku k dosažení ideálních výsledků modelu. Velikost Pravčické brány a značné členění terénu okolo ní totiž ovlivnilo rozmístění jednotlivých stanovisek, a podepsalo se tak 49


na kvalitě vyhodnocení vazeb mezi jednotlivými snímky a výpočtu modelu. Mezi hlavní problém shledávám úhly svírání mezi sousedícími stanovisky, které nebyly v souladu s fotogrammetrickými pravidly. Došlo tedy na vyřazení některých stanovisek snímání, což mělo za následek neúplné pokrytí snímaných stěn a nedocílení kýženého modelu. Svou daň si také vybraly dosti variabilní vzdálenosti stanovisek od objektu, které ovlivňovaly detailnost na snímku a snižovaly pravděpodobnost, že dojde k úspěšné automatické registraci snímků. I přes výčet výše zmíněných problémů bych tuto metodu zcela nezatracovala. Naopak myslím, že tento způsob zpracování obrazových dat pro následnou reprezentaci prostorových modelů je velmi kvalitní a určitě si mezi uživateli najde své zastánce. Je ovšem důležité si vhodně zvolit pozorovaný objekt. Tato metoda může být velice užitečná například pro dokumentaci menších snadno dostupných objektů z řad památek nebo jiných architektonických děl.

50


SEZNAM ZDROJŮ Seznam literatury AHMADABADIAN, A. H. … [et al]. 2013. A comparison of dense matching algorithms for scaled surface reconstruction using stereocamera rigs. ISPRS Journal of Photogrammetry and Remote Sensing. 78. s. 157-167. 2013 BABBAR [et al]. 2010. Comparative Study of Image Matching Algorithms. International Journal of Information Technology and Knowledge Management. 2010, 2, č.2, s 337339. BRÝDL, I. 2012. Tvorba 3D modelu Pravčické brány a jeho integrace do 2.5D TIN modelu terénu. [elektronický zdroj]. Praha, 2012. 66 s. vč. příloh. Bakalářská práce na Přírodovědecké

fakultě

Univerzity

Karlovy

v Praze

na

katedře

aplikované

geoinformatiky a kartografie. Vedoucí práce Mgr. Lukáš Brůha. BUGRER, W. ; BURGE, M. 2009. Principles of Digital Image Processing: Fundamental Techniques. Springer. 2009, CHO, T. ; SCHENK, T. ; MADANI, M. 1992. Resampling Digital Imagery to Epipolar Geometry. Archive sof Photogrammetry and Remote Sensing. 1992, 29, s 404-408. Dostupné

z

part3.pdf> DAI, X. ; KHORRAM, S. 1999. A Feature-Based Image Registration Algorithm Using Improved Chain-Code. IEEE Transactions on Geoscience and Remote Sensing. 1999. 37. č.5. s. 2351-2362.

DHINDSA, K. S ; BABBAR, G. 2011. Development of an Improved Feature based Algorithm of Image Matching. International Journal of Computer Applications. 2011, 14, č.8, s 23-26. Dostupné z

51


GRUEN, A. 2012. Development And Status Of Image Matching In Photogrammetry. Photogrammetric Record. 2012. 27, č.137, s 36-57. Dostupné z

GUO, G. ; DYER, CH. R. 2007. Patch-based Image Correlation with Rapid Filterng. IEEE Computer Society Confonference. Computer Vision and Pattern Recognition. 2007. s. 1-6

CHO, W. ; SCHENK, T. ; MADANI, M. 1992. International Archives of Photogrammetry and Remote Sensing. 1992. 29. č.3. s. 404–408. JAZAYERI, I ; CRONK, S ; FRASER, C. 2010. A Feature-Based Matching Approach to Automated Object Reconstruction in Multi-Image Close-Range Photogrammetry. Dostupné z JOGLEKAR, J. ; GEHAM, S. S. 2012. Area Based Image Matching Methods – A Survey. International Journal of Emerging Technology and Advanced Engineering. 2012. 2. č.1. s. 130-136.

LIAO, K. ; LIU, G. ; HUI, Y. 2013. An improvement to the SIFT deskriptor for image representation and matching. Pattern Recognition Letters. 2013. 34. s. 1211-1220.

KAZHDAN, M. ; BOLITHO, M. ; HOPPE, H. 2006. Poisson Surface Reconstruction. Proceedings of the fourth Eurographics symposium on Geometry processing. 2006. s. 61-70. Dostupné z KOLÁŘ, J ; HALOUNOVÁ, L ; PAVELKA, K. 1997. Dálkový průzkum Země 10. 1. vyd. Praha: České vysoké učení technické. 1997, 164 s. PAVELKA, K. 2003. Fotogrammetrie 10. Skriptum. Praha: České vysoké učení technické, 2003, 194 s. 52


REMONDINO, F. ; FRASER, C. 2006. Digital camera calibration methods: consideration and comparisons. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. 2006, s 266-272. Dostupné z SACHS, J. 1999. Digital Image Basics. Digital Light & Color. 1999, s 1-14. Dostupné z SAN CHOI, K. ; LAM, E. Y. ; WONG, K. K. Y. 2006. Automatic source camera identification using the intrinsic lens radial distortion. Optics express. 2006, 14, s 11551-11565. Dostupné z SUTTON, M. A ; ORTEU J. J ; SCHREIER, H. W. 2009. Image Correlation for Shape, Motion and Deformation Measurements: Basic Concepts, Theory and Applications. Springer. 2009. ŠTEFANOVÁ, E. 2006. Kalibrace neměřických digitálních kamer. In: Geos 2006 , Zdiby : VÚGTK, 2005. Dostupné z WALIA, E ; SUNEJA, A. 2010. A Conceptual Study on Image Matching Techniques. Global Journal of Computer Science and Technology. 2010. 10, č.12, s.83-88. WESTOBY, M. J. … [et al]. 2012. ‘Structure-from-Motion’ fotogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology. 2012. 179. s. 300-314. YANG, M. … [et al]. 2013. Image-based 3D scene reconstruction and exploration in augmented reality. Automation in Construction. 2013. 33. s. 48-60. ZHANG, Z. 2004. Camera Calibration, Chapter 2. In Medioni and S.B. Kang Prentice Hall Professional Technical Reference. 2004, s 4-43. Dostupné z

53


ZITOVÁ, B ; FLUSSER, J. 2003. Image Registration Methods: A Survey. Image and Vision Computing. 21. 2003. s 977-1000. Dostupné z

Elektronické zdroje DIGIMÁNIE, 2013, Sony Alpha A200 [online].2013 [cit. 2013]. Dostupné z GEOSPATIAL MODELING & VISUALIZATION [online], 2014. [cit. 2014]. Dostupné z PHOTOMODELER, 2013. Photomodeler Tutorials [online].2013 [cit. 2013]. Dostupné z

POLLEFEYS, M. Visual 3D Modeling from Images. Online Tutorial. [online].2000 [cit. 2013].

Dostupné

z

pollefeys-eccv/tutorialECCV.html>

VÚGTK, 2013. Terminologický slovník zeměměřictví a katastru nemovitostí [online]. 2013 [cit. 2013]. Dostupné z

54


SEZNAM PŘÍLOH Příloha 1: Pohled na východní stranu Pravčické brány Příloha 2: Pohled na scénu z jihovýchodu Příloha 3: Pohled na scénu ze severovýchodu Příloha 4: DVD

55


Příloha 1: Pohled na východní stranu Pravčické brány

56


Příloha 2: Pohled na scénu z jihovýchodu

57


Příloha 3: Pohled na scénu ze severovýchodu

58

UNIVERZITA KARLOVA V PRAZE. Přírodovědecká fakulta Katedra aplikované geoinformatiky a kartografie

Recommend Documents