Az IQmulus projekt eredményei 2015

Az IQmulus projekt eredményei 2015 „Téradat-felhők,-fedvények és térfogati adatkészletek nagy kapacitású fúziós és elemző rendszere” Olasz Angéla 30. Magyar Földmérési, Térképészeti és Távérzékelési Társaság Vándorgyűlés „Földügy és térképészet a nemzetgazdaság szolgálatában” 2015. július 2-4. Szolnok

Földmérési és Távérzékelési Intézet

Tartalom Az IQmulus projektről:  Koncepció, konzorciumi felépítés, alkalmazási területek  A FÖMI szerepe a projektben: célkitűzéseink, feladataink A projekt első eredményei:  Esettanulmányok (showcase) és munkafolyamatok (workflow) kidolgozása a belső felhasználók igényeire alapozva  A FÖMI által fejlesztett szolgáltatások bemutatása  Alkalmazás prototípus és tesztelése Big Data koncepció projekt szintű értékelése Architektúra tervezés  A fejlesztést befolyásoló szempontok IQPC 2015: Adatelemzési verseny

30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

2

A projektről röviden Adatok:  Projekt időtartama: 2012 november – 2016 november  Finanszírozás: EU FP7-es keretprogram  Partnerek: 12 európai partner  Web: http://www.iqmulus.eu/ Koncepció: Valós felhasználói esettanulmányok köré épülő, de általánosítható rendszer, amely az alábbi eseményekre való felkészülést és az azokra való gyors reagálást segíti:  árvizek, villámárvizek, belvíz elöntés  ipari balesetek  városi területeken bekövetkezett katasztrófák, valamint (területi tervezés megalapozásához szükséges adatintegráció és elemzés támogatása) 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

3

A Konzorcium


4

A FÖMI szerepe a projektben Esettanulmányok


5

Esettanulmányok (Showcases) Szárazföldi esettanulmány 

Felszínmodell készítése



Csapadékadatok elemzése



Belvíz és árvíz detektálás



Földcsuszamlás-modellezés



Validálási műveletek

Tengeri-óceáni esettanulmány 

Tengerfenék modellezés (pontfelhő alapú)



A tengerfenéki objektumok azonosítása



Tengerfenék stabilitásának vizsgálata (dűnevándorlás)

Városi környezetre vonatkozó esettanulmány 

Épülethatár detektálás és nyilvántartás (2D/3D)



Fafelismerés (pontfelhő alapú) 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

6

A FÖMI szerepe a projektben A Szárazföldi esettanulmány koordinátora (együttműködve a forgatókönyvben részt vevő partnerekkel, a közszféra intézményeinek – mint kulcsfelhasználók – bevonásával) A WP1 (felhasználói követelmények) munkacsoport vezetője: A felhasználók szempontjainak, elvárásainak érvényesítése a kezdetektől Együttműködés konzorciumi partnerekkel a „State of the Art” elemzésben Adatszolgáltató, Adatintegrátor és Felhasználó egy időben Közreműködés az alábbi munkacsoportokban  Adatelemzés és feldolgozás (WP4)  Tesztelés és értékelés (WP7)  Kommunikáció (WP8) 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

7

Az első és második év legfontosabb feladatai a FÖMI részéről I. A legmodernebb tudományos és műszaki lehetőségek / trendek vizsgálata, tudományos és fejlesztési szempontok kidolgozása WP4

1. Felhasználói követelmények azonosítása (WP1) – a projekt több fázisán átívelő, iteratív, dinamikus Topfolyamat. down (User Role/User Story/Use Case)

IQmulus fejlesztési irányok WP1 Felhasználói igények, követelmények gyűjtésének és rendszerezésének módszertani kidolgozása és végrehajtása

Bottom -up

Mint térinformatikai szakértő egy adatszolgáltató intézetnél, SZONAR és LIDAR adatok fúzióját szeretném elvégezni azért, hogy folytonos tengeri/szárazföldi felszínmodellt tudjak előállítani. Hidrológusként szeretném kombinálni az elöntésmodellt nagy felbontású DTM-mel, hogy vízmélység-térképket generálhassak. Mint térinformatikai szakértő egy katasztrófavédelmi hatóságnál, különböző kockázati zónák poligonjait szeretném a kataszter i épületekkel átlapolni, evakuálás tervezése céljából, gyorsan és pontosan. As a <user>, I want <something> so that


8

Az első és második év legfontosabb feladatai a FÖMI részéről II. 2. Showcase összeállítás Adott forgatókönyvekre összeállított legtipikusabb felhasználói követelmények munkafolyamatokba rendezett gyűjteményének létrehozása (kiindulópontot nyújt a fejlesztési irányok meghatározásához)  Szárazföldi esettanulmány (Integrated Land Use Showcase)  Tengeri esettanulmány (Marine Showcase)  Városi környezet esettanulmány (Urban Showcase) 3. Feldolgozási munkafolyamat elemzés, szolgáltatások ajánlása  As-Is Analysis elvégzése, innovációs szempontok megállapítása  Javasolt IQmulus megoldások, konkrét szolgáltatások beajánlásával!  Teszt és referenciaadatok biztosítása és részletes jellemzése 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

9

Az első és második év legfontosabb feladatai a FÖMI részéről III. 4. Szolgáltatások fejlesztése Belső felhasználói igényeinkre alapozott fejlesztés, az ELTE Informatikai Karának közreműködésével Fejlesztési terület: raszteres állományok előfeldolgozása/ kezelése/elemzése elöntés detektálás céljából  Geometriai és radiometriai korrekció, filterek  PCA, vegetációs index számítások  Képszegmentálás, klaszterezés, tematikus osztályozás 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

10

A harmadik év legfontosabb feladatai a FÖMI részéről 5. Tesztelés Komponens tesztelés (2. év)  Az egyes feldolgozó és megjelenítő szolgáltatások értékelése Az első rendszer-prototípusok tesztelése (3. év)  Az egyes munkafolyamatokba szervezett szolgáltatások rendszerkörnyezetben történő tesztelése A teljes rendszer tesztelése (4. év)  A felhasználói igények teljesülésének mérése a végső IQmulus környezetben  Oktatás a felhasználói csoportok számára


Forrás: http://www.qsos.org D7.1 Qualification and Selection of Open source Software

11

Integrált szárazföldi esettanulmány Land Integrated Showcase Workflow 1 Terrain model preparation

Workflow 2 Analysis of precipitation data

Workflow 4 Detection and characterization of landslides

Workflow 3 Flood and waterlogging detection

Workflow 5 Comparison between simulated vs. measured floods.

„Döntéshozókat támogató hidrológusként vagy geomorfológusként a polgári védelem terén, a kritikus események során mért adatokat akarom elemezni, hogy az árvizek és földcsuszamlások pontosabb becslését és jobb monitoringját tudjam elvégezni. E célból tanulmányozni szeretném a mért csapadékadatok alakulását, valamint a lejtődeformációt optikai űrfelvételek segítségével, valamint számított paraméterek segítségével kiváló minőségű bemeneti adatokat szeretnék előállítani hidrológiai és mechanikai modellezéshez és szimulációhoz. Végezetül ennek eredményét az áradások és földcsuszamlások valós referencia méréseihez szeretném hasonlítani.”


12

Elöntés és belvíz detektálás A jelenlegi munkafolyamat elemzése – „As-Is” Analysis 1. Előfeldolgozás:  Űrfelvételek geometriai korrekciója, transzformálás  Felhő és felhőárnyék szűrése, felhőmaszk készítés  Atmoszféra tetején mért reflektancia számítása (Top of the Atmosphere / ToA reflectance)  Spektrális index számítások (NDVI, NDSI, NDWI (NDxI) 2. Feldolgozás (osztályozás) az alábbi bemenő adatokra építve:  ToA reflektanciára kalibrált űrfelvétel, spektrális indexek, felhőmaszk, természetes vizek maszk, MePAR támogatott területek maszk  eredmény: 9 kategóriás tematikus térkép 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

13

Elöntés és belvíz detektálás IQmulus fejlesztések (ELTE-FÖMI) Automatizálás 1. Előfeldolgozási folyamatokra: a) felhő- és felhőárnyék detektálás [e.g. fMASK for Landsat 4, 5, 7, and 8 images; SPOTCASM for Spot5 HRG] 3. év b) ToA reflektancia számítás: [ e.g. *.hdf for Landsat images; *.dimap (xml) for Spot images] 2. év c) Geometriai korrekciók (regisztráció) 2. év d) Spektrális index számítások 2.év 2. Feldolgozási folyamatokra : a) küszöbérték megállapítás interaktív módon a felhasználó által, referencia adatok, vagy automatizált tanulási folyamat segítségével 3.év b) Képszegmentálás, klaszterezés, tematikus osztályozás 2. év döntési-fa alapú osztályozók használata c) DTM beépítése a feldolgozási láncba. 3.év 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

14

Big Data Projekt szintű értékelés 4V Indikátor (4Vs)

Volume

Prior

Magas

(Adattömeg) Variety

Magas

(Változatosság) Velocity

Közepes

(Feldolgozási sebesség) Veracity Magas (Valódiság) 5. V = Vizulizáció!

Miért?

Pontfelhő: idősoros LiDAR, TLS, LMMS, szonár pontfelhő, (sok adat eltérő paraméterekkel eltérő forrásból), stb. Vektor/RDBMS: idősoros 2D-3D Épület határok, idősoros tengerfenék morfológiai adatok, stb. Raszter: Idősoros optikai és radar felvételek különböző területekre, különböző forrásból, stb. Történeti archív légifelvétel sorozatok, geo-jpg. stb,. Eredeti képadat (optikai eltérő műholdakról), Kalibrációs adatok, Számított spektrális indexek Csapadék adatok 5 percenként különböző adatforrásokból, LiDAR, DTM, Tematikus térképek Hidrológiai és mechanikai szimulációs adatok, Archív légifelvételek eltérő felvételezési paraméterekkel. Árvíz esetén valós idejű futtatás, párhuzamos adatfeldolgozás különböző területeken szükséges Csapadék adatok közel valós idejű, Nagyfelbontású domborzatmodell, gyors méretarány váltás regionálisból helyi szintre (multi-scale) Földcsuszamlás esetén a feldolgozási idő lerövidül. Elmozdulás lehet centiméteres több méteres is ezért szükséges a multi-scale, multi-temporál és nagy pontosság is. Országos, regionális, városi (állami) adatok, terepi referencia adatokkal validálva.

Intelligens adatfeldolgozási folyamatok, Csökkentett feldolgozási-számítási idő, Csökkentett emberi beavatkozás = magasabb fokú automatizálás, Hatékonyabb adatnyerési eljárások.


15

Architektúra tervezés

IQmulus szoftver architektúra fejlesztést befolyásoló szempontok 1. lépés: meglévő kereskedelmi és open source szoftver megoldások összehasonlító mátrixának elkészítése a projekt számára kialakított kritériumokkal Name Relevance

Name of the software application How is this software relevant to the project

Possible role in IQmulus

State the general role that the software could play in the overall design of IQmulus project and specify what aspect it could service.

License model Access for the partners

Based on the latest architecture design, state where the software fits in with the general concept and explain if it is suited for the chosen type of infrastructure. Describe the technical functionality of the software. Describe the data processing capabilities of the software and/or its data structure and how it contributes to the processing needs of IQmulus. List the licensing options available for the software. Describe what access to the software is available for project partners.

Availability in the project

Describe the availability of the software within the IQmulus project.

Scheduled adaptations

Describe whether the software can be adapted (extended or modified) to the project needs, if necessary, what language it is written in and how adaptations might be implemented (core development, plugins, ...).

Supported file formats (input/output) Scalability potential

List all input and output files this software solution can handle List all known or perceivable issues concerning data scalability such as file size limits (if any)

Supported operating systems

List all platforms this software solution runs on and whether the software is available in both 32-bit and 64-bit versions

Development activity

Is the software in active development? Is it backed by a sufficiently large and active development community (open source) or department (commercial)? Indicators are frequent updates and a bug and ticket reporting procedure.

User´s pros and cons

This section is included to give the respondent the chance to include their own experiences with the software and emphasize noteworthy features (both positive and negative). As with all sections, it is important that the answers reflect the honest view of the respondent. Please provide between 2 (minimum) and 5 (maximum) pros and cons each.

Fitting the general concept Functionality Data processing / Data structure


Forrás: D2.2, D2.3.1

16

Architektúra tervezés

IQmulus szoftver architektúra fejlesztést befolyásoló szempontok 2. lépés: Értékelés

Very suitable Suitable Acceptable Questionable Disqualified

Score

Software products

>11

6 - 10

3. lépés: További szempontok megállapítása a tervezés során:

FME, novaFACTORY, ArcGIS / ArcScene, rasdaman LAStools, PCL, eCognition, ENVI 5.0, LidarFormat, iTowns, MeshLab

0 - 5

QPS Fledermaus, PointTools View Pro, GeOxygene3D, tridicon 3D

-5 - -1

ERDAS VirtualGIS

< -6 or -- score

LupoScan, RhinoTerrain, Surfer, TerraSolid, SketchUp

Döntés: Azok a szoftver elemek, amelyek az első 3 kategóriába kerültek lehetséges az IQmulus rendszerbe történő integrálása. 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

Előzetes architektúra terv elkészült, nem végleges, mert a felsorolt szempontok változhatnak a projekt során. A végleges verzió 2015 elejére várható. Forrás: D2.2, D2.3.1

17

Architektúra 4. lépés: Minőségi elvárások meghatározása Alapcél: A térinformatikai műveletek és IQmulus alkalmazás prototípus egészére algoritmusok hogyan tudják kihasználni a felhő alapú számítási környezetet

Létező megoldások: ― Oracle (NoSQL) ― Microsoft (Azure + Hadoop) ― Google (Big Query) ― Apache (Hadoop) Forrás: D2.2, D2.3.1, http://hadoop.apache.org


Apache Hadoop főbb jellemzői: ― Skálázható: Végtelen számú számítógépek klasztere. ― Hibatűrő és hatékony: Az algoritmusok utaznak az adatokhoz. ― Moduláris: Alkalmazási területekhez igazodó kiegészítő modulok épülnek Hadoopra. ― Open source 18

Felhasználó felület


19

Processing Contest 2015 (IQPC’15) 2013 óta minden évben megrendezésre kerülő adatelemzési „verseny” Témái: Idén a FÖMI is vezet egy témát: elöntés detektálás távérzékelt felvételekből 1. Evaluation of 2D Footprints automatically generated from urban LiDAR data 2. Water detection and classification on multi-source remote sensing and terrain data 3. Tree Separation and Classification from mobile mapping systems (MMS) 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

20

Processing Contest 2015 (IQPC’15) Eredmények ismertetése az ISPRS Geospatial Week-en (Montpellier, szept. 28 - okt. 2)

Jelentkezési határidő: június 26. De! 2015 év végéig várjuk a feldolgozási eredményeket. Adatforrások: (DTM, ortofotó és hiperspektrális felvételek. http://map.fomi.hu/download/IQPC_15_T2/

Folyamatos tájékoztatás a honlapon www.iqmulus.eu 30. MFTTT Vándorgyűlés Szolnok 2015. július 2-4.

21

Köszönöm a figyelmet! Olasz Angéla [email protected] www.iqmulus.eu Földmérési és Távérzékelési Intézet Térinformatikai Osztály www.fomi.hu


www.linkedin.com/groups/IQmulusFP7-project-7470531

22

Az IQmulus projekt eredményei 2015

Recommend Documents