Příloha Z.2 Popis řešení Obsah Popis způsobu řešení .............................................................................................. 1 Podrobný obsah harmonogramu .............................................................................. 4 1. Popis procesního modelu automatizované technologie tvorby map ........................ 4 2. Pravidla sestavení a uvolňování pro generalizaci státního mapového díla středních měřítek ............................................................................................................. 5 2.1. Shromáždění a analýza podkladů (značkové klíče, směrnice pro tvorbu TM atd.) . 5 2.2. Posouzení pravidel používaných u Uživatele .................................................... 5 2.3. Návrh databáze pravidel pro sestavení mapy a generalizaci .............................. 6 2.4. Naplnění databáze pravidel ........................................................................... 6 2.5. Formalizace obsahu metodiky ....................................................................... 7 2.6. Certifikace Uživatelem .................................................................................. 7 3. Algoritmy generalizace potřebné pro generalizaci státního mapového díla středních měřítek ............................................................................................................. 7 3.1. Sběr generalizačních situací .......................................................................... 8 3.2. Analýza a popis jednotlivých situací ..............................................................10 3.3. Rozpracování algoritmů operátorů izolovaných situací .....................................10 Příklad funkčního testu pro vybranou generalizační situaci ..................................11 Pokud některý operátor bude po rozpracování všech situací obsažen pouze jako součást některé komplexní situace (sirotek), bude zařazen jako samostatná situace. .12 3.4. Identifikace algoritmů rozpoznávání struktury dat ...........................................12 3.5. Analýza a identifikace možností segmentace ...............................................13 3.6. Příprava testovacích datových sad .............................................................14 3.7. Rešerše dostupných řešení ...........................................................................15 3.8. Návrh řešení problémových algoritmů - nerealizovat, doplnit data apod. ............15 3.9. Schválení obsahu uživatelem .......................................................................16 3.10. Formalizace obsahu metodiky .....................................................................16 3.11. Certifikace uživatelem ...............................................................................16 4. Knihovna generalizačních algoritmů pro generalizaci státního mapového díla středních měřítek ..............................................................................................16 5. Knihovna programů pro řízení dílčích procesů automatizované tvorby topografických map ................................................................................................................18 6. Komplexní řízení procesu tvorby státního mapového díla měřítek 1 : 10 000 a 1 : 25 000 ........................................................................................................19 Kontrola kvality ....................................................................................................20 Plán oponentur a kontrolních dní ............................................................................21 Schéma zveřejňování zdrojových kodů a výsledků ....................................................22
1
Popis způsobu řešení Projekt TB04CUZK001 si klade nemalé cíle, jsme však přesvědčeni, že řešitelský tým, který se nám podařilo sestavit, je připraven je úspěšně splnit. Vzhledem k velice krátké, 16-ti měsíční době řešení, a velkému množství požadovaných certifikovaných výstupů včetně finální ověřené technologie, předpokládáme činnost průběžně koordinovat s Uživatelem, aby byly jeho požadavky zahrnuty a formalizovány již při vývoji. To odpovídá zkušenosti, kterou při podobném řešení využil Nizozemský katastr 1. Zadání výzvy projektu je nastaveno tak, že reálné cíle projektu jsou konkretizovány v úvodních třech metodikách a poté realizovány ve dvou software komplexně ověřených certifikovanou metodikou. To opět odpovídá zkušenostem Nizozemského katastru 2, kde nastavili na počátku zdánlivě jednoduché cíle, které v průběhu řešení s uživatelem upřesňovali tak, aby rozhodně dosáhli funkčního výsledku, který však bude v maximální míře respektovat požadavky na kvalitu. Projekt TB04CUZK001 chápeme jako na tři na sebe navazující, v počátku paralelně běžící hlavní procesy: a) návrh a vytvoření znalostní databáze pro sestavení a generalizaci mapového díla výstup RiV Nmet2, b) analýza, návrh a průběžná softwarová realizace jednotlivých algoritmů pro řešení generalizace (operátory) včetně podpůrných algoritmů - výstupy RiV Nmet3 a R1, c) výzkum, stanovení a softwarová realizace strategie pro řízení generalizačních procesů - výstupy RiV Nmet1, R2, Z. V souladu se zkušenostmi Nizozemců hodláme teoreticko-analytické a rešeršní činnosti realizovat v širším týmu analytiků v úvodní části jednotlivých procesů. Vlastní softwarové řešení již poté kompaktním malým týmem vývojářů, aby bylo dosaženo maximální synergie a agility vývoje. Zatímco metodiky Nmet2 a Nmet3 bude možno dokončit a certifikovat již v průběhu řešení, metodika Nmet1 bude dokončena po ověření softwaru R2 v rámci ověřování celé technologie. Ověření správné funkce výsledků R1 a R2 provedeme proti funkčním testům, které budou sestaveny v rámci metodiky Nmet3. Optimalizaci jednotlivých algoritmů na rychlost v rámci tak krátkého projektu nepředpokládáme, nicméně architektura knihoven bude otevřena jak paralelnímu zpracování na více výkonných počítačích, tak urychlení na úrovni zdrojového kódu, například migrací vybraných algoritmů z prostředí ArcGIS přímo do databáze a podobně. Ve vývoji maximálně využijeme funkcionalitu softwarové platformy ArcGIS, se kterou máme mnohaleté zkušenosti. Na jejím základě spoluřešitel, firma T-MAPY spol. s r.o. (dále jen T-MAPY), již realizovala kartografickou linku pro produkci map u Uživatele. Za tímto účelem jsme v projektu definovali podporu výhradním distributorem této platformy v České republice, firmou ARCDATA PRAHA, s.r.o., jako subdodavatelem. Teprve tam, kde nebude tato platforma postačovat, její funkcionalitu doplníme tak, aby byly zaručeny požadavky na otevřenost a kompatibilitu. Pro vytvoření teoretického zázemí se nám podařilo sestavit široký tým odborníků, kteří se danou problematikou dlouhodobě zabývají na akademicko-teoretické úrovni, včetně účasti v komisi ICA pro generalizaci a pracovní skupině EuroSDR. Perspektivní strategie řízení generalizace, tj. procesní modely, průběžně testují (proof of concept) v rámci diplomových a disertačních prací. Pro řešení využijeme rozsáhlou databázi literatury, kterou se nám v průběhu let podařilo sestavit.
1 2
The Netherlands’ Cadastre, Land Registry and Mapping Agency An Overview of the Dutch Approach to Automatic Generalization, 2013
1
Naši kmenoví i externí pracovníci se podíleli na vývoji značkových klíčů, pravidel sestavení, technologií a produkci státního mapového díla středních měřítek v rámci AČR v období budování digitální produkční linky a přechodů na standardy NATO. Nezanedbatelnou je naše zkušenost při implementaci produkční linky státního mapového díla v ZÚ. Programátorský tým je koncipován do dvou úrovní: širší tým k realizaci jednotlivých izolovaných algoritmů do fáze proof of concept a užší (tiger team) k jejich finalizaci a programování procesního workflow. Pro vlastní řešení jsme předjednali spolupráci s VGHMÚř Dobruška tak, aby byla zaručena integrace jednotlivých výsledků do linky vojenského státního mapového díla. Algoritmy potřebné nad rámec potřeb Uživatele, budou-li vůbec takové, budou ve formě samostatného modulu vyvinuty silami VGHMÚř. Podklady vytvářené v rámci řešení budou uloženy v privátním úložišti projektu a publikované určeným zástupcům Uživatele. To umožní průběžné konzultace v průběhu řešení a udržování informovanosti Uživatele o postupu prací. Jednotlivé výstupy a další informace budou následně publikovány v souladu s požadavky smlouvy s TA ČR. Uživateli bude umožněno, aby mohl být přítomen na všech jednáních řešitelského týmu, kde to bude považovat za relevantní. V případě zájmu budou po dohodě s Uživatelem v průběhu řešení informace stejným způsobem otevřeny také zástupcům Geografické služby AČR. Vzhledem k požadavku na velké množství výstupů ve velice krátkém časovém období předpokládáme úzkou spolupráci s odborným gestorem v průběhu řešení, klíčové fáze jsou uzavřeny kontrolními dny. Cílem řešení je v maximální možné míře nahradit stávající asistovanou generalizaci generalizací automatizovanou. Stávající produkční linka pro tvorbu topografických map tedy bude doplněna o generalizační modul, určený k automatizovanému řešení vyřešení generalizace kartografického obsahu v měřítcích 1:10 000 a 1:25 000. Výsledný, generalizovaný kartografický model bude dále využit stávajícím způsobem k finalizaci jednotlivých produktů.
Objektový model
Transformace dat
Negeneralizovaný kartograf ický model
Asistovaná generalizace
Generalizovaný kartograf ický model
Vykreslení
Objektový model
Transformace dat
Negeneralizovaný kartograf ický model
Automatizovaná generalizace
Generalizovaný kartograf ický model
Vykreslení
Mapa
Mapa
Obrázek č.1 Místo vyvinutých technologií ve stávající lince pro tvorbu topografických map
V prostředí stávající produkční linky SMD středních měřítek Uživatele si lze tento princip představit tak, že vstupem pro generalizační modul budou data ZABAGED® v negeneralizovaném kartografickém modelu a výstupem budou data v generalizovaném kartografickém modelu, který bude určen pro symbolizaci a následné sestavení map měřítek 1:10 000 a 1:25 000. Dosažené výsledky projektu jako celku i jeho jednotlivých částí budou srovnávány s požadavky dle zadávací dokumentace a jejich upřesněním v předkládané nabídce. Pokud nebyla formulace požadavků v zadávací dokumentaci přesná či jednoznačná, pak se má za to, že upřesňující formulace v předkládané nabídce jsou pro účely hodnocení kvality řešení součástí zadání. 2
Výstupy dílčích části řešení budou posuzovány dle typu výstupu. Metodiky budou ověřovány a hodnoceny certifikačním orgánem v certifikační proceduře. Výstupy typu R (software) a Z (ověřená technologie) budou ověřovány proti funkčním testům, které budou navrženy příslušnými metodikami.
3
Podrobný obsah harmonogramu 1. Popis procesního modelu automatizované technologie tvorby map Certifikovaná metodika Nmet1 Tato metodika na základě průzkumu řešené problematiky v jiných zemích a národních mapovacích agenturách navrhne nejvhodnější procesní model automatizované tvorby topografických map s aplikací technologií automatizované technologie kartografické generalizace pro obor topografických map středních měřítek. Navrhne dekompozici systému na dílčí podsystémy, popíše jejich funkci a procesy, vzájemné vazby a časové posloupnosti a vstupní a výstupní rozhraní mezi jednotlivými podsystémy. 2015 8
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
12
1.1. Shrnutí stávajícího stavu a volba perspektivních metod 1.2. Testování perspektivních procesního modelů 1.3. Návrh optimálního procesního modelu a schválení uživatelem - KD 1.4. Rozpracování subsystémů a vazeb 1.5. Průběžná analytická podpora implementace 1.6. Formalizace obsahu metodiky uzavřená po ověření R2 1.7. Certifikace uživatelem
Jednotlivé implementace v národních agenturách jsou velice dobře známy a popsány, sledujeme je také průběžně v rámci komise ICA pro generalizaci. Jako perspektivní se nám předběžně jeví postupy aplikované v Nizozemí a Švýcarsku: a) platforma ArcGIS, na které řešení postavili, je shodná s platformou kartografické linky ZÚ i VGHMÚř Dobruška, b) využili zkušeností ostatních úspěšných implementací, ale řešení postavili co nejblíže platformě ArcGIS, c) podařilo se velice dobře skloubit účast akademické obce s vývojovým týmem tak, aby se dosáhlo synergického efektu, d) v průběhu řešení cestou průběžné koordinace s uživateli udržovali realistický kompromis mezi realizovatelností a důrazem na kvalitu. S oběma organizacemi máme předjednanou podrobnou konzultaci jejich řešení v průběhu podzimu 2015. Po úvodním shrnutí jednotlivých strategií řízení generalizace budou na společném jednání vyhodnoceny a vybrány nejperspektivnější strategie pro uvažované státní mapové dílo tak, aby každou z nich rozpracovali právě ti odborníci, kteří se jí dlouhodobě zabývají. Poté budou jednotlivé varianty na kontrolním dni s odborným gestorem posouzeny a vybrán procesní model perspektivní pro uvažované mapové dílo. Na jeho základě potom budou rozpracovány jednotlivé subsystémy a vazby. Zároveň bude započata fáze realizace software R2, kterou bude tento tým průběžně podporovat z teoretickoanalytického hlediska. Obsah metodiky bude v návaznosti na vývoj tohoto software průběžně doplňován, formalizován po jeho ověření a následně certifikován uživatelem.
4
2. Pravidla sestavení a uvolňování pro generalizaci státního mapového díla středních měřítek Certifikovaná metodika Nmet2 Tato metodika zmapuje pravidla pro sestavení kartografických modelů. Tato pravidla budou kromě vlastního dokumentu formalizována ve vhodné digitální formě, například ontologické znalostní databáze topologických vztahů geografických znaků, respektive jejich kartografických obrazů, a to v souladu s doporučeními Mezinárodní kartografické asociace - komise pro generalizaci a vícenásobnou reprezentaci. Součástí metodiky budou všechna pravidla použitá k sestavení a generalizaci státního mapového díla středních měřítek jak odvozená (např. trigonometrický bod při kartografické harmonizaci neodsunujeme, můžeme ho však z kresby úplně odstranit; dva prvky v černé barvě musí mít minimální vzdálenost okraje kresby 0.2mm), ale i pravidla základní (např. při křížení prvků v modré a hnědé barvě jsou jasně zřetelné oba prvky od tloušťky čáry prvků 0,2 mm a úhlu protnutí do 60°). Součástí znalostní databáze bude i návrh databáze stálých kartografických zobrazení vybraných geografických prvků. 2015 8
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
2.1. Shromáždění a analýza podkladů (značkové klíče, směrnice pro tvorbu TM atd.) 2.2. Posouzení seznamu pravidel u Uživatele 2.3. Návrh databáze pravidel pro sestavení mapy a generalizaci 2.4. Naplnění databáze pravidel, uzavřeno KD 2.5. Formalizace obsahu metodiky 2.6. Certifikace uživatelem
Metodika bude zpracována zkušenými kartografy s praxí při vývoji a zpracování nových map státního mapového díla jak v analogové tak digitální formě. Hlavní výzvou ve formalizaci všech pravidel sestavení je to, že často je dostupný pouze dokument popisných pravidel, která je potřeba důkladně analyzovat, identifikovat relevantní části a uložit do strojově čitelného tvaru, například: “...Z hlediska přesnosti je důležitá optimální polohová přesnost, minimální kresba silniční sítě nad míru, dodržovat zásadu pokud možno nezvětšovat signaturu zastavěné oblasti, čitelně reprezentovat terénní reliéf…”
2.1. Shromáždění a analýza podkladů (značkové klíče, směrnice pro tvorbu TM atd.) V první fázi budou proto komplexně vyhodnoceny všechny shromážděné materiály, zejména pravidla obsažená ve značkových klíčích, směrnicích pro sestavení získaná z archivu VGHMÚř, Zeměměřické knihovny VÚGTK, členů výzkumného týmu a další dostupné dokumentace. Součástí této fáze budou i odborné konzultace se zkušenými již vysloužilými kartografy, kteří se aktivně podíleli na tvorbě státního mapového díla a to jak civilního tak i vojenského (topografické mapy v systému S-42). Jako vstupní podklady budou sloužit i materiály, které jsme shromáždili v rámci mezinárodních odborných skupin a standardizační normy a doporučení EU a NATO. Výsledkem etapy bude souhrn (seznam) pravidel pro uvolňování, odsuny a generalizaci jednotlivých prvků kartografického modelu. Vzhledem k rozdílnosti použití a účelu některých státních mapových děl je předpoklad, že v rámci sběru a analýzy podkladů budou identifikována i protichůdná pravidla. Tento souhrn pravidel bude sloužit jako podklad pro další fáze řešení projektu.
2.2. Posouzení pravidel používaných u Uživatele Teprve ve druhé fázi bude souhrn pravidel zpracovaný v bodě 2.1. doplněn o specifikaci požadavků Uživatele. Kromě jasných pravidel typu minimální velikosti objektů bude kladen důraz zejména na mezní hodnoty tam, kde je potřeba akceptovat ne zcela korektní kresbu z důvodu zaplněnosti mapy a generalizační pravidla pro stanovený typ státního mapového díla. Následně budou tato pravidla formalizována do znalostní databáze generalizačních pravidel uspořádané v ontologické databázi pro využití ve vyvinutém software. Výzvou ve formalizaci a uspořádání všech generalizačních pravidel bude i to, že se často jedná pouze o popisná pravidla, v některých případech formulovaná i jako pouhá 5
12
doporučení, která bude potřeba analyzovat a uložit do strojově čitelného tvaru (např: “v závislosti na měřítku je nutné zobrazit všechny elementy, které formují terén a prvky na něm” nebo “z hlediska přesnosti je důležitá optimální polohová přesnost, minimální kresba silniční sítě nad míru, dodržovat zásadu pokud možno nezvětšovat signaturu zastavěné oblasti”). Je třeba si však uvědomit, že kartografická pravidla jsou obtížně algoritmizovatelná. V řadě případů se jedná o nedeterministické postupy, kdy nehraje roli pouze geometrie řešení, ale řada dalších faktorů (kompozice, estetický dojem, ...). Stejně tak není snadné výsledky těchto postupů verifikovat, neboť simulace chování skutečného kartografa je velmi obtížná.
2.3. Návrh databáze pravidel pro sestavení mapy a generalizaci Vytvoření formální i logické struktury databáze generalizačních pravidel bude nejdůležitější a také nejsložitější částí této etapy projektu. Návrh struktury znalostní databáze generalizačních pravidel musí na jedné straně umožňovat jednoduché “sestavování” mapové kompozice pro různé typy státního mapového díla a na druhé straně musí být dostatečně formalizován pro použití v automatizovém zpracování. Na základě provedené analýzy bude navržena databáze pravidel pro sestavení kartografických modelů. Jednotlivá navržená pravidla budou zohledňovat technologické možnosti digitální formy implementace a současně nároky potenciálních uživatelů automatizovanými metodami odvozených mapových produktů, a proto se mohou lišit od stávajících pravidel. Návrh bude obsahovat ve formalizované podobě údaje, které budou v implementaci použity pro řízení generalizačního procesu při vytváření generalizovaného kartografického modelu. Databáze pravidel bude obsahovat informace, zda se zvolený objekt TLM 3 na základě svých sémantických, geometrických a popisných charakteristik objeví v generalizovaném kartografickém modelu či nikoli, v jaké geometrické podobě, s jak upravenými charakteristikami a v jakém pozičním a kvalitativním vztahu s dalšími objekty téže či jiné kategorie. Tyto informace obsažené v navržené databázi pravidel se stanou parametry vstupujícími do řízení procesu generalizace. Součástí znalostní databáze bude i návrh databáze stálých kartografických zobrazení vybraných geografických prvků, kdy grafická prezentace prvku nebude vytvářena generalizačními pravidly, ale bude použita “ustálená” mapová značka. (například Poutní kostel Jana Nepomuckého na Zelené hoře - Žďár nad Sázavou)
2.4. Naplnění databáze pravidel Naplnění databáze pravidel bude prováděno členy řešitelského týmu ve spolupráci a pracovištěm Uživatele. Cílem této etapy je připravit generalizační pravidla pro stanovený vzorek mapy. Tato pravidla budou v další fázi projektu sloužit pro ověřování zpracovaných algoritmů, testování připravovaných datových sad a ověřování funkčnosti zpracovaného software.
3
Topographic Landscape Model
6
2.5. Formalizace obsahu metodiky V tomto kroku bude metodika formalizována do podoby připravené k oponování externími oponenty, doplněna přílohami, včetně detailního popisu struktury i obsahu databáze pravidel.
2.6. Certifikace Uživatelem Zpracovaná metodika bude oponována dvěma oponenty, budou vypořádány jejich připomínky a poté bude metodika předložena k certifikaci. Pokud nebude stanoveno Uživatelem jinak, předpokládáme, že jedním z oponentů bude určený odborník z VGHMÚř a druhým zástupce akademické sféry.
3. Algoritmy generalizace potřebné pro generalizaci státního mapového díla středních měřítek Nmet3 – certifikovaná metodika Tato metodika vyčerpávajícím způsobem zmapuje jednotlivé izolované i komplexní generalizační algoritmy (metody) potřebné pro generalizaci státního mapového díla středních měřítek, včetně úplné ověřovací datové sady pro každý z nich. Tato ověřovací datová sada bude vytvořena ručně nebo poloautomaticky s využitím dostupných nástrojů GIS. Při případné následné implementaci metodiky do ověřené technologie potom bude jednoduše možné ověřit, že vybraná implementace je funkční a v souladu s požadavky metodiky. Součástí metodiky bude i rešerše použitelných implementací těchto algoritmů a návrh nezbytné množiny algoritmů pro implementaci při technologickém ověřování. 2015 8
3.1. Sběr generalizačních situací 3.2. Analýza a popis jednotlivých situací 3.3. Rozpracování algoritmů operátorů izolovaných situací 3.4. Identifikace algoritmů rozpoznávání struktury dat 3.5. Analýza a identifikace možností segmentace 3.6. Příprava testovacích datových sad 3.7. Rešerše dostupných řešení 3.8. Návrh řešení problémových algoritmů - nerealizovat, doplnit data apod. 3.9. Schválení obsahu uživatelem 3.10. Formalizace obsahu metodiky 3.11. Certifikace uživatelem
7
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
12
3.1. Sběr generalizačních situací Cílem tohoto kroku je systémovým způsobem vytěžit zkušenosti klasických kartografů a připravit podklad pro identifikaci algoritmů potřebných pro provedení generalizace státního mapového díla automatizovanými metodami. Tím následně omezíme rozsah rozpracovávaných algoritmů pouze na ty, které jsou pro uvažované státní mapové dílo relevantní.
Identifikace algoritmu
Sběr situací Vytvoření databáze situací Pro každou situaci
Generalizace
Doplnění databáze situací
Řešené situace
Identif ikace izolovaných operátorů Identifikace možností rozdělení
Algoritmy operátorů
Identif ikace strukturálních vzorů Možnosti rozdělení (sectioning/partitioning)
Strukturální vzory
Situace Potřebné algoritmy
Pod pojmem generalizační situace rozumíme georeferencovaný obrázek s pokud možno kontrastně zobrazeným negeneralizovaným kartografickým modelem a jejím stručným popisem.
8
Domy s ulicí podél potoka Odsun komunikace v červenohnědé barvě od vodního toku. Při odsunu si komunikace sama vyřízne prostor blokem budov. Tím vznikne opticky chybná kresba budov z obou stran komunikace, protože nedojde k jejich odsunu. Příklad zde4
Obrázek č.2 Příklad generalizační situace s popisem
Tento způsob vytěžení nepsaných znalostí a zkušeností klasických kartografů se nám mnohokrát osvědčil v rámci Geografického zabezpečení AČR při vytváření digitálních map odvozených z databází jak na národní úrovni (DMÚ-25, DMÚ-100), při mezinárodní spolupráci (MGCP, OpenStreetMap, ICM apod.), práci v zahraničních misích a mezinárodních štábech. Obdobně při vytváření kartografické linky pro ZÚ v Sedlčanech pro tvorbu státního mapového díla máme dobrou zkušenost s využitím katalogu kartografických situací a jeho následným využitím.
Obrázek č.3 Ukázka katalogu kartografických situací pro ZM 1:10 000
4
http://www.vugtk.cz/euradin/generalizace/Situations/TM25/Samples/Kom_odsun3/OpenLayers.html
9
Při sběru situací se držíme několika jednoduchých pravidel: a) problém musí být v kresbě zřetelný, b) popis je pouze vodítkem, nemusí být precizně formulován, protože je následně interpretován stejnou osobou, která byla u sběru, c) situace mohou být i komplexní, d) v průběhu sběru se nesnažíme eliminovat duplicity, důležitá je úplnost. Je vhodnější zachytit jednu situaci vícekrát než na něco zapomenout. Jednotlivé situace budou sbírány z několika úhlů pohledu, systematicky tak aby byla zabezpečena úplnost: a)
sběr situací ve spolupráci s Uživatelem,
b)
sběr situací ve spolupráci s VGHMÚř,
c)
vytěžení stávajícího katalogu kartografických situací T-MAPY,
d)
vytěžení dokumentace shromážděné v bodě 2.1.
Pracovním výsledkem tohoto sběru je potom jednoduchý web, jehož příklad je dostupný na adrese http://www.vugtk.cz/euradin/generalizace/Situations/TM25/.
3.2. Analýza a popis jednotlivých situací V tomto kroku je každá generalizační situace podrobně analyzována. Situace dostane jednoznačný název, popis je dopracován do konečného tvaru. Dále jsou identifikovány potřebné algoritmy operátorů pro segmentaci, identifikaci použitelných algoritmů a vyřešení situace. U vybraných algoritmů se následně provede rešerše možných způsobů implementace. Velké množství algoritmů pro generalizaci bylo popsáno, některé jsou dokonce přímo dostupné jako součást softwarových balíků jako ArcGIS, PostGIS, Oracle SDE či OpenSource řešení, nicméně často s parametry nebo omezeními znemožňujícími plnohodnotné použití v celém rozsahu uvažovaného státního mapového díla. Některé algoritmy budou muset být naprogramovány, protože stávající implementace není postačující (např. agregace budov, přestože pro měřítko 1:25 000 nebude často využívána).
3.3. Rozpracování algoritmů operátorů izolovaných situací Pokud se nejedná o izolovanou situaci, rozpracujeme izolované operátory potřebné k jejímu vyřešení. Na příkladu "Domy s ulicí podél potoka" jsou v tomto kroku identifikovány tyto potenciální algoritmy operátorů: a) b) c) d) e)
odsun ulice, odsun budov, vypuštění budov, zvětšení budov, natočení budov rovnoběžně s komunikací atd. ztotožnění průběhu ulice s potokem, ukotvení konce odsunuté ulice na hranici zastavěného území.
Pokud některý operátor bude po rozpracování všech situací obsažen pouze jako součást některé komplexní situace (sirotek), bude zařazen jako samostatná situace. Jednotlivé funkční testy budou obsahovat definici sady vstupních dat, definici požadovaných výstupních dat, kontext řešené situace, slovní popis požadovaného chování, testovaný proces (např. algoritmus), testovací scénář, definici závazných pravidel, definici a popis vstupních parametrů, kritéria pro vyhodnocení (evaluaci). Aplikací funkčních testů bude ověřováno, zda testované procesy splňují definovaná evaluační kritéria, tj. zda výsledky získané v rámci funkčního testu aplikací testovaného procesu na definovanou sadu vstupních dat za definovaných podmínek odpovídají 10
očekávanému výsledku. Řešené situace a evaluační kritéria jednotlivých funkčních testů budou voleny tak, aby vyloučily resp. minimalizovaly možnost subjektivního posouzení hodnotitelem. Příklad funkčního testu pro vybranou generalizační situaci Název situace
Zvětšení izolované budovy
Sada vstupních dat
polygonová vrstva AL015 (budova jednotlivá - ZABAGED®)
Sada výstupních dat
polygonová vrstva Budovy
Pravidla
Ve výstupním modelu bude zobrazena jen budova, která má výměru rovnu nebo větší než definovanou minimální hodnotu. Podměrečné budovy budou proporčně zvětšeny v případě, že jejich výměra je rovna nebo větší než definovaná prahová hodnota.
Vstupní parametry
minimální hodnota výměry Pmin prahová hodnota výměry Pprah
Kontext situace
Slovní popis chování
Parametrem modelu objektu budovy je její plošná výměra. Tato výměra bude porovnána s hodnotou parametru, který vstupuje do pravidla/omezení pro minimální velikost budovy, kterou lze v cílovém kartografickém modelu zobrazit. Budovy s výměrou menší než definovaná prahová hodnota nebudou do zpracování zahrnuty. Budovy s výměrou větší než definovaná minimální hodnota budou zachovány beze změny. Ostatní budovy budou zvětšeny proporcionálně tak, aby jejich výměra vzrostla na definovanou minimální hodnotu.
Testovaný algoritmus
proporční zvětšení plošných objektů (operátor zvětšení exaggeration)
Testovací scénář
Algoritmus postupně projde všechny vstupní objekty, posoudí jejich výměru a rozhodne o způsobu dalšího zpracování, zvolí příslušnou metodu a provede odvození výstupních objektů. Provede analýzu výměry jednotlivých výstupních objektů a srovnání s parametry definovaného pravidla minimální výměry budovy.
11
Evaluační kritéria
P2 = P1 pro všechny P1 >= Pmin P2 = Pmin pro všechny P1 >= Pprah a P1 < Pmin
Pokud některý operátor bude po rozpracování všech situací obsažen pouze jako součást některé komplexní situace (sirotek), bude zařazen jako samostatná situace.
3.4. Identifikace algoritmů rozpoznávání struktury dat Tyto algoritmy umožňují přiřazovat v kresbě použitelné generalizační operátory nad rámec operátorů použitelných na celou třídu prvků. Operátory jsou často použitelné pouze na část prvku kresby nebo na spojené prvky kresby. Algoritmy rozpoznávání struktury dat nejsou potřebné při poloautomatické generalizaci, protože vyhodnocení kresby provádí vizuálně kartograf. Strukturální vzory nám tedy umožňují obohatit kartografický model o znalost generalizačních operátorů a algoritmů jejich implementace, které můžeme na jednotlivé části kresby použít. V terminologii multiagentních generalizačních systémů je možné řící, že se jedná o proces hledání omezení a pravidel (constrains). Jde o hledání množin prvků společných vlastností, dále z hlediska generalizačního operátoru nedělitelných, na které můžeme generalizační pravidlo aplikovat. Z hlediska geometrického se jedná o formu klasifikace. V příkladu "Domy s ulicí podél potoka" tedy identifikujeme: a) shluk budov obsluhovaný slepou ulicí, b) poslední budova v sídle, která by se neměla při generalizaci vypouštět, dokud jsou v bloku nějaké budovy zobrazeny, c) ulice podél potoka, d) blok budov podél ulice.
12
3.5. Analýza a identifikace možností segmentace Jednou z obtíží generalizace je skutečnost, že kolize mezi objekty nebo špatná čitelnost mapy je často způsobena velkým množstvím objektů. Generalizačních operátorů, které bychom mohli použít, je mnoho a mají často protichůdné výsledky. Priorita jednotlivých prvků kresby také často nebývá v kontextu jednoznačná (circular reference) a navzájem se vylučuje. To budeme řešit izolováním problému na co nejmenší shluk závislých prvků. Opět, v případě poloautomatické generalizace se jedná o činnost školeného kartografa, ke které často využívá podrobnější zdroje informací. Toho dosáhneme vhodným členěním řešeného území na skupiny prvků, které lze do určité míry generalizovat samostatně.
Segmentace okolo linie Zde je zřejmě odsunuto stromořadí od komunikace, máme zde tedy jednu vodící linii s vysokou prioritou. Svah s klínky je zřejmě ponechán v původní pozici. Plochu kresby zde máme rozdělenu na část nad a pod komunikací, které generalizujeme do určité míry samostatně.
Segmentace mezi prvky Zde budou čtyři souběžné linie symbolizované v měřítku kartografického modelu při zachování geometrie v částečné kolizi. Zřejmě bude nezbytné odsunout silnici a horní terénní stupeň, aby byla eliminována kolize silnice se spodním stupněm, který nemůže být odsunut kvůli železnici.
13
Segmentace skupiny od linie Ulice, domy a jejich blok v levé části výřezu budou zřejmě generalizovány samostatně a potok, jinak možná méně důležitý než některé z těchto objektů, bude v této podúloze chápán jako neměnný.
3.6. Příprava testovacích datových sad Tento krok přípravy metodiky je klíčový pro realizaci výstupů R1 a R2 a jejich ověření. Pro každý izolovaný algoritmus budou sestaveny testovací datové sady, parametry použitého algoritmu a výsledné datové sady. To umožní automatizovaně ověřit, že implementace splňuje definovaná očekávání. Zároveň tyto vybrané datové sady zajistí maketu funkcionality pro algoritmy procesního modelu ještě před implementací. Procesy procesního modelu aplikované na testovací datové sady stanovují sekvenci a parametry izolovaných algoritmů operátorů, které procesní model měl v dané situaci nalézt. Testovací datové sady pro komplexní situace budou pokud možno navrženy tak, aby měly právě jedno řešení. Za tím účelem je možné vhodně modifikovat testovací data tak, že nebudou zcela totožná s původní generalizační situací. Přesto existuje významné riziko, že nebude reálné pro vybrané situace stanovit správné řešení. Při generalizaci zpravidla neexistuje jediné univerzálně správné řešení. Je to otázka citu a zkušeností kartografa, který danou situaci posuzuje. Řadu situací je možné generalizovat několika algoritmy s odlišnými výsledky (např. řešení silničních serpentýn). U složitých situací bude obtížné navrhnout metriky, které nám umožní pohled na výsledek převést na číselnou hodnotu kritéria. Ale právě jedině stanovení hranic akceptance, tj. prahových hodnot pro jednotlivé operátory, bude rozhodovat o tom, kdy je výsledek akceptovatelný a kdy už nikoli. Rovněž je třeba si uvědomit, že ne každý generalizařní algoritmus se hodí pro všechny prvky. Např. zatímco pro generalizaci silniční sítě je vhodné použít variantu metody bend simplify, tak pro generalizaci lesních areálů bude vhodnější použít metodu DouglasPeucker. Bude tedy nezbytné dle použitých prvků zvážit, jaký generalizační algoritmus je vhodné použít.
14
Testovací datové sady budou připraveny k využití ve standardu Open GIS Consortium Web Processing Service. Tím zajistíme, že budeme schopni otestovat kteroukoli implementaci nezávisle na platformě.
Testování
Pro každý test ve skupině
Maketa volání WPS
Adresář pro WPS Operaci
Identif ikace operace
Vytvořil volání WPS Adresáře jednotlivých testů
Volání f unkce WPS
Identif ikace testovací sady XML definující Execute
Ověření výsledných dat
Tvorba výstupu WPS
Vstupní data
Odeslání WPS výstupu
Výstupní data
Správný výsledek WPS
Doplnění statistik
Test nebo skupina testů Definice testovacích metod
Statistika testů
Obrázek č.4 Architektura WPS Testing Framework
3.7. Rešerše dostupných řešení V tomto kroku bude ve spolupráci s týmem pro Nmet1 sestavena krátká rešerše možností využití stávající implementace potřebných algoritmů, případně jejich popisu. Prioritně budou využity algoritmy platformy ArcGIS, dále budou preferovány volně dostupné a použitelné implementace.
3.8. Návrh řešení problémových algoritmů - nerealizovat, doplnit data apod. U některých algoritmů se jejich realizace může ukázat jako příliš složitá v poměru k hlavnímu cíli projektu, úspoře kapacit a nákladů při generalizaci, případně časově náročnější než délka projektu. Také je běžné, že při poloautomatické generalizaci kartograf nahlíží do dalších materiálů a implementace algoritmu by vyžadovala výrazné obohacení datového modelu nad rámec možností Uživatele. V některých případech může být efektivním řešením drobná změna značkového klíče nebo pravidel uvolňování spíše než tvorba složitého algoritmu. Je pravděpodobné, že některá komplexní témata, například generalizace výškopisu či odsuny popisů mapy se po analýze ukáží daleko časově náročnější než je délka projektu TB04CUZK001. Jejich řešení by v takovém případě bylo po vzoru řešení jiných státních mapových děl ponecháno na řešení generalizace menších měřítek. Všechny tyto případy budou konsolidovány do podoby, která bude v rámci kontrolního dne posouzena a schválena Uživatelem.
15
Příkladem může být znázornění terénního stupně. V ZABAGED® je tento prvek vyjádřen korunou a jeho dolní hranou. V mapě je pak vyjádřen šrafami ve směru spádnice uvažované jako kolmice ke koruně (horní hraně). Jiným příkladem může být zjednodušení značky skleníku při implementaci IS SMD, kdy se ukázalo, že datový typ použitý pro tento objekt v původním systému není v implementovaném systému podporován a efektivním řešením situace byla úprava kartografického symbolu.
Obrázek č.5 Problémový algoritmus na příkladu terénního stupně
3.9. Schválení obsahu uživatelem V tomto kroku bude ve spolupráci s Uživatelem ověřena úplnost a srozumitelnost obsahu metodiky na jejím návrhu textu před závěrečnou jazykovou korekturou a grafickou finalizací.
3.10. Formalizace obsahu metodiky V tomto kroku bude metodika formalizována do podoby připravené k oponování externími oponenty, včetně digitální podoby datových sad.
3.11. Certifikace uživatelem Předpokládáme standardní postup oponování ČÚZK dvěma oponenty, vypořádání jejich připomínek, poté předložení k certifikaci. Pokud nebude určeno Uživatelem jinak, jako oponenty předpokládáme Ředitele odboru rozvoje VGHMÚř podplukovníka Ovčarika a jednoho zástupce z akademické obce.
4. Knihovna generalizačních algoritmů pro generalizaci státního mapového díla středních měřítek R1 – software Softwarová knihovna obsahující implementace vybraných generalizačních algoritmů stanovených certifikovanou metodikou 3. Izolované a vybrané komplexní algoritmy budou ověřeny pomocí datových sad.
16
Výsledkem bude volně použitelný software, který bude moci být využíván i v resortu MO a v dalších resortech produkujících kartografické produkty středních měřítek 2015 8
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
12
4.1. Postupná implementace generalizačních operátorů 4.2. Postupná implementace algoritmů strukturálních vzorů 4.3. Registrace do WPS registru algoritmů 4.4. Postupné testování oproti testovacím sadám (WPS Testing Framew ork) 4.5. Přizpůsobení rozhraní vybranému procesnímu modelu 4.6. Publikování, dokončení dokumentace a nasazení 4.7. Schválení uživatelem na serveru řešitele oproti funkčním testům
Jednotlivé potřebné algoritmy vybrané k realizaci budou průběžně vyvinuty a zařazeny do knihovny algoritmů postavené nad knihovnou WPS Generalization Toolbox. To umožní použít s minimálními náklady existující implementace v různých programovacích jazycích nezávisle na platformě, sestavených jako Cloud WPS služeb a zároveň jejich ověření testovacími datovými sadami průběžně sestavovanými v rámci přípravy výsledku Nmet3. Pokud algoritmus splní tyto testy, je publikován a připraven k použití.
WPS Proxy
ArcGIS f or Server
ArcGIS
Workflows
WPS Analytics
GRASS
PostGIS
GeoServer
Java Topology Suite
North 52°
WebGen
Java Topology Suite
Obrázek č.6 Architektura WPS Generalization Toolbox
Jak ukazuje následujícící schéma, prototypy 5 algoritmů jsou implementovány jako služby Web Processing Service. Jestliže je algoritmus dostupný v některé ze známých knihoven, je tato implementace namapována na svůj prototyp. Jestliže je pouze implementována, je tato implementace portována v nejvhodnějším místě knihovny, což je závislé na programovacím jazyku a pomocných knihovnách, které potřebuje. Pokud je znám jeho popis, je implementován, nejlépe sestavením workflow systému ArcGIS a jeho publikováním jako WPS, pokud je to možné. Stejně postupujeme v případě, že musíme některý algoritmus vyvinout zcela nově.
5
Termín prototyp zde není míněn ve významu druhu výsledku RiV.
17
Požadovaný algoritmus
Dostupný?
Ne
Ano
Popsaný?
Implementováno?
Ne
No
Portovat
Vymyslet a implementovat
Implementovat
Registrovat do rozhraní WPS
Testování pomocí TestSuite
Vyřešení projektu
Nasazení a publikování Prototyp algoritmu
Obrázek č.7 Zjednodušený postup připojení a implementace potřebného algoritmu
Po výběru procesního modelu řízení generalizace bude systémově přizpůsobeno rozhraní, případně migrovány některé algoritmy tak, aby odpovídaly zvolené platformě. V optimálním případě to bude přímo platforma ArcGIS, jako se to podařilo v posledních úspěšných řešeních. Jednotlivé algoritmy budou schváleny Uživatelem na vyčleněném serveru oproti funkčním testům definovaným v metodice Nmet3 a poté dokončena uživatelská dokumentace.
5. Knihovna programů pro řízení dílčích procesů automatizované tvorby topografických map R2 – software Dle metodiky č. 1, a to i s využitím a popisem nezbytné interakce. 2015 8
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
12
5.1. Implementace vybraného procesního modelu 5.2. Průběžné testování oproti komplexním testovacím datovým sadám 5.3. Ověření funkčnosti - KD 5.4. Tvorba dokumentace 5.5. Schválení uživatelem na serveru řešitele proti funkčním testům - KD
V této etapě bude implementován procesní model řízení generalizace vybraný v rámci přípravy metodiky Nmet1 a schválený OG na kontrolním dni v závěru prvního roku plnění. Software bude průběžně testován proti testovacím datovým sadám z metodiky Nmet3. Na závěr bude ověřena jeho funkčnost, dokončena uživatelská část dokumentace a software bude schválen Uživatelem na vyčleněném serveru proti funkčním testům definovaným v metodice Nmet3. 18
6. Komplexní řízení procesu tvorby státního mapového díla měřítek 1 : 10 000 a 1 : 25 000 Z – ověřená technologie Tato technologie bude implementovat vlastní komplexní proces generalizace tak, aby umožnil jak generalizaci prvků, kterou lze pevně definovat pomocí daných pravidel (rule based generalization), tak i generalizaci s využitím nejnovějších metod umělé inteligence pro řešení komplexních problémů generalizace (například Multiagent driven generalization) s využitím znalostní databáze vytvořené v rámci metodiky Nmet 2, a to tak, aby samostatně provedl generalizaci reprezentativní sady generalizačních situací z certifikované metodiky Nmet 16. 2015 8
9
10
2016 11
12
1
2
3
4
5
6
7
8
9
10
11
12
61. Revize a doplnění dokumentace, příprava a ověření instalací 6.2. Příprava formalizace ověření 6.3. Formální testování na kontrolních datasetech 6.4. Ověření a schválení uživatelem
Výsledky R1 a R2 budou připravovány na hardwarových prostředcích řešitele a průběžně dokumentovány. Při přípravě ověření bude tato dokumentace finálně revidována a doplněna o část instalace a oživení. Poté dojde k vlastní instalaci a oživení na pracovišti Uživatele, optimálně přímo jeho silami podle dokumentace. Celá technologie bude poměrně složitá, s množstvím vnitřních vazeb a nastavení. Je proto pravděpodobné, že bude v rámci etapy ověření po dohodě s Uživatelem nutné zorganizovat školení administrátorů či uživatelů. Po úspěšné instalaci bude technologie ověřena na kontrolních datových sadách z certifikované metodiky Nmet3, a to s využitím znalostní databáze vytvořené v rámci certifikované metodiky Nmet2. V případě potřeby, nad rámec ověřování technologie v rámci projektu TB04CUZK001, bude Uživatel schopen definovat a spustit své vlastní dodatečné testy na vybraných datech za účelem vizuálního zobrazení a prezentace komplexnosti výsledků řešení projektu.
6
Zde předpokládáme že se jedná o překlep a bylo míněno dle metodiky Nmet3 19
Kontrola kvality Při řízení projektu i vlastním řešení problematiky bude kladen mimořádný důraz na stanovení a dodržení požadovaných parametrů kvality a na implementaci přijatých (vnitrostátních i mezinárodních) standardů a kvalitativních norem. Jako základ bude aplikován soubor ČSN EN ISO řady 19100 – Geografická informace, zejména norma ČSN EN ISO 19110 při návrhu a tvorbě katalogů a datových slovníků, ČSN EN ISO 19131 Specifikace geoprostorových produktů, které vytvoří základ pro objektivní a standardizované hodnocení kvality produktů podle nové komplexní ČSN EN ISO 19157. V rámci zajištění kompatibility civilního a vojenského SMD budou implementovány také geografické specifikace a standardy NATO a standardy OGC. Také vlastní procesy řízení projektu budou podléhat pravidelným, důsledným kontrolám a hodnocení kvality mezivýsledků. Všechny výsledky typu Nmet, R a Z budou verifikovány a validovány podle platných interních norem ČÚZK. Řešení projektu vytvoří podmínky pro údržbu a další rozvoj výsledků po celou dobu jejich životního cyklu.
20
Plán oponentur a kontrolních dní Doba na řešení projektu TB04CUZK001 je velice krátká, jednotlivé jeho části proto budou realizovány paralelně. S výstupy a klíčovými mezivýstupy jednotlivých etap bude seznámen odborný gestor projektu formou kontrolního dne, respektive předložení metodiky k certifikaci. Konkrétní termíny s ním budou dohodnuty při zahájení plnění projektu. 2015 8
9
10
2016 11
12
1
2
3
4
5
1. Nmet1 - Popis procesního modelu automatizované technologie tvorby map 1.2.4.Návrh optimálního procesního modelu a schválení uživatelem - KD 1.6. Certifikace uživatelem
2. Nmet2 - Pravidla sestavení a uvolňování pro generalizaci státního mapového díla středních měřítek 2.4. Naplnění databáze pravidel, uzavřeno KD 2.6. Certifikace uživatelem
3. Nmet3 - Algoritmy generalizace potřebné pro generalizaci státního mapového díla středních měřítek 3.1. Sběr generalizačních situací, uzavřeno KD 3.9. Schválení obsahu uživatelem - KD 3.11. Certifikace uživatelem
4. R1 Software - Knihovna generalizačních algoritmů pro generalizaci státního mapového díla středních měřítek 4.7. Schválení uživatelem na serveru řešitele proti funkčním testům - KD
5. R2 Software - Knihovna programů pro řízení dílčích procesů automatizované tvorby topografických map 5.3. Ověření funkčnosti - KD 5.5. Schválení uživatelem na serveru řešitele proti funkčním testům - KD
6. Z - Komplexní řízení procesu tvorby státního mapového díla měřítek 1 : 10 000 a 1 : 25 000 6.4. Ověření a schválení uživatelem
21
6
7
8
9
10
11
12
Schéma zveřejňování zdrojových kodů a výsledků Jedním z předpokladů dodržení kvality a umožnění Uživateli sledovat průběžně výsledky projektu je vhodný způsob manipulace s daty. Všechny zdrojové kódy, výsledky a mezivýsledky budou průběžně ukládány do uzavřeného repositáře, na který bude mít kromě vývojového týmu přístup i Uživatel. Ve chvíli, kdy je některý z nich úspěšně otestován a připraven ke zveřejnění, je označen jako nová verze (release), zdokumentován a vystaven ve veřejném repositáři, který je pod licencí EUPL. Tímto postupem se zároveň průběžně dosáhne zálohování prací.
Vývojář, analytik, výzkumník
Veřejné repository EUPL
Privátní repository
...
Stav i+2 Vývoj, výzkum
Stav i+1
Verze j
Stav i ...
Testování
Obrázek č.8 Schéma zveřejňování výsledků projektu
22
Verze j
