Řízení informatiky v soukromém a veřejném sektoru, 22.1. – 23.1.2015, Praha
Principy a technologie otevřených dat a jejich využití v managementu Dušan Chlapek1 Jan Kučera1 Martin Nečaský2 1Fakulta
informatiky a statistiky, Vysoká škola ekonomická v Praze
2Matematicko-fyzikální
fakulta, Univerzita Karlova v Praze
1. Představení týmu FIS VŠE a MFF UK Výzkumné EU projekty LOD2, COMSODE, Share-PSI 2.0 Národní výzkumné projekty TAČR Otevřená propojitelná data v oblasti veřejných rozpočtů (pro MF ČR) Publikace dat statistických ročenek ve standardu otevřených dat (pro ČSSZ) Spolupráce s veřejnou správou koncepce katalogizace otevřených dat (pro Úřad vlády ČR, ve spolupráci s MV ČR) spolupráce s MV na propagaci, katalogizaci a legislativních úpravách otevřených dat spolupráce s úřady na otevírání jejich dat (ČTÚ, NKÚ, ČOI, MP SV) Fórum pro otevřená data Společná iniciativa Fakulty informatiky a statistiky VŠE, Matematicko-fyzikální fakulty UK a Fondu Otakara Motejla otevrenadata.cz (Fond Otakara Motejla) propagace myšlenky otevřených dat, soutěže o nejlepší aplikaci nad otevřenými daty, podpora vybraných měst a úřadů při publikaci otevřených dat OpenData.cz akademická iniciativa propagující myšlenky propojitelných dat (Linked Data) Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
2
1. Cíle prezentace • Hlavními cíli prezentace jsou 1. Představit správu dat jako součást podnikové architektury 2. Seznámit s hlavními oblastmi správy dat a životním cyklem dat 3. Vysvětlit pojem otevřená a propojitelná 4. Ukázat výsledky z realizovaných projektů 5. Připomenout přínosy a rizika otevřených a propojitelných dat
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
3
Architektura v podnikové informatice •
Architektura (dle ISO/IEC 42010:2007) fundamentální uspořádání systému, které tvoří komponenty a vztahy mezi nimi, včetně vztahu k prostředí, a principy, které řídí jeho návrh a rozvoj (ISO/IEC, 2007)
•
Architektura v podnikové informatice (Enterprise Architecture, EA) je přístup, koncept, prostředek a nástroj, kterým vyjadřujeme fundamentální uspořádání vztahu mezi byznysem a jeho informačním systémem, které vede k naplnění mise organizace, přičemž respektuje okolní prostředí a konzistentně dodržuje formulované principy návrhu a rozvoje systému (Voříšek a kol., 2008) • Pozn.: dále bude také používán pojem „Podniková architektura“
•
Datová architektura popisuje strukturu datové základny organizace. Datová architektura popisuje jednotlivé datové sady, datové zdroje, vazby mezi nimi a vazby na další relevantní prvky podnikové architektury (Enterprise Architecture)
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
4
Australian Government Architecture
Zdroj: (Australian Government Information Management Office. Australian Government Architecture Reference Models. Version 3.0. In: Australian Government. [Online] August 2011 [Citace: 29. září 2014.] http://www.finance.gov.au/sites/default/files/AGA-RM-Final-v3.0-July-2013.pdf.)
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
5
Správa dat • •
Jedna z domén řízení informatiky Anglicky Data Management, používají se i pojmy (Enterprise) Information Management, Enterprise Data Management, Information Asset/Resource Management apod.
•
Data Management 2 představuje plánování a provádění politik, praktik a projektů pořízení, kontroly, ochrany, dodávky a zvyšování hodnoty dat a informačních aktiv
•
Information management 1 představuje prostředky pomocí kterých organizace zajišťuje plánování, identifikaci, vytvoření, získání, sběr, organizování, řízení (governance), zabezpečení, použití, sledování, distribuci, výměnu, údržbu, uchování a vyřazení informací jakož i prostředky, kterými zajišťuje, že hodnota informací je rozpoznána a maximálně využita
Otevřená data jsou nedílnou součástí datové architektury příslušného subjektu. Správa dat musí být vykonávána na „uzavřených“ i otevřených datech. Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
6
Cíle správné a efektivní správy dat •
Hlavním cílem je zajistit, že data, resp. informace jsou k dispozici1 • tomu, kdo je potřebuje, • v podobě či formátu, v jakém je potřebuje a • v okamžiku, kdy je potřebuje.
•
K naplnění cíle je třeba zejména realizovat následující dílčí cíle2 1. Definovat informační potřeby organizace a jednotlivých zainteresovaných stran 2. Pořizovat, shromažďovat, ukládat, chránit a zajišťovat integritu datových zdrojů 3. Průběžně zajišťovat a zvyšovat kvalitu dat 4. Zajišťovat důvěrnost a ochranu datových zdrojů 5. Zajišťovat efektivní využívání dat a informací 6. Řídit náklady správy dat 7. Propagovat princip, že data představují pro organizaci cenné aktivum 8. Zajistit, že jsou data řízena konzistentně napříč celou organizací 9. Zajistit soulad mezi řízením dat, používanými technologiemi a potřebami organizace (byznysu)
Upraveno dle: (Queensland Government Information Management Policy Framework Definitions. In: Queenslad Government. [Online] December 2009 [Citace: 29. září 2014.] https://www.qgcio.qld.gov.au/images/documents/QGEA_documents/QGEA/Information%20Management%20Policy%20Framework.doc.) 2 Upraveno dle: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-19355040-2-3) 1
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
7
Oblasti správy dat 1. Strategické řízení 2. Analýza a návrh datové architektury 3. Pořizování, provoz a údržba dat, poskytování dat, skartace dat 4. Řízení nákladů a přínosů dat 5. Řízení bezpečnosti dat 6. Řízení kvality dat 7. Řízení metadat 8. Řízení referenčních dat a master dat Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
8
Životní cyklus dat dle DAMA-DMBOK Plánování (Plan)
Specifikace (Specify)
Vytváření předpokladů (Enable)
Tvorba a pořízení (Create & Acquire)
Použití a údržba (Maintain & Use)
Archivace a obnova (Archive & Retrieve)
Skartace (Purge) Zdroj: (Mosley, Mark, a kol. 2010. The DAMA Guide to the Data Management Body of Knowledge. Technics Publications, LLC, 2010. str. 406. ISBN 978-19355040-2-3)
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
9
2. Co jsou otevřená data? •
Data zveřejněná na Internetu, která jsou • úplná, • snadno dostupná, • strojově čitelná, • používající standardy s volně dostupnou specifikací, • zpřístupněna za jasně definovaných podmínek užití dat s minimem omezení, • dostupná uživatelům při vynaložení minima možných nákladů.
•
Požadavky na podmínky užití otevřených dat: • Neomezují jejich uživatele ve způsobu použití dat. • Opravňují uživatele k jejich dalšímu šíření. • Musí být uveden autor dat (i při dalším šíření). • Při dalším šíření musí i ostatní uživatelé mít stejná oprávnění s daty nakládat - během šíření dat nesmí dojít např. k omezení jejich využití pouze pro nekomerční účely.
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
10
2. Otevřená data – Stupně otevřenosti
Zdroj: HAUSENBLAS, Michael. 5 star Open Data.Dostupné z: http://5stardata.info/ Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
11
Dostupnost dat na současném webu Regionální statistiky ČSÚ
RÚIAN
ARES
Sbírka zákonů
RPP
http://www.czso.cz
http://www.cuzk.cz
http://www.mfcr.cz
http://portal.gov.cz
http://www.szrcr.cz
Kontroly ČIZP
Kontroly SŽPI Jak nalézt odpovědi na následující otázky? •
http://www.potravinynapranyri.cz/
Kontroly ČOI
http://www.coi.cz Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
Kontroly provedené v okrese Semily u subjektů provozující obor činnosti „Pronájem a půjčování věcí movitých“
•
Kontroly provedené v rámci agendy „Odpadové hospodářství“
•
Počty kontrol a objemy pokut v okresech přepočtené na 1000 obyvatel
http://www.cizp.cz
Kontroly SVS
http://www.eagri.cz
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
12
Propojitelná data – cíle • Cílem propojitelných dat (angl. Linked Data) je vytvořit ekosystém webových služeb (aplikací), které publikují, obohacují a využívají data o entitách v jednom globálním sdíleném datovém prostoru (tzv. Web dat). Služba 3
Služba 4
Služba 1
Služba 4
Služba 2
Služba 5 Sdílený globální prostor dat na Webu (Web of Data)
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
13
Ukázka našich výstupů: Propojené datové sady ČSÚ volby
RÚIAN katastr ČSÚ pol. strany RÚIAN budovy
RÚIAN regiony
RÚIAN adresy
ČSÚ statistiky
MŽP Ovzduší Registr smluv
ČOI kontroly
Veřejné zakázky Rejstříky ARES SÚKL léčiva MZČR Ceny léčiv Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
ČSSZ statistiky
NUTS a LAU
MFČR Číselníky
SDMX MFČR Výkazy
Orgány veřejné moci
Úplná znění zákonů Agendy OVM
Výzkumné projekty Výsledky VaVaI
Soudní rozhodnutí Soudy ČR
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
14
Ukázka výstupu z projektu COMSODE: Open Data Node Vývojáři aplikací / datoví analytici REST API / SPARQL Endpoint Export do datových souborů Konektory na datové katalogy
Interní datový katalog
Rozhraní otevřených dat
metadata
Transformace Externí datové katalogy Aktualizace Obohacování
Čištění Propojování (propojitelná) data
ETL nástroj
Interní úložiště
ODN interní a/nebo externí (propojitelná) data Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
15
Ukázka výstupu z projektu COMSODE: Methodology for publishing datasets as open data
• Dokumenty tvořící metodiku • Hlavní dokument metodiky • Dokumentace praktik • Řídící tabulka
• Metodika popisuje • • • • •
Fáze publikace otevřených dat a jejich úlohy Průřezové aktivity a jejich úlohy Artefakty (vstupy a výstupy úloh) Role a jejich zodpovědnosti Praktiky pro jednotlivé úlohy
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
16
Ukázka výstupu z projektu TAČR Základní údaje a cíle projektu • • • •
•
Projekt „TD020121 Publikace dat statistických ročenek ve standardu otevřených dat“ Projekt financován Technologickou agenturou ČR (TAČR) Realizace projektu probíhá v období 01/2014 až 06/2015 Na projektu spolupracuje: • Fakulta informatiky a statistiky Vysoké školy ekonomické v Praze, • KOMIX s.r.o. • Česká správa sociálního zabezpečení Hlavní cíle projektu: • vytvořit metodiku a typovou architekturu pro publikaci statistických dat ve formátu otevřených propojitelných dat (Linked Open Data), • tyto ověřit na pilotní publikaci dat Důchodové statistiky, • a vybudovat nad těmito daty pilotní aplikaci pro zpřístupnění a prezentaci těchto dat.
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
17
Ukázka výstupu z projektu TAČR Zpřístupnění dat statistických ročenek ČSSZ
• 5* data ČSSZ jsou dostupná přes webovou službu s URL http://opendata.vse.cz:8890/sparql • 5* data = data reprezentovaná v RDF napojená na další zdroje RDF dat v prostředí webu • Webová služba umožňuje dotazování nad daty pomocí dotazovacího jazyka SPARQL • Nad daty možno realizovat dotazy pomocí dotazovacího jazyka SPARQL. Současně je možné tato data propojovat s daty jiných organizací, např. převedenými daty ČSÚ.
• Pilotní webová prezentační aplikace je k dispozici na adrese • https://opendata.vse.cz/duchodova-statistika/ Upozornění: Aplikace je spustitelná pouze v aktuálních verzích webových prohlížečů Firefox, Google Chrome, Internet Explorer (od verze 9).
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
18
Ukázka výstupu z projektu TAČR Úvodní obrazovka pilotní webové aplikace
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
19
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaci
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
20
Ukázka předpřipravené vizualizace dat ve webové prezentační aplikaci
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
21
Přínosy otevřených dat • (P1) posílení transparentnosti, • (P2) podpora ekonomického růstu, • (P3) zlepšení služeb veřejné správy, • (P4) podpora opětovného použití dat, • (P5) zlepšení vnímání veřejné správy veřejností, • (P6) zlepšení procesů a dat veřejné správy, • (P7) zamezení chyb vzniklých při práci s daty
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
• (P8) snížení počtu dotazů dle zák. č. 106/1999 Sb. • (P9) pořádek ve vlastních datech • (P10) možnost transparentně informovat veřejnost o subjektech, které neplní své zákonné povinnosti • (P11) zvýšení hodnoty dat • (P12) budování dobrého jména
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
22
Rizika otevřených dat • • • • • • •
(R1) Zveřejnění dat v rozporu se zákonem (R2) Riziko porušení ochrany obchodního tajemství (R3) Riziko porušení ochrany osobních údajů (R4) Zveřejnění nevhodných dat či informací (R5) Dezinterpretace dat (R6) Absence konzumentů dat (R7) Překrývání dat
Řízení informatiky v soukromém a veřejném sektoru, 22. – 23.1.2015, Praha
D. Chlapek, J. Kučera, M. Nečaský: Principy a technologie otevřených dat a jejich využití v managementu
23