Seminář ČSSI: Otevřená a propojitelná data

Otevřená a propojitelná data veřejné správy aktivity, postupy, návody, 6.6.2014

Seminář ČSSI: Otevřená

a propojitelná data pojmy, témata, aktivity Dušan Chlapek

Fakulta informatiky a statistiky, Vysoká škola ekonomická v Praze

Obsah 1. Otevřená data – základní pojmy 2. Aktivity v oblasti otevřených a propojitelných dat

3. Výzvy pro veřejnou správu 4. Oblasti standardizace

5. Cíle semináře

6.6.2014

Seminář ČSSI „Otevřená a propojitelná data veřejné správy“

2

1. Co jsou otevřená data? •

Data zveřejněná na Internetu, která jsou • úplná, • snadno dostupná, • strojově čitelná, • používající standardy s volně dostupnou specifikací, • zpřístupněna za jasně definovaných podmínek užití dat s minimem omezení, • dostupná uživatelům při vynaložení minima možných nákladů.

•

Požadavky na podmínky užití otevřených dat: • Neomezují jejich uživatele ve způsobu použití dat. • Opravňují uživatele k jejich dalšímu šíření. • Musí být uveden autor dat (i při dalším šíření). • Při dalším šíření musí i ostatní uživatelé mít stejná oprávnění s daty nakládat - během šíření dat nesmí dojít např. k omezení jejich využití pouze pro nekomerční účely.

6.6.2014


3

1. Otevřená data – Stupně otevřenosti

Zdroj: HAUSENBLAS, Michael. 5 star Open Data. Dostupné z: http://5stardata.info/ 6.6.2014


4

1. Otevřená data – Stupně otevřenosti Stupeň:

• Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití • Data poskytována v libovolném formátu • Příklad formátu: PDF • Výhody • Jednoduchost a relativně nízká pracnost • Data není třeba transformovat • Zaměření pouze na právní otevřenost

• Uživatelé vědí, že mohou data dále zpracovávat

• Nevýhody • Data může být obtížné využít – např. potřeba vytěžování tabulkových dat z PDF dokumentů • Příklad: tabulky s údaji v ročenkách a výročních zprávách 6.6.2014


5

1. Otevřená data – Stupně otevřenosti Stupeň:

• Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití • Data poskytována ve strojově čitelném formátu • Příklad formátu: MS Excel • Výhody • Relativně jednoduché, pokud jsou podkladová data již dostupná ve formátu typu MS Excel, nebo pokud je lze takovéhoto formátu jednoduše uložit • Data jsou ve formátu, který je snáze strojově zpracovatelný

• Nevýhody • Pokud neexistují volně dostupné nástroje pro práci se zvolenými formáty, je uživatel nucen pořizovat odpovídající sw nástroje

6.6.2014


6

1. Otevřená data – Stupně otevřenosti Stupeň: • Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití • Data poskytována ve strojově čitelném formátu • Formát dat je otevřený • Specifikace formátu je volně dostupná • Lze využívat zdarma, další využití formátu není omezeno • Formát nezávislý na platformě, resp. lze vytvořit nezávislé implementace pro různé platformy

• Příklad formátu: CSV • Výhody

• Uživatelé nejsou nuceni používat aplikace určitého výrobce, aby s daty mohli pracovat

• Nevýhody

• Může být nutné data do otevřeného strojově čitelného formátu transformovat

6.6.2014


7

1. Otevřená data – Stupně otevřenosti Stupeň: • Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití • Data poskytována ve strojově čitelném formátu • Formát dat je otevřený • Jako identifikátory objektů jsou použity URI (Unified Resource Identifier) • Příklad formátu: RDF (Resource Description Framework) bez propojení • Výhody

• Objekty jsou jednoznačně identifikovány způsobem, který umožňuje se na ně odkazovat obdobně jako na HTML stránky • Lze kombinovat s jinými datovými sadami na stupních 4 a 5 hvězdiček

• Nevýhody

• Příprava dat vyžaduje více času a úsilí – definice schémat pro tvorbu URI a přiřazení URI identifikátorů objektům • Ne všichni v současné době disponují znalostmi pro publikaci a zpracování dat v této podobě

6.6.2014


8

1. Otevřená data – Stupně otevřenosti Stupeň: • • • • • • •

•

Data poskytována pod otevřenou licencí či podmínkami užití umožňujícími jejich další užití Data poskytována ve strojově čitelném formátu Formát dat je otevřený Jako identifikátory objektů jsou použity URI Data jsou pomocí odkazů propojena na jiná související data Příklad formátu: RDF s propojeními na další zdroje Výhody •

Data jsou propojena na další související zdroje

•

Jednotlivé orgány VS zodpovídají a udržují své datové sady, je možné se mezi nimi odkazovat, není nutné je duplicitně publikovat na více místech

• Datům lze přiřadit bohatý kontext • Místo opisování referenčních údajů se lze přímo odkázat na referenční datové zdroje • Propojení umožňují uživateli získat další data, která by jinak poskytovatel musel zahrnou do datové sady

Nevýhody • • •

6.6.2014

Příprava dat vyžaduje více času a úsilí – definice schémat pro tvorbu URI a přiřazení URI identifikátorů objektům Ne všichni v současné době disponují znalostmi pro publikaci a zpracování dat v této podobě Související datové zdroje musí být také k dispozici minimálně na stupni 4 hvězdičky


9



5. Cíle semináře

6.6.2014


10

2. Otevřená data - aktivity v ČR Partnerství pro otevřené vládnutí • v roce 2012 vytvořen Akční plán, který stanovil mimo jiné • zefektivnění systému svobodného přístupu k informacím • zpřístupnění dat a informací

• zajistit právní a technickou otevřenost dat veřejné správy • vytvořit infrastrukturu otevřených dat ČR a jejich pravidel v oblasti veřejných zakázek • publikovat vybranou kolekci 10 datových množin v otevřené podobě (množiny v gesci různých orgánů) • zprovoznit a udržovat katalog otevřených dat, který umožní snadné vyhledávání datových množin různých orgánů VS ČR publikovaných v otevřené podobě

• výsledky Akčního plánu

• Koncepce katalogizace otevřených dat VS ČR • Metodika publikace otevřených dat veřejné správy ČR Pozn.: Koncepce a Metodika jsou dostupné na portálu Korupce.cz • První z úřadů, které začaly publikovat určená data byl Český statistický úřad (datové množiny s výsledky voleb, aktuálně i ze sčítání lidu, domů a bytů 2011). Postupně se přidávají další orgány veřejné správy i samosprávy • Centrální katalog otevřených dat nebyl do dnešního dne zprovozněn. Zdroj: http://www.korupce.cz/assets/partnerstvi-pro-otevrene-vladnuti/Akcni-plan-OGP.pdf

6.6.2014


11

2. Otevřená data ve světe • Významnou roli hrají USA a GB • Portál Data.gov • Open Data Policy (květen 2013) • Definuje pojmy včetně otevřených dat • Používání otevřených a strojově čitelných formátů, používání otevřených licencí atd.

• Brazílie • National Open Data Infrastructure • • • •

Součástí je i datový katalog Stanovuje datové standardy v rámci veřejné správy Podporuje orgány VS, které chtějí publikovat otevřená data Podporuje zapojení veřejnosti

• Open Data Index (Open Knowledge Foundation) • Open Data Certificate (Open Data Institut) Zdroj USA: http://www.whitehouse.gov/sites/default/files/omb/memoranda/2013/m-13-13.pdf Zdroj Brazílie: https://www.undpegov.org/sites/undpegov.org/files/Brazil-OD-2013-05-29.pdf 6.6.2014


12

2. Otevřená data - legislativa v EU a ČR •

•

Směrnice 2003/98/ES o opakovaném použití informací veřejného sektoru • Novelizovaná směrnicí 2013/37/EU ze dne 26. června 2013 • Členské státy do 18. července 2015 přijmou a zveřejní právní a správní předpisy nezbytné pro dosažení souladu s touto směrnicí • Nejvýznamnější body novely • Obecná zásada: dokumenty (data), na které se směrnice vztahuje, musí být v souladu s podmínkami směrnice opakovaně použitelné pro komerční nebo nekomerční účely • Strojová čitelnost (článek 5, odst. 1): • „Subjekty veřejného sektoru poskytují své dokumenty v jakémkoliv již existujícím formátu nebo jazyce, a pokud je to možné a vhodné, v otevřeném a strojově čitelném formátu spolu s jejich metadaty. Formát i metadata by měly co nejvíce splňovat formální otevřené normy.“ V ČR bude zřejmě realizováno formou změny zákona č. 365/2000 Sb., o informačních systémech veřejné správy (část o otevřených datech připravuje MV ČR) a zákona č. 106/1999 Sb.

6.6.2014


13

2. Otevřená data - legislativa na Slovensku • Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy • Štandardy poskytovania údajov v elektronickom prostredí • § 51 Kvalita datasetu poskytovaného povinnou osobou • § 52 Otvorené údaje

• § 53 Poskytovanie otvorených údajov

Odkaz: http://informatizacia.sk/standardy-is-vs/596s

6.6.2014


14

2. Otevřená data - legislativa na Slovensku •

Zbierka zákonov č. 55/2014 Výnos Ministerstva financií Slovenskej republiky zo 4. marca 2014, o štandardoch pre informačné systémy verejnej správy

• § 51 Kvalita datasetu poskytovaného povinnou osobou • Dělení na 6 úrovní • 0 – bez elektronické formy,

• 1 – datová sada je dostupná ve webovém prostředí • 2 – úroveň 1 + data strukturována tak, že umožňují strojové zpracování • 3 – úroveň 2 + otevřený formát nezávislý na proprietárním prostředí • 4 – úroveň 3 + k identifikaci údajů a jejich vazeb jsou použity referencovatelné identifikátory • 5 – úroveň 4 + dataset a jeho interní a externí vazby mají charakter identifikátory propojených údajů • Pokud jsou datasety poskytovány pro automatizované zpracování musí být údaje publikovány minimálně na úrovni 3. 6.6.2014


15



6.6.2014


16



§ 53 Poskytovanie otvorených údajov a)

úrovně kvality datasetu dodržují pravidla dle § 51,

b)

při používání formátů podle § 13 písm. b) je u formátů CSV (Comma Separated Values) a JSON (JavaScript Object Notation) nejvyšší dosažitelná úroveň kvality = 3, a při použití ostatních formátů dle § 13 písm. b) je nejvyšší dosažitelná úroveň kvality =5,

c)

schéma datasetu musí být poskytnuto ve formátu dle § 13 písm. a) nebo formou textového popisu pro CSV nebo JSON datasety,

d)

pro identifikaci každého údaje v poskytovaném datasetu se použije 1. 2. 3.

referencovatelný identifikátor, kód podle příslušného číselníku nebo hodnota představující tento údaj

e)

zpřístupnění datasetu prostřednictvím aplikačního rozhraní dle § 13 písm. a) nebo v ucelené formě protokolem FTP nebo HTTP,

f)

zaevidování datasetu v centrálním katalogu otevřených dat na „data.gov.sk“

g)

poskytování datasetu tak, aby bylo možné 1. 2. 3. 4.

h)

Zjistit okamžik nebo interval platnosti, Zjistit po aktualizaci, které údaje byly změněny, Zjistit, zda se jedná o aktualizaci v reálném čase nebo periodicitu aktualizace datasetu, Odlišit chybné nebo nepřesné údaje od správných nebo přesných údajů, pokud to nelze na úrovni jednotlivých údajů tak alespoň odlišit na úrovni celého datasetu

Poskytovat metadata pro otevřený dataset společně s daty nebo prostřednictvím katalogu otevřených dat

6.6.2014


17

2. Otevřená data - aktivity v ČR Příklady institucí publikujících otevřená data:

 Česká obchodní inspekce (ČOI) na svých webových stránkách publikuje data o provedených kontrolách, jejich výsledcích a udělených sankcích  Český telekomunikační úřad (ČTÚ) zpracoval komplexní analýzu svých datových množin a rozhodl, že řadu z nich bude publikovat v otevřené podobě během let 2013-2015  Ministerstvo financí provozuje aplikaci Monitor státní pokladny, která mimo jiné zpřístupňuje svá data ve strojově čitelné podobě  Český statistický úřad publikuje data výsledcích voleb a výsledky sčítání lidu, domů a bytů 2011.  Český úřad zeměměřický a katastrální – zejména RUIAN a řada dalších dat  Institut plánování a rozvoje hlavního města Prahy  Kraj Vysočina  Statutární město Děčín  Další publikaci otevřených dat připravují, např.:  Statutární město Opava  Město Kuřim  Městská část Praha 8 6.6.2014


18

2. Otevřená data - aktivity v ČR - ČTÚ

Zdroj: www.ctu.cz

6.6.2014


19


Zdroj: www.ctu.cz

6.6.2014


20


Zdroj: www.ctu.cz

6.6.2014


21

2. Aktivity týmu FIS VŠE a MFF UK Vysoká škola ekonomická v Praze, Fakulta informatiky a statistiky a Univerzita Karlova, Matematicko-fyzikální fakulta ve spolupráci s dalšími pracovišti realizoval a realizuje řadu projektů a aktivit v oblasti otevřených a propojitelných dat, např.:  LOD2 (EU projekt) - vývoj nových metod a softwarových nástrojů pro práci s otevřenými propojitelnými daty (Linked Open Data = LOD) 

COMSODE (EU projekt) - vývoj a provoz softwarové platformy a metodik pro publikaci otevřených dat v co nejvyšší kvalitě



Share-PSI 2.0 (EU projekt) - síť partnerů a odborníků, jejímž cílem je výměna zkušeností v oblasti implementace politik zaměřených na otevřená data veřejné správy



Koncepce katalogizace otevřených dat (pro Úřad vlády ČR, MMR, MV ČR)



Spolupráce s MV na propagaci, katalogizaci a legislativních úpravách otevřených dat veřejné správy v ČR (MV ČR)



Analýza otevřenosti ČTÚ, publikace otevřených dat ČTÚ (ČTÚ)



OpenData.cz – propagace myšlenky otevřených a propojitelných dat



Fórum pro otevřená data, Otevrenadata.cz (OSF – Fond Otakara Motejla) – soutěže o nejlepší aplikaci nad otevřenými daty, propagace myšlenky otevřených dat, podpora vybraných měst a úřadů při publikaci otevřených dat



TAČR podpořené projekty „Otevřená propojitelná data v oblasti veřejných rozpočtů“ (TAČR, OSF - Fond Otakara Motejla, MF ČR), „Publikace dat statistických ročenek ve standardu otevřených dat“ (TAČR, KOMIX, ČSSZ)



Spolupráce s MV ČR na přípravě a realizaci workshopu „Opendata“ v rámci konference ISSS 2014

6.6.2014


22

2. Příklady evropských výzkumných projektů •

LOD2 – projekt 7.RP EU se zaměřuje na vývoj nových metod a softwarových nástrojů pro práci s otevřenými propojitelnými daty

•

COMSODE – cílem tohoto 7.RP EU projektu je vyvinout softwarový nástroj a metodiku usnadňující institucím publikaci dat v otevřené podobě; projekt si také klade za cíl pilotně nástroj provozovat podle vyvinuté metodiky u vybraných institucí v ČR i zahraničí. Projekt sbírá podněty na otevírání datových sad a nabízí spolupráci na jejich převodu a publikování. Na projektu mimo jiné spolupracuje Ministerstvo vnitra SR.

•

SmartOpenData – projekt 7.RP EU zaměřený na vývoj nástrojů pro otevřená propojitelná data v oblasti ochrany životního prostředí a prostorových dat

•

Share-PSI 2.0 – síť více než 40ti účastníků, jejímž cílem je výměna zkušeností v oblasti implementace politik zaměřených na otevřená data veřejné správy; podpořeno z Competitiveness and Innovation Framework Programme.

•

LAPSI 2.0 – cílem projektu je identifikovat bariery v přístupu a využití informací veřejného sektoru na evropském trhu a navrhnout nástroje a opatření pro stimulaci otevřených dat v Evropě; podpořeno z Competitiveness and Innovation Framework Programme.

6.6.2014


23

2. Nástroje vyvíjené v rámci EU projektů

6.6.2014


24

2. Nástroje vyvíjené v rámci EU projektů Vývojáři aplikací / datoví analytici REST API / SPARQL Endpoint Export do datových souborů Konektory na datové katalogy

Interní datový katalog

Rozhraní otevřených dat

metadata

Transformace Externí datové katalogy Čištění

Aktualizace Obohacování

Propojování (propojitelná) data

ETL nástroj

Interní úložiště

ODN interní a/nebo externí (propojitelná) data 6.6.2014


25

2. Otevřená data - závěry vyplývající ze současných aktivit  Otevřená data jsou současným trendem ve zpřístupňování informací veřejného sektoru k dalšímu využití  Veřejná správa disponuje velkým množstvím dat  Potřeba inventarizace datových množin a jejich prioritizace z hlediska otevírání  Prioritizace vyžaduje sběr dat o poptávce po datech VS

 Na vývoj v oblasti otevřených dat reaguje evropská legislativa (novela směrnice 2003/98/ES)  Některé orgány VS v ČR již publikují otevřená data, jiné se o otevřená data začínají intenzivně zajímat  Fórum pro otevřená data – sdružuje odborníky v oblasti otevřených dat  Rozvoj postupů a nástrojů pro publikaci a práci s otevřenými a propojitelnými daty v rámci evropských i tuzemských výzkumných projektů  Úroveň vznikajících nástrojů již vyvolává zájem i komerčních firem o testování možností jejich využití 6.6.2014


26



5. Cíle semináře

6.6.2014


27

3. Výzvy pro veřejnou správu ČR

1. 2. 3. 4. 5.

Hledání úspor prostřednictvím otevřených dat Implementace novely směrnice 2003/98/ES Centrální katalog otevřených dat ČR Publikace prioritních datových množin Sjednocení způsobu publikace (metodika, standardy) 6. Analýzy potenciálu otevřených dat pro konkrétní orgány VS 7. Komunikační strategie a podpora publikujících orgánů 6.6.2014

Otevřená data veřejné správy

28



5. Cíle semináře

6.6.2014


29

4. Oblasti standardizace otevřených dat • Procesy, odpovědnosti, pravidla

• Legislativa – v přípravě, zák. č. 365/2000 Sb., zák. č. 106/1999 Sb. • Koncepce katalogizace otevřených dat VS ČR – podklad pro metodiku katalogizace dat • Metodika – 1. verze k dispozici, aktualizace v přípravě • Doporučení úložišť, kde budou otevřená data ke stažení

• Formáty dat

• Minimálně formát CSV (***), lépe RDF (**** *) • Dohodnuté standardy pro vybrané datové sady

• Ontologie

• Tvorba ontologií pro vybrané datové sady, které mají být publikovány ve formátu otevřených propojitelných dat, např. ontologie pro data o veřejných zakázkách (Public Contracts Ontology)

• Metadata

• DCAT – doporučení konsorcia W3C • DCAT Application Profile for data portals in Europe – profil DCAT pro datové katalogy v Evropě

• Licence / podmínky užití

• Posoudit využití licence Creative Commons Uveďte autora 4.0 • Český překlad této licence je připravován

6.6.2014

Otevřená data veřejné správy

30



5. Cíle semináře

6.6.2014


31

5. Cíle semináře • Hlavními cíle semináře jsou 1. Představit koncept otevřených dat 2. Vymezit právní rámec pro otevřená data 3. Informovat o hlavních aktivitách v ČR, SR a ve světě 4. Představit přínosy a rizika otevřených a propojitelných dat 5. Seznámit účastníky s praktickou ukázkou postupu zpracování otevřených a propojitelných dat 6. Ukázat na příkladech možnosti nástrojů pro práci s LOD, tvorbu aplikací a vizualizaci LOD 7. Demonstrovat dobré příklady z praxe 6.6.2014


32

Program semináře – 1/3 9:00 - 9:05 ÚVODNÍ SLOVO – Z. MOLNÁR (ČSSI)

9:05 – 9:30 OTEVŘENÁ DATA, POJMY, TÉMATA, PŘEHLED AKTUÁLNÍCH AKTIVIT D.CHLAPEK (FAKULTA INFORMATIKY A

STATISTIKY VŠE V PRAZE)

9:30 – 9:55 OPEN DATA A VEŘEJNÁ LICENCE M.MYŠKA

(MASARYKOVA UNIVERZITA, PRÁVNICKÁ FAKULTA, ÚSTAV PRÁVA A TECHNOLOGIÍ) 9:55 – 10:20 OTEVŘENÁ DATA VEŘEJNÉ SPRÁVY Z POHLEDU ČESKÉ REPUBLIKY T. KROUPA (MINISTERSTVO VNITRA ČR) 10:20 – 10:45 OTEVŘENÁ DATA VEŘEJNÉ SPRÁVY Z POHLEDU SLOVENSKÉ REPUBLIKY J. GONDOĽ (MINISTERSTVO VNÚTRA SR)

6.6.2014


33

Program semináře – 2/3 11:05 – 11:30 EFEKTY Z VYUŽITÍ OTEVŘENÝCH DAT V ZAHRANIČÍ A VYHLÁŠENÍ SOUTĚŽE O NEJLEPŠÍ APLIKACI NAD OTEVŘENÝMI DATY M.KUBÁŇ (FOND OTAKARA MOTEJLA) 11:30 – 13:00 TUTORIÁL “OTEVÍRÁNÍ A PROPOJOVÁNÍ DAT” - I. ČÁST • PROPOJITELNÁ DATA • ANALÝZA A VÝBĚR DAT, • ONTOLOGIE M. NEČASKÝ (MFF UK), J. KUČERA (FIS VŠE), J. KLÍMEK (MFF UK) 6.6.2014


34

Program semináře – 3/3 13:30 – 14:45 TUTORIÁL “OTEVÍRÁNÍ A PROPOJOVÁNÍ DAT” II. ČÁST • • • •

NÁVRH PŘÍSTUPU K DATŮM EXPORT DAT DO LOD FORMÁTU A JEJICH PUBLIKACE APLIKAČNÍ VYUŽITÍ DAT KATALOGIZACE DAT

M. NEČASKÝ (MFF UK), J. KUČERA (FIS VŠE), J. KLÍMEK (MFF UK) 14:45 – 15:10 CESTA K OTEVŘENÝM GEOGRAFICKÝM DATŮM HL. M. PRAHY J. ČTYROKÝ (INSTITUT PLÁNOVÁNÍ A ROZVOJE

HLAVNÍHO MĚSTA PRAHY)

15:10– 15:30 ZKUŠENOSTI S OTEVÍRÁNÍM DAT A VYUŽITÍM NÁSTROJE OPEN DATA NODE M. TAJTL (ČESKÁ OBCHODNÍ

INSPEKCE)

15:30 – 15: 50 OTEVŘENÍM ZAČÍNÁME! P. ŠPRUNGL (AQUASOFT)

6.6.2014


35

Seminář ČSSI: Otevřená a propojitelná data

Recommend Documents