Kvalitní data – – kvalitní agendy Kvalita dat a její zajišťování v agendových systémech veřejné správy
Připraveno pro konferenci ISSS 2010 Ing. Jiří Vácha
Hradec Králové, 13.4.2010 © Adastra Group
Agenda
Základní teze datové kvality Datová kvalita a základní registry ̶ ̶
Data a zprovoznění základních registrů Procesy datové kvality Plnění dat pro ZR ̶
Zajištění kvality dat pro agendy (AIS) ̶ ̶ ̶
Legislativní rámec Měření datové kvality Příklady
Dotazy
2
Datová kvalita – základní teze
3
Základní teze datové kvality
V datech jsou chyby (a vždy tam byly...)
Míra nekvality dat představuje riziko významného snížení jejich použitelnosti
4
Zpracování nesprávných, nesmyslných a nadbytečných dat - neefektivní zajištění veřejné služby Nedostatečné fungování interních procesů - negativní hodnocení veřejné služby
Lidský faktor
Technika
Proč jsou data nekvalitní?
5
Mnoho autonomních agendových IS Různí dodavatelé v různém čase Různé aplikace a technologie
Překlepy Zápisy do jiných polí „Lidová tvořivost“ Změna legislativy
Typické problémy s kvalitou dat
Neúplné záznamy Duplicity
Implicitní hodnoty („Neznámý“)
Nestrukturovaný zápis údajů
Přeslechnutí
Interpretace null hodnot (1.1.1900)
Přepsání Cizojazyčná jména
6
Diakritika
Datová kvalita a Základní registry
7
Kde vznikají data?
Agenda
Agenda
8
ZR obsahují synchronizovanou repliku zdrojových dat agend
Agenda
Zajišťování kvality dat v ZR
1 Obsah ZR vzniká v jednotlivých agendách
4 Náprava musí být provedena na straně agendy
9
2 Kvalita dat ZR odpovídá kvalitě agendových dat 3 Hodnocení a měření kvality dat je na ZR
Data a zprovoznění ZR Rutinní provoz
Realizační fáze
I. vlna
II. vlna
III. vlna
Testovací provoz Pilotní provoz Validační procesy
Přípravná fáze
Jednoduchá, křížová, proti ostatním ZR
Organizační procesy Metriky, odpovědnosti a postupy
Technické procesy Technická příprava dat před načtením
10
Technické procesy datové kvality Rozdělení záznamu do datových položek
Standardizace Obohacení Unifikace
11
Rozpoznání obsahu datových položek (např. název obce, ulice) Převod dat na jednotný formát (např. malá na velká písmena) Doplnění chybějícího (např. doplnění PSČ, pokud je známo adresní místo) Seskupení podobných záznamů do jedné skupiny
Deduplikace
Nahrazení skupiny podobných záznamů jedním – nejlepším
Identifikace
Nalezení již existujícího, unifikovaného subjektu v (etalonu)
Organizační procesy datové kvality Vlastnictví dat
data (registry) mají jednoznačně určeného vlastníka,který zodpovídá za jejich strukturu, dostupnost, kvalitu a bezpečnost
Správa dat
tzv. data stewardship – průběžné měření datové kvality, analýza příčin nekvality, návrh a realizace nápravných opatření
Data Governance
12
souhrnný koncept Data Governance (adaptovaný na podmínky výkonu státní správy)
Validační procesy
Jednoduchá validace
Základní kontrola datových elementů (atributů) a jejich případné obohacení Křížová validace
Porovnání dat mezi agendami navzájem prevence přepisu čistých dat „špinavými“ Validace proti dalším registrům
Ověření celkové konzistence základních registrů
13
Plnění dat a provoz registrů
RUTINNÍ PROVOZ plné spuštění PILOTNÍ PROVOZ Úspěšné naplnění jednotlivých vln, průběžně ověřovat funkčnost řešení v omezeném rozsahu TESTOVACÍ PROVOZ Ověření celkové provázanosti, integrace a funkčnosti, ověření kvality dat a napojení agendových IS
14
Možná rizika Chyby v datech AIS
Opravy dat
Práce s agendami
Napojení AIS
15
Byly tam, jsou a budou - jde o to, znát výchozí stav AIS jsou zatíženy svou vlastní činností a mohou nastat kapacitní problémy Každá agenda má jiné poslání a z toho odvozené potřeby, je třeba získat jejich součinnost Úskalí integrace (různí dodavatelé, různé konvence, různé standardy...)
Definice pravidel
Je třeba počítat s velkým množstvím neshod vůči pravidlům a řešit je citlivě
Složitost projektu
Jednotlivé registry jsou samostatnými projekty, je třeba dobře koordinovat jejich postup
DQ v kontextu základních registrů
Provedením opatření na vstupu se vždy zvyšuje celková úspěšnost Kvalitu dat je potřeba soustavně hodnotit a provádět korekce Kvalita registrů je závislá na kvalitě agendových systémů
16
Zajištění kvality dat agendových systémů (AIS)
17
Proč zajišťovat kvalitu dat v agendách?
18
Efektivita
Snížení pracnosti zpracování agend Snížení nákladů na výkon veřejné správy
Legislativa
Naplnění požadavků příslušných legislativních instrumentů
Veřejné služby
Poskytování kvalitních služeb občanům Zvýšení prestiže orgánů veřejné správy
Hospodárnost
Účelné hospodaření s prostředky daňových poplatníků
Legislativní rámec pro datovou kvalitu Novela zákona č. 365/2000 Sb., o informačních systémech veřejné správy (zákon č. 81/2006 Sb.)
Vyhláška č. 529/2006 Sb., o dlouhodobém řízení informačních systémů veřejné správy
INFORMAČNÍ KONCEPCE
Zákon č. 40/2009 Sb.,
Zákon č. 111/2009 Sb.,
trestní zákoník
o základních registrech
Zákon ze dne 17. března 1998 o odpovědnosti za škodu způsobenou při výkonu veřejné moci rozhodnutím nebo nesprávným úředním postupem a o změně zákona České národní rady č. 358/1992 Sb. , o notářích a jejich činnosti (notářský řád)
19
Měření kvality
20
Přesnost
Přesnost je definována jako shoda uvedené hodnoty se správnou hodnotou (tj. jedná se o existující osobu)
Úplnost
Úplnost je definována jako existence očekávaných hodnot na vstupu (daný subjekt např. musí vždy mít alespoň jednu adresu).
Konzistence
Konzistence znamená vzájemnou konzistenci jednotlivých položek (druhů údajů) v rámci jedné entity i mezi entitami.
Validita
Validita - data splňují kritéria doménové integrity, tzn. že odpovídají definovanému datovému typu, formátu a jsou v definovaném rozsahu přípustných hodnot.
Správné měření datové kvality
21
Anonymizované
Může být prováděno nezávisle na systému i vlastníkovi dat
Automatizované
Snižují se náklady a zvyšuje efektivita procesů
Srozumitelné
Zjištěné neshody jsou srozumitelně prezentovány
Opakovatelné
Umožňuje sledovat trendy a efektivitu nápravných opatření
Konsolidace dat Stěžejním prvkem správnosti dat v organizaci je teprve konsolidace dat mezi agendami Konsolidace = čištění+unifikace Příklad: Matka s dcerou ve 2 různých systémech. Dcera dostudovala (titul Ing.), provdala se (Zapletalová má stejné RČ jako Štergeníková) a odstěhovala se do Hradce Králové (řádky 3 a 6) a 1 2 3 4 5 6
22
b B A B B A B
c d e f 796008xxxx 8.10.1979 F Jana 796008xxxx 8.10.1979 F JANA 796008xxxx F IngJana 8.10.1979 F ŠTERGENÍKOVÁ 495722yyyy 22.07.1949 F JANA 8.10.1979 F Jana
g Štergeníková STERGENIKOVA Zapletalová Jana STERGENIKOVA Zapltalová
h 16000 16200 50003 16000 16000 50001
i Praha 6 PRAHA 6 Hrdec Králové Praha 6 PRHA Hra Král
j Malá 3 MALA 542/3 Úzká 2 Malá 3/542 MALA 3 Úzká 2
Reporty datové kvality (příklad 1.)
23
Reporty datové kvality (příklad 2.) 25,00%
20,00%
15,00%
10,00%
5,00%
0,00%
24
TOP 25 úřadů s neověřenými adresami
DQ agendových systémů
Agenda je primární zdroj informací i v ZR Datová kvalita není cíl, ale prostředek k správnému provozu agendy Nejde však jen o samotná data, ale i o lidi a procesy s agendou související
25
Cyklus řízení datové kvality
26
ADASTRA CZ Nile House Karolinská 654/2 186 00 Praha 8
www.adastragrp.com
Tel.: +420 271 733 303
[email protected] www.adastra.cz
27
ADASTRA GROUP North America
ADASTRA GROUP Europe
8500 Leslie St. Markham, Ontario, L3T 7M8 Canada Tel: +1 905 881 7946
[email protected]
Karolinska 654/2 186 00 Praha 8 Czech Republic Tel.: +420 271 733 303
[email protected]
O společnosti Adastra
28
Adastra Group – struktura společnosti
Adastra Group Adastra Canada
Adastra Germany Adastra Business Intelligence & DW
29
Adastra UK
Adastra Master Data Management
Adastra Slovakia
Adastra Application Development
Adastra Bulgaria
Adastra Czech
Data Quality CPM
Adastra v číslech 1 cíl – pomáháme firmám přeměnit jejich data v konkrétní obchodní příležitost a reálnou konkurenční výhodu
14 let na trhu 43,6 mil EUR – obrat ve fiskálním roce 2008 (98% služby) 7 kanceláří – vedení společnosti v Kanadě (Toronto) a České republice (Praha), další kanceláře: Německo (Frankfurt), Velká Británie (Londýn), ČR (Ostrava), Slovensko (Bratislava), Bulharsko (Sofie)
600+ zaměstnanců po celém světě 220+ úspěšných projektů v 16 zemích 75% výnosů od stávajících zákazníků 16 významných mezinárodních ocenění
30
Vybraní zákazníci společnosti Adastra
31
Česká správa sociálního zabezpečení Generální ředitelství cel Ministerstvo práce a sociálních věcí ČR Fakultní nemocnice Královské Vinohrady Nemocnice Kutná Hora Nemocnice Milosrdných Bratří, Brno Bawag Bank CZ Ferona Global Payments Europe Mediatel Raiffeisenbank/eBanka Tipsport Vodafone Czech Republic
Canadian Institute for Health Information Loblaw Companies Limited, Ontario, Kanada Ministerstvo zdravotnictví Kanada Ontario Energy Board Centennial Colege, Ontario, Kanada Deutsche Bank New York Raiffeisen Bank Aval, Kyjev KMB-Bank, Moskva Raiffeisen International, Vídeň
Ocenění a certifikáty
32
Adastra patří mezi TOP 10 ICT firem roku 2008 Adastra je mezi TOP 10 systémovými integrátory roku 2008 Adastra prošla recertifikačním auditem (Moody International) a obdržela certifikát ISO 9001 do roku 2010 Umístění v žebříčku Technology Fast 50 CE a Technology Fast 500 EMEA, sestavovaném společností Deloitte Jan Mrázek získal ocenění „Podnikatel roku 2008“ v kategorii Technology pro region Ontario v Kanadě a J. Červinka je Technologickým podnikatelem roku 2006 v ČR (Ernst & Young) Adastra obhájila certifikace „Microsoft Gold Partner“ a „Oracle Certified Partner“ Adastra získala status Platinum mezi „50 Nejlépe řízenými společnostmi v Kanadě“ Adastra Kanada se umístila v žebříčcích Top 25 Canadian IT Professional Services Companies a Top 250 Canadian Technology Companies (Branham Group)
33
