Vysoká škola ekonomická v Praze

Vysoká škola ekonomická v Praze Fakulta informatiky a statistiky Katedra informačních technologií

Student:

Radim Bukovský

Vedoucí bakalářské práce :

Ing. David Slánský

Oponent bakalářské práce :

doc. Ing. Jan Pour, CSc.

TÉMA BAKALÁŘSKÉ PRÁCE

Vliv číselníků na kvalitu firemních dat

ROK : 2009

Prohlášení

Prohlašuji, že jsem bakalářskou práci zpracoval samostatně a že jsem uvedl všechny použité prameny a literaturu, ze kterých jsem čerpal.

V Praze dne 17.06.2009

............................ .......................... podpis

1

Poděkování Rád bych na tomto místě poděkoval všem, kteří mi buď přímo nebo nepřímo pomáhali v tom, abych získal cenné znalosti a zkušenosti a ty pak mohl promítnout do práce, kterou právě čtete. Díky jejich radám, připomínkám a názorům, které zaměstnávaly mé myšlení více než půl roku, jsem získal přehled o tom, co se skrývá pod termíny Data Quality a Data Cleansing. Děkuji zejména Davidovi Slánskému a to nejen za vedení této práce. Díky Davidovi jsem poznal společnost Adastra s.r.o.1 a Ataccama Software s.r.o.2 Právě v Ataccamě jsem strávil v roce 2008 šest velmi zajímavých měsíců. Pracoval jsem tam na pozici analytika datových zdrojů (Data Source Analyst). Dále děkuji svému bývalému přímému nadřízenému Markovi Poláškovi (Vice president, Products) za příležitost poznat oblast, o kterou jsem se zajímal. Nemohu rovněž opomenout poděkovat Jiřímu Jarošovi (Deliver Manager), člověku, který se mnou byl nejvíce v kontaktu během mého působení v Ataccamě. Jiří byl takovým mým koučem a pod jeho vedením jsem se mnohému užitečnému naučil. Za to mu patří velký dík. Děkuji také všem ostatním bývalým kolegům z Ataccamy a Adastry za projevenou podporu, za důvěru, za možnost spolupracovat se zkušeným týmem vývojářů a implementátorů.

1

Adastra s.r.o. - http://www.adastra.cz

2

Ataccama Software s.r.o. - http://www.ataccama.com

2

Cíl Cílem bakalářské práce je seznámit čtenáře s hlavními úlohami, vlastnostmi a důležitostí číselníků při zajišťování kvality dat ve firemních databázích. Na téma bude pohlíženo jak z pohledu implementátora datové kvality, tak i jeho zákazníka.

Abstrakt Tato práce je určena všem zájemcům o informace z oblasti datové kvality (konkrétněji z oblast čištění dat). Každý, kdo má zájem se dozvědět něco více o číselnících, které do datové kvality neodmyslitelně patří, je vítán. Bude mu nabídnuto nahlédnutí do kuchyně lidí pracujících nejen na jejich tvorbě a správě, ale také na jejich reálném nasazení na konkrétních projektech. Také se zde dozvíte detaily o tom, jak mohou číselníky skrze datovou kvalitu pomoci firmám k nižším nákladům a jak dokáží vyvolat lepší dojem ve svých klientech.

Klíčová slova: Číselníky, čištění dat, data, datová kvalita

Goal The goal of this bachelor‟s thesis is to introduce readers to main roles and the importance of etalons in data cleansing procedures in company databases. The subject of the thesis will be viewed from both the data quality implementator and its customer sides.

Abstract This thesis is dedicated to all persons who are interested in information of the data quality (especially the Data Cleansing). Everyone who wants to get to know more about etalons, the essential part of the data quality, is welcomed. The insight into everyday activities of people working not only on creating and administrating of etalons but also implementing them on particular projects is prepared for everyone. The reader will also gain detailed knowledge of how etalons could help companies with decreasing their costs and how etalons can make better impression to company‟s clients through the data quality.

Key words: Data, Data Cleansing, Data Quality, Etalons 3

Obsah 1

2

3

Úvod ............................................................................................................................... 7 1.1

Datová kvalita v dnešní době ................................................................................... 7

1.2

Důležitost datové kvality.......................................................................................... 7

1.3

Konsolidovaná budoucnost ...................................................................................... 8

1.4

Datová kvalita a zákazníci firem .............................................................................. 9

1.5

Příležitost nebo hrozba? ......................................................................................... 10

1.6

Klientská data ......................................................................................................... 11

1.7

Číselníky a datová kvalita ...................................................................................... 11

1.8

Proč číselníky a datová kvalita? ............................................................................. 11

Definování základních pojmů .................................................................................... 12 2.1

Číselník................................................................................................................... 12

2.2

Datová kvalita ........................................................................................................ 12

2.3

Software datové kvality.......................................................................................... 13

2.4

Nekvalitní data ....................................................................................................... 13

2.5

Čištění dat............................................................................................................... 14

2.6

Zlepšování datové kvality ...................................................................................... 14

2.7

Anonymní údaj ....................................................................................................... 15

2.8

Osobní údaj ............................................................................................................ 15

2.9

Implementační tým ................................................................................................. 15

Číselníky ...................................................................................................................... 16 3.1

Vznik číselníků....................................................................................................... 16

3.2

Vlastnosti číselníků ................................................................................................ 17

3.2.1

Popis................................................................................................................ 17

3.2.2

Zdroj ................................................................................................................ 18 4

3.2.3

Struktura.......................................................................................................... 18

3.2.4

Formát ............................................................................................................. 19

3.2.5

Kvalita záznamů ............................................................................................. 19

3.2.6

Důvěryhodnost ................................................................................................ 19

3.2.7

Úplnost ............................................................................................................ 20

3.2.8

Verzování ........................................................................................................ 20

3.2.9

Datum aktualizace........................................................................................... 21

3.2.10

Velikost ....................................................................................................... 21

3.2.11

Historie ........................................................................................................ 21

3.2.12

Umístění ...................................................................................................... 21

3.3

3.3.1

Bezplatné ........................................................................................................ 22

3.3.2

Placené ............................................................................................................ 24

3.3.3

Vlastní (interní) ............................................................................................... 24

3.4 4

5

Zdroje číselníků ...................................................................................................... 22

Správa číselníků ..................................................................................................... 24

Časté problémy s daty a jejich řešení ....................................................................... 26 4.1

Přepisování dat ....................................................................................................... 26

4.2

Nestrukturovaná data.............................................................................................. 27

4.3

Pomocné hodnoty ................................................................................................... 27

4.4

Neúplnost záznamů, zkratky .................................................................................. 27

4.5

Formáty záznamů ................................................................................................... 28

4.6

Duplicitní data ........................................................................................................ 28

Další postřehy z praxe ................................................................................................ 30 5.1

Přínosy kvalitních číselníků pro implementátora ................................................... 30

5.2

Přínosy kvalitních číselníků pro zákazníka ............................................................ 31

5

5.3

Jména a příjmení = snadné řešení? ......................................................................... 32

5.4

Možnost vzniku chyb při čištění ............................................................................ 34

5.5

Práce s anonymními a osobními údaji.................................................................... 34

6

Závěr ............................................................................................................................ 36

7

Seznamy ....................................................................................................................... 38

8

9

7.1

Slovník pojmů ........................................................................................................ 38

7.2

Seznam zkratek ...................................................................................................... 39

7.3

Seznam obrázků ..................................................................................................... 39

7.4

Seznam tabulek ...................................................................................................... 39

Zdroje .......................................................................................................................... 41 8.1

Literatura ................................................................................................................ 41

8.2

Internet ................................................................................................................... 41

Přílohy ......................................................................................................................... 43 9.1

Tudy cesta nevede .................................................................................................. 43

9.2

Ataccama - Data Quality Center (DQC) ................................................................ 44

6

1 Úvod 1.1 Datová kvalita v dnešní době Téma datové kvality je v posledních několika letech velmi diskutované a s postupem času o něm budeme určitě slýchávat ještě více. Zpracovává se čím dál větší množství dat a proto logicky dochází i k výskytu většího množství chyb při jejich zpracování a manipulaci s nimi. Pokud bude podíl nekvalitních dat na celkových firemních datech významný, pak jsou data jako celek nepoužitelná a mnohdy je pak lepší pořídit data nová, nežli se zabývat jejich čištěním. Stále častěji se setkáváme s otázkami pokládanými vlastníky a manažery firem, které mohou být podobné následujícím: „Jak definujeme kvalitu dat, se kterými pracujeme? Jak poznáme rozdíl mezi kvalitními a nekvalitními daty? Disponuje naše firma kvalitními daty? Co můžeme udělat pro to, aby naše data byla více kvalitní? Jak můžeme zajistit kvalitu na rozumné úrovni a za rozumnou cenu? Jak a o kolik nám kvalitní data sníží náklady? Jaký je finanční i nefinanční přínos udržování dat na kvalitní úrovni?“ Odpovědi na tyto otázky je vhodné znát, pokud to s monitorováním a zlepšováním datové kvality uvnitř firmy myslíme opravdu vážně. Pokud je neznáme, znamená to, že nemáme datovou kvalitu ve firmě pod kontrolou a že nemáme ani ponětí o tom, jak by jí šlo zlepšit. Kde není identifikován aktuální stav, nemohou být definovány ani kroky vedoucí ke zlepšení stávající situace.

1.2 Důležitost datové kvality Myslím si, že potřeba udržovat datovou kvalitu na přijatelné úrovni je pro firmy ze všech oblastí podnikání velice důležitá a časem na ní bude kladen ještě větší důraz. Ten, kdo jí udržovat nebude, bude brzy zahlcen „špinavými“ a mnohdy nepoužitelnými daty, jejichž množství bude v čase dále narůstat. Zejména pokud má firma větší počet klientů a potřebuje u nich udržovat aktuální a kvalitní záznamy, implementaci datové kvality se nemůže vyhnout. Lze namítnout opak. Ano jistě, ale vzhledem k tomu, jaké problémy jí to dříve či později způsobí, se jí rozhodně ignorace udržování kvalitních dat nevyplatí a to zejména z hlediska zbytečně vysokých nákladů a oslabení konkurenceschopnosti, což může mít fatální následky.

7

Data Warehouse Institute zveřejnil v roce 2004 zprávu3, která obsahuje informaci o tom, že 11 procent společností má konsolidovaná data napříč celou společností. Není toto číslo poměrně malé? Zbývající společnosti nepotřebují udržovat kvalitu dat? Možná nyní bude toto procento o něco vyšší, ale dříve či později se bude muset důsledně starat o svá data každá firma, která chce být na trhu úspěšná. Proto se domnívám, že společnosti zabývající se datovou kvalitou mají nyní velmi dobrou příležitost k tomu, aby se prosadily a vešly do povědomí co možná nejvíce firem, potenciálních zákazníků.

1.3 Konsolidovaná budoucnost Ve firmách dochází stále častěji k tomu, že jsou data z různých zdrojů transformována do centrálního úložiště, kde jsou uložena jako „jediná verze pravdy“.

Obr.1 – Systém SFA [DYCHÉ, 2006, str.12] 4

3

[10] ECKERSON W., In Search of a Single Version of the Truth

4

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 12.

8

Přístup, který se začíná v dnešní době uplatňovat, je reprezentován například systémy SFA (Sales Force Automation Systems)5. Jedná se o systémy, které potřebují být plněny daty z jiných, primárních, systémů (viz obrázek na předchozí straně) a to tak, aby dokázaly zajistit centralizované vyhledávání kontaktů, řízené zpracování příležitostí pomocí obchodních cyklů (Pipeline Management)6 a reportovací funkce.7 Všechna data v tomto systému musí být čištěna a unifikována. Ve spojení s integrací dílčích systémů společnosti do jednoho celku se setkáváme s pojmem Customer Data Integration (CDI). Je to soubor procesů, řízení, automatizace a schopností nutných ke standardizaci a integraci zákaznických dat pocházejících z různých zdrojů.8 Data Cleansing je součástí CDI.

1.4 Datová kvalita a zákazníci firem Vzpomínám si na případ starý několik let, kdy mi přišel do schránky dopis, kde bylo chybně uvedeno jméno a nepřesně napsaná adresa. Jakmile jsem ho dostal do ruky, samozřejmě jsem si toho ihned všiml. Psaní přišlo od jedné společnosti zabývající se reklamou. O to více mě chyby překvapily. Předpokládám, že jsem nebyl jediný, komu přišla obálka nadepsaná v podobné kvalitě. Zamyslel jsem se. Jak je možné, že si taková, poměrně velká, společnost může dovolit udělat takovou „botu“? Jsou nějaké postupy, které by šly použít k tomu, aby se takovéto chyby nestávaly či byly co nejvíce minimalizovány? O pár let později jsem se seznámil s IT oblastí označovanou jako Data Quality a v tu chvíli jsem si uvědomil, kde byl tenkrát ten pověstný zakopaný pes. Jistě se řada z vás setkala s podobnými chybami. Jak takové nepřesnosti zapůsobí na adresáta, který je mnohdy zároveň i odesílatelovým klientem? Takový přístup je krajně neprofesionální a vzbuzuje silnou představu laxního chování společnosti vůči svým klientů. K dobrému jménu společnosti to rozhodně nepřispěje. Posuďte sami, jaký to na nás, zákazníky, dělá dojem?

5

[20] Wikipedia, Sales force management system

6

[14] Toolbox for IT, Pipeline Management

7

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 12.

8

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 34.

9

Ztotožňuji se s tvrzením9, že podpora zákazníka a komunikace s ním je účinná pouze do té míry, do jaké má společnost přístup ke konzistentním a přesným datům o svých zákaznících. V návaznosti na to bych rád upozornil na výzkum společnosti Gartner z roku 200110, který prokázal, že kvalita CRM je pouze tak vysoká, jak je vysoká kvalita dat, se kterými CRM pracuje. Přitom služeb CRM v roce 2005 využívalo ve svých firmách zhruba 75 procent dotázaných řídících pracovníků11, což malý podíl rozhodně není.

1.5 Příležitost nebo hrozba? Ve kvalitě dat lze vidět jak hrozby, tak ale i příležitosti. Ten, kdo se zodpovědně věnuje budování čistoty ve svých datech bude později odměněn v podobě omezení problémů uvedených výše. Kdo bude kvalitu dat úspěšně ignorovat může být posléze ignorován vlastními klienty. Zde vzniká prostor pro společnosti zabývající se poskytováním řešení v oblasti datové kvality. Jejich práce spočívá v aplikování postupů, softwarových nástrojů a know-how na zákazníkova data (databáze) takovým způsobem, aby zajistili určitou, smluvně ošetřenou, úroveň kvality výstupu. Tímto výstupem jsou pročištěná data a různé druhy statistik obsahující přehledy o datech (kolik záznamů bylo opraveno a v jakých atributech, statistiky konsolidace, množství nepoužitelných dat a další). Klient pak vidí, co se s daty dělo a v jaké formě je dostal na výstupu (například v oblasti zákaznických dat vidí, kolik klientů lze jednoznačně identifikovat, kolik z nich identifikovat nelze atd.). Přestože jsme momentálně ve světové finanční krizi, tak si myslím, že na poptávku po produktech datové kvality to nebude mít negativní vliv, spíše naopak. Je pravdou, že je snaha snižovat náklady všude, kde to jde, ale na druhou stranu si chtějí společnosti v tomto nelehkém období minimálně udržet své stávající klienty. Některé z nich jsou ovšem odhodláni i k získávání některých klientů svých konkurentů. A právě při všech těchto aktivitách je nutné dbát zejména na kvalitu klientských dat. Díky „pročištění“ klientských dat se opraví překlepy, duplicity, nejednoznačné záznamy a podobně. To pak vede k tomu, že je umožněno snížit počet záznamů o klientech ve firemní 9

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 3.

10

[12] NELSON, S. a další, Gartner Research report, Customer Data Quality and Integration

11

[3] Bain & Company„s 2005 Management Tools survey

10

databázi a tím ke snížení nákladů například na rozesílání poštovních zásilek atd. Zvýšením kvality dat tak získáme významné úspory z pohledu nákladů.

1.6 Klientská data Aby bylo možné zjišťovat, zda jsou klientská data v pořádku z hlediska překlepů či existence (jména, příjmení, adresy, telefonní předvolby…), je třeba údaje z databází kontrolovat proti kvalitně sestaveným seznamům. Takovým seznamům se říká číselníky (etalony). Číselníky tvoří databázi určitých položek stejného charakteru (např. ženská jména, mužská jména, města, PSČ). Mohou být získávány a upravovány z veřejně dostupných zdrojů, placených zdrojů či z interních zdrojů společnosti a následně v kombinaci se vhodným softwarem použity k čištění dat z databází klientů. Klientská data jsou nejčastějším druhem čištěných dat.

1.7 Číselníky a datová kvalita Tímto se dostávám k tomu, o čem tato práce vlastně je. Pojednává o tom, jakou roli hraje úloha číselníků při zajišťování datové kvality. Na téma bude pohlíženo zároveň ze dvou úhlů pohledu. První z nich představuje pohled dodavatele (implementátora) datové kvality, který má mimo jiné na starosti sestavování a udržování číselníků. Bude probrána problematika tvorby číselníků, jejich správy a použití na projektech. Dočtete se zde také o příkladech z praxe a možná budete překvapeni, že některé věci, které by se mohly zdát na první pohled jasné a snadno řešitelné, mohou být skutečným oříškem. Druhým pohledem je pohled firmy, kde byla/je/bude datová kvalita implementována. Povíme si o tom, jaké pro ní bude mít praktické pozitivní přínosy.

1.8 Proč číselníky a datová kvalita? Rozhodl jsem se věnovat tuto práci právě číselníkům a datové kvalitě, protože věřím, že je to zajímavé a velice důležité téma nejen pro současnost, ale zejména pro budoucnost. Společnosti by měly přistupovat zodpovědně k datům, jelikož veliká část jejich bohatství je právě v nich. Zhruba půl roku jsem pracoval ve společnosti Ataccama Software s.r.o., kde jsem získal mnoho nových poznatků zejména z oblasti Data Cleansing, se kterými budou seznámeni čtenáři této práce. Naprostá většina prezentovaných informací pochází z mých vlastních zkušeností načerpaných v praxi. 11

2 Definování základních pojmů 2.1 Číselník Číselník (List Of Values, Etalon) je soubor dat určitého charakteru (jména, názvy ulic…) určený pro použití v určitém čase a prostoru (firma, stát …) sestavovaný za účelem jednoznačné identifikace dat v jiných souborech a databázích. Jedná se o určitý seznam neduplicitních hodnot (pokud možno co nejúplnější), které mohou být použity k ověřování dat z jiných zdrojů (například klientských databází).

Obr.2 – Číselník zemí12 [autor]

2.2 Datová kvalita Klasická definice datové kvality (Data Quality, DQ): Data splňují atributy, kterými jsou přesnost, úplnost, včasnost, jedinečnost a konzistentnost. Pokud pojmeme datovou kvalitu šířeji, pak můžeme říci, že datová kvalita je určitou funkcí definice dat, jejich prezentace a dat samotných.13

Obr.3 – Datová kvalita [autor] 12

[7] Český statistický úřad, Číselník zemí

13

[13] PIRKL David, VŠE, prezentace: Kvalita dat

12

Definice zahrnuje nejen definici dat, ale také specifikaci příslušné oblasti, do které patří, obchodní pravidla (Business Rules), která určují data a v neposlední řadě sem patří také procesy datové kvality. Data reprezentují obsah a ten je charakterizován dvěmi základními složkami - úplností a správností. Pro prezentaci dat je klíčová jejich dostupnost, včasnost a jednoznačnost.14 Všechny tři oblasti datové kvality musejí být na kvalitní úrovni.

2.3 Software datové kvality Software datové kvality je program, jehož pomocí probíhá zvyšování datové kvality. Může obsahovat například komponenty a pravidla na čištění či obohacování dat. Software dokáže pracovat s daty, která je třeba parsovat, čistit a unifikovat (jedná se zejména o klientská data). K tomu může využívat externí zdroje (například číselníky). Příkladem softwaru datové kvality je Data Quality Center 15 (DQC), který vyvíjí společnost Ataccama Software s.r.o (produkt dříve označován jako Purity pod hlavičkou Adastra s.r.o.). Ukázku softwaru můžete nalézt mezi přílohami této práce.

2.4 Nekvalitní data Nekvalitní data (Dirty Data16 nebo Bad Data17) jsou taková data, která nesplňují atributy (specifikace), nebo u nich nelze zaručit správnou interpretaci či nejsou žádným způsobem vhodná pro náš byznys. Problémy s daty mohou být dvojího druhu – obsahové a strukturální. Co se týká obsahu dat, problémy mohou nastat například z důvodů chybějících hodnot, chybně zanesených dat, překlepů, dat mimo danou doménu či nelegální datovou kombinací.18 Rodné číslo Jméno

Adresa

8405241234 Pavel Kopáč

Dělnická 154, P7, 18100

820721780- Tomáš Chytrý

Vysoko3kolská 34, Brno - město

error

U Dubu 5, Polní

Tab.1 – Ukázka obsahově nekvalitních dat [autor] 14

[13] PIRKL David, VŠE, prezentace: Kvalita dat

15

[8] Data Quality Center, popis produktu, květen 2009

16

[18] Wikipedia, Dirty Data

17

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 81.

18

[13] PIRKL David, VŠE, prezentace: Kvalita dat

13

Strukturální problémy s daty se mohou týkat zejména entitní integrity (Entitní integrita „zajišťuje jednoznačné určení každého řádku v rámci tabulky (primární klíč)“ [Databázový svět, 2004]) a referenční integrity (Referenční integrita sleduje cizí klíče. „Atribut nebo skupina atributů tvořící v jiné tabulce (relaci) primární klíč nemůže nabývat nepřípustných hodnot.“ [Databázový svět, 2004] ). 19 V datech se mohou nacházet také problémy v oblasti migrace a integrace v podobě duplicitních nebo chybějících záznamů. Rovněž může docházet k výskytu chyb při typové konverzi. Definice a standardy představují další oblast, ve které se setkáváme s problémy často způsobenými dvojznačností obchodních pravidel nebo existencí více formátů pro stejné atributy. Dále se zde mohou vyskytnout nesrovnalosti spojené s různým významem přiřazovaným stejně pojmenovaným atributům, s více kódy s totožným významem nebo s více informacemi v jednom atributu. 20

2.5 Čištění dat Čištění dat (Data Cleansing, nebo také Data Scrubbing) je činnost zahrnující nalezení a opravení (či odstranění) špatných nebo nepřesných záznamů ze souboru záznamů, tabulky nebo databáze. Využívá se zejména v databázích, kde slouží k identifikaci nekompletních, nepřesných, nerelevantních atd. částí, které jsou následně nahrazovány, modifikovány či odstraněny. Po čištění je soubor dat konzistentní ve vztahu s ostatními soubory dat v systému.21 Je to proces zajišťující správnost a přesnost dat.22 Při čištění dat je využíváno číselníků.

2.6 Zlepšování datové kvality Zlepšování datové kvality (Data Quality Improvement) je „proces zvyšování kvality dat na úroveň požadovanou pro podporu informačních potřeb organizace“.23

19

[9] Databázový svět, Vyvíjíme databázový a informační systém VIII.

20

[13] PIRKL David, VŠE, prezentace: Kvalita dat

21

[17] Wikipedia, Data Cleansing

22

[22] wiseGEEK, What is Data Cleansing?

23

[13] PIRKL David, VŠE, prezentace: Kvalita dat

14

2.7 Anonymní údaj „Anonymní údaje, jimiž jsou ty, které v původním tvaru nebo po provedeném zpracování nelze vztáhnout k určenému či určitelnému subjektu údajů (např. osobní údaje zařazené do velkých statistických souborů, které jsou zbaveny jména, příjmení a rodného čísla).“ [Businessinfo, 2009] 24

2.8 Osobní údaj „Osobním údajem se rozumí jakákoliv informace týkající se určeného nebo určitelného subjektu údajů. Subjekt údajů se považuje za určený nebo určitelný, jestliže lze subjekt údajů přímo či nepřímo identifikovat zejména na základě čísla, kódu nebo jednoho či více prvků, specifických pro jeho fyzickou, fyziologickou, psychickou, ekonomickou, kulturní nebo sociální identitu.“ [Businessinfo, 2009]

25

2.9 Implementační tým Implementační tým (implementátoři) je částí pracovního týmu. Má na starost zavedení (implementaci) řešení datové kvality u zákazníka. Je zodpovědný za koordinaci projektu aplikace datové kvality. Nemá tedy na starost vývoj softwarových nástrojů.

24

[4] Businessinfo, Ochrana osobních údajů

25

[4] Businessinfo, Ochrana osobních údajů

15

3 Číselníky 3.1 Vznik číselníků Na počátku vzniku nového číselníku existuje potřeba kontroly opakujících se hodnot v databázích klientů. Abychom mohli kontrolovat data, říci které záznamy jsou s největší pravděpodobností špatné a které nikoliv, potřebujeme je mít s čím porovnávat. Právě to je úloha číselníků.

Obr.4 – Proces vzniku číselníku [autor]

Tato potřeba je sdělena člověku, který se stará o číselníky (bývá to buď tzv. správce číselníků a nebo jiná pověřená osoba z implementačního týmu). Tento kolega přijme požadavek jako výzvu a jeho úkolem je definovat dle požadavků číselník, který bude potřeba vytvořit. Dále je nutné zmapovat všechny možné dostupné zdroje, ze kterých by šlo požadovaný číselník sestavit. Analyzují se jak volně dostupné zdroje, tak i zdroje placené (jde v převážné většině o internetové zdroje či zdroje poskytované firmami k jejichž nabídce se prostřednictvím internetu dostaneme). Správce číselníku pomocí analýzy učiní určitý závěr sdělující možnost (popřípadě nemožnost) sestavit nový číselník. Analýza zahrnuje nejen uvážení toho, zda využít zdroje placené či dostupné zdarma, ale také je nutné zohlednit časové hledisko. Jak rychle potřebujeme mít číselník k dispozici? Pokud nás tlačí čas, 16

můžeme využít služeb o něco dražšího poskytovatele, který je schopný nám dodat data prakticky okamžitě po obdržení platby. Poté, co jsou vybrány zdroje, ze kterých bude tvůrce číselníku čerpat, stanoví se struktura číselníku (definování sloupců), která je následně plněna daty. Tímto způsobem vznikne nový číselník, který může být později rozšiřován dle potřeby.

3.2 Vlastnosti číselníků U číselníků je třeba sledovat řadu jejich vlastností. Pokud bychom měli pouze databázi, kde by byly číselníky uvedeny pouze jako seznam, nic by nám to neřeklo a nikdo by se v nich nevyznal. Nepřehlednost by pak vzrůstala nejen s tím, kolik bychom měli číselníků vztahujících se k určité problematice (např. číselníky jmen osob, číselníky PSČ …), ale také s počtem teritoriálních oblastí, kde bychom služby datové kvality nabízeli (ČR, Bulharsko, Kanada, USA …).

3.2.1 Popis Je nezbytné vědět, jaké informace se v konkrétním číselníku nacházejí. Popis by měl být shrnutý do několika málo vystihujících vět, aby člen implementačního týmu pracující na projektu, byl rychle obeznámen s tím, co číselník obsahuje a byl schopen podle popisku poznat, zda se mu hodí či nikoliv, aniž by musel tento soubor otevírat

(číselník bývá

sestavován buď správcem číselníků a nebo jiným členem implementačního týmu). Příliš dlouhý popis je naopak kontraproduktivní, jelikož by bylo pro implementátora rychlejší soubor s číselníkem prozkoumat přímo jeho otevřením. Popis číselníků by měl být veden ve vhodném jazyce (popřípadě ve více jazycích) s ohledem na vnitřní prostředí implementátorské firmy (na zaměstnance, kteří s nimi budou pracovat). V dnešní době, kdy firmy zaměstnávají i množství zahraničích pracovníků, by měl být popis číselníků veden především v angličtině. V případě oblasti IT je angličtina nejvhodnějším jazykem. Tento (majoritní) jazyk lze doplnit podle potřeby lokálním (např. češtinou), ale ten by neměl obsahovat rozdílné či dokonce konfliktní informace se záznamy v angličtině. Při volbě jazyků je důležité myslet na budoucnost. Přestože například nyní ve firmě nepůsobí žádný cizojazyčný zaměstnanec, neznamená to, že se to nemůže v brzké době změnit. Dalším důvodem, proč udržovat popisky v anglickém jazyce, je potenciální možnost prodeje společnosti jinému vlastníkovi. Informace, které budou zaznamenány v angličtině 17

budou mít pro něho určitě vyšší hodnotu. Zejména pokud se bude jednat o zahraničního investora.

3.2.2 Zdroj Vždy potřebujeme vědět, odkud jsme určitý číselník, nebo jeho část, získali. Je to důležité nejen pro pozdější aktualizace, ale také pro definování důvěryhodnosti číselníku, který se odvozuje právě podle jeho zdroje. Každý číselník může mít jeden či více zdrojů a to jak závislých, tak i nezávislých. Zdrojem může být například nějaké volně přístupné webové rozhraní, ftp server či konkrétní firma disponující daty, která potřebujeme. Kromě zdroje firmy jako celku je dobré zaznamenat ke zdroji číselníku například také to, s jakou konkrétní osobou bylo o poskytnutí číselníků vyjednáváno. Pokud má společnost, ze které chceme data získat, více konzultantů, nalezneme tak snáze toho, s kým jsme před časem komunikovali a vyhneme se tak ztrátě času vysvětlováním něčeho, co již jednou vysvětlováno bylo. U firem, od kterých plánujeme nakupovat data, je důležité si pečlivě ověřit, zda vůbec existují. V praxi to znamená ověřit si minimálně jejich sídlo a oblast působnosti. Ideální způsob ovšem spočívá v telefonickém kontaktu. Nemusí být nijak dlouhý, stačí pár minut. Toto ověření zdroje pracuje i v náš prospěch, protože tím vzbudíme větší důvěryhodnost nás samotných. Tím se nám může také otevřít více prostoru pro vyjednávání.

3.2.3 Struktura U číselníků je dobré zanechávat popis struktury dat, která se v něm nachází. Základní informace se týkají použitých datových typů. Dále je vhodné vědět, zda jsou hodnoty v číselnících zapsány s diakritikou či bez ní (např. v případě češtiny) a nebo zda jsou psány latinkou či pomocí azbuky (ruština). Musíme dávat pozor na správné kódování příslušného jazyka. Můžeme se setkat například i se jmény v různých abecedních přepisech současně. Popis struktury číselníku je velice důležitý v případě, že má být využit v praxi a je snaha napojit číselník na software datové kvality. Pokud bude struktura špatně popsána, mohou se nám data „natažená“ do softwaru datové kvality poměrně snadno rozsypat a dostaneme nesmyslný výstup.

18

Kromě toho je popis struktury potřebný také pro případné transformace jednoho číselníku do jiného číselníku (číselníků) či při dělení jednoho číselníku do více číselníků.

3.2.4 Formát Formát souborů číselníku může být různý. Číselníky se nejčastěji se vyskytují v souborech textových a databázových (txt, csv, xls…). Některé druhy DQ software umí pracovat se svými vlastními formáty, které jsou pro zpracování dat optimální. Podle formátu číselníku se určuje postup, jakým bude číselník „natažen“ do softwaru datové kvality, pomocí kterého se budou data čistit. Je vhodné oddělovat „surové“ číselníky (číselníky získané z různých zdrojů) a číselníky „předpřipravené“ (obsahují data získaná z více zdrojů v jednom souboru a jsou ve formátu, se kterým dokáže DQ software nejlépe pracovat – zde je důležitá zejména rychlost zpracování).

3.2.5 Kvalita záznamů Kvalita záznamů v číselnících se určuje podle toho, zda jsou jednotlivé položky zapsány stejným způsobem (např. všechny záznamy jsou uvedeny malými písmeny vs. některé záznamy jsou uvedeny malými a některé velkými písmeny) a jestli jsou zapsány korektně (zjišťujeme, zda opravdu všechny záznamy do číselníku patří a zda neobsahují překlepy či jiné chyby). Záznamy v číselníku mohou být původem z rozdílných zdrojů, proto je důležité při přidávání dalších položek dbát na datovou konzistenci. Musíme dávat pozor na to, aby se nám do číselníku nedostala data, která tam nemají co dělat. Kvalita záznamů bývá mnohdy lepší u komerčních produktů, než u volně dostupných, ale pravidlem to být vždy nemusí (například když firma prodává číselník získaný spojením dat z několika zdrojů dohromady bez dostatečně kladeného důrazu na vytvoření konzistentního celku).

3.2.6 Důvěryhodnost Důvěryhodnost číselníku odvozujeme většinou od důvěryhodnosti zdroje, od kterého daný číselník pochází. Pokud jsou jeho záznamy sestaveny z rozdílných zdrojů, postupujeme obezřetně. Je vhodné nemíchat záznamy z důvěryhodných zdrojů se záznamy zdrojů výrazně nižší důvěryhodnosti. V takové situaci lze doporučit vytvoření číselníku samostatného, odděleného. 19

Za důvěryhodné lze pokládat číselníky získané z vládních organizací a ze společností, o kterých lze získat pozitivní reference (většinou z internetu či od jejich zákazníků). Vhodné je pátrat i po tom, z jakých zdrojů společnost, od které chceme nakoupit číselníky, čerpala svá data. Od těchto zdrojů rovněž odvozujeme celkovou důvěryhodnost výsledného číselníku (tzv. důvěryhodnost druhého stupně). Je třeba dávat pozor na jeden důležitý fakt. Důvěryhodnost číselníků nezaručuje kvalitu jejich záznamů. Nicméně u důvěryhodnějších zdrojů je vyšší pravděpodobnost dosažení kvalitnějších dat. Odlišná situace může platit u důvěryhodnosti druhého stupně. Zde nastává nejen otázka, ze kterých zdrojů bylo primárně čerpáno, ale také jakým způsobem upravil náš zdroj jeho primárně získaná data. Nejsou data příliš změněna oproti původnímu zdroji? Nejsou informace obsažené v nich příliš „osekané“ (např. seznam měst ze kterého byly odstraněny geografické souřadnice)? Není do dat, do číselníků, zanesena nečistota (špatně provedenou integrací primárních zdrojů…)?

3.2.7 Úplnost Některé číselníky (zejména ty menších rozsahů, kterými jsou například akademické tituly) lze dostat do stádia, kdy budou s největší pravděpodobností úplné. Jiné, rozsáhlejší číselníky, do takového stádia v podstatě nikdy nedostaneme vzhledem k velkému počtu rozdílných položek (například křestní jména a příjmení v USA a Kanadě). U takových číselníků dochází k neustálému rozšiřování počtu položek a úplnost je těžké odhadovat. Mnohdy neexistují žádné přímé informace o tom,do jaké míry je konkrétní číselník úplný. Je úplný ze sedmdesáti nebo čtyřiceti procent? Nevíme. Jak tomuto nedostatku čelit? Poměrně těžko, ale určité odhady lze provádět pomocí využití mnoha různých nepřímých informací, pokud se jim věnuje dostatek času. Nicméně otázkou je, zda je pro nás důležitější práce na tom, abychom získali obsáhlejší číselník a nebo po týdnech či měsících shromažďování informací zjistili, že máme pokryto zhruba šedesát procent výskytu místo sedmdesáti, který jsme předpokládali.

3.2.8 Verzování Verzování je důležité z hlediska přehledu o vývoji číselníku. Kromě toho, že vidíme jaká verze je aktuální, můžeme vystopovat i změny, které proběhly mezi jednotlivými verzemi.

20

Starší verze je vhodné skladovat odděleně, ale nicméně tak, aby k nim byl v případě potřeby dostatečně rychlý přístup. Starší verze číselníků mohou být vyhledávány, pokud je podezření na chybu v nové verzi a tuto skutečnost je třeba ověřit pomocí předchozí verze. Dále bývají používány při testování nových verzích DQ softwarových nástrojů (zda lze k nové verzi DQ úspěšně připojit a využít i starší verze číselníků).

3.2.9 Datum aktualizace U každého číselníku potřebujeme znát datum, kdy byl naposledy aktualizován, kdy byly do něho přidány či z něho odebrány některé záznamy (přidány nově zjištěné, odstraněny ty co již neplatí). Tady si s verzováním nevystačíme. Datum aktualizace nám většinou řekne více než číslo verze. Člena implementačního týmu na projektu spíše uspokojí informace o tom, že byl číselník aktualizován zhruba před dvěma týdny nežli fakt, že se jedná o verzi dvanáct.

3.2.10 Velikost U číselníků je důležité vědět nejen to, kolik má záznamů, ale také jeho velikost a to z toho důvodu, aby bylo možné předem odhadnout, jak bude dlouho zpracováván příslušným softwarem datové kvality. Nutno podotknout, že velikost číselníků se může značně lišit v závislosti na typu souborů, ve kterých jsou uloženy.

3.2.11 Historie Praxe ukázala, že je dobré zaznamenávat historii používání jednotlivých číselníků. Ze záznamů je pak na první pohled vidět, kdy, kde, kým a za jakým účelem byl číselník použit. Tyto historické záznamy je vhodné opatřit také poznámkami, ve kterých se uživatel číselníku vyjádří k jeho obsahu. Může zde doporučit jeho rozšíření, vyzdvihnout jeho kvalitu či ho označit za nevhodný a nevyužitelný. Pomocí evidované historie lze dohledat, který kolega s určitým číselníkem pracoval a v případně dotazů ho máme možnost kontaktovat. Odpadá tak proces zdlouhavého vyptávání se kdo, kdy a při jaké příležitosti určitý číselník použil.

3.2.12 Umístění Vždy musí být jasné, kde je fyzicky číselník umístěn (server, médium). Musí být vždy zajištěna jeho dostupnost v aktuální verzi. Při práci na projektech „v terénu“ není čas řešit 21

zbytečné problémy týkající se umístění (vhodné je mít číselníky uloženy i na záložním serveru, stejně jako ostatní data, kdyby se na primárním vyskytl problém s dostupností).

3.3 Zdroje číselníků 3.3.1 Bezplatné Některé číselníky jsou dostupné zcela zdarma z externích zdrojů. Nejčastějším zdrojem bezplatných číselníků je internet. Při troše hledání lze najít zajímavé, zdarma dostupné informace a seznamy, které můžeme pro vytváření číselníků použít. V České republice jsou skrze státní správu poskytovány rozsáhlé registry, statistiky a databáze, které lze využívat. Dle zkušeností, které jsem získal při komunikaci s některými úřady států uvnitř i vně EU, si odvažuji říci, že co se týká oblasti dostupnosti základních informací o obyvatelstvu a územních registrů, jsme na tom velice slušně. Kromě toho jsou tyto zmíněné informace poskytovány našimi úřady bez úplaty. V následujících odstavcích uvádím nejzajímavější bezplatné zdroje dat v ČR. Český statistický úřad (ČSÚ) Jedním z cenných zdrojů číselníků a podkladů k nim je bezpochyby Český statistický úřad. Poskytuje například registr ekonomických subjektů na území ČR (RES) a číselníky samosprávních jednotek (obce, městské části, správní obvody hl.m. Prahy atd.). Ministerstvo vnitra České republiky (MV ČR) MV ČR poskytuje na svých stránkách seznamy jmen a příjmení osob (včetně četností), kteří žijí na území ČR. Tento seznam je ročně aktualizován a je vhodný jako základ k sestavování číselníku jmen a příjmení osob v rámci České republiky.

Obr.5 – Četnost příjmení mužů v ČR k 1.9. 2008 26 [autor]

26

[11] Ministerstvo vnitra ČR, Četnost příjmení mužů v ČR k 1.9. 2008

22

Česká pošta (ČP) Pošta poskytuje volně stažitelné podklady pro sestavení poštovních směrovacích čísel a seznamy poštovních míst v ČR.

Obr.6 – Číselník pošt27 [autor]

Ministerstvo práce a sociálních věcí ČR (MPSV ČR) Velice důležitým zdrojem pocházejícím od tohoto ministerstva je bezesporu územně identifikační registr adres České republiky označovaný zkratkou UIR-ADR. Obsahuje seznamy objektů, obcí, částí obcí, obvodů, okresů, krajů, ulic a tak podobně. Pomocí těchto podkladů lze sestavovat tzv. adresní body, které jednoznačně identifikují „vchod do domu“. Cílem je, získat seznam všech adresních bodů a tento seznam pravidelně aktualizovat. Každý týden jsou v registru prováděny aktualizace. V případě potřeby lze dohledat i starší verze registrů, které jsou rovněž dostupné pomocí webového rozhraní. Data registru jsou dostupná i na kompaktních discích. Česká národní banka (ČNB) Z webových zdrojů ČNB lze využít například seznam bankovních institucí působících na našem území.

Obr.7 – Číselník bankovních ústavů28 [autor]

27

[6] Česká pošta, Seznam poštovních míst v ČR.

28

[5] Česká národní banka, Číselník účastníků platebního styku v České republice

23

Kromě samotných názvů jsou zde také uvedeny jejich bankovní předvolby, BANIS 29 a SWIFT 30 kódy.

3.3.2 Placené Pokud je třeba zajistit číselníky velkých rozsahů či číselníky špatně dostupných informací, je třeba využít placených služeb. Příkladem placených informací jsou databáze firem, geografické souřadnice, seznamy ulic, měst a další. Spolupráce s firmami zabývající se tvorbou geografického softwaru je velice vhodná zejména při budování číselníků adresních bodů v oblastech, kde není možné získat data jiným způsobem (například z pošt nebo úřadů). Nesmíme ovšem předpokládat, že placená data jsou vždy kvalitnější, než ta, která jsou volně dostupná na internetu (pokud dostupná jsou). Někdy tomu tak nebývá. V praxi se například ukázalo, že data z celostátní pošty určité země byla nejrozsáhlejší, nejlevnější a obsahovala nejvíce informací. Ale na jejich přeměnu do použitelné formy, aby mohly být využity DQ softwarem, bylo potřeba provést mnoho transformací a úprav. Některé společnosti prodávají data za vyšší částky, jenže jsou už předem „oholená“ (to může být výhoda, ale i nevýhoda). V tomto případě se ukázalo, že by nebylo od věci si pár set EUR připlatit.

3.3.3 Vlastní (interní) Uvnitř společnosti můžeme tvořit vlastní číselníky. Tvoříme zejména takové, které buď neexistují a nebo jsou zbytečně drahé na to, aby byly nakupovány od nějakého zdroje. Výhodou je, že máme sestavené určité seznamy, které konkurence nemá, ale na druhou stranu nás to stojí náklady v podobě lidí, kteří se na tvorbě číselníků podílejí.

3.4 Správa číselníků Číselníky je třeba spravovat, aby byla zachována jejich co nejvyšší možná úroveň. V tom, co není kvalitně spravováno, se začínají vyskytovat, dříve či později, problémy. Za účelem správy číselníků je vhodné zavést funkci jeho správce. Zejména pokud pracujeme na více projektech najednou a s větším počtem číselníků. Správce číselníku by měl mít přehled o všech číselnících, které se ve firmě vyskytují. Měl by být schopen spolupracovat se členy 29

BANIS - Identifikační kód bank v ČR. Je čtyřmístný, uvádí se za číslem účtu (za lomítkem).

30

SWIFT - Identifikuje banku, slouží k přesnému směřování platby v mezinárodním platebním styku.

24

implementačního týmu pracujících na projektech. Správce vytváří podporu (support) pro implementační tým v oblasti číselníků a je zodpovědný za jejich stav a používání. Na pozici správce je třeba umístit pečlivého a komunikativního člověka se smyslem pro detail.

25

4 Časté problémy s daty a jejich řešení 4.1 Přepisování dat Nejvíce chyb vzniká při přepisování do počítače za přítomnosti lidského faktoru. Problémy s těmito chybami jsou viditelné zejména v prostředí Call center. Může docházet jak k překlepům (Bukovskž, Sl8nský), tak i k přeslechům (Dukovský), či chybám v transkripci (Bukowski) nebo chybám, kdy jsou zadány údaje do špatné oblasti formuláře (například jméno místo příjmení, nebo rodné číslo místo příjmení). Stává se také, že zadávající osoba uvede do databáze záměrně či nezáměrně nesmyslné údaje (například jméno: „zemřel dne 19.8.“ či „?“). Rovněž se zde vyskytují problémy s diakritickými znaménky. Rodné číslo

Jméno ? Radim Bukovskž

Visa electron David Sl8nský

Adresa Bukolská 773/8, Praha 8, 181 00 -

8405241234 Jan Nemakačenko Podstoly Pami 24 24.5. 1971 Vladimíř Novák

Dělnická 154

Tab.2 – Chyby v přepisu dat [autor]

V praxi se člověk setkává s mnoha různými překlepy či přeslechy. Jeden z mých oblíbených záznamů, který se vyskytl u jednoho klienta v databázi, se týkal názvu slovenské obce „Pod 100 Lipami“, která byla v klientských datech uvedena pod řetězcem „Podstoly pami“. Nevím, jakého umělce v Call-centru napadla tato dvě netradiční slova, ale je jasné, že společnost tato kreativita příliš nepotěšila. Opravování takových druhů datové nečistoty lze provádět poměrně snadno pomocí pravidel implementovaných v DQ softwaru, příslušných číselníků a replacementů (replacement je zvláštní případ číselníku, kde jsou definovány dvě hodnoty pokud je první z nich nalezena v databázi, je nahrazena druhou uvedenou). Napřed je zjišťováno, zda daný řetězec může být jménem či příjmením (a s jakou pravděpodobností) a poté může být chybně zadaný údaj upraven (například Bukovskž na Bukovský). Můžeme ovšem narazit na některá méně používaná jména (jako například mužské jméno Vladimíř), která by mohla být při neznalosti českých jmen považována za překlep a mohla by být nesprávně opravena (v tomto případě na poměrně známé jméno Vladimír). Při sestavování číselníků a replacementů proto musíme postupovat obezřetně. 26

4.2 Nestrukturovaná data Data jsou do informačního systému společnosti zadávána často nestrukturovaně. Celá adresa se mnohdy vyskytuje v jediném řádku, občas i se souvisejícím jménem zákazníka. Je nutné je separovat a každý údaj porovnávat s číselníky a ověřovat po částech jejich správnost. Mezi záznamy v databázi můžeme nacházet řetězce znaků, které tam jsou navíc. Jedná se buď o nesmyslné poznámky („?“, „qwertz“…) nebo o hodnoty, které patří do jiné části databáze (například se mohou vyskytovat tituly či rodná čísla v částech vyhrazených pouze jménům). V takovém případě je nutné vzít celý řetězec obsažený v záznamu a „roztrhat“ ho na jednotlivé části podle separačních pravidel (pravidla dokáží například identifikovat, zda je část řetězce jméno, příjmení, adresa a nebo nesmysl). Takové údaje je nutno zařadit tam, kam patří, popřípadě je zcela odstranit. Některé dílčí řetězce jsou kontrolovány pomocí přímého porovnávání s číselníkem (jména, adresy, telefonní předvolby…). Rodné číslo Křestní jméno

Příjmení

Město

8405241234 Bukovský

Radim

Bukolská 773/8, Praha, 18100

Tomáš Chytrý

Vysokoškolská 34

qwertz ? Jan Nemakačenko 8405241234

Praha Dělnická 154

17100

Tab.3 – Nestrukturovaná data [autor]

4.3 Pomocné hodnoty V datech se mohou vyskytovat automaticky (nebo ručně) zadávané hodnoty, které jsou pouze pomocné a nemají žádný význam (například se jedná o data jako 1.1. 1900). Tyto hodnoty je třeba identifikovat jako pomocné a v žádném případě s nimi nepracovat jako se skutečnými. Takový přístup by mohl způsobit komplikace a nesrovnalost. Na pomocné hodnoty je dobré mít také nějakou formu číselníku. Nemusíme pak neustále myslet na to, že bychom mohli na některou z nich zapomenout.

4.4 Neúplnost záznamů, zkratky Problémem je i neúplnost záznamů a výskyt zkratek. Při absenci základních identifikačních hodnot se stává neúplný záznam neidentifikovatelným. Zkratky se snažíme převádět do

27

standardizovaných názvů.31 To ovšem není vždy jednoduché, zkratky jsou mnohdy ošemetnou záležitostí. Představuje zkratka „J. A. Komenský“ opravdu Jana Amose Komenského? V tomto případě je to poměrně zřejmé, ale co takový P. Novák. Je pan Novák křestním jménem Petr, Pavel, Prokop a nebo mu říkají úplně jinak? Problém zkratek se vyskytuje zejména u adres a pak také u křestních jmen. U názvů ulic nebo náměstí můžeme využívat sady replacementů, které nám převádí různá tvary jednoho zeměpisného místa na jednotný, standardizovaný název. Není výjimkou, že k jednomu náměstí či ulici existují desítky variant zápisu. I s nimi se musí dokázat experti na datovou kvalitu vyrovnat. Pokud bereme v úvahu zkratky křestních jmen složené pouze z prvního písmene, tak se jedná o zkratky v podstatě neidentifikovatelné. Rodné číslo Křestní jméno

Příjmení

Adresa

8405241234 R.

Bukovský

Bukolská 773/8, Praha, 18100

Tomáš

Praha

8858124758 Kateřina

Veliká

Náb. Kpt. Jaroše

Antonín

Kulatý

U Libeň. Zám. 3, P8, 180 00

Tab.4 – Neúplnost záznamů, zkratky [autor]

4.5 Formáty záznamů Různé formáty záznamů mohou být také problémem. Například rodné číslo lze napsat mnoha způsoby. My ho ovšem potřebujeme upravit do standardizovaného tvaru a to hned poté, co budou jednotlivé části rodného čísla identifikovány. U rodného čísla může být část s uvedeným rokem narození porovnána s datem narození. Rodné číslo může být zapsáno například jako 840527/5430, 8405275430 nebo 840527-5430. Další problémy se vyskytují v podobě nestandardních formátů dat, hodin, letopočtů atd. Můžeme se setkat s ekvivalentními zápisy téhož: 11. prosince 2005, 11. pros. 05, 11. 12. 2005, 11. 12. 05 a podobně. Víme, že jde o stejný den, ale musíme to naučit rozeznávat i náš software a to i za přispění číselníků.

4.6 Duplicitní data Pokud pracujeme s daty, nevyhneme se problémům způsobenými duplicitními daty. Představme si, že máme databázi v níž máme jednoho klienta zaznamenaného vícekrát a nebo 31

[1] DYCHÉ, J., LEVY, E., Customer Data Integration – Reaching a Single Version of Truth, s. 95.

28

více databází s identickým klientem, ale o souvislostech mezi záznamy nevíme. Duplicitní data (záznamy) nemusejí být na první pohled zřejmá. Vezměme si například dva záznamy téhož klienta. V prvním z nich bude uvedeno jméno, příjmení, rodné číslo, telefonní spojení, email a adresa. Ve druhém bude uvedeno pouze město, ulice a rodné číslo. Tyto všechny tři položky se budou v obou případech shodovat. Vidíme, dle rodného čísla, že se jedná o duplicitní záznamy, i když na první pohled to nemuselo být tak zřejmé. Rodné číslo Jméno Kateřina Veliká

Adresa 170 00, Praha 7, Nábř. Kpt. Jaroše 7

8858124758 Kateřina Veliká

Nábřeží Kapitána Jaroše 7, Praha 7, 170 00

7312127845 Tomáš Šilhavý

U Libeňského zámku 5, Praha 8, 180 00

7312127845 Tomáš Šilhavý

U Libeňského zámku 5, Praha 8 Tab.5 – Duplicitní data [autor]

Předcházející tabulka obsahuje na první pohled dvě osoby, z nichž je každá uvedena duplicitně. Jenže na druhý, pozornější pohled, si může bystřejší pozorovatel všimnout určité nejednoznačnosti. Zatímco řádky s Tomášem Šilhavým se téměř shodují (kromě PSČ), záznamy Kateřiny Veliké se shodovat zcela nemusejí. Není zde totiž shoda v rodném čísle, které je používáno jako jedinečný identifikátor osoby. S největší pravděpodobností bychom se při sloučení těchto záznamů nedopustili chyby, pokud by ovšem na dané adrese nesídlilo více Kateřin Velikých.

29

5 Další postřehy z praxe 5.1 Přínosy kvalitních číselníků pro implementátora Číselníky jsou bohatstvím a pro společnost zabývající se čištěním dat (DQ společnosti) představují jeden ze základních pilířů, na kterých staví svoji existenci. Pomocí kvalitně poskytovaných služeb si firma buduje image a pověst v odvětví, ve kterém se pohybuje, v oblasti, kde se snaží generovat zisk. Pokud firma, kde bylo čištění dat implementováno, bude s výsledkem spokojena, je velmi pravděpodobné, že využije ověřené služby znovu. Firmy stále pracují s množstvím dat a proto jejich čištění nemohou považovat pouze za jednorázovou akci, pokud je chtějí mít v co nejlepším pořádku. Důležité je si uvědomit, že pouze spokojený zákazník se znovu vrátí a na to se soustředit. Kvalitní číselníky mohou také znamenat pro firmu otevření nových možností. Například se může jednat o spolupráci s firmami zabývajícími se geografickou činností. Geografické společnosti mohou poskytovat implementátorovi datové kvality podklady pro tvorbu číselníků (např. územního registru) z vlastních zdrojů (disponují seznamy ulic, měst atd.). DQ společnosti si ze získaných informací vybudují číselníky příslušné oblasti a ty se stanou součástí jejich majetku. Na oplátku mohou DQ společnosti nabídnout svému obchodnímu partnerovi například službu takového typu, že se zaváží k hledání nesrovnalostí v jimi dodávaných

geografických datech (duplicity, chybějící záznamy…). O zjištěných

skutečnostech pak budou podávány více či méně pravidelné reporty. Taková spolupráce se jeví jako oboustranně výhodná. Zde je velice důležitá, již dříve zmiňovaná, pověst mající vliv na důvěryhodnost a to nejen z pohledu firmy zajišťující datovou kvalitu (poskytuje kontrolu dat), ale také geografické společnosti (poskytuje data pro tvorbu číselníku). Výsledná vyčištěná data budou tak kvalitní, jak kvalitní budou číselníky a algoritmy, které se při čištění použijí. Bez číselníků můžeme sice aplikovat různá pravidla (např. využívání různých paternů, třídících algoritmů), ale nemáme roztříděné hodnoty s čím porovnat a ověřit tak jejich správnost. U některých hodnot, jako je třeba datum, není třeba používat žádné číselníky, ale naopak například u adres či jmen se jejich použití nevyhneme. Z pohledu číselníků je rovněž důležitá jejich rozmanitost. Čím více budeme mít číselníků z různých oblastí podnikání a veřejné správy (územní registry, zdravotnictví, finanční sféra...), 30

tím získáme širší spektrum potenciálních zákazníků, ze kterých můžeme vybírat. Zde ovšem pozor na to, aby nebyla kvalita jednotlivých číselníků vykoupena jejich vyšší kvantitou. Je lepší disponovat menším počtem kvalitních číselníků. Proto je dobré postupovat důkladně a nejprve se zaměřit na klíčové číselníky (používané na většině projektů) a nechat si záležet na jejich sestavení. Pokud se nám ovšem podaří vybudovat široké spektrum kvalitních číselníků, bude to jednoznačně silnou konkurenční výhodou a přínosem pro celou firmu.

5.2 Přínosy kvalitních číselníků pro zákazníka Jaký je pozitivní dopad na činnost společnosti, kde bylo použito řešení datové kvality za použití číselníků? Každá společnost by se měla zajímat o to, jaký má skutečný počet zákazníků a jaké je jejich složení. Pokud bude tyto informace znát, může s nimi pracovat. Lze pak lépe zacílit reklamní kampaně, akční nabídky či jiné aktivity zaměřené na konkrétní, předem definovanou, oblast klientů. Pokud bude provedeno čištění klientských dat, tak určitě dojde k redukci nákladů (dojde například k omezení duplicitních záznamů a odstranění neidentifikovatelných klientů). Budou odstraněni „přebyteční“ klienti, kterým by byly zbytečně rozesílány letáky, pozvánky či by byli kontaktováni několikrát po sobě. Nejen, že jim samotným by to nebylo příjemné, ale firmu by to stálo plno peněz, času a také by utrpěla její image. Sjednocená forma jmen, příjmení, názvů měst, ulic a jiných veřejných prostranství umožní perfektní přehled o klientech. Přínos číselníků, skrze čištění dat, je také v tom, že klient vidí situaci, ve které byl před a ve které je po provedení aplikace čištění dat. Z toho může usoudit, jak kvalitní klientská data používá a používal. Může analyzovat, jaké druhy dat jsou v databázi „nejšpinavější“ a díky tomu může učinit příslušná opatření, aby byla zajištěna vyšší úroveň datové čistoty. Například ošetřit určitým způsobem zadávání hodnot do formulářů by mohlo tomuto problému pomoci. A co třeba zavedení kontroly vstupních dat ještě před tím, než jsou uloženy do hlavních databází? Poznání nejčastějších zdrojů a možných příčin zbytečných nečistot může pomoci firmám tyto negativní vlivy omezit například i vhodným upravením určitých interních procesů.

31

Díky realizaci čištění dat za pomoci číselníků se můžeme také dozvědět, co všechno víme o našich zákaznících. Jaká je úplnost informací o našich klientech? Známe kromě jmen našich klientů i jejich rodná čísla, telefonní čísla či adresy? Každá firma si nemůže zajišťovat datovou kvalitu sama, jelikož na to nemá potřebný know-how, personál, nástroje, technologie a ani finanční prostředky. Velké množství zdrojů a uložišť, nejen s klientskými daty, je nutno sjednocovat do jednoho konzistentního celku, na který je třeba aplikovat přístupy vedoucí ke zlepšování datové kvality.

5.3 Jména a příjmení = snadné řešení? Pokud nezasvěcenému člověku řeknete, že se zabýváte tím, že čistíte křestní jména a příjmení, může nabýt dojmu, že přeci nejde o nic složitého a sofistikovaného, na co by se měla soustředit zvýšená pozornost. Jenže opak je mnohdy pravdou. Ta nejzapeklitější úskalí a ty nejtemnější kouty odhalíte teprve když do této oblasti proniknete hlouběji. Vezměme si například již dříve zmiňovaný případ pana Vladimíře. S tímto jménem se můžeme setkat velmi zřídka, přesto existuje. Nemůžeme ho automaticky opravovat na Vladimíra. Odhalování takových rozlišností je někdy velice namáhavé. Nalezené nejednoznačné hodnoty je třeba ověřovat. Například tím, že se informujeme na příslušném úřadu, zda opravdu evidují osobu méně obvyklého křestního jména či příjmení. V rozsáhlejších databázích, kde máme desítky až stovky tisíc záznamů o klientech se můžeme setkat s mnoha „podezřelými“ jmény, které bychom měli analyzovat a následně určit, s jakou pravděpodobností se jedná o správně uvedené jméno či chybný údaj (buď je údaj špatně zadaný (překlep) a nebo zcela špatný). Domnívám se, že oblast čištění jmen a příjmení je v České republice lépe zvládnutelná, než v jiných zemích jako jsou např. Spojené státy. Nejen proto, že české úřady nabízí možnost firmám i jednotlivcům získat seznamy jmen v poměrně dostupné formě a v přijatelné kvalitě, ale také proto, že na našem území nežije vysoký počet přistěhovalců s různými jmennými nuancemi. S tím souvisí také problematika jmen z globálního hlediska. Lze vůbec řešit jména v jednom, celosvětovém, číselníku? Myslím si, že v takovém rozsahu je to nemožné. Zvláště u národů, kteří používají v jazyce diakritická znaménka či jiné znaky. Pokud se takový člověk odstěhuje do jiné země, lze předpokládat, že se jeho jméno může změnit (například, že bude 32

v novém prostředí velice obtížně vyslovitelné či zaznamenatelé). Znám například jednoho amerického brokera původem z České republiky, který se jmenuje James Kuzel. Můžeme mít současně v naší zemi Jakuba Kužela a v USA Jamese Kuzela. Proto nemůžeme z globálního pohledu říci, že jedno ze jmen je zapsáno špatně, když existují obě. Nelze pak využít metody replacemnetů na hodnoty Kužel a Kuzel. Pokud bychom uvažovali pouze Českou republiku, budeme mít automaticky u jména Kuzel podezření na chybu v diakritice. U některých jmen, zejména čistě anglických, se s tímto problémem prakticky nesetkáváme. Nesrovnalosti také nastávají, pokud jsou jména psána v rozdílných abecedách (latinka, cyrilice…). Zde je nutné udržovat číselníky v několika různých abecedních variantách. Dalším oříškem, se kterým se musí tvůrce číselníku jmen vypořádat, je určování křestních jmen a příjmení. Pokud si například z databáze vybereme řetězec „Tomáš Pavel“, tak je problém na světě. Byl zadán vstup ve tvaru nejprve křestního jména a pak příjmení? Je křestní jméno zkoumaného Tomáš nebo Pavel? Pokud nemáme další informace, podle kterých můžeme tuto nejasnost objasnit, můžeme se spolehnout pouze na statistické hodnoty. Můžeme například využít četností výskytů určitých křestních jmen a příjmení, pokud nám jsou známy. Můžeme také pracovat s poznatky, zda se vícekrát vyskytuje jméno „Tomáš Pavel“ (kde Tomáš je křestní) a nebo „Pavel Tomáš“. Tyto odhady jsou ovšem nepřesné a proto je vhodné ověřovat konkrétní výskyt nerozhodnutelných kombinací pomocí nějakého důvěryhodného zdroje. Samostatným úkolem k řešení je také existence více než dvoučlenných jmen (Anna Nicole Smith či Catherine Zeta Jones). Zde je třeba využívat složitějších paternů (vzorů složení jména), a mít již i vytipované určité kombinace víceslovných jmen, které se mohou v praxi vyskytovat častěji (příkladem je spojení křestních jmen Anna Marie). Při čištění (kontrole) dat mohou být využívány jak číselníky křestních jmen a příjmení, ale také číselníky, které jsou určeny pouze pro víceslovná jména. Po přečtení několika předcházejících odstavců, které jistě nejsou zcela vyčerpávající, si již sami dokážete představit, že vlastnit a spravovat kvalitní číselník jmen není v žádném případě legrace. Pokud si připomeneme, že nejčastěji čištěnými daty jsou data klientů, kterými disponuje každá společnost, uvědomíme si, jak jsou právě tyto číselníky důležité pro společnosti poskytující řešení v oblasti datové kvality.

33

5.4 Možnost vzniku chyb při čištění Jak to tak bývá, pokud se něco dělá, tak by se to mělo dělat s rozvahou. V opačném případě se můžeme dostat do nemalých problémů. U čištění dat to platí naprosto spolehlivě. Je důležité přistupovat ke svěřeným datům zodpovědně, s rozmyslem a nějakým tím předem promyšleným postupem. Pojďme si říci, kterých dvou základních chyb se můžeme při čištění dopustit. Do první kategorie chyb patří taková chyba, kdy se nám nepodařilo opravit (vyčistit) záznam, který jsme vyčistit měli. Pokud se nám těchto chyb začíná objevovat větší množství, tak jsou s velkou pravděpodobností způsobeny příliš opatrnými či nedostatečnými pravidly pro čištění. Druhá kategorie chyb, která bývá mnohem hůře akceptována, než je tomu v případě kategorie první, spočívá v tom, že je opraven záznam, jež být opraven neměl. Tento druh chyb se velice špatně odhaluje. Při nastavení příliš agresivních postupů v čištění může navenek výstup způsobit iluzí, že bylo vyčištěno a upraveno do korektní podoby velké množství záznamů. To je ale pouze klam. Při neopatrném čištění dochází ke znehodnocení dat, které bývá většinou již nevratné, pokud není nějakým způsobem zaznamenáváno (logováno). Pokud pracujeme s číselníky, budeme se neustále pohybovat v prostoru mezi těmito dvěmi kategoriemi chyb. Se snižováním pravděpodobnosti výskytu chyby první kategorie se současně zvyšuje pravděpodobnost výskytu chyby druhé kategorie. Naším cílem je snažit se postupnými kroky odstraňovat chyby první kategorie a vyvarovat se chybám té druhé.

5.5 Práce s anonymními a osobními údaji Soubory údajů týkajících se klientů můžeme rozdělit do skupin, které se od sebe liší tím, zda lze podle nich identifikovat konkrétního jedince. Pokud nelze provést jednoznačnou identifikaci člověka podle dostupných údajů, pak se jedná o údaje anonymní. Za anonymní údaj se považují nejen samostatné křestní jména a příjmení, ale také celá jména, kterých se v daném výběru vyskytuje větší množství. Pokud je v něm pouze jeden zástupce, pak se již o anonymní údaj nejedná, jelikož jedinec je jménem přesně identifikován. Zajímavý moment ovšem nastává v okamžiku, pokud by žily dvě osoby stejného jména na jedné adrese (bylo by známo a dle číselníku ověřeno křestní jméno, příjmení a adresa). Pokud nebudou tito lidé odlišeni (např. rodným číslem) nelze tuto 34

identifikaci považovat za jednoznačnou. Ovšem v tomto případě nelze mluvit ani o tom, že by byl jedinec zcela anonymní. Názory na tuto problematiku se různí. Osobně považuji za osobní údaj takový údaj, který je spojen s jasným, jedinečným, identifikátorem konkrétní osoby (viz dále). Jestliže je společně se jménem, bez závislosti na počtu jeho výskytů ve sledovaném celku, uveden údaj jednoznačně ukazující na konkrétního člověka (rodné číslo), pak se jedná o jednoznačně identifikovanou osobu, která již může být nazvána klientem. Na reálných projektech pracujeme s reálnými daty. Data z některých projektů, pokud s tím klient souhlasí, mohou být anonymizována (tím se znemožní jednoznačná identifikace osob). Anonymní data pak můžeme používat například k testování číselníků, jednotlivých verzí DQ software či budování jejich nových komponent. Anonymní data mají výhodu oproti smyšleným datům zejména v tom, že reprezentují určitou reálnou situaci a i bez jednoznačně určených osob jsou pro různé účely použitelná. Tisíce reálných klientů reprezentujících určitou část populace jsou mnohem lepším „materiálem“, než desetitisíce náhodně vygenerovaných hodnot. Pokud budeme pomocí dat testovat funkčnost jednotlivých částí software, můžeme narazit na problémy, které bychom jinak neobjevili (nebo objevili, ale až na projektu u zákazníka s reálnými daty, což je už ale pozdě). Lze tak odhalit problémy například při identifikaci jmen (nepřesnosti v napojení ověřovacího číselníku), parsování adres (chyby v paternech adres) a tak podobně.

35

6 Závěr Cílem této bakalářské práce bylo představit zájemcům o informace z oblasti čištění dat vlastnosti a role číselníků v souvislosti se zvyšováním datové kvality a ukázat jejich důležitost z pohledu implementátora datové kvality a jeho zákazníka. Čtenáři byli nejprve seznámeni s důležitostí kvality dat v současné době. Uvedl jsem, že otázka datové kvality může být zároveň hrozbou i příležitostí. Nic v životě není pouze dobré či špatné, ale vždy záleží na úhlu pohledu který z naší pozice zaujímáme k dané oblasti. Z každé situace bychom si měli vzít to pozitivní a snažit se toho využít. Bereme datovou kvalitu jako hrozbu? Máme strach ze znečištěných dat? Jsou naši operátoři v call centrech pro databáze datovou pohromou? Zbavme se hrozby tím, že si zajistíme spolupráci s kvalitní firmou, která se nám o kvalitu dat postará. Poté se můžeme dostat do pozice, kdy naše data jsou kvalitnější než u konkurence. Dokud nepochopíme, že se musíme zabývat naším primárním podnikatelským cílem a ostatní úkoly, na jejichž realizaci neefektivně plýtváme prostředky, nebude náš byznys efektivní. Naučme se spolupracovat a vhodně outsourcovat produkty a služby, které jsou pro nás důležité, ale nejsou předmětem našeho podnikání. Jádro práce tvoří kapitoly věnované číselníkům (vznik, vlastnosti, správa) a postřehům z praxe, které se jich bezprostředně týkají. V datech dochází ke vzniku různých druhů nečistot, kterým se preventivně nedá zcela vyhnout, ale které jsou následně odstranitelné. Byly zde probrány například nejčastější problémy, se kterými se při práci daty (zejména klientskými) setkáváme, a návrhy jejich možných řešení za využití číselníků. Řekli jsme si pár odstavců o tom, jaké mají číselníky reálné přínosy pro implementátora datové kvality a jeho zákazníka. Stále si musíme uvědomovat, že se nemůžeme starat pouze o to, jaké máme zisky nyní, ale i jaký máme potenciál k udržení či růstu zisků v letech následujících. Kromě zisků musíme brát ohled také na image, kterou si každá firma buduje a prostřednictvím datové kvality také ovlivňuje. Každá firma stojí na tom, jaké má zákazníky a kolik jich je. Musíme vždy respektovat zákazníka a zajímat se o to, jak vypadáme v jeho očích a zda existuje něco, co by toto vnímání mohlo dostat na lepší úroveň. Ať už se jedná o zákazníka implementátorské společnosti, který očekává kvalitní pročištění svých dat a nebo zákazníka tohoto zákazníka očekávajícího při obchodní korespondenci korektně uvedené své jméno a adresu.

36

Některé oblasti čištění dat nemusejí na první pohled vypadat nijak složitě, ale při podrobnějším zkoumání je můžeme shledat poměrně náročnými na kvalitní řešení. Takovou oblastí jsou například jména a to zejména v případě, že s nimi pracujeme v globálním měřítku. Důležité je také nezapomínat na to, že při čištění vznikají dva druhy chyb. Při čištění rozsáhlejšího počtu záznamů se jim prakticky nelze vyhnout. Není možné je zcela eliminovat, ale pouze minimalizovat. Co říci zcela na závěr? Potřeba čistit data v databázích firem vzniká u čím dál většího množství firem a nejinak tomu bude i v následujících letech. Význam této potřeby bude postupem času narůstat a s tím bude narůstat i hodnota a prestiž společností, které budou schopny nabízet kvalitní řešení v oblasti datové kvality za rozumné ceny. Pokud přijmeme zmíněné tvrzení a jsme si vědomi existence tohoto trendu, kterého jsme již součástí, pak nemůžeme opomenout zmínit důležitost role číselníků při čištění dat. Čím budou použity kvalitnější číselníky, tím budou data čistší a zákazníci spokojenější.

S kvalitnějšími daty ke světlejším zítřkům!

37

7 Seznamy 7.1 Slovník pojmů Pojem

Význam [zdroj]

Business Rules

Business Rules je soubor metod nebo návodů týkajících se firemních dat a chodu byznysu. Pomocí nich jsou řízeny byznysové operace. [ [1] DYCHÉ, 2006, str. 272]

Call centrum

Call centrum (Call Center) je centralizovanou organizační jednotku firmy zabezpečující hromadné zpracování příchozích a ochozích telefonních hovorů. [ [15] Wikipedia]

Customer Data Integration

Customer Data Integration (CDI) je soubor procesů, řízení, automatizace a schopností nutných ke standardizaci a integraci zákaznických dat pocházejících z různých zdrojů. [ [1] DYCHÉ, 2006, str. 34]

Customer Relationship Management

Customer Relationship Management (CRM) je databázová technologie využívaná společnostmi za účelem podpory procesů zajišťujících shromažďování, zpracování a využití informací o svých zákaznících. [Wikipedia]. CRM je infrastrukturou umožňující zobrazení a ovlivňování hodnoty zákazníka. Má za úkol motivovat zákazníky k dalšímu nákupu. [ [1] DYCHÉ, 2006, str. 274]

Čištění dat

Proces, jehož úkolem je standardizovat hodnoty z databází oproti záznamům v číselnících. Záměrem je odstranit ze záznamů nesmyslné hodnoty, překlepy, zkratky a jiné. [autor]

Datové tržiště

„Podmnožina datového skladu adresující potřeby specifických předmětných oblastí podniku nebo uspokojující potřeby jednotlivých částí organizace.“ [ [2] NOVOTNÝ a kol., 2005, str. 250]

Datový sklad

„Kopie transakčních dat speciálně strukturovaných pro dotazování a reportování. (Ralph Kimball)“ [ [2] NOVOTNÝ a kol., 2005, str. 250]

Jméno

Označení pro kombinaci křestního jména a příjmení. [autor]

Klientská data

Data o klientech společnosti zahrnující zejména jejich jména, adresy, telefonní a emailové kontakty a další. [autor]

Konsolidace

V Data Cleansing můžeme chápat konsolidaci jako seskupení, spojení více záznamů vztahujících se k jednomu objektu do jediného záznamu (například se v databázi vyskytuje 5 záznamů jednoho klienta a my z nich potřebujeme udělat jeden). Konsolidace dat může být chápána jako soubor aktivit čištění dat a unifikace. Nejčastěji procházejí konsolidací klienti (jména, rodná čísla, IČO, tituly…) a adresy (PSČ, města, ulice ...). [autor]

Parsing

Parsing = syntaktická analýza. Je to proces analýzy posloupnosti formálních prvků s cílem určit jejich gramatickou strukturu vůči předem dané (byť ne nutně explicitně vyjádřené) formální gramatice. [ [19] Wikipedia] Parsing je rovněž označení pro použití programu za účelem dekompozice řetězce znaků na jednotlivé části. [ [1] DYCHÉ, 2006, str. 279]

Patern

Patern (pattern) znamená určitý vzor popisující strukturu dat. V oblasti datové kvality se setkáváme například s paterny adres (jedná se o vzory toho, jak může být adresa zapsána – pozice města, PSČ, ulice, popisného čísla, orientačního čísla… v určitém řetězci). [autor]

38

Replacement

Jde o je zvláštní případ číselníku, kde jsou definovány dvě hodnoty - pokud je první z nich nalezena v databázi, je nahrazena druhou uvedenou. [autor]

Řetězec

Řetězec (String) je skupina znaků. [ [21] Wikipedia]

Unifikace

Unifikace představuje proces seskupení více záznamů pod jeden. Tento záznam obsahuje identifikační číslo, kterým je jednoznačně identifikován. [autor]

7.2 Seznam zkratek Význam

Zkratka CDI

Customer Data Integration

CRM

Customer Relationship Management

DQ

Data Quality

DQC

Data Quality Center (název softwaru datové kvality od společnosti Ataccama Software s.r.o.)

7.3 Seznam obrázků Obrázek

Název

Strana

Obr.1

Systém SFA

8

Obr.2

Číselník zemí

12

Obr.3

Datová kvalita

12

Obr.4

Proces vzniku číselníku

16

Obr.5

Četnost příjmení mužů v ČR k 1.9. 2008

22

Obr.6

Číselník pošt

23

Obr.7

Číselník bankovních ústavů

23

Obr.8

Tudy cesta nevede

43

Obr.9

DQC

44

7.4 Seznam tabulek Tabulka Tab.1

Název Ukázka obsahově nekvalitních dat

39

Strana 13

Tab.2

Chyby v přepisu dat

26

Tab.3

Nestrukturovaná data

27

Tab.4

Neúplnost záznamů, zkratky

28

Tab.5

Duplicitní data

29

40

8 Zdroje 8.1 Literatura [1] DYCHÉ, Jill; LEVY, Evan. Customer Data Integration – Reaching a Single Version of Truth. Hoboken: John Wiley & Sons, Inc., 2006. ISBN 0471916978. [2] NOVOTNÝ, Ota; POUR Jan; SLÁNSKÝ David. Business Intelligence : Jak využít bohatství ve vašich datech. Praha: Grada, 2005. ISBN 8024710943.

8.2 Internet [3] Bain & Co. Bain & Company„s 2005 Management Tools survey, 2005. Dostupné na http://www.bain.com/bainweb/PDFs/cms/Public/Brussel_Results_May01_05_Management_t ools.pdf [4] BusinessInfo (www.businessinfo.cz). Ochrana osobních údajů, 2009-03-03. Dostupné na http://www.businessinfo.cz/cz/clanek/orientace-v-pravnich-ukonech/ochrana-osobnichudaju-opu/1000818/51144/ [5] Česká národní banka. Číselník účastníků platebního styku v ČR, aktualizováno 200905-01. Dostupné na http://www.cnb.cz/m2export/sites/www.cnb.cz/cs/platebni_styk/ucty_kody_bank/download/k ody_bank_CR.pdf [6] Česká pošta. Seznam poštovních míst v ČR, aktualizováno 2009-06-01. Dostupné na http://www.cpost.cz/data/psc/xls_posty.zip [7] Český statistický úřad. Číselník zemí, aktualizováno v roce 2007 (označení CZEM 2007). Dostupné na http://www.czso.cz/csu/klasifik.nsf/i/ciselnik_zemi/$File/83090950.xls [8] Data Quality Center. Popis produktu DQC společnosti Ataccama Software s.r.o., aktualizace květen 2009. Dostupné na http://www.ataccama.com/files/DQC_May_2009.pdf [9] Databázový svět (www.dbsvet.cz). Vyvíjíme databázový a informační systém VIII., 2004-06-23. Dostupné na http://www.dbsvet.cz/view.php?cisloclanku=2004062301 [10] ECKERSON, Wayne. In Search of a Single Version of the Truth: Strategies for Consolidating Analytic Silos, srpen 2004. Dostupné na 41

http://www.tdwi.org/Publications/display.aspx?Id=7300 [11] Ministerstvo vnitra ČR. Četnost příjmení mužů v ČR k 1.9.2008. Dostupné na http://aplikace.mvcr.cz/archiv2008/sprava/informat/cetnost/2007/prijmeni/cet_prijm_muzi.xls [12] NELSON, S.; SINGHAL, R.; JANOWSKI, W.; FREY N. Gartner Research report, “Customer Data Quality and Integration: The Foundation of Successful CRM”, 2001-11-28. Dostupné na http://www.gartner.com [13] PIRKL David, prezentace na téma „Kvalita dat“, VŠE, květen 2004. Dostupné na http://keg.vse.cz/_slides/pirkl.ppt [14] Toolbox for IT (www.toolbox.com). Pipeline Management, editováno 2008-02-27. Dostupné na http://it.toolbox.com/wiki/index.php/Pipeline_Management [15] Wikipedia: otevřená encyklopedie [online]. Call Center, editováno 2009-05-30. Dostupné na http://en.wikipedia.org/wiki/Call_center [16] Wikipedia: otevřená encyklopedie [online]. Customer Relationship Management, edit. 2009-06-01. Dostupné na http://cs.wikipedia.org/wiki/Customer_relationship_management [17] Wikipedia: otevřená encyklopedie [online]. Data Cleansing, editováno 2009-05-14. Dostupné na http://en.wikipedia.org/wiki/Data_cleansing [18] Wikipedia: otevřená encyklopedie [online]. Dirty Data, editováno 2009-06-03. Dostupné na http://en.wikipedia.org/wiki/Dirty_data [19] Wikipedia: otevřená encyklopedie [online]. Parsing, editováno 2008-12-08. Dostupné na http://cs.wikipedia.org/wiki/Parsing [20] Wikipedia: otevřená encyklopedie [online]. Sales force management system, editováno 2009-04-30. Dostupné na http://en.wikipedia.org/wiki/Sales_force_management_system [21] Wikipedia: otevřená encyklopedie [online]. String, editováno 2009-05-28. Dostupné na http://en.wikipedia.org/wiki/String_(computer_science) [22] wiseGEEK (www.wisegeek.com). What is Data Cleansing?, aktualizováno 2009. Dostupné na http://www.wisegeek.com/what-is-data-cleansing.htm

42

9 Přílohy 9.1 Tudy cesta nevede Názorný příklad toho, co mohou způsobit nekvalitní data. Tuto zásilku jsem obdržel od jedné zahraniční společnosti koncem května tohoto roku. V posledním řádku si můžeme všimnout telefonního čísla, které bylo ovšem v databázi odesílatele zapsáno v exponenciálním tvaru, přičemž byla navíc ještě poslední číslice zaokrouhlena. Vypadá tato zásilka profesionálně? Opravdu je tak těžké si takové základní nedostatky ohlídat? Stačilo by, kdyby byl řetězec znaků obsahující telefonní číslo testován například podle číselníku na mezinárodní telefonní předvolbu. V tom případě by se ihned ukázala chyba a mohlo by se předejít podobnému paskvilu. Předpokládám, že to nebyl úmyslný čin spáchaný za účelem pobavení matematicky zdatných poštovních doručovatelek.

Obr.8 – Tudy cesta nevede [autor]

43

9.2 Ataccama - Data Quality Center (DQC)

Obr.9 – DQC [autor]

44