012345

}w !"#$%&'()+,-./012345
M ASARYKOVA UNIVERZITA FAKULTA INFORMATIKY

Mobilní katalogy zboží ˇ B AKALÁ RSKÁ PRÁCE

Tomáš Masník

Brno, leden 2009

Prohlášení Prohlašuji, že tato bakaláˇrská práce je mým puvodním ˚ autorským dílem, které jsem vypracoval samostatnˇe. Všechny zdroje, prameny a literaturu, které jsem pˇri vypracování používal nebo z nich cˇ erpal, v práci rˇ ádnˇe cituji s uvedením úplného odkazu na pˇríslušný zdroj.

Vedoucí práce: doc. RNDr. Tomáš Pitner, Ph.D. ii

Podˇekování Chtˇel bych podˇekovat doc. RNDr. Tomáši Pitnerovi, Ph.D. za pohodové vedení práce, dobré rady a optimistický pˇrístup. Taky bych chtˇel podˇekovat Bc. Martinu Jantošoviˇcovi za spolupráci pˇri vývoji našich vzájemnˇe propojených prací.

iii

Shrnutí V dnešní dobˇe internetu je cˇ ím dál více informací dosažitelných nejlépe z HTML stránek. Práce popisuje možnou strukturu hierarchie stránek vedoucí k cílovým datum ˚ a v hlavní cˇ ásti se zabývá aplikací, která data ze stránek umí získat.

iv

Klíˇcová slova JAVA, HTML, XML, XPath, JTidy

v

Obsah 1

Úvod . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Katalogy zboží . . . . . . . . . . . . . . . . . . . 1.2 Další využití . . . . . . . . . . . . . . . . . . . . 2 Analýza a návrh . . . . . . . . . . . . . . . . . . . . . 2.1 HTML stránky . . . . . . . . . . . . . . . . . . . 2.1.1 Obsah HTML stránky . . . . . . . . . . 2.1.2 Formát HTML . . . . . . . . . . . . . . . 2.1.3 Formát dat na stránkách . . . . . . . . . 2.2 Vytvoˇrení XML souboru katalogu . . . . . . . . 2.2.1 Formát výsledných dat . . . . . . . . . . 2.2.2 Návrh formátu XML souboru katalogu 2.3 Ukládání dat . . . . . . . . . . . . . . . . . . . . 2.3.1 .zip archiv . . . . . . . . . . . . . . . . . 2.3.2 .csv soubor . . . . . . . . . . . . . . . . 3 Použité technologie . . . . . . . . . . . . . . . . . . 3.1 Vývojové prostˇredí NetBeans IDE . . . . . . . 3.2 Java . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 XML . . . . . . . . . . . . . . . . . . . . . . . . 3.4 JTidy . . . . . . . . . . . . . . . . . . . . . . . . 3.5 XPath . . . . . . . . . . . . . . . . . . . . . . . . 3.6 XSLT . . . . . . . . . . . . . . . . . . . . . . . . 4 Implementace . . . . . . . . . . . . . . . . . . . . . . 4.1 Vytváˇrení katalogu . . . . . . . . . . . . . . . . 4.1.1 Vyhledávání cílových stránek . . . . . . 4.1.2 Získání dat z cílových stránek . . . . . . 4.2 Získání a uložení dat . . . . . . . . . . . . . . . 4.2.1 Naˇctení XML souboru . . . . . . . . . . 4.2.2 Získání dat . . . . . . . . . . . . . . . . . 4.2.3 Uložení dat . . . . . . . . . . . . . . . . 4.3 Rozdˇelení balíku˚ . . . . . . . . . . . . . . . . . 4.4 Použité tˇrídy Java Core API . . . . . . . . . . . 5 Závˇer . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatura . . . . . . . . . . . . . . . . . . . . . . . . . . . A Ukázka XML souboru katalogu . . . . . . . . . . . B Obsah pˇriloženého CD . . . . . . . . . . . . . . . . C Jak použít aplikaci . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 1 2 3 3 3 5 5 6 6 6 6 7 7 8 8 8 8 9 9 10 11 11 11 14 16 16 16 17 18 19 20 21 22 25 26

vi

Kapitola 1

Úvod V dnešní dobˇe, kdy každý výrobce jakéhokoli druhu zboží vystavuje vlastní katalog vˇetšinou v podobˇe internetových stránek, je pro uživatele velmi obtížné si ruˇcnˇe zpracovat velké množství dat tak, aby je mohl mít po ruce, kdykoli potˇrebuje. Pro tento úˇcel byla navržena a vyvinuta následující aplikace. Cílem práce je navrhnout a implementovat aplikaci, která umožní uživateli projít internetové stránky s katalogy zboží a získat z nich duležitá ˚ data. Tato data dále program zpracuje a pˇredá uživateli ve formˇe, která bude snadno cˇ itelná pro další zpracování. Pro tvorbu aplikace bylo použito programovacího jazyka Java, který je platformovˇe nezávislý, aplikace proto bude fungovat na vˇetšinˇe operaˇcních systému. ˚ I pˇres název práce – Mobilní katalogy zboží – tato práce dovoluje zpracovávat libovolná data dosažitelná pˇres web. Ruzná ˚ data katalogu˚ navíc bude aplikace schopna opakovanˇe naˇcíst díky ukládání konfiguraˇcních souboru˚ a možnosti znovu je zpracovávat. Tyto konfiguraˇcní soubory ve formˇe XML dokumentu˚ jsou jednoduše srozumitelné a snadno editovatelné i bez pomoci obslužné aplikace.

1.1

Katalogy zboží

Katalogy zboží získané z internetových stránek mohou mít mnohá využití. Jedním z nich je napˇríklad využití pro lidi, kteˇrí musí podstupovat bezlepkovou dietu. Jednou ze základních úloh aplikace je, poskytnout tˇemto lidem možnost jednoduše nakupovat potraviny za použití mobilního telefonu a v nˇem uložených dat. Celiakie je chronické onemocnˇení sliznice tenkého stˇreva z duvodu ˚ pˇrecitlivˇelosti na gluten (lepek), což je bílkovina, obsažená v mnoha druzích obilí. Nesnášenlivost pˇretrvává celoživotnˇe, cˇ ásteˇcnˇe geneticky determinována. V souˇcasnosti se nedá definitivnˇe léˇcit [3]. Proto lidé trpící touto chorobou musí nakupovat bezlepkové potraviny. Ne vždy jsou však dostateˇcnˇe oznaˇceny. Proto jedním z dostupných zdroju, ˚ jak zjistit, které potraviny jsou nebo nejsou bezlepkové, je internet. Tato práce se soustˇredí na získávání dat z online katalogu˚ a následné ukládání do ruz˚ ných formátu˚ pro další zpracování. Pro lidi trpící celiakií muže ˚ být velmi užiteˇcná aplikace, která umožní hledat v takovýchto katalozích pˇri nákupu potravin. Z internetových stránek uživatel získá informace, zda jsou výrobky bezlepkové. V obchodˇe pak za pomoci mobilního telefonu zjistí jednoduchým vyhledáním, jestli je vybrané zboží opravdu bez lepku. 1

1.2. DALŠÍ VYUŽITÍ Takto katalog vyprodukovaný touto aplikací zpracovává navazující práce Martina Janˇ výše uvedený plán použití. tošoviˇce Mobilné katalógy [7], která pˇresnˇe naplnuje

1.2

Další využití

Další možná využití této práce závisí pouze na fantazii uživatele. Aplikace je schopna zpracovat libovolnou internetovou HTML stránku, která je alesponˇ nˇejak znaˇckována. Je schopna získávat data z ruzných ˚ stránek a ukládat je do formátu podporovaného vˇetšinou tabulkových procesoru. ˚ Takto získaná data mohou být dále využita pro statistické úˇcely, získávání informací z mnoha podobných stránek, globální srovnávání cen apod.

2

Kapitola 2

Analýza a návrh Práce zpracovává nˇekolik základních úloh. První z nich je naˇctení informace, jak a z kterých stránek se data mají získat, a uložení této informace do samostatného XML výstupního souboru. Bˇehem zpracování se bude využívat dotazovacích výrazu, ˚ které se budou také pro lepší uživatelské pohodlí ukládat do souboru pro opakované použití. Další cˇ ástí pak je samotné naˇctení dat a následné uložení do jednoho ze zvolených formátu. ˚ Poslední cˇ ástí je pak grafické rozhraní, které by tyto funkce mˇelo nabízet v uživatelsky pˇríjemném prostˇredí. Rozeberme si tyto cˇ ásti postupnˇe. První a nejduležitˇ ˚ ejší cˇ ást analýzy spoˇcívá ve zjištˇení, jak pˇresnˇe mohou vypadat všechny druhy zpracovávaných stránek. Požadavek na aplikaci je takový, aby dokázala zpracovat všechny typy stránek obsahující data na ruzných ˚ místech. Další cˇ ástí, kterou je tˇreba analyzovat, jsou potˇreby uživatele. To znamená, jaká data chce uživatel ze stránek konkrétnˇe uložit a jakého formátu tato data jsou. Podle zjištˇené struktury pak navrhneme vhodný formát pro uložení katalogu.

2.1

HTML stránky

2.1.1 Obsah HTML stránky

Obrázek 2.1: Obecné schéma hierarchie HTML stránek 3

2.1. HTML STRÁNKY Data ve vˇetšinˇe pˇrípadu˚ nejsou pohromadˇe na jedné stránce. Aplikace tedy musí poskytovat možnost z jedné stránky pˇrejít na jinou. Stránky pro lepší orientaci budeme dˇelit podle úrovní. Podle obrázku 2.1 jsou tedy stránky A a B stránky nejvyšší úrovnˇe (I.). Stránka A obsahuje odkazy na stránky nižší úrovnˇe (II.) C a D. Stránka B není na obrázku blíže rozebrána. Stránka C obsahuje odkazy na stránky 1 a 2 nejnižší úrovnˇe (III.). Stránka D obsahuje odkazy na stránky 3 a 4 nižší úrovnˇe (III.) a na stránku E stejné úrovnˇe (II.). Obdobnˇe stránky E a F. Jednou úrovní stránek máme na mysli takové stránky, které mají stejnou strukturu a obsahují odkazy na stránky, které mají také stejnou strukturu. Napˇríklad: máme internetový katalog zboží. Má následující kategorie, pˇriˇcemž platí, že nadˇrazená kategorie obsahuje odkaz na všechny podˇrazené a na stránkách nejnižších kategorií jsou data: •

•

•

Kategorie 1 –

Podkategorie 1.1

–

Podkategorie 1.2

Kategorie 2 –

Podkategorie 2.1

–

Podkategorie 2.2

–

Podkategorie 2.3

Kategorie 3 –

Podkategorie 3.1

V tomto pˇrípadˇe by stránky pro kategorie 1, 2 a 3 odpovídaly stránkám nejvyšší úrovnˇe, kdežto stránky všech podkategorií by byly stránky nižší úrovnˇe. Z podkategorií tedy naše aplikace bude dále získávat data. V pˇredchozím pˇríkladu není zahrnuta možnost, že by stránka obsahovala odkaz na další stránku stejné úrovnˇe. Takto by se zpracovávaly tytéž kategorie, platilo-li by, že podkategorie obsahují sice data, nicménˇe obsahují ještˇe odkaz na další stránku téže podkategorie, která obsahuje další data. Napˇríklad tedy pokud by podkategorie 1.1 obsahovala na své první stránce data 1.1.1 – 1.1.10 a odkaz na další stránku, kde by byla data 1.1.11 – 1.1.20. Takovýchto stránek bývá omezený poˇcet, uživatel tedy musí specifikovat, kolikrát se má pˇrejít na další stránku stejné podkategorie. Každá HTML stránka muže ˚ obsahovat tˇri duležité ˚ prvky pro další zpracování: 4

2.1. HTML STRÁNKY •

odkaz na další stránku stejné úrovnˇe, která má stejnou strukturu jako aktuální stránka

•

odkaz na stránku další úrovnˇe, která se zpracovává jiným zpusobem ˚ než aktuální stránka

•

data. Na jedné stránce muže ˚ být právˇe jedna datová položka, nebo více datových položek.

Všechny tˇri prvky se mohou na libovolné stránce vyskytovat jak právˇe jednou, tak i vícekrát. Aplikace má však poskytovat jednoduché uživatelské rozhraní, proto je v práci možnost více odkazu˚ na stránku se stejnou strukturou zanedbána. Duvodem ˚ je, že aplikace by se stala zbyteˇcnˇe ménˇe pˇrehlednou pˇresto, že tento druh internetových stránek se témˇerˇ nevyskytuje, pˇrípadnˇe vyskytuje, ale dá se zpracovat pohodlnˇeji jinak.

2.1.2 Formát HTML HTML formát nemá striktnˇe stanovena pravidla syntaxe, což muže ˚ pˇri strojovém zpracování zpusobovat ˚ rˇ adu problému. ˚ Data i odkazy na další stránky je tˇreba nˇejak adresovat. K tomuto úˇcelu se velmi dobˇre hodí jazyk XPath. Tento jazyk je však urˇcen pro adresování XML dat, je tedy ještˇe tˇreba pˇrevést HTML stránky do korektní XML formy. Tuto funkcionalitu zabezpeˇcí knihovna JTidy. Pro správné zpracování stránek je nezbytnˇe nutné, aby stránky, které se mají zpracovávat stejnˇe, mˇely stejnou nebo alesponˇ velmi podobnou strukturu, napˇr. zpracovávám HTML stránku A, ze které vedou odkazy na stránky B a C další úrovnˇe. Pˇredpokladem vyvíjené aplikace je, že stránky B a C mají stejnou nebo alesponˇ velmi podobnou strukturu ve smyslu uspoˇrádání elementu˚ vytvoˇreného XML.

2.1.3 Formát dat na stránkách Data mohou na jedné stránce být bud’ vícekrát, nebo právˇe jednou. V pˇrípadˇe, že na stránce je dat více, je tˇreba, aby bylo jednoznaˇcnˇe urˇcitelné, co pˇresnˇe jsou data. K tomuto úˇcelu využijeme znovu jazyka XPath. Stanovíme pˇredpoklad, že všechny datové položky jsou adresovatelné jedním výrazem XPath, jehož výsledkem je seznam uzlu˚ takový, že každý uzel obsahuje právˇe jednu datovou položku. Uživatel muže ˚ chtít jako výsledek svého dolování dat nˇekolik ruzných ˚ hodnot pro jednu datovou položku, napˇr. pro jeden druh potravin chce vˇedˇet název, hmotnost a složení této položky. Proto dalším pˇredpokladem pro zpracování dat je, že na koncových stránkách (v pˇrípadˇe, že na jedné stránce je právˇe jedna datová položka) nebo v koncových uzlech (v pˇrípadˇe více datových položek na stránce) je vždy stejná struktura dat jednoduše adresovatelná výrazy XPath. 5

ˇ 2.2. VYTVO RENÍ XML SOUBORU KATALOGU

2.2

Vytvoˇrení XML souboru katalogu

2.2.1 Formát výsledných dat Každá datová položka se bude skládat z jednotlivých sloupcu˚ pomyslné databázové tabulky. Tyto sloupce mohou mít ruzné ˚ datové typy – rˇ etˇezec (string), logickou hodnotu (boolean), celoˇcíselnou hodnotu (int) nebo reálné cˇ íslo (double). Tedy napˇríklad pro datovou položku potravin muže ˚ uživatel chtít vytáhnout ze stránek data název (string), je-li daná položka vhodná pro cˇ lovˇeka trpícího celiakií (boolean), hmotnost v gramech (int) apod. 2.2.2 Návrh formátu XML souboru katalogu Pro každý katalog je nutné specifikovat, jak a odkud se mají data získávat. Tyto informace pro zpracování je vhodné uložit, aby uživatel mohl data získávat opakovanˇe. Pro uložení informací je vhodný formát XML. Je vhodnˇe strukturovaný, ale zárovenˇ i cˇ itelný pro lidské oko. Navíc je pro tento formát velmi dobrá podpora v námi zvoleném programovacím jazyce Java. Každý katalog musí mít zadáno jméno pro jednodušší orientaci uživatele mezi ruznými ˚ katalogy. Dále je pro každý katalog nutno specifikovat jména a datové typy sloupcu˚ datových položek, které uživatel potˇrebuje. Poslední povinnou složkou je seznam stránek, ze kterých se data mají vytahovat, jejich hierarchie až na poslední stránky, které obsahují data. Pro každou tuto hierarchii je nutno definovat, na kterých stránkách se nachází data a jak se mají jednotlivé sloupce datové položky zpracovávat. Pro všechny tyto informace je pro aplikaci navržen jednoduchý XML formát (viz pˇríloha A).

2.3

Ukládání dat

Data mohou mít libovolné atributy, a to cˇ íselných, rˇ etˇezcových cˇ i logických hodnot. Pro navazující mobilní aplikaci (podle specifikace ze [7]) bude vhodné, aby data mˇela tˇri složky: •

hlaviˇcku s obecnými údaji o datech

•

data pro zobrazení položky v seznamu v mobilní aplikaci

•

detaily, ke kterým se uživatel dostane vybráním položky ze seznamu v telefonu

V seznamu muže ˚ být pouze jedna rˇ etˇezcová hodnota (pro zobrazení položky - typicky její jméno), dále libovolný logických hodnot, které mohou být už v seznamu použity jako filtry. Detail položky je co se týˇce poˇctu a typu˚ hodnot neomezený. Samotné naˇctení dat by mˇelo probˇehnout co nejrychleji a nejjednodušeji, aby uživatel mohl aktualizovat data v katalogu bez vˇetšího úsilí. 6

2.3. UKLÁDÁNÍ DAT Data budou zpracovávána mobilním zaˇrízením, proto se neoˇcekává velká zátˇež systému a tedy není tˇreba použít žádného databázového systému. Aplikace data uloží pouze do formátu˚ pro zpracování mobilní aplikací 2.3.1 nebo tabulkovým procesorem 2.3.2. 2.3.1 .zip archiv Výsledný ZIP archiv je dále zpracováván mobilní aplikací. Obsahuje 3 soubory: •

config – konfiguraˇcní soubor – obsahuje hlaviˇcku katalogu, tj. názvy a typy položek, a informaci, podle kterých položek bude možno v aplikaci hledat.

•

content - data pro položku, která budou zobrazena v seznamu v mobilní aplikaci a budou dovolovat vyhledávat cˇ i tˇrídit data. Hodnoty pro jednu datovou položku budou uloženy na jednom rˇ ádku oddˇeleny tabulátorem.

•

detail - data pro detail položky, která budou zobrazena v aplikaci po výbˇeru položky ze seznamu. Hodnoty pro jednu datovou položku budou uloženy na jednom rˇ ádku oddˇeleny tabulátorem.

2.3.2 .csv soubor CSV formát urˇcuje textový soubor, ve kterém je jednoduše zaznamenaná tabulka. S tímto formátem si poradí vˇetšina bˇežnˇe používaných tabulkových procesoru˚ (napˇr. MS Excel nebo OpenOffice Calc). Výhodou tohoto formátu je, že si takto uložená data uživatel bude moci jednoduše a pˇrehlednˇe prohlédnout i na osobním poˇcítaˇci. Data pak bude moci dále zpracovat do dalších bˇežnˇejších formátu. ˚ Tedy navrhovaná aplikace bude mít o nˇeco širší využití.

7

Kapitola 3

Použité technologie 3.1

Vývojové prostˇredí NetBeans IDE

Aplikace byla vyvíjena v prostˇredí NetBeans IDE 6.5. Jedná se o volnˇe šíˇritelný nástroj, který umožnuje ˇ tvorbu nejruznˇ ˚ ejšího softwaru od mobilních až po serverové aplikace. Obsahuje rˇ adu ruzných ˚ užiteˇcných nástroju˚ a doplnk ˇ u, ˚ cˇ ímž poskytuje programátorum ˚ velice pˇríjemné a pohodlné programování. Jednou z jeho mocných zbraní je vizuální návrháˇr grafického uživatelského prostˇredí. Umožnuje ˇ snadno interaktivnˇe navrhnout vzhled formuláˇre tak, že si z pˇredem pˇripravených komponent poskládáme celé okno. Samozˇrejmostí je i snadná obsluha událostí k jednotlivým komponentám. Pˇritom vzniká pˇrehledný zdrojový kód, do kterého zbývá doplnit jen samotnou funkcionalitu. I prostˇredí editace kódu se snaží programování maximálnˇe usnadnit. Nabízí napˇríklad automatické doplnování ˇ psaného kódu, pˇrehledné formátování, grafické zvýraznování ˇ syntaxe a mnoho dalšího. Velkou pˇredností tohoto prostˇredí pro právˇe tuto práci je, že hlavní jazyk, pro který bylo prostˇredí navrženo, je Java. Tedy všechny funkce, které prostˇredí nabízí, jsou pro tento jazyk použitelné a funkˇcní.

3.2

Java

Java je univerzální objektovˇe orientovaný programovací jazyk vyvinutý firmou Sun [5]. Programátorum ˚ nabízí bohatou a dobˇre zdokumentovanou knihovnu tˇríd (Java Core API), která umožnuje ˇ vytváˇret platformovˇe nezávislé programy, které je možné spouštˇet na všech bˇežnˇe používaných systémech, jako je MS Windows, Linux, Mac OS a dalších. Jedinou podmínkou je, aby na daném poˇcítaˇci, kde chceme program spustit, bylo nainstalováno bˇehové prostˇredí (Java Runtime Environment). Oproti jiným jazykum ˚ totiž není program pˇrekládán pˇrímo do strojového jazyka poˇcítaˇce, ale do tzv. bajt-kódu, který je interpretován virtuálním strojem Javy (Java Virtual Machine). Java je vyvíjena v nˇekolika verzích podle oblasti použití. Pro desktopové aplikace se bˇežnˇe používá edice Standard. Pro vývoj této práce byla konkrétnˇe použita verze 1.6.0_11.

3.3

XML

Formát XML (Extensible Markup Language) je v souˇcasnosti velice oblíbený a rozšíˇrený. Oproti binárním formátum ˚ má tu výhodu, že jej lze otevˇrít v libovolném textovém editoru. 8

3.4. JTIDY Nehrozí tedy, že za pár let daný dokument již nepujde ˚ pˇreˇcíst, protože program, který jej používal, už nemáme. XML není konkrétní jazyk, ale standard urˇcující, jak vytváˇret znaˇckovací jazyky. Proto bývá oznaˇcován spíše jako metajazyk. Vychází ze staršího SGML (Structure Generalized Markup Language) a podobá se jazyku HTML. Musí sice splnovat ˇ jisté formální náležitosti, ale také dává autorum ˚ znaˇcnou volnost tím, že umožnuje ˇ vytváˇret vlastní znaˇcky i jejich atributy. Každý XML dokument je charakteristický svou hlaviˇckou, která má dva atributy. První udává verzi XML, druhý kódování:

Poté už následuje jeden koˇrenový element a v nˇem vnoˇrené další znaˇcky (tagy). Ty mohou být párové (každá znaˇcka <element> má svou uzavírací znaˇcku a mezi nimi je obvykle nˇejaký další obsah), nebo nepárové (<element/> uvnitˇr mohou být jen atributy elementu). Takovéto dokumenty lze snadno zpracovávat v ruzných ˚ aplikacích pomocí parseru˚ (analyzátoru), ˚ které umožnují ˇ postupné procházení dokumentu po jeho jednotlivých elementech.

3.4

JTidy

HTML formát má nejednoznaˇcnˇe zadanou syntax. Protože je požadováno získávání dat z libovolných HTML stránek (i tˇech nekorektnˇe zadaných), je tˇreba tyto stránky pˇrevést do jednoznaˇcnˇe zadané formy. Právˇe k tomu je v této práci použit nástroj Tidy, konkrétnˇe jeho implementace pro Javu – JTidy. Tato knihovna je volnˇe šíˇritelná. JTidy nabízí možnost zpracovat HTML stránku do formátu XHTML a to jak ve verzi HTML Transitional, tak i HTML Strict. Po zpracování stránky nabízí možnost stránku uchovat v pamˇeti jako DOM (Document Object Model) document, který se pak zpracuje v Javˇe pomocí podpory pro zpracování XML velmi jednoduše, navíc umožnuje ˇ použití jazyka XPath k adresování cˇ ásti stránky (viz 3.5). JTidy nabízí i další možnosti, jako napˇríklad transformování naˇcteného dokumentu do rˇ etˇezce, ruzná ˚ nastavení jako napˇr. použití entit pro znaky mimo ASCII, pˇripojení kaskádových stylu˚ k dokumentu apod. Tyto další funkce však v aplikaci použity nebyly.

3.5

XPath

XPath (XML Path Language) je jazyk, pomocí kterého lze adresovat cˇ ásti XML dokumentu. Pomocí tohoto jazyka lze z XML dokumentu vybírat jednotlivé elementy a pracovat s jejich hodnotami a atributy. Jazyk XPath je standardem vydaným organizací W3C. Jednodušší výrazy vybírají velmi snadno urˇcitou množinu uzlu, ˚ syntax je jednoduchá a i na pohled velmi srozumitelná: /A/B/C

9

3.6. XSLT Tento výraz napˇríklad oznaˇcuje množinu elementu˚ C, které jsou uvnitˇr elementu B, který je uvnitˇr elementu A, který je koˇrenovým elementem dokumentu. Takový zápis je podobný zápisu cesty k souboru v souborovém systému, pˇrípadnˇe URL. U složitˇejších dotazu˚ se místo implicitní osy child (pˇrímý potomek) muže ˚ zapsat jiná osa, oddˇelená cˇ tyˇrteˇckou, pˇrípadnˇe predikáty, uvedené jako seznam podmínek v hranatých závorkách. Pˇríkladem takového složitˇejšího dotazu je napˇríklad tento výraz: /A/B/following-sibling::*[1]

Vybere všechny (libovolnˇe pojmenované) elementy, které jsou prvním elementem následujícím po elementu B, který je uvnitˇr koˇrenového elementu A. Jazyk XPath nabízí ještˇe další funkce, není však pˇredmˇetem této práce je rozebírat. Použití XPath v aplikaci nabízí možnost pˇristupovat k naˇcteným datum. ˚ Tento nástroj by nebylo možné použít, kdyby se HTML stránka nepˇretransformovala na validní XML, proto je použita knihovna JTidy (viz 3.4). Jazyk XPath není pˇríliš nároˇcný na použití, proto je použit pro adresaci dat katalogu s tím, že koncový uživatel bude natolik vzdˇelaný, že jej bude schopen použít.

3.6

XSLT

Transformace XSLT (eXtensible Stylesheet Language Transformations) slouží k pˇrevodum ˚ zdrojových dat ve formátu XML do libovolného jiného požadovaného formátu, nejˇcastˇeji HTML, jiného XML nebo libovolných jiných datových struktur. Transformace se využívá v situaci, kdy máme XML dokument a potˇrebujeme ho pˇretvoˇrit na libovolný jiný formát, pˇrípadnˇe když máme naˇctený dokument v pamˇeti a potˇrebujeme ho jen zformátovat. XSLT parsery umožnují ˇ rozsáhlá nastavení transformací – od použité XSL transformaˇcní šablony až po detaily jako napˇr. poˇcet mezer, kterými se odsadí vnoˇrené elementy. Použití transformací v této práci nebylo nezbytné. Nicménˇe pro jazyk Java existuje velmi dobˇre zpracovaný balík (který je souˇcástí jádra jazyka), který umožnuje ˇ velmi snadné použití transformací. A to byl hlavní duvod ˚ použití XSL transformací pro zobrazení nebo uložení XML dokumentu. ˚

10

Kapitola 4

Implementace 4.1

Vytváˇrení katalogu

4.1.1 Vyhledávání cílových stránek

Obrázek 4.1: Okno pˇri vytváˇrení nového katalogu 11

ˇ 4.1. VYTVÁ RENÍ KATALOGU První a základní úlohou aplikace je vytvoˇrení informací potˇrebných k vytvoˇrení katalogu ˇ uživateli zvolit jeho jméno. Po zvolení (obrázek 4.1). První cˇ ást vytváˇrení katalogu umožnuje jména aplikace uživatele nutí vybrat sloupce datových položek. Tyto sloupce jsou rozdˇeleny na dvˇe cˇ ásti: •

v první cˇ ásti uživatel vytváˇrí sloupce pro seznam položek. Maximálnˇe jeden sloupec muže ˚ být typu rˇ etˇezce (String), dále muže ˚ seznam obsahovat libovolný poˇcet sloupcu˚ logických (Boolean).

•

druhá cˇ ást je urˇcena pro sloupce specifikující detail datové položky. Muže ˚ obsahovat rˇ etˇezce (String), cˇ íselné (celá cˇ ísla – Integer, nebo reálná cˇ ísla – Double) i logické (Boolean) hodnoty v neomezeném poˇctu.

Pˇri vytvoˇrení katalogu se v pamˇeti vytvoˇrí instance tˇrídy Catalog. Objekt katalogu obsahuje veškeré informace o celém katalogu a je jediným zdrojem k vytvoˇrení XML souboru s popisem katalogu. Tento objekt je držen v pamˇeti po celou dobu editace katalogu. Katalogu je pˇri vytvoˇrení pˇriˇrazena hlaviˇcka – jméno a všechny sloupce datových položek. Po vytvoˇrení katalogu je zobrazena první stránka, ze které se bude aplikace dostávat k datum. ˚ Adresa je zadána ve formˇe URL, systém poˇcítá s primárním použitím v internetových stránkách. První stránka navíc nemusí být nutnˇe pouze jedna URL. Uživatel má možnost dynamicky vygenerovat nˇekolik prvních stránek, lišících se pouze cˇ íslem v URL. Takže pokud uživatel napˇr. chce získávání dat zaˇcít na stránkách http://www.katalog.cz/1.html, http://www.katalog.cz/2.html až po napˇr. http://www.katalog.cz/15.html, aplikace toto umožnuje. ˇ Uživatel v tomto pˇrípadˇe zadá pouze pevnou cˇ ást adresy, cˇ ísla stránek, na kterých chce zaˇcít a koncovku, která následuje za cˇ íslem. Pˇri tomto kroku se vytvoˇrí v aplikaci objekt Page, který se pˇriˇradí aktuálnímu katalogu. Tento objekt obsahuje všechny podstatné informace pro další zobrazení stránky v grafickém rozhraní i informace pro následné vytahování dat z HTML stránek. Po zadání poˇcáteˇcní adresy (resp. více adres) se uživatel dostane na hlavní stránku aplikace (obrázek 4.2). Aplikace naˇcte ze zadané adresy (resp. první zadané adresy) dokument, který pak po konverzi do XHTML zobrazí v levé cˇ ásti okna. Vnitˇrní implementace k tˇemto krokum ˚ využívá statické metody tˇrídy Utils. Nejdˇríve metodou getHTMLDocument() naˇcte data z HTML stránky. Tato data pak zpracuje pomocí knihovny JTidy, takže výsledná data jsou ve formˇe XHTML v objektu org.w3c.Document. V levé cˇ ásti okna se aktuální dokument ukazuje uživateli v textové podobˇe, do které byl transformován metodou docToString() tˇrídy Utils. Aktuální dokument je držen v pamˇeti, protože se s ním provádí velké množství operací. Konkrétnˇe je držen jako atribut aktuálnˇe zpracovávaného objektu. Tímto objektem je bud’ Page (pouze pro úplnˇe nejvyšší úrovenˇ stránek) nebo Link (v pˇrípadˇe všech ostatních úrovní). Vzhledem k tomu, že tyto objekty mají stejný základ, je vhodné, aby tˇrída Page byla internˇe rˇ ešena jako potomek tˇrídy Link. Pravá cˇ ást okna slouží pro zjištˇení, jaké odkazy a data stránka obsahuje a jejich adresaci. Uživatel zde specifikuje, zda stránka obsahuje data. Pokud obsahuje více dat na jedné 12

ˇ 4.1. VYTVÁ RENÍ KATALOGU

Obrázek 4.2: Hlavní okno aplikace

stránce, definuje, ve kterých uzlech se data nachází. Dále uživatel definuje, zda stránka obsahuje odkaz na stránku stejné úrovnˇe a odkazy na stránky nižších úrovní. Tyto informace se ukládají v aktuálním objektu Link, resp. Page. Pˇrechod na další úrovenˇ je internˇe rˇ ešena pomocí odkazu, ˚ které ze stránky vedou. Odkazem ze stránky je myšlen konkrétnˇe atribut href elementu a. Muže ˚ obsahovat jak absolutní odkaz (napˇr. ze stránky http://www.hame.cz/katalog/ muže ˚ být odkaz ve tvaru ) tak relativní (napˇr. pro tentýž odkaz ). Tyto situace je tˇreba v aplikaci ošetˇrit, aby oba odkazy vedly ve výsledku na stejnou stránku. K tomu slouží tˇrída java.net.URL, která umí relativní adresy pˇrevést na absolutní. V tomto místˇe se však vyskytuje problém – je tˇreba ošetˇrit odkazy, které vedou na tutéž stránku, pˇrípadnˇe sice ve webovém prohlížeˇci na další stránku pˇrejdou, ale odkaz je v tomto pˇrípadˇe rˇ ešen javascriptem. Problém je vyˇrešen pomocí metody makeAddress() tˇrídy Address. Tato metoda pˇrevede relativní adresu podle aktuální absolutní na výslednou adresu, vytvoˇrí výsledný objekt Address, který je pak použit pro jednoduché zobrazení. Posledním parametrem této metody je celé cˇ íslo, které je v tomto 13

ˇ 4.1. VYTVÁ RENÍ KATALOGU pˇrípadˇe využito pro snadnou orientaci uživatele – udává poˇradí odkazu na stránce. Poˇradí odkazu˚ na stránkách lze využít za pˇredpokladu, že povolíme udávání poˇradí odkazu jak od zaˇcátku stránky, tak i od konce pomocí záporných cˇ ísel, tedy napˇr. pokud máme na stránce 10 odkazu˚ a chceme využít všechny krom prvního a posledního, v aplikaci zadáme do polí First a Last hodnoty 1 a -2. Takovéto odkazování je vhodné využít zejména, pokud máme více stránek jedné úrovnˇe, ale mají ruzná ˚ poˇcet celkových odkazu˚ na další úroven. ˇ Vˇetšinou je totiž na tˇechto stránkách hlaviˇcka, která obsahuje konstantní poˇcet odkazu˚ pro všechny stránky, a zápatí, které obsahuje také konstantní poˇcet odkazu. ˚ Tedy se hlaviˇcce a zápatí vyhneme tímto cˇ íselným odkazováním. Pro pˇrípad, že nám cˇ íselné odkazování nestaˇcí, protože stránka má odkazy jinak rozvržené, než se nám hodí, je v aplikaci možné na tyto odkazy ukázat pomocí výrazu XPath, který vybere pouze námi vybrané elementy . Informace, jak se odkazovat na další úrovenˇ stránky, je uložena v objektu Link, resp. Page. V nˇekterých pˇrípadech je vhodné, aby stránka stejným zpusobem, ˚ jakým zpracovává aktuální stránku, zpracovala i následující stránku. Typická takováto stránka je online katalog firmy, která má své zboží stránkováno a pro pˇrechod na další stránku slouží typicky tlaˇcítko „další“. Další stránka má opˇet stejnou strukturu, jen data jsou jiná. Odkaz „další“ je opˇet vˇetšinou na stejném místˇe. Aplikace umožnuje ˇ takovéto zpracování – staˇcí zadat, kolikátý (od zaˇcátku nebo od konce) je odkaz, který vede na další stejnou stránku, a kolikrát se takhle na další stránku má pˇrejít. Tyto informace jsou opˇet uloženy v objektu Link, resp. Page. Až uživatel zadá všechny podstatné informace, má možnost pˇrejít na další úrovenˇ stránek, která vypadá obdobnˇe. Pˇrechod mezi jednotlivými úrovnˇemi je rˇ ešen pomocí metod getChildLink() a getParentLink() objektu Link, resp. Page. Až je uživatel se svým zadáním informací o hierarchii procházených stránek, pˇrejde na další formuláˇr (obrázek 4.3). 4.1.2 Získání dat z cílových stránek Pˇri výbˇeru dat je zobrazena vlevo aktuální zpracovávaná stránka. Pro pˇrípad, že stránky nejsou naprosto stejnˇe koncipované (což je bˇežné u stránek, které nejsou generovány, ale vytváˇreny ruˇcnˇe), systém nabízí možnost pˇrejít na další a pˇredchozí stránku s daty pro porovnání. V pˇrípadˇe, že stránka s daty obsahovala více datových položek, není zde zobrazena celá stránka, ale jen jeden konkrétní uzel s daty. Mezi jednotlivými uzly je také možno procházet. Tento problém je v systému rˇ ešen tím, že k aktuální stránce je držen jeden aktuální org.w3c.Document. Pokud je na jedné stránce více datových položek, je v pamˇeti držen ještˇe seznam uzlu˚ org.w3c.NodeList, který obsahuje všechny uzly s datovými položkami. Je nereálné, aby pˇri tomto zpracovávání docházelo k pamˇet’ovým problémum, ˚ protože i nejrozsáhlejší internetové stránky s daty jsou v rˇ ádech megabajtu˚ a tudíž na dnešních poˇcítaˇcích nehrozí žádný velký problém. Pro každý sloupec datové položky specifikovaný pˇri vytváˇrení katalogu je tˇreba pˇriˇradit konkrétní data. V levé cˇ ásti okna uživatel vidí aktuálnˇe zpracovávaný sloupec datové po14

ˇ 4.1. VYTVÁ RENÍ KATALOGU

Obrázek 4.3: Okno pro specifikaci, jak se mají datové položky zpracovávat

ložky. Sloupce jsou v pamˇeti jako objekty DataColumn, jejichž seznam je pˇriˇrazen aktuálnˇe zpracovávané stránce (objekt Page). Pro každý sloupec je tˇreba nastavit, jak se má zpracovávat. Sloupec muže ˚ mít pevnˇe zadanou hodnotu (to se hodí v pˇrípadˇe, že uživatel napˇríklad stahuje databázi bezlepkových potravin a chce si ke každé datové položce pro sloupec gluten, urˇcující vhodnost pro lidi s bezlepkovou dietou, pˇriˇradit logickou hodnotu true), nebo hodnotu, která se vybere nˇejakým výrazem XPath a dále se zpracuje. Protože tyto výrazy XPath mohou být složitˇejší a pˇri zpracovávání katalogu se mohou opakovat, aplikace nabízí možnost naˇcíst informace pro zpracování podle dˇríve použitých sloupcu˚ datových položek. Implementace tohoto je velmi jednoduchá – každý sloupec je pˇri uložení pˇreveden na objekt XPath. Ten je dále pˇreveden na textovou hodnotu a uložen do speciálního souboru xpaths.xpaths. Pˇri naˇctení ze souboru se všechny dˇríve uložené XPath objekty naˇctou do seznamu, podle kterého si pak uživatel muže ˚ vybrat, který výraz se mu hodí. Zobrazení je realizováno pomocí tabulky, ve které má 15

4.2. ZÍSKÁNÍ A ULOŽENÍ DAT uživatel možnost si data rˇ adit podle jednotlivých kritérií. Další možnosti uživatele jsou napˇríklad: •

nahrazení nˇekterých znaku˚ nebo i rˇ etˇezcu˚ vybraného uzlu nebo rˇ etˇezce pomocí regulárního výrazu. (Využití napˇr. pokud chceme zjistit hmotnost potravin, která je v textu uvedena jako napˇr. „150 g“, odstraníme jednoduchým regulárním výrazem pˇrebyteˇcné znaky.) Systémové rˇ ešení je pomocí metody replaceAll() tˇrídy String.

•

pro logické hodnoty porovnání, jestli je vybraná hodnota vˇetší nebo menší než uživatelem zadaná. (Využití napˇr. pro uživatele s bezlepkovou dietou je duležité, ˚ aby v urˇcitém druhu potravin bylo velmi malé procento glutenu. Tedy vybere si XPath výrazem hodnotu glutenu a porovná ji s pro nˇej kritickou hodnotou.) V aplikaci je tato funkce rˇ ešena pomocí porovnání metodou compareTo() tˇrídy String.

4.2

Získání a uložení dat

4.2.1 Naˇctení XML souboru Data jsou získávána podle informací uložených bud’ v pamˇeti jako objekt Catalog nebo je externˇe naˇcten z XML souboru (viz pˇríloha A) právˇe do objektu Catalog. 4.2.2 Získání dat Operace získávání dat je potenciálnˇe velmi cˇ asovˇe nároˇcná, aplikace muže ˚ zpracovávat data z tisícu˚ i více internetových stránek. Proto aby grafické rozhraní nepˇrestalo reagovat, bˇeží toto naˇcítání dat v novém vláknˇe, které je realizováno pomocí SwingWorkeru. Data jsou získávána vnitˇrní tˇrídou tˇrídy MainFrame - CatalogDataLoader. Algoritmus prohledávání stránek funguje následovnˇe: Pro všechny stránky daného katalogu: •

Projde všechny úvodní stránky.

•

Pokud stránka obsahuje data, zpracuje je.

•

Pokud stránka obsahuje odkaz na stránky další úrovnˇe, získá tyto odkazy a uloží je do seznamu.

•

Pokud stránka obsahuje odkaz na stránku stejné úrovnˇe, získá tuto stránku a provede pro ni stejný algoritmus, jako provádˇel pro aktuální stránku.

•

Dokud máme nˇejaké adresy v pomocném seznamu, vždycky na konci procedury snížíme úrovenˇ zpracovávané stránky o 1 a následnˇe opakujeme pro všechny tyto adresy tuto proceduru s tím, že adresy jedné úrovnˇe (byt’ tˇreba puvodem ˚ z jiných stránek) se vždy ukládají do jednoho seznamu a není žádný rozdíl v jejich zpracování. 16

4.2. ZÍSKÁNÍ A ULOŽENÍ DAT Data se ze stránek získávají jednoduchým algoritmem: Pro každou datovou položku: •

Zjistíme, jestli má fixní hodnotu nebo hodnotu vybranou výrazem XPath.

•

Pokud je definována fixní, nastavíme ji a jsme hotovi. Jinak vybereme z konkrétní stránky (nebo uzlu stránky v pˇrípadˇe více datových položek na jedné stránce) zadaným XPath výrazem uzel, seznam uzlu, ˚ rˇ etˇezec nebo cˇ íslo podle toho, co uživatel zadal a tento objekt pˇrevedeme na rˇ etˇezec.

•

Pokud se mají na výsledném rˇ etˇezci nahradit nˇekteré cˇ ásti zadané regulárními výrazy nahrazujícími rˇ etˇezci, provedeme nahrazení.

•

Pokud se má výsledná hodnota porovnat vuˇ ˚ ci jiné hodnotˇe, provedeme tuto proceduru.

Datové položky jsou drženy v pamˇeti. Vzhledem k primárnímu urˇcení aplikace pro zpracování katalogu, ˚ které si pak uživatel bude moci prohlížet na mobilním telefonu, nepˇredpokládáme velkou pamˇet’ovou nároˇcnost, a tudíž není tˇreba ukládat data postupnˇe pomocí nˇejakého bufferu. Data jsou držena ve formˇe seznamu objektu˚ CatalogDataItem, ve kterých jsou pro každý sloupec datové položky drženy hodnoty ve formˇe rˇ etˇezce. 4.2.3 Uložení dat O výsledné uložení do souboru se stará tˇrída DataSaver, která metodou saveData() uloží data podle zvoleného formátu bud’ do .csv nebo .zip souboru. Uložení do .zip probíhá následovnˇe: •

Vytvoˇrí se hlaviˇckový soubor config, ve kterém jsou informace jako jméno katalogu a sloupce datových položek a jejich typy.

•

Vytvoˇrí se soubor content, který obsahuje sloupce urˇcené pro orientaci v seznamu položek.

•

Vytvoˇrí se soubor detail, který obsahuje sloupce s detailními popisy datových položek.

•

Tyto tˇri soubory se sbalí do .zip archivu pomocí tˇríd z balíku java.util.zip. Uložení .csv probíhá následovnˇe:

•

Vytvoˇrí se soubor .csv.

•

Vloží se do nˇej na první rˇ ádek tabulky po rˇ adˇe sloupce pro orientaci a následnˇe sloupce s detailními popisy.

•

Na každý další rˇ ádek se vloží jednotlivá odpovídající data pro jednu datovou položku. 17

ˇ ˚ 4.3. ROZD ELENÍ BALÍK U •

Pokud data obsahovaly nˇekterý ze zakázaných znaku˚ CSV bunky ˇ (znak oddˇelovaˇce bunˇek – v našem pˇrípadˇe stˇredník, znak oddˇelovaˇce slov – v našem pˇrípadˇe uvozovky nebo znak nového rˇ ádku), data se „obalí“ uvozovkami, aby nedošlo k deformaci dat.

•

Výsledný soubor se uloží.

4.3

Rozdˇelení balíku˚

Hlavní balík cz.muni.fi.xmasnik.bc obsahuje hlavní tˇrídy aplikace: •

MainFrame – potomek tˇrídy javax.swing.JFrame. Toto je hlavní tˇrída uživatelského rozhraní. Obsahuje všechny použité formuláˇre a metody zpracovávající akce. Zajímavá je také tˇrída CatalogDataLoader (potomek vlákna používaného v grafickém rozhraní javax.swing.SwingWorker), která získá data z HTML stránek a zaˇrídí jejich uložení.

•

DataSaver – tˇrída, která ukládá získaná data ve formátu seznamu objektu˚ CatalogDataItem do zvoleného formátu (.zip nebo .csv).

•

Utils – tˇrída, která obsahuje pouze statické metody, které jsou použity na ruzných ˚ místech v systému, napˇr. zobrazení uzlu cˇ i dokumentu do rˇ etˇezce, získání HTML stránek apod.

Vnoˇrený balík cz.muni.fi.xmasnik.bc.dataObjects obsahuje tˇrídy objektu, ˚ které v sobˇe drží nˇejaká data. Tedy v tomto balíku jsou tˇrídy: •

Catalog – obsahuje všechna data o zpracovávaném katalogu - seznam datových sloupcu˚ (Column) a seznam výchozích stránek (Page).

•

Page - potomek tˇrídy Link - informace o dané hierarchii stránek. Na jaké URL se má zaˇcít (pˇrípadnˇe na kterých URL se má zaˇcít, pokud je jich zadáno více) stránky procházet a jak se z nich má dále pokraˇcovat. Obsahuje pomocné atributy urˇcující, jak se má se stránkou naložit pˇri zpracovávání dat, seznam informací pro zpracování jednotlivých datových položek (DataColumn). Dále obsahuje Link – objekt, který ukazuje na další stránku nižší úrovnˇe.

•

Link – pˇredek tˇrídy Page - informace o vnoˇrené stránce. Podobnˇe jako Page obsahuje informace pro pˇrechod na další nižší úrovenˇ stránek a Link ukazující na další stránku.

•

Column – datová položka. V této tˇrídˇe je pouze jméno a datový typ položky. Dále se více rozvíjí ve tˇrídˇe potomka DataColumn.

•

DataColumn – potomek Column, objekt jedné konkrétní datové položky pro konkrétní Page. Obsahuje informace o tom, jak se má daná informace zpracovat. 18

ˇ 4.4. POUŽITÉ T RÍDY JAVA CORE API •

XPath – potomek DataColumn. Tento objekt reprezentuje informaci naˇctenou z externího souboru, kam se ukládají dˇríve použité informace pro zpracování (odpovídající DataColumn). Oproti DataColumn má navíc informace o dotyˇcném katalogu a stránce.

•

IntSequence – obsahuje zadání urˇcité sekvence cˇ ísel. Sekvence je zadana prvním a posledním cˇ íslem sekvence, dále cˇ ísly, které se ze sekvence mají vynechat, a cˇ ísly, které se do sekvence mají naopak pˇridat.

•

a další malé, ménˇe podstatné tˇrídy, které pouze drží data.

Balík cz.muni.fi.xmasnik.bc.exceptions obsahuje pouze jedinou tˇrídu - výjimku CatalogException. Ta je použita v pˇrípadˇe, že katalog nemá validní formu.

4.4

Použité tˇrídy Java Core API

Aplikace využívá tyto balíky z jádra jazyka Java: •

java.io – balík, ze kterého je využita práce se soubory, naˇcítání a zapisování dat pomocí streamu. ˚

•

java.net – díky tomuto balíku jsme schopni pracovat s adresami URL

•

java.util – z tohoto balíku jsme využili kolekce pro ukládání a zpracovávání seznamu˚ nebo množin objektu. ˚

•

java.util.zip – balík pro zpracování dat v archivu .zip. Konkrétnˇe pouze uložení do tohoto formátu.

•

javax.swing – balík urˇcený k práci s grafickým rozhraním, obsahuje prvky grafického rozhraní a akce s nimi pracující.

•

javax.xml.parsers – v tomto balíku se nachází tˇrídy, pomocí nichž se jednoduše buduje nová struktura dokumentu XML.

•

javax.xml.transform – balík, který byl použit ke transformaci XML dokumentu do výsledné textové formy.

•

javax.xml.xpath – balík, který obsluhuje parsování a následné zpracování XPath výrazu˚ nad dokumenty XML.

•

org.w3c.dom – v tomto balíku se nachází tˇrídy, které obsluhují a parsují XML dokumenty.

19

Kapitola 5

Závˇer Cílem práce bylo vytvoˇrit aplikaci, která umí získat data z katalogu˚ ruzných ˚ druhu˚ – HTML, PDF nebo textových katalogu. ˚ Aplikace oproti zadání získává data pouze z HTML stránek. V dnešní dobˇe, kdy není problém si jednoduše pˇrevést libovolný PDF soubor online konvertory pˇrímo na HTML, už potˇreba zpracovat pˇrímo PDF upadá. Pro textové soubory obdobnˇe existují konvertory do výsledného formátu HTML. Proto se práce místo tˇechto problému˚ zabývá radˇeji více do hloubky zpracováním právˇe HTML stránek, aby aplikace mˇela co možno nejširší využití. Oproti zadání práce nabízí aplikace více možností jako napˇr. uložení a opˇetovné otevˇrení katalogu, opˇetovné naˇctení dat z HTML stránek, opˇetovné použití XPath výrazu˚ z dˇríve použitých katalogu˚ nebo podpora uložení do .csv souboru pro další zpracování. Aplikace je pˇripravena pro bˇežné použití pro uživatele, který je znalý XPath výrazu˚ a orientuje se ve struktuˇre HTML stránek. Snaží se o co možná nejpˇrívˇetivˇejší uživatelské prostˇredí tak, aby uživatel vždy vˇedˇel, jaké má možnosti a co bude jejich výsledkem. Koncová data lze použít v mobilní aplikaci, která je souˇcástí práce [7]. Aplikace by mohla být rozšíˇrena o další funkce, at’ už již zmínˇené zpracování PDF, textových formátu˚ cˇ i XML souboru. ˚ Dalším rozšíˇrením (s použitím mimo mobilní aplikaci) by mohla být funkce získání dalších souboru˚ náležejících k HTML stránce jako napˇr. CSS styly nebo obrázky.

20

Literatura [1] About Java Technology, Sun Microsystems, 2008, . [2] Bezlepková dieta, Pˇrispˇevatelé Wikipedie, 20. 12. 2008, . [3] Celiakie, Pˇrispˇevatelé Wikipedie, 21. 12. 2008, . 1.1 [4] Bloch, J.: Java efektivnˇe : 57 zásad softwarového experta, Grada Publishing, 2001, ISBN 80-247-0416-1. [5] Java (programovací jazyk), Pˇrispˇevatelé Wikipedie, 23. 12. 2008, . 3.2 [6] About JTidy, Members of JTidy team, 2008, . [7] Jantošoviˇc, M.: Mobilné katalógy [bakaláˇrská práce], Masarykova univerzita Brno, jaro 2008, . 1.1, 2.3, 5 [8] Extensible Markup Language (XML), W3C, 14. 10. 2008, . [9] XML Path Language (XPath), W3C, 16. 11. 1999, . [10] XSL Transformations, Wikimedia Foundation, Inc., 1. 1. 2009, .

21

Pˇríloha A

Ukázka XML souboru katalogu id int Název string Gluten boolean <detail> id int Název string Hmotnost int Složení string <search-by>Název <search-by>Gluten

22

A. U KÁZKA XML

SOUBORU KATALOGU

<pages> <page> http://www.hame.cz/katalog/ 14 15 14 -19 15 -19 id Název <xpath-selected> <xpath>//h3 String Gluten <xpath-selected> <xpath>//img[@alt=’Bez lepku’] Boolean <detail> id Název <xpath-selected> <xpath>//h3 String

23

A. U KÁZKA XML

SOUBORU KATALOGU

Hmotnost <xpath-selected> <xpath>//li[1]/strong/text() NodeList g Složení <xpath-selected> <xpath>//li[2]/strong/text() NodeList

24

Pˇríloha B

Obsah pˇriloženého CD Souˇcástí pˇriloženého CD jsou: •

Text práce ve formátech PDF a DocBook.

•

Aplikace Mobilní katalogy.

•

Ukázkové XML soubory katalogu. ˚

•

Ukázkové soubory .csv se zpracovanými daty.

•

Ukázkové soubory .zip se zpracovanými daty.

25

Pˇríloha C

Jak použít aplikaci Prvním krokem pro získání dat z HTML stránek je definování katalogu. V aplikaci je tato procedura dosažitelná z menu File položkou New catalog. Po vybrání této položky se zobrazí okno Catalog. V nˇem je tˇreba zadat název katalogu a vytvoˇrit sloupce datových položek. Kvuli ˚ navazující mobilní aplikaci jsou tyto sloupce rozdˇeleny na dva druhy - content a detail. Content jsou položky, které se v mobilní aplikaci zobrazí v seznamu položek. Detail se v mobilu zobrazí až po vybrání konkrétní datové položky. Tedy napˇríklad chceme získat seznam potravin. Do polí Content chceme zadat název položek (typu String) a logickou hodnotu Gluten (Boolean), která má hodnotu true v pˇrípadˇe, že je daná položka vhodná pro lidi s bezlepkovou dietou. Dále v polích Detail chceme o položkách vˇedˇet napˇríklad složení (String) a výrobce (String). Po specifikování datových položek a potvrzení tlaˇcítkem OK je tˇreba vybrat první stránku, ze které se chceme k datum ˚ dostat. Výborným pˇríkladem zpracování stránek byly v dobˇe vypracování aplikace stránky . Tedy zadejme napˇríklad tuto stránku. Další možnosti zadání první stránky se použijí, pokud potˇrebujeme získat data ze stránek, na které nevedou odkazy, ale stránky se dají zadat cˇ íselnˇe. Napˇr. chceme získat data ze stránek až . Tedy vybereme spodní radiobutton. Do pole URL’s first part vložíme cˇ ást url „http://www.pipo36.szm.sk/obrazky_“. Chceme zpracovat stránky od 02 do 10, tedy do pole First zadáme „2“. Do pole Last zadáme „10“. Pole Include a Exclude bychom použili v pˇrípadˇe, že bychom potˇrebovali nˇekteré stránky mezi položkami First a Last vynechat (Exclude) nebo naopak pˇridat nˇekteré navíc (Include). Protože stránka má cˇ íslo ve tvaru 02, vybereme checkbox Add zeroes ahead of the number if necessary, díky kterému se pˇred jednociferná cˇ ísla pˇridá nula. Do posledního pole Suffix zadáme to, co následuje za cˇ íslem, tedy v našem pˇrípadˇe „.html“ a aplikace se postará o zpracování všech URL. Po potvrzení vybrání stránky se stránka zobrazí v levé cˇ ásti hlavního okna. V pˇrípadˇe, že jsme vybrali více poˇcáteˇcních stránek, mužeme ˚ se mezi nimi pohybovat pomocí tlaˇcítek Previous a Next page. V pravé cˇ ásti budeme dále specifikovat, kam se z úvodní stránky chceme dostat. Tedy máme vybránu stránku a chceme dále pˇrejít na stránky resp. . Tedy si necháme tlaˇcítkem Show selected links zobrazit všechny odkazy na další stránky. Zjistíme, že tyto dva odkazy jsou 26

C. J AK POUŽÍT APLIKACI 14. a 15., tedy do pole First zadáme „14“, do pole Last „15“. Pole Include a Exclude mají naprosto stejnou funkci jako ve specifikaci stránky. Protože na této stránce nic dalšího zpracovávat nechceme, mužeme ˚ pˇrejít dál tlaˇcítkem Next level. Zobrazí se nám první vybraná stránka, tedy v našem pˇrípadˇe . Z této stránky vedou odkazy na další kategorie. Zjistíme, že jsou to odkazy 14 - 30. Pˇrejdeme-li ale na další stránku tlaˇcítkem Next page, zjistíme, že na ní je ménˇe kategorií resp. odkazu. ˚ Je tedy tˇreba zadat odkazy trošku jinak. Zjistíme, že poslední odkaz je 19. od konce, tedy do pole First zadáme klasicky „14“, ale do pole Last zadáme „-19“. Tímto je ošetˇren postup dále z obou stránek a mužeme ˚ pˇrejít zase dál tlaˇcítkem Next level. Zobrazí se další stránka, zjistíme znovu odkazy, zase musíme zadat záporný poslední odkaz (-19) a kladný první (15). Po pˇrechodu na další úrovenˇ (tlaˇcítko Next level) se zobrazí stránka, která koneˇcnˇe obsahuje data. Tedy v pravé cˇ ásti vybereme radiobutton Does this page contain data? Yes. Na žádné další stránky už pokraˇcovat nechceme, tedy vybereme radiobutton Does this page contain link to a next page? No. Pole XPath slouží pro pˇrípad, že by na jedné stránce bylo více datových položek. V tom pˇrípadˇe bychom museli XPath výrazem urˇcit, v jakém elementu jsou data uzavˇrena. Pro zjištˇení správnosti výrazu slouží tlaˇcítko Show. Pˇri zpracování jsme zatím nepoužili checkbox Process every next page the same way as this page. Tato volba se používá v pˇrípadˇe, že potˇrebujeme jedním zpusobem ˚ zpracovat více stejných stránek. Napˇríklad ze stránek bychom mohli chtít získat všechny restaurace v Brnˇe. Tedy dostat se na konkrétní stránku a následnˇe zpracovat i další stránky, na které ukazuje odkaz „Další“, stejným zpusobem. ˚ Tedy bychom zadali cˇ íslo tohoto odkazu (v tomto pˇrípadˇe je tˇreba ho zadat od konce, tedy do pole Link to a next page number zadáme „-23“) a poˇcet stran, které se takto mají zpracovat (v tomto pˇrípadˇe je stránek s restauracemi v Brnˇe 37, tedy zadáme do pole process „37“). Máme specifikován postup, jak projít všechny stránky s daty. Pˇrejdeme tedy tlaˇcítkem Done na specifikaci, co jsou data. Zobrazí se nám další okno Data. V oknˇe Data v levé cˇ ásti máme zobrazenu aktuální stránku s daty. Mužeme ˚ také pˇrecházet mezi jednotlivými stránkami tlaˇcítky Previous a Next page. Pro specifikaci datových položek slouží pravá cˇ ást okna. V její horní cˇ ásti vidíme, kterou položku zrovna zpracováváme. Jako první zde bude povinná položka id, kterou není tˇreba nijak specifikovat, tedy tlaˇcítkem Next data item vybereme nˇejakou nepovinnou, napˇr. název položky. Název je pro každou položku jiný a dá se jednoduše zjistit výrazem XPath //h3, jako výsledek XPath výrazu vybereme String. Mohli bychom též použít pro nahrání dˇríve použitého výrazu tlaˇcítko Load XPath. To nás zavede na vybrání dˇríve použitého XPath výrazu, který jednoduše vybereme a použijeme. Nic dalšího již není tˇreba s touto položkou dˇelat, tedy vybereme další položku - Gluten. Pokud je položka bezlepková, na stránce existuje obrázek s popiskem „Bez lepku“. Tedy vybereme XPath výraz //img[@alt=’Bez lepku’] a jako jeho výsledek vybereme Boolean. Podobnˇe lze specifikovat i další položky. Fixed value slouží v tom pˇrípadˇe, že pro všechny datové položky existuje shodná textová hodnota. Tedy v našem pˇrípadˇe napˇríklad pro sloupec Výrobce bude vždy hodnota 27

C. J AK POUŽÍT APLIKACI „Hamé“, tedy vybereme Fixed value a do pole napíšeme „Hamé“. Pole Replaces slouží k nahrazení nˇejakého regulárního výrazu libovolnm rˇ etˇezcem. Tedy napˇríklad vybereme XPath výrazem hmotnost, která je však na stránkách v rˇ etˇezci jako napˇr. „250 g“. Tedy pˇridáme nahrazení, kdy chceme regulární výraz „ g“ (mezera a za ní malé g) nahradit prázdným rˇ etˇezcem. Pole Delete tags included in XPath result slouží ke smazání HTML tagu˚ z výsledku vybraného XPath výrazem. ˇ Poslední nepoužitá funkce je zadání True if. Reknˇ eme, že z nˇejakého duvodu ˚ chceme vˇedˇet, jestli má nˇejaká položka menší hmotnost než 250 g. Tedy vybereme stejným zpusobem, ˚ jako je výše popsán, hmotnost. V selectboxu True if result value is vybereme odpovídající znaménko <. Dále zadáme ještˇe hodnotu, vuˇ ˚ ci které se bude vybraná hodnota porovnávat, tedy „250“. Až máme specifikovány všechny položky, potvrdíme uložení stránky tlaˇcítkem Save page. Vrátíme se zpˇet do hlavního okna. Mužeme ˚ pˇridat další stránku položkou menu Catalog - New page, pˇrípadnˇe v tomto menu vybrat Edit catalog pro editaci položek katalogu nebo Edit page pro editaci stránky. Volba Move to page slouží k pˇreskoˇcení na dˇríve založenou stránku, Delete page nˇekterou stránku odstraní. Pokud nechceme již pˇridávat žádnou další stránku s daty, mužeme ˚ katalog uložit pro opakované použití. Z menu File pˇrejdeme na Save catalog a vybereme XMLsoubor, do kterého chceme imformace uložit. Nakonec pokud chceme ze stránek zaˇcít data získávat, vybereme položku menu File Save catalog data. Po vybrání staˇcí specifikovat typ výsledného souboru (.zip nebo .csv) a jméno souboru. Pak se objeví další okno Save data, ve kterém staˇcí zmáˇcknout tlaˇcítko Start. V textovém poli níže se bude zobrazovat, co aplikace právˇe provádí. Pokud chceme zpracovávání dat zastavit, slouží k tomu tlaˇcítko Stop. V tomto pˇrípadˇe se ale data neuloží.

28

012345

Recommend Documents