PŘÍRODOVĚDECKÁ FAKULTA UNIVERZITY PALACKÉHO KATEDRA INFORMATIKY
BAKALÁŘSKÁ PRÁCE
Intranetový vyhledávač
2010
Ladislav Vyskočil
Anotace V této bakalářské práci je zpracován soubor aplikací Intranetového vyhledávače, skládající se z aplikace WebRobot pro platformu Microsoft .NET Framework 3.5, Databáze pro Microsoft SQL Server 2008 a aplikace WWW serveru v prostředí ASP.
Děkuji Ing. Jiřímu Hronkovi za odborné rady a vedení při zpracování této bakalářské práce.
Obsah 1. Úvod 1.1. Zadání projektu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2. Zpracování projektu . . . . . . . . . . . . . . . . . . . . . . . . . 1.3. Cíle a použití projektu . . . . . . . . . . . . . . . . . . . . . . . .
6 6 6 7
2. Úvod do problematiky 2.1. Jaká data se dají získat z webových stránek . . . . . . . . . . . . 2.2. Jak pracuje Intranetový vyhledávač . . . . . . . . . . . . . . . . .
8 9 10
3. Postup realizace 3.1. Vývoj vyhledávacího robota . . . . . . . . . . . . . . . . . . . . . 3.2. Vývoj SQL databáze . . . . . . . . . . . . . . . . . . . . . . . . . 3.3. Vývoj ASP aplikace webového rozhraní vyhledávače . . . . . . . .
13 13 16 17
4. Testování
19
5. Instalace Intranetového vyhledávače
20
6. Uživatelská dokumentace 6.1. Uživatelský manuál webového rozhraní vyhledávače . . . . . . . . 6.2. Uživatelský manuál Administrace . . . . . . . . . . . . . . . . . . 6.3. Uživatelský manuál vyhledávacího robota . . . . . . . . . . . . . .
24 24 28 35
7. Programátorská dokumentace 7.1. Programátorský popis SQL databáze . . . . . . . . . . . . . . . . 7.1.1. Tabulky databáze a jejich prvky . . . . . . . . . . . . . . . 7.1.2. Uložené procedury SQL databáze . . . . . . . . . . . . . . 7.1.3. Návod na vytvoření a start fulltextového katalogu . . . . . 7.2. Programátorský popis vyhledávacího robota . . . . . . . . . . . . 7.2.1. Popis tříd a metod jednotlivých zdrojových souborů . . . . 7.3. Programátorský popis ASP aplikace webového rozhraní vyhledávače 7.3.1. Přehled souborů uživatelské části webového rozhraní . . . 7.3.2. Přehled souborů administrátorské části webového rozhraní
37 37 37 41 47 48 48 56 56 57
Závěr
60
Conclusions
61
Reference
62
A. Popis obsahu přiloženého CD
63
4
Seznam obrázků 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
Princip činnosti Intranetového vyhledávače . . . . Pracovní verze vyhledávacího robota . . . . . . . Blokové schéma funkce vyhledávacího robota . . . Finální verze vyhledávacího robota . . . . . . . . Hlavní stránka webového rozhraní vyhledávače . . Stránka s výsledky hledání . . . . . . . . . . . . . Navigace stránkování . . . . . . . . . . . . . . . . Přihlašovací formulář pro vstup do administrace. . Hlavní stránka administrace . . . . . . . . . . . . Administrace - odstranění záznamů . . . . . . . . Administrace - operace s databází . . . . . . . . . Administrace - změna hesla . . . . . . . . . . . . Administrace povolených domén . . . . . . . . . . Administrace zakázaných odkazů . . . . . . . . . Administrace nepovolených přípon . . . . . . . . Vyhledávací robot v běhu . . . . . . . . . . . . . Relační schéma databáze . . . . . . . . . . . . . .
5
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
12 13 14 16 26 27 27 28 28 29 30 31 32 33 34 36 41
1. 1.1.
Úvod Zadání projektu
Vytvoření jednoduchého Intranetového vyhledávače, který umožňuje v databázi navštívených webových stránek najít ty, které obsahují požadované informace. Uživatel zadává do WWW rozhraní vyhledávače klíčová slova, která charakterizují hledanou informaci, a vyhledávač na základě své databáze vypisuje seznam odkazů na stránky, které hledaný text obsahují. Intranetový vyhledávač bude obsahovat: Vyhledávací robot, databázi vyhledávače a WWW aplikaci realizující hledání v databázi vyhledávače. Intranetový vyhledávač by měl být koncipován tak, aby dokázal indexovat obsah v rozsahu do 100 000 webových stránek. Vyhledávací robot bude zpracovávat pouze webové stránky a musí umět získat z načtené webové stránky její textový obsah, odkazy a e-mailové adresy. Zabezpečené stránky, vyžadující přihlašovací heslo, nebudou načítány. Uživatelské rozhraní WWW aplikace vyhledávače, by mělo být intuitivní, zachovávající principy známých vyhledávačů, se kterými umí běžní uživatelé pracovat. Vyhledávání musí být umožněno v textu obsahu stránek, v titulku a nadpisu stránek, v adrese URL stránek a v e-mailových adresách. Při nalezení stránky, vyhledávačem, bude mít uživatel možnost zobrazení podrobných informací o stránce, tak jak ji vyhledávací robot načetl a uložil do databáze. Dále má možnost zobrazit odkazy vedoucí na tuto stránku a také zobrazit odkazy nalezené na této stránce. Při vyhledávání e-mailových adres bude u nalezených adres možnost zobrazit www stránky, na kterých byl konkrétní e-mail nalezen. Použitá technologie pro vývoj bude pouze na produktech Microsoft. Zadání této práce bylo specifikováno pro potřeby Policie České republiky, Krajského ředitelství policie Jihomoravského kraje (dále jen „KŘP JmKÿ).
1.2.
Zpracování projektu
Vyhledávací robot V jazyce Microsoft Visual C# – Visual Studio 2008. Databáze vyhledávače V Microsoft SQL Server 2008. WWW aplikace realizující hledání v databázi vyhledávače Ve skriptovací platformě ASP pro Microsoft IIS.
6
1.3.
Cíle a použití projektu
Důvodem vytvoření Internetového vyhledávače je nemožnost použití známých vyhledávačů v intranetech velkých organizací, které nejsou, nebo nemohou být propojeny do sítě internet. Intranetový vyhledávač je především určen pro intranety s rozsahem do 100 000 webových stránek, ale lze jej samozřejmě v omezené míře použít i na internetu, například pro vyhledávání v několika oborově stejně zaměřených WWW serverech, diskusích a podobně. Toto omezení je dáno použitou technologií. Celý projekt vyhledávače je, dle zadání, navržen pro platformu Microsoft Windows a lze jej provozovat na počítači s operačním systémem Microsoft Windows XP SP3 a vyšší. Každou ze tří součástí vyhledávače - vyhledávací robot, databáze vyhledávače a ASP aplikaci webového rozhraní, realizující hledání - lze provozovat samostatně na různých počítačích, nutná je pouze dostupnost SQL databáze vyhledávače z těchto počítačů. I když jsou volně k dispozici i jiné vyhledávače pod licencí GNU GPL, jsou ale převážně určeny pro operační systém Linux, nebo nejsou příliš vhodné k použití pro potřeby zadání. Implementace Internetového vyhledávače je prvotně navržena a realizována pro Intranet Policie ČR, kde se předpokládá indexování přibližně 100 000 webových stránek. Projekt intranetový vyhledávač je možné samozřejmě dále rozšiřovat a přizpůsobovat požadavkům uživatelů v průběhu používání a tím nabídnout uživatelům větší možnosti při hledání. V této verzi nebyl kladen důraz na všechny možnosti fulltextového vyhledávání a zadávání hledaných řetězců, které je možné dále zdokonalovat. Další z možností rozšíření je analýza a načtení nejen webových stránek, ale i dalších typů dokumentů, případně doplnění o nějakou formu atraktivity stránky vycházející z počtu odkazů na tuto stránku a podobně.
7
2.
Úvod do problematiky
Vznik intranetu se datuje do stejné doby, jako vznik prvních akademických sítí a internetu. Intranet je počítačová síť, která používá stejnou infrastrukturu jako internet. Používá stejné komunikační protokoly TCP/IP, internetové služby a webové servery a také webové prohlížeče, jako univerzální přístupový prostředek. Je to však soukromá vnitřní síť vyhrazená pro jedinou organizaci, společnost, nebo soukromou osobu a je určena pouze pro použití malé skupiny uživatelů. Uživatelskými oprávněními bývá přesně definováno kdo má kam přístup a co smí vidět. V počátcích byly první intranetové stránky tvořeny pouze statickým obsahem, avšak s rozvojem webových technologií lze nyní provozovat i na intranetu prakticky stejný obsah a služby jako na internetu. Intranet je zcela nezávislý na internetu. Vytvoření intranetu je poměrně snadné. Stačí propojit počítače pomocí aktivních prvků do sítě. U menších sítí pak lze nainstalovat například webový server na libovolný z připojených počítačů. Ve větších sítích je lepší vyčlenit jeden počítač jako server a pouze na něm provozovat intranetové služby. Základem je webový server, který umožňuje provozovat intranetové stránky a zobrazovat je přes libovolný webový prohlížeč. Tyto intranetové stránky jsou dostupné pouze z vnitřní sítě, nicméně celý intranet lze prostřednictvím vhodného routeru připojit i k internetu. Vlastnosti intranetu, jeho oddělenost od okolního světa a stejná použitá technologie s internetem, jsou velmi výhodné a postupem doby se intranety staly velmi oblíbenými zejména u větších společností. Každý management dobře ví, že k úspěšnému růstu je nutná spolehlivá a bezpečná komunikace uvnitř společnosti. Navíc pokud má společnost například několik tisíc zaměstnanců, není distribuce informací jednoduchou záležitostí. Nejjednodušším řešením je mít vlastní intranet, který může značně usnadnit řešení a tudíž ho většina větších společností, nebo organizací provozuje a používá. S rozvojem používání intranetů však ve stejné míře roste i rozsah informací, které intranet obsahuje. Z počátečních několika stovek intranetových stránek na jednom webovém serveru se nyní u větších organizací setkáváme s desítkami a stovkami tisíc stránek na desítkách až stovkách webových serverů. Izolovanost intranetů však neumožňuje používat k indexaci stránek žádné známé internetové vyhledávače a tak je běžný uživatel intranetu odkázán na vyhledávání na jednom serveru, nebo na hledání informací prostřednictvím různých rozcestníků a tak nemusí vždy nalézt všechny informace, které právě potřebuje. Jako nejlepší řešení se v tomto případě dá považovat použití vlastního intranetového vyhledávače, který umožní na oddělených intranetech provozovat jednoduchou službu, principiálně podobnou známým vyhledávačům.
8
2.1.
Jaká data se dají získat z webových stránek
Při načítání libovolné webové stránky z intranetu, nebo z internetu, využíváme celkem dva zdroje informací. První je odpověď webového serveru, který žádáme o webovou stránku a druhý je vlastní soubor webové stránky v HTML kódu, který nám tento webový server odešle. Informace z obou zdrojů je ve vyhledávači výhodné zpracovat. Z odpovědi serveru můžeme využít tyto odesílané informace: ContentType – kde je uvedeno jaký je typ obsahu zasílaného souboru, například „text/htmlÿ, ContentLength – udává velikost zasílaného souboru v bytech, ResponseUri – vrací URL odpovídajícího serveru, která se z důvodu různého přesměrování může lišit od URL webové stránky. CharacterSet – udává v jakém kódování webová stránka je, například „utf-8ÿ Headers – vrací hlavičku zasílanou serverem, obsahující obsáhlejší informace o serveru. StatusCode – udává status načtení, například „OKÿ, pokud načtení proběhlo bezchybně, v případě chyby vrací číslo chyby, například „404 – stránka nenalezenaÿ. Další data získáme analýzou a rozborem načteného souboru webové stránky, ve kterém je text formátován v HTML kódu. Je to vlastně obyčejný textový soubor, který kromě vlastního textu obsahuje formátovací značky – tagy, které přiřazují textu různý význam. Nebudeme zde rozebírat celou strukturu HTML kódu, ale zaměříme se pouze na ty části, které lze využít pro vyhledávač. Titulek stránky získáme mezi tagy
a <title>. Hlavní nadpis stránky získáme mezi tagy <h1> a <h1>. Odkazy na další stránky získáme ze třech zdrojů: - z tagu <a> v atributu href, - z tagů <frame> a <iframe> v atributu src, - z tagů <form> v atributu action. E-mailové adresy bývají uvedeny v odkazech <a href rel="nofollow">, ale z důvodu výskytu e-mailových adres i mimo odkazy, je lepší použít k jejich získání jiný způsob, než hledáním v tagu, například prohledání celého souboru regulárním výrazem. Prostý text obsahu stránky získáme tak, že z celého souboru webové stránky odstraníme HTML formátování, skripty a objekty. Tak nám zůstane pouze čistý text stránky, bez žádného formátování, který je pro fulltextové hledání nejvýhodnější. 9<br />
<br />
2.2.<br />
<br />
Jak pracuje Intranetový vyhledávač<br />
<br />
Intranetový vyhledávač je soubor spolupracujících aplikací, z nichž některé pracují zcela automaticky. Spolupracující aplikace můžou být umístěny na různých počítačích, nebo serverech, připojených k intranetové síti. Činnosti vyhledávače spočívá ve třech krocích: 1. procházení webových stránek, 2. udržování databáze navštívených stránek s informacemi o stránkách, 3. poskytování odpovědí na dotazy. Procházení webových stránek Procházení webových stránek má za úkol automatický program nazývaný vyhledávací robot, případně webrobot, nebo spider. Tento robot načte z databáze vyhledávače adresu webové stránky, která má být nově zařazena do databáze, nebo znovu navštívena a načte její obsah z intranetu. Načtenou stránku analyzuje a vytvoří seznam všech obsažených odkazů na další webové stránky a také seznam nalezených e-mailových adres nalezených na navštívené webové stránce. Analýza stránky spočívá v jejím bezchybném načtení z intranetu, převodu do správného kódování, dekódování odpovědi serveru, získání hlavičky stánky, statusu načtení a HTML kódu stránky. Následně se z načteného HTML kódu stránky extrahuje prostý text titulku stránky, nadpis a jako nejdůležitější krok je získání prostého textu obsahu celé stránky, ve kterém se po uložení do databáze bude realizovat fulltextové hledání. Po dokončení analýzy a extrakci odkazů a e-mailů vyhledávací robot uloží zpět do databáze vyhledávače analyzované informace o načtené stránce s datem návštěvy, seznam nalezených e-mailů a seznam obsažených odkazů, které budou v dalších krocích robota také navštíveny. Vyhledávací robot pracuje cyklicky. Cyklus návštěv, analýzy obsahu, získání odkazů a e-mailů a dalších návštěv se stále opakuje. Robot se na navštívené stránky pravidelně vrací po navštívení všech stránek ve frontě databáze. Počet analyzovaných www stránek za jednotku času záleží na rychlosti připojení pracovní stanice, na které běží robot, do intranetu a rychlosti odezvy SQL serveru. Při běžném provozu na 10 Mb síti se rychlost robota pohybuje mezi 10 000 – 20 000 navštívených stránek za 24 hodin. Aplikace vyhledávacího robota může být nainstalována na libovolném počítači v intranetu a v našem případě, jelikož k činnosti potřebuje pouze Microsoft .NET Framework 3.5, i na výkonově slabším počítači s operačním systémem MS Windows XP SP3 .<br />
<br />
10<br />
<br />
Udržování databáze navštívených stránek s informacemi o stránkách Databáze vyhledávače je nejdůležitější část vyhledávače. Slouží jako datové úložiště informací, které získá vyhledávací robot při návštěvách webových stránek a musí být schopna poskytnout informace, na kterých stránkách se hledané slovo nachází. V našem případě je jako databázový server použit Microsoft SQL Server 2008, s plně funkčním fulltextovým vyhledáváním. V databázi musí být uloženy všechny informace nutné pro vyhledávání: -<br />
<br />
seznam všech zařazených webových stránek, textová data obsahu jednotlivých stránek, informace o tom, které stránky obsahují odkaz na konkrétní stránku, seznam všech nalezených e-mailů, informace, ze kterých stránek byl každý e-mail získán.<br />
<br />
Databáze musí obsahovat také další doplňující informace, nutné k provozu: - seznam hledaných řetězců, s uvedením počtu, kolikrát byl zadán, - seznam povolených domén, jejichž stránky můžou být zařazovány do databáze, - seznam zakázaných domén, které bude vyhledávací robot ignorovat, - seznam nepovolených přípon souborů, které bude robot v odkazech ignorovat, - přehledy záznamů, - heslo pro přístup k webové administraci. Protože je databáze jediný centrální prvek Intranetového vyhledávače, vyhledávací robot z databáze dostává informace o stránkách k návštěvě a následně do ní ukládá načtená data a webové rozhraní vyhledávače zase prostřednictvím databáze realizuje hledání, jeví se jako velmi vhodné umístit právě do databáze veškerou logiku chování vyhledávače. Použitím Transact-SQL jsou všechny databázové operace realizovány prostřednictvím uložených procedur a funkcí, čímž máme k dispozici univerzální rozhraní jak pro vyhledávacího robota, tak pro webové rozhraní vyhledávače. Tyto aplikace pak jen volají uložené procedury a funkce databáze a nemusí se starat o to, jakým způsobem budou data zpracována. Zároveň tím získá databáze určitý stupeň zabezpečení. Protože ostatní aplikace nepracují přímo s daty, ale volají pouze uložené procedury, nemůže dojít například k nechtěné ztrátě dat a podobně. Z důvodu velkého objemu dat v databázi a hlavně z důvodu rychlejšího vyhledávání požadovaných informací je nutné databázi indexovat a to jak pro fulltextové položky, tak pro všechny ostatní položky, ve kterých se bude vyhledávat.<br />
<br />
11<br />
<br />
Poskytování odpovědí na dotazy K dotazování slouží poslední aplikace Intranetového vyhledávače. Je jím aplikace webového rozhraní, prostřednictvím kterého uživatel vkládá dotazy a získává odpovědi. K tomuto účelu slouží jednoduchý webový formulář, kam uživatel vkládá hledaná klíčová slova a volí způsob vyhledávání. Po jeho odeslání získá seznam adres odkazů na webové stránky, případně seznam e-mailových adres, na kterých vyhledávač hledaná slova našel. Kromě odkazu zobrazuje také titulek stránky, několik řádků obsahu stránky a také další možnosti, jako například zobrazení odkazů vedoucí na tuto stránku a odkazy nalezené na této stránce. Webová aplikace vyhledávacího rozhraní je vytvořena pro Microsoft IIS za použití technologie ASP.<br />
<br />
Obrázek 1.: Princip činnosti Intranetového vyhledávače<br />
<br />
12<br />
<br />
3.<br />
<br />
Postup realizace<br />
<br />
Vývoj projektu Intranetový vyhledávač byl zahájen dne 10.10 2009. Po prvotní analýze problému byly rozděleny jednotlivé funkce a úkoly celé aplikace do třech částí projektu: vyhledávací robot, databáze a webové rozhraní.<br />
<br />
3.1.<br />
<br />
Vývoj vyhledávacího robota<br />
<br />
Jako první byl zahájen vývoj vyhledávacího robota. Bylo zvoleno vývojové prostředí Microsoft Visual Studio 2008 a programovací jazyk Microsoft Visual C#. Projekt byl pojmenován WebRobot-UPOL. Jako hlavní úkol této aplikace bylo správné načtení webové stránky z intranetu a provedení její analýzy, tj. rozbor stránky a extrahování všech načtených informací. Proto byla vyvinuta pracovní verze, která obsahovala pouze načtení uživatelsky zadané stránky z intranetu a její dekódování. Výsledky zobrazovala do textových boxů aplikace. V této pracovní verzi byly odladěny základní funkce webového robota. Načítání bylo průběžně testováno jak na intranetu Policie ČR, tak i na internetu. Byly zkušebně načítány nejrůznější typy stránek a průběžně se ladily všechny nedostatky, které se vyskytly.<br />
<br />
Obrázek 2.: Pracovní verze vyhledávacího robota<br />
<br />
13<br />
<br />
Pro analýzu a extrakci všech informací byla ve vyhledávacím robotovi použita ve velké míře technologie regulárních výrazů. Extrakce titulku stránky a nadpisů <H1> se provádí pomocí vnořených regulárních výrazů, k extrakci prostého textu obsahu celé stránky byla vytvořena procedura, která z načteného HTML kódů webové stránky postupně odstraní všechny HTML tagy a zachová pouze prostý text obsahu stránky. Vyhledání všech e-mailových adres v načtené stránce se provádí jednoúrovňově v celém načteném kódu webové stránky za pomocí jednoho regulárního výrazu. Vyhledání všech odkazů obsažených v načtené stránce se provádí pomocí několika vnořených regulárních výrazů ve třech úrovních. Nejprve se extrahují všechny odkazy z tagů <a href rel="nofollow">, poté odkazy z tagů <frame> a <iframe> a nakonec se extrahují i odkazy ze všech formulářů.<br />
<br />
Obrázek 3.: Blokové schéma funkce vyhledávacího robota<br />
<br />
14<br />
<br />
Během tohoto testování byl zjištěn i následující problém vyskytující se u různých webových stránek. U některých webových stránek vrací server v hlavičce Headers stránky chybné kódování znakové sady, které je zřejmě způsobeno chybným nastavením webového serveru, odkud je stránka načítána. Proto musel být WebRobot doplněn ještě o funkci zjištění kódování z definice HTML stránky, která, pokud se liší od kódování z hlavičky stránky, má přednost. Po úspěšném odladění všech nalezených chyb byl další vývoj svázán s SQL databází. Byla doplněna hlavní datová třída, uchovávající všechna načtená a extrahovaná data, ze které se po ukončení analýzy odešlou všechny data k uložení do databáze a byly vytvořeny a otestovány všechny uložené procedury SQL databáze sloužící k činnosti vyhledávacího robota. V poslední fázi vývoje vyhledávacího robota byly zpracovány podmínky extrakce odkazů a jejich pravidelná aktualizace z databáze a také logování provozu vyhledávacího robota. Podmínky extrakce odkazů byly navrženy tak, aby bylo možné vyhledávač provozovat s nejrůznějšími nastaveními. Podmínky zahrnují seznam povolených domén, při jejich zadání musí každý nalezený a přidávaný odkaz obsahovat jméno některé z uvedených domén a seznam zakázaných odkazů, které bude vyhledávací robot ignorovat. Ten je zde uveden z toho důvodu, aby robot nenačítal například domény, které nechceme zahrnout do databáze, webová počítadla, reklamy a podobné odkazy. Protože při extrakci odkazů z načtené a analyzované webové stránky neznáme obsah odkazů a nevíme, zda se skutečně jedná o soubor s textovými daty, což robot zjistí až při návštěvě webové stránky a analýze, je nutné, aby se předešlo ukládání předem známých typů souborů, které nemají textový obsah a které robot nebude analyzovat. Proto byl ještě vytvořen seznam nepovolených přípon souborů, které bude robot v odkazech ignorovat. Jedná se například o známé přípony obrazových souborů, binárních a spustitelných souborů a podobně. S postupným testováním na velké databázi, byla z důvodu rychlejší odezvy serveru při dotazu na počty záznamů v databázi ještě přidána funkce zjištění a uložení aktuálního počtu záznamů do pracovní tabulky databáze, která se volá při pravidelné aktualizaci dat robota z databáze každou celou hodinu. Konečná verze byla nepřetržitě testována několik týdnu bez přerušení na intranetu Policie ČR.<br />
<br />
15<br />
<br />
Obrázek 4.: Finální verze vyhledávacího robota<br />
<br />
3.2.<br />
<br />
Vývoj SQL databáze<br />
<br />
Po dokončení testování načítání a analýze webových stránek pracovní verze vyhledávacího robota byla vytvořena první verze SQL databáze vyhledávače. Jako databázový server byl pro vývoj zvolen MS SQL server 2008 Express Advanced, s plně funkčním fulltextovým vyhledáváním. Pro vývoj a správu databáze bylo použito Microsoft SQL Server Management Studio, obsažené v instalaci SQL serveru. Byly navrženy všechny tabulky databáze, určeny datové typy jejich prvků a databáze byla relačně svázána pomocí cizích klíčů. Po dokončení návrhu tabulek byl vytvořen fulltextový index pro textové pole obsahující prostý text obsahu stránek, které obsahuje ke každé uložené stránce velké množství textových dat a ve kterém se bude nejčastěji vyhledávat. Již před vytvořením databáze bylo určeno, že všechny operace s databází se budou provádět prostřednictvím uložených procedur a funkcí SQL databáze, aby bylo vytvořeno univerzální bezpečné rozhraní pro ostatní aplikace. Proto byly postupně, tak jak vyžadoval další vývoj ostatních aplikací, vytvářeny a laděny uložené procedury, které jako jediné budou pracovat s daty. Každá z vytvářených uložených procedur byla nejprve důkladně otestována v prostředí Microsoft SQL Server Management Studio, než byla použita v aplikaci vyhledávacího robota, nebo v ASP aplikaci webového rozhraní vyhledávače. Protože bylo hned od počátku použito toto univerzální rozhraní, 16<br />
<br />
byly veškeré průběžné úpravy v logice prováděny pouze na jednom místě v databázi a nebylo nutné ladit databázové operace s některou spolupracující aplikací, která tím pádem jen získala výstup z volané uložené procedury. Po dokončení vývoje byla databáze přenesena na další testovací SQL Servery pomocí vytvořených general skriptů i pomocí backupu.<br />
<br />
3.3.<br />
<br />
Vývoj ASP aplikace webového rozhraní vyhledávače<br />
<br />
Během dokončování vývoje databáze byl zahájen i vývoj poslední součásti intranetového vyhledávače – webové rozhraní. Byla zvolena skriptovací platforma ASP, jejíž podpora je obsažena ve všech Microsoft IIS serverech. Návrh webového rozhraní vycházel z jednoduchosti používání, protože uživatelé, kteří jej budou používat, nemusí být příliš zkušení a také s ohledem na podobnost ovládání známých vyhledávačů, se kterými umí většina uživatelů běžně pracovat. Snaha o podobnost však byla realizována pouze ve způsobu řazení a uspořádání výsledků hledání, jinak v aplikaci nebylo použito žádného kódu třetí strany. Projekt webového rozhraní byl rozdělen na dvě části: uživatelskou část a administraci. Uživatelská část je umístěna v hlavním adresáři webového rozhraní a jejím prostřednictvím se realizuje vyhledávání a zobrazení výsledků hledání. Nejdříve byla vytvořena hlavní stránka obsahující vstupní formulář pro zadávání hledaných klíčových slov, včetně možností způsobu vyhledávání a následně byly průběžně vytvářeny ASP stránky, které vracejí výsledky dotazů z databáze. Jako poslední bylo doplněno stránkování a konečný design a formátování textů, které je zpracováno za použití kaskádových stylů v externím souboru. V první verzi uživatelské části byl v záhlaví umístěn přehled záznamů databáze, který byl při každé obnově znovu vygenerován. To však při narůstající velikosti databáze způsobovalo zdržení při načítání hlavní stránky, proto byl přehled záznamů přepracován a aktualizuje jej automaticky pouze vyhledávací robot každou celou hodinu, nebo jej lze aktualizovat uživatelsky, kliknutím na odkaz. Dále bylo doplněno pravé horní menu s možnostmi přidání nové stránky do vyhledávače, přehledem domén, jejichž stránky jsou obsaženy v databázi a nejčastěji hledané řetězce. Přidání nové stránky do vyhledávače bylo z důvodu vyhnutí se zadání neexistující stránky doplněno před přidáním do databáze o on-line kontrolu, zda zadaná stránka existuje a její status načtení je v pořádku. Administrace je umístěna v podadresáři admin a jejím úkolem je snadná administrace databáze a nastavení vyhledávacího robota. Je chráněna přístupovým heslem, které je uloženo v databázi a které se předává a kontroluje jako parametr při volání jakékoli webové stránky administrace. Byl navržen vzhled administrace, zobrazení přehledu záznamů databáze ihned po přihlášení a určeno hlavní menu v levé části, kde budou umístěny tlačítka jednotlivých sekcí administrace a které bude viditelné po celou dobu práce. Postupně byly vyvíjeny a zprovozňovány jednotlivé sekce. 17<br />
<br />
Sekce administrace databáze je zaměřena na operace odstranění s jednotlivými záznamy webových stránek, domén a e-mailů databáze i na operace odstranění dat s celými tabulkami. V sekci nastavení robota byla vytvořena administrace dat povolených domén, zakázaných odkazů a nepovolených přípon. Přidání této sekce administrace bylo učiněno proto, aby mohl být celý vyhledávač, tedy i vyhledávací robot ovládán jen z jednoho místa. Navíc, pokud bude vyhledávací robot nainstalován na počítači, ke kterému by například v určité chvíli nebyl přístup, bude robot pracovat dále automaticky s novým nastavením, které načítá každou celou hodinu. V sekci ostatní byla umístěna nápověda k administraci a odhlášení. Všechny operace smazání jakéhokoliv záznamu byly doplněny potvrzovacím dotazem, aby se předešlo nechtěnému smazání jakéhokoliv záznamu například nechtěným kliknutím. Od počátku byl brán zřetel na to, aby mohly obě části pracovat nezávisle a mohly být například nainstalovány na různých webových serverech z důvodu většího zabezpečení.<br />
<br />
18<br />
<br />
4.<br />
<br />
Testování<br />
<br />
Celý projekt Intranetového vyhledávače byl testován na několika počítačích s různými hardwarovými konfiguracemi. Pro vyhledávacího robota a ASP aplikaci bylo také provedeno testování na výkonově slabším počítači s procesorem Intel Pentium M na 1.86 GHz a s 512MB paměti RAM. Databáze byla testována na dvou lokálních instancích MS SQL server 2008 Express Advanced pod operačními systémy MS Windows 7 Enterprise a MS Windows XP SP3, dále na MS SQL server 2008 Enterprise pod operačním systémem MS Windows 2008 Server Enterprise u Policie ČR a na MS SQL server 2008 Univerzity Palackého v Olomouci. Vyhledávací robot byl testován pod operačními systémy MS Windows XP SP3 Professional, MS Windows Vista Business, MS Windows 7 Enterprise, MS Windows 2003 server a MS Windows 2008 server. ASP aplikace realizující hledání v databázi vyhledávače byla testována na IIS serverech: -<br />
<br />
IIS 5.0, pod operačním systémem Windows 2000, IIS 5.1, pod operačním systémem Windows XP Professional, IIS 6.0, pod operačním systémem Windows Server 2003, IIS 7.0, pod operačním systémem Windows Server 2008 a Windows 7 Enterprise.<br />
<br />
Intranetový vyhledávač byl testován na intranetu Policie České republiky a v omezené míře, se zaměřením na určité domény i na internetu. Testování na intranetu Policie ČR, bylo prováděno v síti Krajského ředitelství policie Jihomoravského kraje, do které je připojeno přibližně 2500 počítačů. Při vyhledávání v databázi, obsahující 121 785 webových stránek, z 26 domén, se doba odezvy webového rozhraní Intranetového vyhledávače pohybovala v rozmezí od několika sekund do jedné minuty. Rovněž bylo provedeno zátěžové testování na databázi, která obsahem webových stránek několikrát převyšovala parametry zadání. Při vyhledávání v databázi, která obsahovala přibližně 470 000 webových stránek, se doba odezvy pohybovala v rozmezí od deseti sekund do několika minut.<br />
<br />
19<br />
<br />
5.<br />
<br />
Instalace Intranetového vyhledávače<br />
<br />
Požadavky Intranetový vyhledávač je určen pouze pro operační systém Microsoft Windows od verze XP Professional a vyšší, v ideálním případě MS Windows 7 Enterprise, pro databázi a ASP aplikaci webového rozhraní je nejvhodnější MS Windows 2008 Server. Vyhledávač potřebuje k činnosti vyhledávacího robota a Microsoft SQL Serveru 2008 nainstalován Microsoft .NET Framework 3.5 SP1. Pro provozování databáze je požadován nainstalovaný minimálně MS SQL server 2008 Express Advanced, nebo vyšší, s plně funkčním fulltextovým vyhledáváním. Pro provoz webového rozhraní vyhledávače je nutné mít v počítači nainstalovánu službu IIS, která je součástí většiny operačních systémů MS Windows. Instalace Microsoft .NET Framework 3.5 SP1 Instalaci Microsoft .NET Framework 3.5 SP1 spustíme instalačním souborem dotnetfx35.exe, který je obsažen na přiloženém CD, nebo jej můžete stáhnout z webové stránky společnosti Microsoft na adrese: http://www.microsoft.com/downloads. Při instalaci je nutné, aby byl počítač připojen k Internetu, z důvodu stažení dalších nezbytných součástí v průběhu instalace. Instalace aplikace WebRobot Před instalací musí být v počítači nainstalován Microsoft .NET Framework 3.5 SP1. Instalace aplikace je velmi jednoduchá. Stačí spustit instalační soubor webrobot-setup.exe umístěný na přiloženém CD v adresáři bin\WebRobotUPOL. Následně budete vyzváni k zadání adresáře, kam se má aplikace nainstalovat. Ve zvoleném adresáři se vytvoří: - soubor WebRobot-UPOL.exe, kterým se aplikace spouští, - soubor config.ini, který obsahuje konfigurační data, - podadresář help obsahující nápovědu. Před prvním spuštěním musíme upravit konfigurační soubor config.ini, kde je nutné správně nastavit connection string k databázi. Otevřeme soubor config.ini v textovém editoru, například v notepadu a v sekci [Database] upravíme řádek ConnectionString podle existující databáze vyhledávače: ConnectionString = data source= jmeno_db_severu; initial catalog=vyhledavac; user id=sa; password=heslo 20<br />
<br />
Při správném nastavení config.ini se po spuštění aplikace WebRobotUPOL.exe zobrazí hlavní okno aplikace s hlášením „Spojení s databází ověřeno – OKÿ. V opačném případě se zobrazí dialog box s hlášením „Spojení s databází nebylo navázáno. Zkontrolujte nastavení.ÿ Minimální požadavky na systém: Operační systém Microsoft Windows 2000/XP/Vista/Win7, Microsoft .NET Framework 3.5. Instalace služby IIS Návod pro systém Windows XP s nainstalovaným SP3. Pro vyšší verze operačního systému MS Windows je instalace obdobná. Otevřeme Ovládací panely a spustíme „Přidat nebo odebrat programyÿ. V levém menu zvolíme „přidat nebo odebrat součásti systémuÿ. Otevře se průvodce součástmi systému Windows. Z nabídky zvolíme „Internetová Informační službaÿ, parametry služby můžeme nechat továrně přednastavené a spustíme instalaci (kliknutím na Další). Po nainstalování IIS se služba automaticky spustí a zároveň se také nastaví její automatické spouštění po startu systému. Instalace ASP aplikace Intranetového vyhledávače Jako první krok je nutné zkopírovat obsah adresáře src\vyhledavac-ASP z přiloženého CD na IIS server do adresáře Inetpub\wwwroot\vyhledavac. Následně musíme zkonfigurovat connection string k databázi v souborech: vyhledavac inc.asp a v podadresáři admin vyhledavac inc adm.asp V obou souborech ve funkci search GetDatabaseConn() nastavíme správný connection string k databázi: strDSN ="driver={SQL Server}; Network=DBMSSOCN; Server=jmeno_db_severu; Database=vyhledavac; UID=sa; PWD=heslo;" ASP aplikace je tvořena dvěma moduly: - vyhledávacím rozhraním, v hlavním adresáři vyhledavac, - administrací, v podadresáři admin. Oba moduly lze provozovat i jednotlivě na různých www serverech s podporou ASP. Adresář administrace vyhledávače je vhodné zabezpečit nastavením oprávnění přístupu pod operačním systémem.<br />
<br />
21<br />
<br />
Instalace MS SQL serveru 2008 Express Advanced Před instalací musí být v počítači nainstalovány následující komponenty: Microsoft .NET Framework 3.5 SP1, Windows Powershell a Windows Installer 4.5 Redistributable. Tyto součásti MS Windows jsou standardně obsaženy v operačních systémech Windows Vista a Windovs 7, pro Windows XP SP3 je nutné je nejprve nainstalovat. Instalační soubor MS SQL serveru 2008 Express Advanced můžete získat z webové stránky společnosti Microsoft http://www.microsoft.com/downloads, až po ověření pravosti a legálnosti operačního systému, kam bude nainstalován. Vlastní instalace MS SQL serveru 2008 Express Advanced, která zároveň obsahuje Microsoft SQL Server Management Studio zahájíme spuštěním instalačního souboru SQLEXPRADV x86 ENU.exe, kde zvolíme v položce „Installationÿ první volbu: „New SQL Server stand-alone instalation or add features to existing installationÿ. Tím se spustí průvodce, který nainstaluje celý SQL server.<br />
<br />
Vytvoření databáze vyhledávače Celý proces vytvoření databáze vyhledávače probíhá v prostředí Microsoft SQL Server Management Studio. Otevřeme Microsoft SQL Server Management Studio a přihlásíme se k databázovému serveru, nejlépe jako systémový administrátor (sa), nebo jako uživatel, který má oprávnění vytvářet a spravovat jednotlivé databáze. Poté v Object Exploreru, v položce Databases vytvoříme novou databázi s názvem vyhledavac s defaultním nastavením. V Object Exploreru se po rozkliknutí položky Databases objeví námi vytvořená prázdná databáze vyhledávač. Vytvoření struktury databáze probíhá ve třech krocích. Vytvoření tabulek databáze Z položky menu File – Open – File vybereme soubor general skriptu z přiloženého CD: src\sql database vyhledavac\vyhledavac-general-script -vytvoreni-tabulek-26 07 2010.sql a otevřeme jej. Zkontrolujeme první řádek general skriptu, kde musí být uvedeno USE [vyhledavac], který specifikuje, které databáze se skript bude týkat. Jméno uvedené za USE musí odpovídat námi vytvořené databázi pro vyhledávač. Poté otevřený general Script spustíme kliknutím na Execute a v databázi se nám vytvoří všechny potřebné tabulky, indexy a uložené procedury. Jelikož je general skript koncipován tak, aby všechny již existující objekty databáze nejprve zrušil a poté vytvořil znovu, může se po prvním spuštění general skriptu objevit několik chybových hlášení, které však můžeme ignorovat.<br />
<br />
22<br />
<br />
Vytvoření fulltextového katalogu Nyní ještě musíme vytvořit a spustit fulltextový katalog. Z položky menu File – Open – File vybereme soubor: src\sql database vyhledavac\ start-fulltextu.sql a otevřeme jej. Poté budeme spouštět postupně všechny řádky začínající exec. Tím postupně vytvoříme a spustíme fulltextový index, nutný pro fulltextové vyhledávání. Vytvoření uložených procedur Jako poslední krok musíme vytvořit všechny uložené procedury databáze. Opět z položky menu File – Open – File vybereme soubor: src\sql database vyhledavac\vyhledavac-general-script-vytvoreni-procedur-26 07 2010 .sql a otevřeme jej. Opět zkontrolujeme první řádek general skriptu, kde musí být uvedeno USE [vyhledavac] a spustíme kliknutím na Execute. V databázi se nám vytvoří všechny potřebné uložené procedury. Jako poslední krok v tomto general skriptu je naplnění tabulek počátečními daty nutných pro provoz.<br />
<br />
23<br />
<br />
6. 6.1.<br />
<br />
Uživatelská dokumentace Uživatelský manuál webového rozhraní vyhledávače<br />
<br />
Snahou bylo, aby používání vyhledávače bylo co nejjednodušší, proto pro vyhledávání stačí zadat hledaný text do jednoduchého formuláře na hlavní stránce, zvolit způsob vyhledávání v menu pod řádkem hledaného textu a kliknout na tlačítko Hledej. Poté bude zobrazena nová stránka s výsledky splňující podmínky vašeho hledání. Možnosti způsobu hledání Hledat fulltextem v obsahu stránek: Vyhledávání bude provedeno v textech všech zařazených stránek obsažených ve vyhledávači. Hledat v titulku a nadpisu stránek: Vyhledávání bude provedeno pouze v textech titulku a nadpisu všech zařazených stránek. Hledat v URL stránek: Vyhledávání bude provedeno pouze v textech URL adresy všech zařazených stránek. Hledat E-mail: Vyhledání bude provedeno v databázi e-mailových adres obsažených ve vyhledávači. Základní pravidla pro vyhledávání - Pro vyhledávání zadejte jedno, nebo více slov oddělených mezerami. - Není povoleno používat v hledaném řetězci uvozovky ”. . .” a apostrofy ’. . .’.V případě jejich použití, budou automaticky odstraněny z hledaného řetězce a nahrazeny mezerou. - Při vyhledávání se nerozlišují malá a velká písmena. - Při zadávání hledaného textu záleží na každém slově a jeho umístění ve frázi. - Snažte se zadávat hledaný text co nejjednodušeji, zkuste použít co nejméně slov. - Volte slova a fráze, které nejvíce vystihují hledanou informaci, případně zkuste vyhledat i slova se stejným významem. Menu vyhledávače V pravé části záhlaví hlavní stránky je umístěno menu vyhledávače, obsahující následující položky: 24<br />
<br />
Přidat stránku Kliknutím na tento odkaz se zobrazí stránka s formulářem pro přidání nové webové stránky do databáze vyhledávače. URL adresa přidávané stránky se vyplňuje včetně předpony http://. Přidávat lze jen funkční stránky. Po odeslání přidávacího formuláře bude funkčnost Vámi přidávané stránky on-line ověřena a teprve poté bude stránka přidána do databáze. Doporučení: Přidávejte prosím pouze hlavní stránku vašeho webu, není nutné zadávat každou jednotlivou stránku zvlášť. Vyhledávací robot nalezne odkazy na vaše další stránky a všechny budou potom robotem načteny do databáze vyhledávače. Nejčastěji hledané Tato volba zobrazí stránku s přehledem 100 nejhledanějších řetězců s uvedením počtu použití a seřazených od nejvíce používaných řetězců. Na každý z uvedených řetězců lze kliknutím zobrazit fulltextové vyhledávání tohoto řetězce. Zaindexované domény Kliknutím na tento odkaz se zobrazí stránka obsahující kompletní seznam doménových jmen, jejichž stránky jsou obsaženy v databázi vyhledávače. V seznamu se můžeme pohybovat pomocí navigace „předchozí – dalšíÿ. Nápověda Tento odkaz zobrazí stránku s nápovědou vyhledávače. Administrace Kliknutím na tento odkaz se zobrazí přihlašovací stránka administrace vyhledávače, která vyžaduje zadání hesla, pro vstup do administrace. Uprostřed záhlaví hlavní stránky se nachází informace o počtech záznamů databáze, která se aktualizuje prostřednictvím vyhledávacího robota každou celou hodinu. Je zde také odkaz aktualizovat, kterým se provede okamžité přepočítání a zobrazení počtu záznamů v databázi.<br />
<br />
25<br />
<br />
Obrázek 5.: Hlavní stránka webového rozhraní vyhledávače<br />
<br />
Stránka s výsledky hledání Při zobrazení stránky s výsledky vyhledávání byl kladen důraz na přehlednost zobrazovaných nalezených informací. Informace o jednotlivých nalezených webových stránkách jsou uspořádány do bloků, pro každou jednotlivou nalezenou stránku. Tento blok informací obsahuje titulek nalezené stránky, hlavní nadpis stránky, pokud ho stránka obsahuje, část textu z nalezené webové stránky, který obsahuje hledaný text a adresu URL stránky. V jednotlivých řádcích nalezených stránek, vyhovujících podmínkám hledání, bude hledaná fráze zvýrazněna odlišnou barvou pozadí textu. Každý blok informací jedné nalezené webové stránky obsahuje ve spodní části také řádek s informací, kdy byla stránka poprvé přidána do databáze vyhledávače a kdy byl její obsah naposledy aktualizován v databázi. Součástí tohoto řádku jsou také odkazy: Informace o stránce Zobrazí stránku se všemi informacemi, které vyhledávací robot o stránce uložil. Odkazy na tuto stránku Kliknutím na tento odkaz se zobrazí stránka se seznamem webových stránek, které obsahují odkaz na tuto nalezenou webovou stránku. 26<br />
<br />
Odkazy z této stránky Zobrazí seznam odkazů, které byly nalezeny na této stránce.<br />
<br />
Obrázek 6.: Stránka s výsledky hledání<br />
<br />
Při hledání E-mailu se ve stránce výsledků hledání zobrazí seznam všech nalezených e-mailových adres vyhovujících podmínkám hledání. U každé e-mailové adresy je zobrazen počet webových stránek, na kterých je tento e-mail uveden a také odkaz: Zobrazit www stránky, který zobrazí jejich seznam. Ve všech výsledcích hledání se pohybujeme pomocí stránkování ve spodní části všech stránek, které zobrazují výsledky hledání. Počet řádků ve všech výstupech je standardně nastaven na 10 položek na jedné stránce<br />
<br />
Obrázek 7.: Navigace stránkování<br />
<br />
Záhlaví stránky s výsledky hledání obsahuje také vyhledávací formulář, který je vyplněn podmínkami hledání, zadané při zahájení vyhledávání. Kliknutím na logo vyhledávače v levém horním rohu se vrátíte na hlavní stránku vyhledávače.<br />
<br />
27<br />
<br />
6.2.<br />
<br />
Uživatelský manuál Administrace<br />
<br />
Pro vstup do administrace je nutné se nejprve přihlásit na vstupní stránce administrace. Defaultně je heslo nastaveno na „admÿ, které však po prvním vstupu do administrace můžeme libovolně změnit.<br />
<br />
Obrázek 8.: Přihlašovací formulář pro vstup do administrace.<br />
<br />
Po úspěšném přihlášení se zobrazí hlavní stránka administrace s hlavním menu a přehledem záznamů databáze. Hlavní menu je rozděleno na tři základní sekce: Administrace databáze – zde se provádí operace odstranění jednotlivých záznamů webových stránek, domén a e-mailů a operace odstranění dat celých tabulek databáze. Nastavení robota - administrace dat pro činnost vyhledávacího robota, které robot každou celou hodinu načítá z databáze. Ostatní – tato sekce obsahuje nápovědu a odhlášení.<br />
<br />
Obrázek 9.: Hlavní stránka administrace<br />
<br />
28<br />
<br />
Popis jednotlivých voleb menu administrace Odstranění záznamů – tato volba zobrazí stránku s možností odstranění jednotlivých záznamů webové stránky, e-mailu, nebo všech stránek zadané domény z databáze. Před odstraněním záznamu je vyžadováno potvrzení, jako ochrana, před například nechtěným kliknutím.<br />
<br />
Obrázek 10.: Administrace - odstranění záznamů<br />
<br />
29<br />
<br />
Operace s databází – pomocí této volby provádíme odstranění všech záznamů v jednotlivých tabulkách databáze. Odstraníme zde všechna data tabulek hledaných řetězců, povolených domén, zakázaných odkazů, nepovolených přípon a jako poslední možnost je vymazání všech dat týkajících se uložených záznamů webových stránek a e-mailů. Jelikož jsou tato data relačně provázána, je smazání záznamů umožněno pouze v jednom kroku pro všechny zúčastněné tabulky. Před odstraněním záznamů všech tabulek je vyžadováno potvrzení, jako ochrana, před například nechtěným kliknutím.<br />
<br />
Obrázek 11.: Administrace - operace s databází<br />
<br />
30<br />
<br />
Změna hesla – zde se provádí změna hesla pro vstup do administrace. Pro změnu hesla je nutné vyplnit nové heslo i staré heslo. Po provedení změny hesla, je nutné se znovu přihlásit do administrace.<br />
<br />
Obrázek 12.: Administrace - změna hesla<br />
<br />
31<br />
<br />
Povolené domény – tato volba je určena pro nastavení způsobu činnosti vyhledávacího robota. Zde přidáváme, upravujeme a odstraňujeme jednotlivé názvy doménových jmen seznamu povolených domén. Při existenci záznamů povolených domén, vyhledávací robot zkontroluje každý přidávaný odkaz v analyzované webové stránce. Každý přidaný odkaz pak musí obsahovat jméno některé z uvedených povolených domén. Tímto omezíme zařazování webových stránek do databáze vyhledávače pouze na stránky zvolených domén.<br />
<br />
Obrázek 13.: Administrace povolených domén<br />
<br />
32<br />
<br />
Zakázané odkazy – tato volba je také určena pro nastavení způsobu činnosti vyhledávacího robota. Zde přidáváme, upravujeme a odstraňujeme jednotlivé názvy odkazů seznamu zakázaných odkazů, které nesmí přidávaná URL adresa webové stránky obsahovat, a které bude vyhledávací robot ignorovat. Tento seznam je určen pro vyřazení odkazů už při analýze vyhledávacím robotem, aby robot nepřidával do databáze odkazy, které nechceme zahrnout. Jako zakázaný odkaz může být použit libovolný text, který se může vyskytovat v URL adrese odkazu, například název domény webových počítadel, reklamních serverů a podobně.<br />
<br />
Obrázek 14.: Administrace zakázaných odkazů<br />
<br />
33<br />
<br />
Nepovolené přípony – poslední volba určená pro činnost vyhledávacího robota. Slouží k přidávání, úpravám a odstranění názvů nepovolených přípon souborů obsažených v URL adrese nalezených odkazů vyhledávacím robotem při analýze webové stránky. Nalezený odkaz, který bude obsahovat nepovolenou příponu souboru, bude vyhledávací robot ignorovat, čímž se předejde ukládání předem známých typů souborů, které nemají textový obsah. Jedná se například o přípony obrazových souborů, binárních a spustitelných souborů a podobně.<br />
<br />
Obrázek 15.: Administrace nepovolených přípon<br />
<br />
Nápověda – tato volba otevře nové okno s webovou stránkou nápovědy administrace. Odhlášení – provede návrat na hlavní stránku Intranetového vyhledávače.<br />
<br />
34<br />
<br />
6.3.<br />
<br />
Uživatelský manuál vyhledávacího robota<br />
<br />
Aplikace vyhledávacího robota je 32-bitová a je určena pro operační systém Microsoft Windows 2000/XP/Vista/Win7. Bezchybné činnosti vyhledávacího robota předchází správné nainstalování a konfigurace souboru config.ini dle požadavků uvedených v instalaci. Ovládání vyhledávacího robota je velmi jednoduché a z velké části pracuje robot zcela automaticky. Veškeré ovládání je soustředěno do jednoho tlačítka „START / STOPÿ, kterým se zahajuje, nebo přerušuje chod vyhledávacího robota. Činnost robota pro každou webovou stránku se skládá ze tří fází. Získání URL webové stránky k návštěvě z databáze a její načtení z intranetu, její analýza a uložení dat do databáze. Průběh celé činnosti vyhledávacího robota je ukládán do textových log souborů, které se vytvářejí pro každý den a ukládají se do stejného adresáře, kde je nainstalována aplikace vyhledávacího robota. Formát jména log souboru je YYYY-MM-DD.log. Soubory logů lze prohlížet v jakémkoli textovém editoru, například v poznámkovém bloku. Při spuštění a následně každou celou hodinu vyhledávací robot načítá z databáze data podmínek extrakce odkazů, které zahrnují seznam povolených domén, zakázaných odkazů a nepovolených přípon souborů, podle kterých následně vyhodnocuje nalezené odkazy na načtených webových stránkách a určuje, zda budou, nebo nebudou přidány do databáze. Současně s načtením nastavení provede každou hodinu také aktualizaci počtu záznamů v databázi. Okno vyhledávacího robota lze také minimalizovat do tray ikony a umožnit tak běh robota na pozadí. Popis prvků okna vyhledávacího robota: V levém horním rohu okna aplikace je umístěno tlačítko „START / STOPÿ, kterým se ovládá běh vyhledávacího robota. To, v jaké fázi se robot právě nachází, zobrazují tři indikátory průběhu v horní části okna robota. V pravé horní části je umístěno také hlavní menu aplikace. Pod tlačítkem „START / STOPÿ a indikátory průběhu se nachází informační řádek, kam robot vypisuje hlášení průběhu práce. Vpravo vedle něj je řádek s informací o času načtení posledně zpracované stránky a pod ním z tohoto času vypočítaná přibližná rychlost počtu načtených stránek za jeden den. Pod záhlavím stránky jsou umístěny dva jednořádkové textové boxy. Jeden udává URL právě načítané a zpracovávané webové stránky a druhý její unikátní identifikační číslo ID z databáze. Zbytek okna aplikace je rozdělen do třech sekcí. První sekce s modrým pozadím obsahuje všechny načtená data webové stránky, které vyhledávací robot získal při návštěvě stránky. V textových polích jsou zobrazena data hlavičky Headers, odpovídajícího serveru, který se může z důvodu přesměrování lišit od URL adresy navštěvované stránky, velikost stránky v bytech, kódování znakové sady stránky, název domény, status načtení stránky a jako poslední celý načtený HTML kód stránky. 35<br />
<br />
Druhá sekce se zeleným pozadím obsahuje informace o datech získaných analýzou načtené webové stránky. V textových polích jsou zobrazena data titulku stránky, nadpisu H1, prostý text obsahu webové stránky a dále jsou zde zobrazeny dva listboxy se seznamem nalezených odkazů v HTML kódu analyzované webové stránky s uvedením jejich počtu a seznamem nalezených e-mailových adres v v HTML kódu analyzované stránky s uvedením jejich počtu. Třetí sekce obsahuje načtené nastavení robota z databáze, které obsahuje podmínky extrakce odkazů s uvedením data a času poslední aktualizace. Sekce obsahuje tři listboxy se seznamem povolených domén, zakázaných odkazů a nepovolených přípon, podle nichž se provádí kontrola každého odkazu při analýze. Položky menu: Tray – volba minimalizace aplikace do tray ikony. Vyhledávací robot bude pracovat na pozadí a počítač se může běžně používat pro běžnou práci. Dnešní Log – tato volba vyvolá okno se zobrazením log souboru činnosti vyhledávacího robota během aktuálního dne. Nápověda – tato položka obsahuje dvě volby. Zobrazení okna s nápovědou aplikace a okno s informacemi o programu WebRobot-UPOL a autorovi. Konec – ukončení aplikace. Před ukončením aplikace dokončí rozběhlý proces načtení, analýzy a ukončení stránky.<br />
<br />
Obrázek 16.: Vyhledávací robot v běhu<br />
<br />
36<br />
<br />
7.<br />
<br />
Programátorská dokumentace<br />
<br />
7.1.<br />
<br />
Programátorský popis SQL databáze<br />
<br />
Zdrojové kódy pro vytvoření celé databáze, včetně komentářů, jsou obsaženy v souborech general skriptů na přiloženém CD, v adresáři src\sql database vyhledavac. Z důvodu velkého rozsahu bude uveden pouze popis všech tabulek, včetně jejich prvků a všech uložených procedur s popisem jejich funkčnosti a účelu. 7.1.1.<br />
<br />
Tabulky databáze a jejich prvky<br />
<br />
Tabulka [stranky] - obsahuje všechny zařazené webové stránky [ID] [bigint] IDENTITY(1,1) NOT NULL, [url] [varchar](255) NOT NULL, [casove razitko] [timestamp] NOT NULL, [datum pridani] [datetime] NOT NULL, [datum navstevy] [datetime] NULL, [titulek] [varchar](255) NULL, [nadpis] [varchar](255) NULL, [kodovani] [varchar](50) NULL, [status nacteni] [varchar](100) NULL, [odpovedel server] [varchar](255) NULL, [priznak zpracovani] [varchar](50) NULL, [domena] [varchar](100) NULL, [velikost stranky] [bigint] NULL, Indexy: Clusterovaný index [PK stranky] položky [ID] ASC Neclusterovaný index [IX stranky] položky [nadpis] ASC Neclusterovaný index [IX stranky 1] položky [titulek] ASC Neclusterovaný index [IX stranky 2] položky [url] ASC Tabulka [stranky texty] - obsahuje textové položky obsahu stránek, které byly navštíveny [ID] [bigint] IDENTITY(1,1) NOT NULL, 37<br />
<br />
[stranka ID] [bigint] NOT NULL, [prosty text] [text] NULL, [hlavicka] [text] NULL, Indexy: Clusterovaný index [PK stranky texty] položky [ID] ASC Fulltextový index [vyhledavac] položky [prosty text] Tabulka [odkazy] - obsahuje vzájemné odkazy stránek [ID] [bigint] IDENTITY(1,1) NOT NULL, [url odkud ID] [bigint] NOT NULL, [url kam ID] [bigint] NOT NULL, Indexy: Clusterovaný index [PK odkazy] položky [ID] ASC Neclusterovaný index [IX odkazy] položky [url kam ID] ASC Neclusterovaný index [IX odkazy 1] položky [url odkud ID] ASC Tabulka [emaily] - obsahuje všechny nalezené e-maily z analyzovaných stránek [ID] [bigint] IDENTITY(1,1) NOT NULL, [email] [varchar](255) NOT NULL, Indexy: Clusterovaný index [PK emaily] položky [ID] ASC Neclusterovaný index [IX emaily] položky [email] ASC Tabulka [odkaz email] - obsahuje informace, ze kterých stránek byl e-mail získán [ID] [bigint] IDENTITY(1,1) NOT NULL, [email ID] [bigint] NOT NULL, [stranka ID] [bigint] NOT NULL, Indexy: Clusterovaný index [PK odkaz email] položky [ID] ASC Neclusterovaný index [IX odkaz email] položky [email ID] ASC Neclusterovaný index [IX odkaz email 1] položky [stranka ID] ASC 38<br />
<br />
Tabulka [zakazane domeny] - obsahuje seznam odkazů, které bude robot ignorovat [ID] [bigint] IDENTITY(1,1) NOT NULL, [nazev] [varchar](255) NOT NULL, Indexy: Clusterovaný index [PK zakazane domeny] položky [ID] ASC Tabulka [nepovolene pripony] - obsahuje přípony souborů, které bude robot ignorovat [ID] [bigint] IDENTITY(1,1) NOT NULL, [nazev] [varchar](255) NOT NULL, Indexy: Clusterovaný index [PK nepovolene pripony] položky [ID] ASC Tabulka [povolene domeny] - obsahuje seznam domén, ze kterých některou musí zařazovaný odkaz obsahovat [ID] [bigint] IDENTITY(1,1) NOT NULL, [nazev] [varchar](255) NOT NULL, Indexy: Clusterovaný index [PK povolene domeny] položky [ID] ASC Tabulka [prehled zaznamu] – obsahuje celkový přehled počtů všech záznamů [ID] [bigint] IDENTITY(1,1) NOT NULL, [celkem] [bigint] NULL, [nactenych] [bigint] NULL, [celkem fulltext] [bigint] NULL, [emailu] [bigint] NULL, [cekajici] [bigint] NULL, [domen] [bigint] NULL, 39<br />
<br />
[pocet zaznamu odkazy] [bigint] NULL, [pocet zaznamu odkaz email] [bigint] NULL, [povolenych domen] [bigint] NULL, [zakazanych odkazu] [bigint] NULL, [nepovolenych pripon] [bigint] NULL, [hledanch retezcu] [bigint] NULL, [datum] [datetime] NULL, Indexy: Clusterovaný index [PK prehled zaznamu] položky [ID] ASC Tabulka [hledane retezce] - obsahuje hledané řetězce s uvedením počtu, kolikrát byl zadán [ID] [bigint] IDENTITY(1,1) NOT NULL, [hledany retezec] [varchar](255) NOT NULL, [pocet] [bigint] NOT NULL Indexy: Neclusterovaný index [IX hledane retezce] položky [pocet] DESC Tabulka [admin] – tabulka hesla administrace webového rozhraní [ID] [bigint] IDENTITY(1,1) NOT NULL, [adm heslo] [varchar](255) NOT NULL, Indexy: Clusterovaný index [PK admin] položky [ID] ASC<br />
<br />
40<br />
<br />
Obrázek 17.: Relační schéma databáze<br />
<br />
7.1.2.<br />
<br />
Uložené procedury SQL databáze<br />
<br />
[sp admin zmen heslo]: procedura opraví heslo daný parametrem @stare heslo novým heslem daným parametrem @nove heslo v tabulce admin Parametr: @stare heslo varchar(255), Parametr: @nove heslo varchar(255) [sp admin over heslo]: procedura ověří heslo zadané jako parametr - výstup ok / false volání: execute sp admin over heslo ’sdsad’ Parametr: @heslo varchar(255) [sp nejcastejsi retezce]: procedura vrátí 100 nejhledanějších řetězců a u každého počet použití [sp oprav zakazanou domenu]: procedura opraví záznam daný parametrem @ID názvem @retezec v tabulce zakazane domeny Parametr: @ID bigint, Parametr: @retezec varchar(255) [sp oprav povolenou domenu]: procedura opraví záznam daný parametrem @ID názvem @retezec v tabulce povolene domeny 41<br />
<br />
Parametr: @ID bigint, Parametr: @retezec varchar(255) [sp oprav nepovolenou priponu]: procedura opraví záznam daný parametrem @ID názvem @retezec v tabulce nepovolene pripony Parametr: @ID bigint, Parametr: @retezec varchar(255) [sp pridej zakazanou domenu]: procedura přidá záznam daný parametrem @retezec do tabulky zakazane domeny Parametr: @retezec varchar(255) [sp pridej stranku z www]: procedura přidá stránku zadanou z webového rozhraní parametrem @url do tabulky stranky volání: execute sp pridej stranku z www ’http://www.inf.upol.cz’ Parametr: @url varchar(255) [sp pridej povolenou domenu]: procedura přidá záznam daný parametrem @retezec do tabulky povolene domeny Parametr: @retezec varchar(255) [sp pridej nepovolenou priponu]: procedura přidá záznam daný parametrem @retezec do tabulky nepovolene pripony Parametr: @retezec varchar(255) [sp pridej hledany retezec]: procedura přidá záznam daný parametrem @retezec do tabulky hledane retezce Parametr: @retezec varchar(255) [sp robot pouze domeny]: procedura určená pro robota - vrátí seznam všech záznamů tabulky povolene domeny [sp robot nepovolene pripony]: procedura určená pro robota - vrátí seznam všech záznamů tabulky nepovolene pripony [sp reset zakazane odkazy]: procedura odstraní všechny záznamy tabulky zakazane domeny [sp reset povolene domeny]: procedura odstraní všechny záznamy tabulky povolene domeny<br />
<br />
42<br />
<br />
[sp reset nepovolene pripony]: procedura odstraní všechny záznamy tabulky nepovolene pripony [sp reset hledany retezec]: procedura odstraní všechny záznamy tabulky hledane retezce [sp prehled zaznamu]: procedura vrátí jeden řádek s přehledem počtů všech záznamů v databázi [sp robot stranka k navsteve robota]: procedura určená pro robota - vrátí jeden záznam stránky s ID a url , která se má navštívit robotem [sp robot zakazane odkazy]: procedura určená pro robota - vrátí seznam všech záznamů tabulky zakazane domeny [sp smaz povolenou domenu]: procedura odstraní záznam v tabulce povolene domeny podle parametru @ID Parametr: @ID bigint [sp smaz nepovolenou priponu]: procedura odstraní záznam v tabulce nepovolene pripony podle parametru @ID Parametr: @ID bigint [sp vypis domen]: procedura vrátí seznam všech domén, jejichž stránky se nachází v databázi [sp vrat email]: procedura vrátí název e-mailové adresy zadané parametrem @id Parametr: @id bigint [sp vrat domenu]: procedura vrátí počet stránek domény zadané parametrem @domena Parametr: @domena varchar(300) [sp smaz zakazanou domenu]: procedura odstraní záznam v tabulce zakazane domeny podle parametru @ID Parametr: @ID bigint [sp smaz stranku]: procedura odstraní stránku z databáze podle parametru @ID, budou odstraněny záznamy z tabulek odkazy, odkaz email, stranky texty a stranky volání: execute sp smaz stranku 2862<br />
<br />
43<br />
<br />
Parametr: @ID bigint [sp smaz email]: procedura odstraní e-mail zadaný parametrem @ID Parametr: @ID bigint [sp smaz domenu]: procedura odstraní všechny stránky zadané parametrem @domena z databáze volání: execute sp smaz domenu ’www.seznam.cz’ Parametr: @domena varchar(300) -- název domény [sp www odkud prisli]: procedura vrází seznam www stránek odkazujících na stránku zadanou parametrem @id Parametr: @id bigint [sp www odkazy]: procedura vrátí Seznam odkazů nalezených na stránce zadané parametrem @id Parametr: @id bigint [sp robot uloz data stranky]: procedura pro uložení načtených dat robotem volání: execute uloz data stranky 13, ’titulek1’, ’nadpis1’,’utf-8’, ’OK’,’http://www.neco.cz’, ’prostý text aaa’, ’hlavička 1’, ’www.neco.cz’, 61255 Parametr: Parametr: Parametr: Parametr: Parametr: Parametr: Parametr: Parametr: Parametr: Parametr:<br />
<br />
@ID bigint, @titulek varchar(255), @nadpis varchar(255), @kodovani varchar(50), @status nacteni varchar(100), @odpovedel server varchar(255), @prosty text text, @hlavicka text, @domena text, @velikost bigint<br />
<br />
[sp robot pridej stranku]: procedura přidá do databáze www stránku zadanou jako parametr a id stránky ze které byl odkaz získán volání: execute sp robot pridej stranku ’www.dsdgsd.cz’, 15 Parametr: @url varchar(255), Parametr: @odkud bigint 44<br />
<br />
[sp robot pridej email]: procedura přidá do databáze e-mailovou adresu, zadanou jako parametr a id stránky ze které byl získán volání: execute sp robot pridej email ’pokusny@pokus.cz’, 15 Parametr: @email varchar(255), Parametr: @odkud bigint [sp pocty zaznamu]: procedura vrací celkový počet navštívených stránek robotem [sp reset databaze]: procedura odstraní všechna data tabulek odkazy, stranky texty, odkaz email, emaily, stranky [sp prepocitej zaznamy]: procedura zjistí počty záznamů všech tabulek databáze a uloží výsledek včetně data a času do tabulky prehled zaznamu [sp info www]: procedura vrátí všechny informace stránky, načtené robotem podle@id Parametr: @id bigint -- id stránky [sp info email]: procedura vrátí počet a seznam stránek, na kterých byl e-mail nalezen Parametr: @id bigint -- id e-mailu [sp hledej v url oddo]: procedura vyhledá záznamy obsahující v url @retezec a vrátí záznamy od @start do (@start + @rowsperpage) Parametr: @retezec varchar(255), Parametr: @rowsperpage INT, Parametr: @start INT [sp hledej v url]: procedura vyhledá prvních 1000 záznamů obsahující v url @retezec Parametr: @retezec varchar(255) [sp hledej v titulku a nadpisu oddo]: procedura vyhledá záznamy obsahující v titulku nebo nadpisu @retezec a vrátí záznamy od @start do (@start + @rowsperpage) Parametr: @retezec varchar(255), Parametr: @rowsperpage INT, Parametr: @start INT<br />
<br />
45<br />
<br />
[sp hledej v titulku a nadpisu]: procedura vyhledá prvních 1000 záznamů obsahující v titulku nebo nadpisu @retezec Parametr: @retezec varchar(255) [sp hledej fulltext oddo]: procedura fulltextem vyhledá v prosty text obsahující @retezec a vrátí záznamy od @start do (@start + @rowsperpage) Parametr: @retezec varchar(255), Parametr: @rowsperpage INT, Parametr: @start INT [sp hledej fulltext]: Procedura fulltextem vyhledá v prosty text prvních 1000 záznamů obsahující parametr @retezec Parametr: @retezec varchar(255) [sp hledej email oddo]: procedura vyhledá všechny e-maily obsahující @retezec a vrátí záznamy od @start do (@start + @rowsperpage) Parametr: @retezec varchar(255), Parametr: @rowsperpage INT, Parametr: @start INT [sp hledej email]: procedura vyhledá prvních 1000 e-mailů obsahující @retezec Parametr: @retezec varchar(255) [sp odkazy na www]: procedura vrací údaje stránek, které odkazují na stránku zadanou @id Parametr: @id bigint -- id stránky, u které máme zjistit kolik stránek na ni odkazuje [sp nastav default hodnoty]: procedura nastaví počáteční hodnoty – admin heslo, nepovolené přípony, spuštění po vytvoření nové databáze [sp servis zmensit transakcni log]: servisní procedura ke zmenšení transakčního logu databáze [sp servis reindexace]: servisní procedura k reindexaci tabulek emaily, odkaz email, odkazy, stranky a stranky texty<br />
<br />
46<br />
<br />
7.1.3.<br />
<br />
Návod na vytvoření a start fulltextového katalogu<br />
<br />
V případě možných problému při vytváření fulltextového katalogu a indexu uvádím postup jeho vytvoření v QUERY databáze v prostředí Microsoft SQL Server Management Studio. Příkazy spouštějte jednotlivě. USE vyhledavac GO /* ----povolení fulltextu----*/ exec sp fulltext database Parametr: @action=enable /* ----vytvoření fulltextového katalogu----*/ exec sp fulltext catalog Parametr: @ftcat=’vyhledavac’, Parametr: @action=’create’ /* propojení fulltextového katalogu s tabulkou s PrimaryKey*/ exec sp fulltext table Parametr: @tabname=’dbo.stranky texty’, Parametr: @action=’create’, Parametr: @ftcat=’vyhledavac’, Parametr: @keyname=’PK stranky texty’ /* ----nastavení co chceme fulltextem indexovat ----*/ exec sp fulltext column Parametr: @tabname=’dbo.stranky texty’, Parametr: @colname=’prosty text’, Parametr: @action=’add’ /* ----spuštění plného načtení ----*/ exec sp fulltext table Parametr: @tabname=’dbo.stranky texty’, Parametr: @action=’start full’ Pro další použití v různých procedurách, které vkládají, upravují, nebo odstraňují položku ’prosty text’ v tabulce ’stranky texty’ je nutné vždy provést přírůstkové načtení: /* ----spuštění přírůstkového načtení ----*/ exec sp fulltext table Parametr: @tabname=’dbo.stranky texty’, Parametr: @action=’start incremental’<br />
<br />
47<br />
<br />
7.2.<br />
<br />
Programátorský popis vyhledávacího robota<br />
<br />
Vyhledávací robot je vytvořen v prostředí Visual Studio 2008 v programovacím jazyce Microsoft Visual C#. Projekt má název WebRobot-UPOL a je naprogramován pro práci pod Windows FORMS. Na instalačním médiu je obsažen jak spustitelná aplikace, tak kompletní komentovaný zdrojový kód. Projekt WebRobot-UPOL sestává z následujících souborů zdrojového kódu: AboutBox1.cs – formulář AboutBoxu aplikace AboutBox1.Designer.cs – Form designer formuláře AboutBoxu aplikace AnalyzaStranky.cs – metody analýzy načtené webové stránky a příprava dat pro uložení database.cs – definice třídy database a jejích metod DownloadStranky.cs – metody načtení webové stránky a uložení do instance třídy wwwStranka Form1.cs - Hlavní okno programu Form1.Designer.cs - Form designer formuláře hlavního okna programu IniFile.cs - definice tříd a metod pro práci s IniFile - config.ini LogFile.cs - formulář LogFile aplikace LogFile.Designer.cs - Form designer formuláře LogFile aplikace Napoveda.cs - formulář nápovědy aplikace Napoveda.Designer.cs - Form designer formuláře nápovědy aplikace Program.cs – třída program – spuštění aplikace wwwStranka.cs – definice třídy wwwStranka a jejích metod 7.2.1.<br />
<br />
Popis tříd a metod jednotlivých zdrojových souborů<br />
<br />
AboutBox1.cs Třída partial class AboutBox1: Form public AboutBox1() Konstruktor - nastaví data o projektu do prvků formuláře aboutBoxu<br />
<br />
48<br />
<br />
AnalyzaStranky.cs Třída public partial class Form1: Form Metody: public static string zjistiKodovanizHtml(string zdroj) vyhledá a vrátí charset - kódování nalezený v načtené stránce public static bool OdkazJeOk(string odkaz) kontrola správnosti zadání odkazu. Pokud vyhovuje všem pravidlům, vrací true public static bool PriponaJeOk(string odkaz) kontrola v seznamu nepovolených přípon, zda je přípona povolená - pokud není zakázaná, vrací true. public static bool DomenaJeOk(string odkaz) kontrola v seznamu povolených domén, zda je doména povolená - pokud je povolená, vrací true public static bool OdkazNeniZakazany(string odkaz) kontrola odkazu v seznamu zakázaných odkazů - pokud není zakázaný, vrací true public static string Odstran opakovane znaky(string zdroj, char c) odstraní opakované znaky c v řetězci zdroj public static string Odstran znaky(string zdroj, string c) nahrazení řetězce c v řetězci zdroj prázdným řetězcem public static string ZobrazRegexVysledek(string zdroj, string regularVyraz) zobrazení textu podle kritéria regex - ladící funkce funkčnosti regulárního výrazu public static string OdstranBlokHtml(string zdroj, string zacatekBloku, string konecBloku, int odstran) slouží k odstranění podřetězce ze stringu - podřetězec musí být ohraničený začátečním řetezcen a koncovým řetězcem - určeno pro odstranění bloků v Html kódu příklad použití: Console.WriteLine(OdstranBlokHtml(pokusny,”<script >”,”</script>”,1));<br />
<br />
odstran = 0 pokud potřebujeme vrátit obsah bloku mezi separátory zacatekBloku a konecBloku odstran>0 jinak vrátí zdrojový string s odstraněnými bloky mezi separátory zacatekBloku a konecBloku 49<br />
<br />
private static string prevedHTMLnaText(string zdroj) převod na prostý text - odstranění HTML formátování public static string NahradHtmlEntity(string zdroj) vrátí string, ve kterém budou nahrazeny HTML entity za znaky database.cs class Database Datové položky: public ArrayList povolene domeny - pole domén - např.: ”.cz”, ”.com” public ArrayList zakazane odkazy - pole zakázaných odkazů - např.: ”ad.billboard.cz” public ArrayList nepovolene pripony - pole nepovolených přípon - např.: ”.exe” public string ConnectionString - connectionString připojení databáze public string JmenoServeru - jméno SQL serveru public string JmenoDatabaze - jméno SQL databáze Metody: public void Databaze Stranka k navsteve robota(wwwStranka stranka) získá z databáze ID a url stránky, kterou má robot navštívit public void Databaze pridej Stranku(string url, long ID stranky) přidá stránku a id stránky odkud byl odkaz získán do databáze public void Databaze prepocitej zaznamy() spustí v databázi uloženou proceduru sp prepocitej zaznamy, která zjistí počty záznamů všech tabulek databáze public void Databaze pridej Email(string email, long ID stranky) přidá do databáze e-mailovou adresu public void Databaze uloz Data Stranky (long ID stranky, string titulek, string nadpis, string kodovani, string status nacteni, string odpovedel server, string prosty text, string hlavicka, string domena, long velikost ) zapíše data stránky do SQL databáze public bool Kontrola Spojeni() zjištění funkčnosti spojení s databází. 50<br />
<br />
public void Databaze Nacti Povolene Domeny() načte z databáze všechny povolené domény do ArrayListu povolene domeny public void Databaze Nacti Zakazane Odkazy() načte z databáze všechny zakázané domény do ArrayListu zakazane odkazy public void Databaze Nacti Nepovolene Pripony() načte z databáze všechny nepovolené přípony do ArrayListu nepovolene pripony Form1.cs Třída public partial class Form1: Form Globální Proměnné static wwwStranka stranka static Database databaze int pracuj - pomocná proměnná - pokud bude nastavena na 1 - webrobot běží a načítá stránky, 0 - webrobot stojí int prave pracuji - indikátor - právě probíhá proces načtení, analýzy a uložení jedné stránky int hodina - zapsání čísla hodiny. jakmile se hodina změní, provede se update nastavení z databáze long celkem zpracovano – počet zpracovaných stránek od startu aplikace Konstruktor: public Form1() Konstruktor načte ConnectionString z ini file, provede kontrolu spojení a načte nastavení robota z databáze Metody: private void konecToolStripMenuItem Click(object sender, EventArgs e) ukončení aplikace - při ukončení musí počkat, až doběhne rozjetý thread zpracování, volá void ukonceni() private void ukonceni() vyšle se příkaz, aby se robot zastavil, pak se nastartuje timer, který čeká na ukončení a který potom zavře aplikaci. private void timerCekejnaKonec Tick(object sender, EventArgs e) čekání na ukončení neukončeného procesu a konec aplikace 51<br />
<br />
private void buttonStart Click(object sender, EventArgs e) Obsluha tlačítka Start a pouštění vlákna zpracování private void zpracuj() vlastní proces zpracování jedné stránky robota, volaný jako samostatný thread private void Vynuluj() vynulování třídy wwwStranka - všech proměnných + vynulování prvků formuláře private void ZobrazData() zobrazí data třídy wwwStranka do prvků formuláře private bool NactiStrankuZInternetu() načte stránku z internetu do třídy wwwStranka private void ProvedAnalyzu() provede analýzu HTML kódu stránky a výsledky zapíše do třídy wwwStranka private void ZapisDataDoDatabaze() uložení všech získaných dat do databáze private void NactiNastaveniRobotaZDatabaze() načtení nastavení robota z databáze private void Form1 Resize(object sender, System.EventArgs e) minimalizace do tray ikony private void trayToolStripMenuItem Click(object sender, EventArgs e) obsluha položky menu private void notifyIcon1 MouseDoubleClick(object sender, MouseEventArgs e) obnovení z tray ikony private void oProgramuToolStripMenuItem Click(object sender, EventArgs e) vyvolání AboutBoxu private void nápovědaToolStripMenuItem1 Click(object sender, EventArgs e) vyvolání nápovědy private void logToolStripMenuItem Click(object sender, EventArgs e) vyvolání okna dnešního logu 52<br />
<br />
public static void ZapisDoLogu(string zaznam) zapíše string do log souboru public static string jmeno logu() vrátí aktuální jméno log souboru DownloadStranky.cs Třída public partial class Form1: Form Metody: private bool DownloadStranky(string adresaUrl, wwwStranka stranka) načtení www stránky z internetu a uložení do instance třídy wwwStranka s použitím HttpWebRequest, HttpWebResponse a GetResponseStream public static string zmenKodovani(string zdroj, Encoding vstupniKodovani, Encoding vystupniKodovani) změna kódování stringu - ze vstupního kódovaní na výstupní kódování IniFile.cs Třída public static class config - třída pro práci s ini file Datové položky: public static string ruta - cesta ke config.ini public static IniFile ini - instance třídy IniFile Metoda: public static string getKeyValue(string section, string key) vrátí klíč z IniFile - podle sekce a jména klíče Třída public class IniFile - definice, čtení, zápis do iniFile Datové položky: public string path - nastavení cesty k iniFile Metody: private static extern long WritePrivateProfileString(string section, string key, string val, string filePath);<br />
<br />
53<br />
<br />
private static extern int GetPrivateProfileString(string section, string key, string def, StringBuilder retVal, int size, string filePath);public IniFile(string INIPath) public void IniWriteValue(string Section, string Key, string Value) zapsání hodnoty do iniFile public string IniReadValue(string Section, string Key) načtení hodnoty z iniFile LogFile.cs Třída public partial class LogFile: Form Metoda: private void NactiLog() načtení txt souboru Logu a zobrazení do textboxu Napoveda.cs Třída public partial class Napoveda: Form Metoda: public Napoveda() konstruktor nastaví html stránku \\help\\index.htm do okna webBrowseru wwwStranka.cs class wwwStranka Datové položky: public ArrayList odkazy - pole odkazů public ArrayList emaily - pole e-mailů public string AdresaUrl - adresa URL analyzované načítané stránky public long StrankaID - ID analyzované načítané stránky public string OdpovedelServer - odpovídající server public string Kodovani - kódování stránky public string Hlavicka - Headers stránky public string StatusNacteni - Status stránky - OK v pořádku / chybová message 54<br />
<br />
public string HtmlData - načtený html kód stránky public string Domena - doménové jméno serveru public long VelikostStranky - filesize souboru stránky public string Titulek - načtený titulek public string NadpisH1 - načtený nadpis H1 public string Prosty text - prostý text stránky - bez HTML formátování Metody: public void vynuluj() vynulování všech proměnných třídy public void NactiDomenu() vrátí jméno domény načtené stránky public void NactiTitle() vyhledá a vrátí nadpis Title načtené stránky public void NactiH1() vyhledá a vrátí nadpisy H1 načtené stránky public void NactiProstyText() získá prostý text z html stránky - odstraněním HTML formátování public void NactiEmaily() vyhledá a vrátí emaily nalezené v načtené stránce a přidá je do seznamu e-mailů public void pridej Email(string email) přidá e-mail do ArrayListu emaily public string zobrazEmaily() vrátí strig se všemi emaily, oddělenými novým řádkem - ladící funkce public void NactiOdkazy() vyhledá a vrátí odkazy nalezené v načtené stránce public string Uprav Odkaz(string odkaz) upraví odkaz do správného tvaru s využitím absoluteUri public void pridej Odkaz(string odkaz) zkontroluje a přidá odkaz do ArrayListu odkazy public string zobrazOdkazy() vrátí strig se všemi odkazy, oddělenými novým řádkem - ladící funkce 55<br />
<br />
7.3.<br />
<br />
7.3.1.<br />
<br />
Programátorský popis ASP aplikace webového rozhraní vyhledávače Přehled souborů uživatelské části webového rozhraní<br />
<br />
Kořenový adresář ASP aplikace s umístěním: inetpub\wwwroot\vyhledavac Podadresář images – obsahuje grafické soubory Podadresář admin – obsahuje administrátorskou část aplikace adovbs.inc – standardní definice konstant VBScript k ActiveX Data Objects (ADO) db stat.asp – aktualizuje tabulku přehledu záznamů databáze default.asp – hlavní stránka vyhledávače inc navigace predchozi dalsi.asp – include do stránek - navigace předchozí – další inc radek info odkazy.asp – include do stránek nalezení záznamů – zobrazení řádku tabulky s daty jedné nalezené stránky info email.asp - podrobné informace o E-mailové adrese, ze kterých stránek byla získána info odkud prisli.asp - seznam www stránek odkazujících na stránku danou parametrem id info www.asp - informace o www stránce danou parametrem id – vše co robot uložil info www odkazy.asp - seznam odkazů nalezených na stránce danou parametrem id napoveda.asp – stránky nápovědy uživatelské části nejcasteji hledane.asp – seznam 100 nejhledanějších řetězců pridej.asp – formulář přidání nové stránky do databáze k zaindexování pridej potvrzeni.asp – ověření dostupnosti stránky a její přidání do databáze search.asp – zobrazení výsledků všech typů hledání seznam domen.asp – seznam všech domén, jejichž stránky se nachází v databázi text pod formularem default.asp – include do hlavní stránky vyhledavac.css – kaskádový styl uživatelské části vyhledavac inc.asp - include do všech stránek používající databázi, konfigurace globálních proměnných v aplikaci, , nastavení počtu řádků ve výpisech Function search GetDatabaseConn() získání spojení s databází – nastavení connection stringu a vrácení ADODB.Connection<br />
<br />
56<br />
<br />
Function zobrazdatum(hodnota) úprava formátu datumu načteného z SQL serveru Function datumprosql(hodnota) úprava formátu datumu pro SQL server Function zvyrazni retezec(zdroj, zvyrazni, barva) zvýraznění hledaného řetězce Function odstran html(zdroj) nahradí znaky „<ÿ a „>ÿ html entitami Function uprav hledany retezec(strText) odstranění mezer na začátku a na konci stringu, nahrazení apostrofu, uvozovek a dalších znaků zahlavi.asp – include do stránek – záhlaví všech stránek mimo výsledků hledání zahlavi search.asp – include do stránek – záhlaví stránek výsledků hledání zapati.asp – include do stránek – zápatí všech stránek 7.3.2.<br />
<br />
Přehled souborů administrátorské části webového rozhraní<br />
<br />
Kořenový adresář ASP aplikace administrace s umístěním: inetpub\wwwroot\vyhledavac\admin Podadresář images – obsahuje grafické soubory adm.asp – hlavní stránka administrace s přehledem záznamů databáze adm.css – kaskádový styl administrátorské části admin heslo.asp - změna hesla WWW administrace admin nepov pripony.asp - administrace nepovolených přípon souborů admin pov domeny.asp - administrace povolených domén admin smaz.asp – odstranění jednotlivých záznamů tabulek databáze admin udrzba.asp – administrace operací s tabulkami databáze – resetování celých tabulek admin zak domeny.asp - administrace zakázaných domén adm heslo.asp – include do stránek administrace – změna hesla adm nepov pripony.asp – include do stránek administrace – nepovolené přípony adm pov domeny.asp – include do stránek administrace – povolené domény adm reset database.asp – include do stránek administrace – operace s tabulkami s dotazem a potvrzením<br />
<br />
57<br />
<br />
adm reset hledane retezce.asp – include do stránek administrace – operace s tabulkami s dotazem a potvrzením adm reset nepovolene pripony.asp – include do stránek administrace – operace s dotazem a potvrzením s tabulkami adm reset povolene domeny.asp – include do stránek administrace – operace s tabulkami s dotazem a potvrzením adm reset zakazane odkazy.asp – include do stránek administrace – operace s tabulkami s dotazem a potvrzením adm smaz.asp – include do stránek administrace – odstranění jednotlivých záznamů s dotazem a potvrzením adm smaz domenu.asp – include do stránek administrace – odstranění jednotlivých záznamů adm smaz email.asp – include do stránek administrace – odstranění jednotlivých záznamů s dotazem a potvrzením adm smaz www.asp – include do stránek administrace – odstranění jednotlivých záznamů s dotazem a potvrzením adm udrzba.asp – include do stránek administrace – operace s tabulkami adm zak domeny.asp – include do stránek administrace – zakázané odkazy adovbs.inc – standardní definice konstant VBScript k ActiveX Data Objects (ADO) default.asp – přihlašovací stránka s formulářem hesla, pro vstup do administrace menu.asp – hlavní menu administrace napoveda admin.asp – stránka nápovědy administrátorské části oprava nepov priponu.asp – provedení opravy nepovolené přípony oprava pov domenu.asp – provedení opravy povolené domény oprava zak domenu.asp – provedení opravy zakázaného odkazu oprav nepov priponu.asp – formulář opravy nepovolené přípony oprav pov domenu.asp – formulář opravy povolené domény oprav zak domenu.asp – formulář opravy zakázaného odkazu pridej nepov priponu.asp – provedení přidání záznamu do databáze pridej pov domenu.asp – provedení přidání záznamu do databáze pridej zak domenu.asp – provedení přidání záznamu do databáze text heslo.asp – include – informační okno text nepov pripony.asp – include – informační okno text pov domeny.asp – include – informační okno text smaz.asp – include – informační okno 58<br />
<br />
text udrzba.asp – include – informační okno text zak domeny.asp – include – informační okno uvod adm.asp - – include do hlavní stránky administrace – přehled všech záznamů vyhledavac inc adm.asp - include do všech stránek administrace používajících databázi, konfigurace globálních proměnných, nastavení počtu řádků ve výpisech Function search GetDatabaseConn() získání spojení s databází – nastavení connection stringu a vrácení ADODB.Connection Function zobrazdatum(hodnota) úprava formátu datumu načteného z SQL serveru Function datumprosql(hodnota) úprava formátu datumu pro SQL server Function zvyrazni retezec(zdroj, zvyrazni, barva) zvýraznění hledaného řetězce zahlavi.asp – include do stránek – záhlaví všech stránek administrace zapati.asp – include do stránek – zápatí všech stránek administrace zmen heslo.asp – provedení změny hesla zrus nepov priponu.asp – provedení smazání záznamu s dotazem a potvrzením zrus pov domenu.asp – provedení smazání záznamu s dotazem a potvrzením zrus zak domenu.asp – provedení smazání záznamu s dotazem a potvrzením<br />
<br />
59<br />
<br />
Závěr Cílem bakalářské práce bylo vytvoření souboru aplikací jednoduchého Intranetového vyhledávače, který na základě uživatelem zadaných klíčových slov, jež popisují hledaný dotaz, vyhledá uživateli ve své databázi webové stránky s relevantním obsahem. Důvodem vytvoření Internetového vyhledávače je nemožnost použití známých vyhledávačů v intranetech velkých organizací, které nejsou, nebo nemohou být propojeny do internetu. Intranetový vyhledávač se skládá z aplikace vyhledávacího robota, databáze vyhledávače a WWW aplikace realizující hledání v databázi vyhledávače. Při vývoji byl kladen důraz na uživatelsky příjemné prostředí a jednoduché a intuitivní ovládání. Použitá technologie pro vývoj byla založena pouze na produktech společnosti Microsoft. Soubor aplikací Intranetového vyhledávače splňuje všechny stanovené požadavky uvedené v úvodu této bakalářské práce. Intranetový vyhledávač je především určen pro intranety s rozsahem do 100 000 webových stránek, ale lze jej v omezené míře použít i na internetu, například pro vyhledávání v několika oborově stejně zaměřených WWW serverech, diskusích a podobně. Jednotlivé aplikace intranetového vyhledávače je možné dále rozšiřovat a přizpůsobovat požadavkům uživatelů v průběhu používání. Implementace Internetového vyhledávače je realizována na intranetu Policie ČR.<br />
<br />
60<br />
<br />
Conclusions The aim of my Bachelor thesis was to create a set of simple Intranet search engine applications which would be able to look up a required web site by using the keywords decsribing the request. The reason for creating this Intranet search engine was the fact that it is impossible for existing search engines to be used on the big companies’ Intranets that are not or cannot be connected to the Internet. The Intranet search engine is composed of a lookup robot application, a database search engine and a www aplication which carries out the searching through the database. Creating it a great stress was layed on the search engine to be a userfriendly. The technology used for creating the Intranet search engine was based only on the Microsoft products. The set of Intranet search engine applications fulfils all the terms mentioned in the introduction of this Bachelor thesis. This search engine is mainly designed for the Intranets containing at most 100 000 web sites but can be partially used on the Internet. (For example for searching several similar www servers, discussions, etc.) Single applications can be extended and adapted for user’s needs during their use. The implementation of this Intranet search engine is realized on the Intranet of Police of the Czech Republic.<br />
<br />
61<br />
<br />
Reference [1] Jason Price. C# programování databází. Grada Publishing, 2005. [2] John Sharp. Microsoft Visual C# 2005 Krok za krokem. Computer Press, 2006. [3] Ken Henderson. Mistrovství v Trasact-SQL. Computer Press, 2000. [4] Amadeo Mareš. 1001 tipů a triků pro C#. Computer Press, 2008. [5] Neward Ted, Drayton Peter, Albahari Ben. C# v kostce. Grada Publishing, 2003. [6] Homer, Sussman, Francis.: Active Server Pages 3.0 profesionálně, Computer Press, 1999.<br />
<br />
62<br />
<br />
A.<br />
<br />
Popis obsahu přiloženého CD<br />
<br />
Součástí této práce je i přiložené médium CD. Jeho obsahem jsou čtyři adresáře. • Adresář bin obsahuje podadresář WebRobot-UPOL s instalačním souborem vyhledávacího robota webrobot-setup.exe. • Adresář doc obsahuje dokumentaci této práce, včetně zdrojových kódů této dokumentace. • Adresář Microsoft .NET Framework 3.5 SP1 obsahuje instalační soubor dotnetfx35.exe, kterým se nainstaluje prostředí Microsoft .NET Framework 3.5 SP1. • Adresář src obsahuje zdrojové kódy aplikací rozdělené v podadresářích. – Podadresář sql database vyhledavac obsahuje sql skripty nutné pro vytvoření databáze vyhledavac v prostředí Microsoft SQL Server Management Studio. – Podadresář vyhledavac-ASP obsahuje zdrojové kódy ASP aplikace webového rozhraní pro MS IIS server. – Podadresář WebRobot-UPOL obsahuje zdrojové kódy aplikace vyhledávacího robota pro MS Visual Studio 2008. Součástí přiloženého média CD je i soubor readme.txt, který obsahuje informace o obsahu přiloženého CD.<br />
<br />
63<br />
<br /> </div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div class="modal fade" id="report" tabindex="-1" role="dialog" aria-hidden="true">
<div class="modal-dialog">
<div class="modal-content">
<form role="form" method="post" action="https://adoc.pub/report/intranetovy-vyhledava" style="border: none;">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal" aria-hidden="true">×</button>
<h4 class="modal-title">Report "Intranetový vyhledávač"</h4>
</div>
<div class="modal-body">
<div class="form-group">
<label>Your name</label>
<input type="text" name="name" required="required" class="form-control" />
</div>
<div class="form-group">
<label>Email</label>
<input type="email" name="email" required="required" class="form-control" />
</div>
<div class="form-group">
<label>Reason</label>
<select name="reason" required="required" class="form-control">
<option value="">-Select Reason-</option>
<option value="pornographic" selected="selected">Pornographic</option>
<option value="defamatory">Defamatory</option>
<option value="illegal">Illegal/Unlawful</option>
<option value="spam">Spam</option>
<option value="others">Other Terms Of Service Violation</option>
<option value="copyright">File a copyright complaint</option>
</select>
</div>
<div class="form-group">
<label>Description</label>
<textarea name="description" required="required" rows="3" class="form-control" style="border: 1px solid #cccccc;"></textarea>
</div>
<div class="form-group">
<div style="display: inline-block;">
<div class="g-recaptcha" data-sitekey="6LcEnMcZAAAAAFHzKKgaE-Qh57XzUTzpfRElD4dP"></div>
</div>
</div>
<script src='https://www.google.com/recaptcha/api.js'></script>
</div>
<div class="modal-footer">
<button type="button" class="btn btn-default" data-dismiss="modal">Close</button>
<button type="submit" class="btn btn-primary">Send</button>
</div>
</form>
</div>
</div>
</div>
<script>
$(document).ready(function () {
var inner_height = $(window).innerHeight() - 250;
$('#pdfviewer').css({"height": inner_height + "px"});
});
</script>
<footer class="footer" style="margin-top: 60px;">
<div class="container-fluid">
Copyright © 2024 ADOC.PUB. All rights reserved.
<div class="pull-right">
<span><a href="https://adoc.pub/about">About Us</a></span> |
<span><a href="https://adoc.pub/privacy">Privacy Policy</a></span> |
<span><a href="https://adoc.pub/term">Terms of Service</a></span> |
<span><a href="https://adoc.pub/copyright">Copyright</a></span> |
<span><a href="https://adoc.pub/contact">Contact Us</a></span> |
<span><a href="https://adoc.pub/cookie_policy">Cookie Policy</a></span>
</div>
</div>
</footer>
<!-- Modal -->
<div class="modal fade" id="login" tabindex="-1" role="dialog" aria-labelledby="myModalLabel">
<div class="modal-dialog" role="document">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal" aria-label="Close" on="tap:login.close"><span aria-hidden="true">×</span></button>
<h4 class="modal-title" id="add-note-label">Sign In</h4>
</div>
<div class="modal-body">
<form action="https://adoc.pub/login" method="post">
<div class="form-group">
<label class="sr-only" for="email">Email</label>
<input class="form-input form-control" type="text" name="email" id="email" value="" placeholder="Email" />
</div>
<div class="form-group">
<label class="sr-only" for="password">Password</label>
<input class="form-input form-control" type="password" name="password" id="password" value="" placeholder="Password" />
</div>
<div class="form-group">
<div class="checkbox">
<label class="form-checkbox">
<input type="checkbox" name="remember" value="1" />
<i class="form-icon"></i> Remember me
</label>
<label class="pull-right"><a href="https://adoc.pub/forgot">Forgot password?</a></label>
</div>
</div>
<button class="btn btn-primary btn-block" type="submit">Sign In</button>
</form>
</div>
</div>
</div>
</div>
<!-- Global site tag (gtag.js) - Google Analytics -->
<script async src="https://www.googletagmanager.com/gtag/js?id=UA-177279549-1"></script>
<script>
window.dataLayer = window.dataLayer || [];
function gtag(){dataLayer.push(arguments);}
gtag('js', new Date());
gtag('config', 'UA-177279549-1');
</script>
<script src="https://adoc.pub/assets/js/jquery-ui.min.js"></script>
<link rel="stylesheet" href="https://adoc.pub/assets/css/jquery-ui.css">
<script>
$(function () {
$("#document_search").autocomplete({
source: function (request, response) {
$.ajax({
url: "https://adoc.pub/suggest",
dataType: "json",
data: {
term: request.term
},
success: function (data) {
response(data);
}
});
},
autoFill: true,
select: function( event, ui ) {
$(this).val(ui.item.value);
$(this).parents("form").submit();
}
});
});
</script>
<!-- cookie policy -->
<div id="ADOCPUB_cookie_box" style="z-index:99999; border-top: 1px solid #fefefe; background: #FFC107; width: 100%; position: fixed; padding: 5px 15px; text-align: center; left:0; bottom: 0;">
Our partners will collect data and use cookies for ad personalization and measurement. <a href="https://adoc.pub/cookie_policy" target="_blank">Learn how we and our ad partner Google, collect and use data</a>. <a href="#" class="btn btn-success" onclick="accept_ADOCPUB_cookie_box();return false;">Agree & close</a>
</div>
<script>
function accept_ADOCPUB_cookie_box() {
document.cookie = "ADOCPUB_cookie_box_viewed=1;max-age=15768000;path=/";
hide_ADOCPUB_cookie_box();
}
function hide_ADOCPUB_cookie_box() {
var cb = document.getElementById('ADOCPUB_cookie_box');
if (cb) {
cb.parentElement.removeChild(cb);
}
}
(function () {
var ADOCPUB_cookie_box_viewed = (function (name) {
var matches = document.cookie.match(new RegExp("(?:^|; )" + name.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g, '\\$1') + "=([^;]*)"));
return matches ? decodeURIComponent(matches[1]) : undefined;
})('ADOCPUB_cookie_box_viewed');
if (ADOCPUB_cookie_box_viewed) {
hide_ADOCPUB_cookie_box();
}
})();
</script>
<!-- end cookie policy -->
</body>
</html>
