Michal Roder Distribuovaný monitorovací systém pro

Univerzita Karlova v Praze Matematicko-fyzikáln´ı fakulta

´ RSK ˇ ´ PRACE ´ BAKALA A

Michal Roder Distribuovan´ y monitorovac´ı syst´ em pro bezdr´ atov´ e s´ıtˇ e Katedra teoretické informatiky a matematické logiky

Vedouc´ı bakaláˇrské práce: Mgr. Ondˇrej Zaj´ıˇcek Studijn´ı program: Informatika Studijn´ı obor: Obecná informatika (IOI)

2010

Chtˇel bych podˇekovat vedouc´ımu práce za poskytnut´ı zaj´ımavého tématu a trpˇelivost pˇri vypracováván´ı i odevzdáván´ı práce.

Prohlaˇsuji, ˇze jsem svou bakaláˇrskou práci napsal samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u. Souhlas´ım se zap˚ ujˇcován´ım práce a jej´ım zveˇrejˇ nován´ım. V Praze dne

Michal Roder 2

Obsah 1 Syst´ em StatCenter ´ 1.1 Uvod . . . . . . . . . . . . . . . . . . 1.1.1 Náhled do problematiky . . . 1.1.2 Struktura práce . . . . . . . . 1.2 Problémy a jejich ˇreˇsen´ı . . . . . . . 1.2.1 Slovn´ıˇcek pouˇz´ıvan´ ych pojm˚ u 1.2.2 Pouˇzité zkratky . . . . . . . . 1.2.3 Rozbor poˇzadavk˚ u . . . . . . 1.2.4 Existuj´ıc´ı ˇreˇsen´ı . . . . . . . . ˇ sen´ı projektu StatCenter . 1.2.5 Reˇ 1.2.6 Systémové základy . . . . . . 1.2.7 Pouˇzité knihovny . . . . . . . 1.2.8 Vstupy a v´ ystupy . . . . . . . 1.2.9 Synchronizace ˇcasu . . . . . . 1.2.10 Databáze . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

7 7 7 8 9 9 9 10 12 13 14 16 18 21 23

2 Uˇ zivatelsk´ a dokumentace 2.1 Instalace . . . . . . . . . . . . . . . 2.1.1 Prerekvizity . . . . . . . . . 2.1.2 Instalace . . . . . . . . . . . 2.1.3 Odinstalován´ı . . . . . . . . 2.2 Pouˇzit´ı program˚ u . . . . . . . . . . 2.2.1 Komunikace mezi programy 2.2.2 Server . . . . . . . . . . . . 2.2.3 Agent . . . . . . . . . . . . 2.2.4 Comms . . . . . . . . . . . 2.2.5 Printer . . . . . . . . . . . . 2.3 Základn´ı operace . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

25 25 25 27 28 29 29 30 31 31 31 32

3

. . . . . . . . . . .

2.3.1 2.3.2 2.3.3

Zastaven´ı daemonizovaného procesu . . . . . . . . . . Pˇridán´ı agenta . . . . . . . . . . . . . . . . . . . . . Procházen´ı dat . . . . . . . . . . . . . . . . . . . . .

3 Program´ atorsk´ a dokumentace ´ 3.1 Uvod . . . . . . . . . . . . . . 3.2 LogSystem . . . . . . . . . . . 3.2.1 Struktura . . . . . . . 3.3 Config . . . . . . . . . . . . . 3.4 Protokoly . . . . . . . . . . . 3.4.1 DataProtocol . . . . . 3.4.2 TimeSyncProtocol . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

32 32 33 34 34 35 35 37 38 38 40

4 V´ ysledky a hodnocen´ı

41

Literatura

42

5 Dodatek A 5.1 Konfiguraˇcn´ı soubor programu 5.1.1 Agent . . . . . . . . . 5.1.2 Server . . . . . . . . . 5.1.3 Comms . . . . . . . . 5.1.4 Data . . . . . . . . . . 5.1.5 TimeSync . . . . . . . 5.1.6 Buffering . . . . . . . . 5.1.7 Memory . . . . . . . . 5.1.8 File . . . . . . . . . . . 5.1.9 Log . . . . . . . . . . . 5.1.10 Main . . . . . . . . . . 5.1.11 Plugins . . . . . . . . . 5.1.12 PluginManager . . . . 5.1.13 Plugin . . . . . . . . . 5.2 Konfiguraˇcn´ı soubor programu 5.2.1 StatCenter . . . . . . . 5.2.2 TimeSyncServer . . . . 5.2.3 CommsServer . . . . . 5.2.4 PrintServer . . . . . . 5.2.5 Log . . . . . . . . . . . 5.2.6 Main . . . . . . . . . .

43 44 44 44 45 45 45 45 46 46 46 47 47 47 48 49 49 49 49 50 50 50

4

agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . server . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

5.3 5.4

5.2.7 Database . . . . . . . . . . . . 5.2.8 Servers . . . . . . . . . . . . . . Konfiguraˇcn´ı soubor databáze . . . . . Konfiguraˇcn´ı soubor modulu Database 5.4.1 Database . . . . . . . . . . . . 5.4.2 LastUsedStreamId . . . . . . . 5.4.3 LastUsedAgentId . . . . . . . . 5.4.4 Agents . . . . . . . . . . . . . . 5.4.5 Agent . . . . . . . . . . . . . . 5.4.6 Streams . . . . . . . . . . . . . 5.4.7 Stream . . . . . . . . . . . . . .

5

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

51 51 52 52 52 52 53 53 53 53 53

Název práce: Distribuovan´ y monitorovac´ı systém pro bezdrátové s´ıtˇe Autor: Michal Roder Katedra (´ ustav): Katedra teoretické informatiky a matematické logiky Vedouc´ı bakaláˇrské práce: Mgr. Ondˇrej Zaj´ıˇcek e-mail vedouc´ıho: [email protected] Abstrakt: C´ılem práce je vytvoˇrit monitorovac´ı systém sloˇzen´ y z nˇekolika program˚ u, kter´ y umoˇzn´ı sledovat dˇen´ı pˇredevˇs´ım na bezdrátov´ ych s´ıt´ıch. Tyto programy by mˇely b´ yt snadno rozˇs´ıˇritelné o dalˇs´ı schopnosti. Hlavn´ı zamˇeˇren´ı je na sbˇer a sd´ılen´ı dat, jejich zpracován´ı a interpretace je vedlejˇs´ı. Souˇcást´ı práce je uˇzivatelská a programátorská dokumentace k program˚ um. Kl´ıˇcová slova: WLAN, Wireless Extensions, iwlib, monitorován´ı

Title: Distributed Monitoring System for Wireless Networks Author: Michal Roder Department: Department of Theoretical Computer Science and Mathematical Logic Supervisor: Mgr. Ondˇrej Zaj´ıˇcek Supervisor’s e-mail address: [email protected] Abstract: The goal of this thesis is a monitoring system composed of several programs that allow observing events primarily on wireless networks. These programs should be easily modifiable by adding additional capabilities. Main aim is at collecting and sharing of data, interpreting and processing it is of secondary importance. The thesis contains user and programmer documentation for all the programs. Keywords: WLAN, Wireless Extensions, iwlib, monitoring

6

Kapitola 1 Syst´ em StatCenter 1.1 1.1.1

´ Uvod N´ ahled do problematiky

S bezdrátov´ ymi s´ıtˇemi se dnes setkáváme zcela bˇeˇznˇe. Jsou velmi obl´ıben´ ym zp˚ usobem propojen´ı menˇs´ıho i vˇetˇs´ıho mnoˇzstv´ı poˇc´ıtaˇc˚ u do s´ıtˇe. S rychl´ ym rozˇsiˇrován´ım pˇrenosn´ ych poˇc´ıtaˇc˚ u, které maj´ı potˇrebn´ y hardware zabudován v sobˇe, miz´ı posledn´ı pˇrekáˇzka pro snadné pouˇzit´ı. Z pohledu uˇzivatele to je vˇetˇsinou snadné. Najde pˇr´ıpojn´ y bod a pˇripoj´ı se s pomoc´ı hesla. Pro správce bezdrátov´ ych s´ıt´ı nen´ı vˇse tak jednoduché. Zprovoznˇen´ı s´ıtˇe neb´ yvá tak obt´ıˇzné, problém m˚ uˇze nastat pˇri jej´ım spravován´ı. S´ıla signálu, poˇcet pˇripojen´ ych uˇzivatel˚ u a dalˇs´ı statistiky mohou b´ yt kl´ıˇcové pˇri rozhodován´ı, zda se na s´ıti nevyskytuje problém, kter´ y je tˇreba ˇreˇsit. Stejnˇe tak je nˇekdy zapotˇreb´ı sledovat zat´ıˇzen´ı s´ıtˇe. Projekt StatCenter je navrˇzen pro sledován´ı dˇen´ı na bezdrátov´ ych s´ıt´ıch. Je navrˇzen pro menˇs´ı s´ıtˇe, ale bude fungovat i na vˇetˇs´ıch. Sledovac´ı systém je zam´ yˇslen pro nasazen´ı na mal´ ych, nepˇr´ıliˇs v´ ykonn´ ych poˇc´ıtaˇc´ıch s centráln´ım bodem pro sbˇer a ukládán´ı informac´ı. Sledovac´ı programy by proto mˇely b´ yt co nejjednoduˇsˇs´ı. U centráln´ıho serveru se ale bohuˇzel nedá vyhnout zv´ yˇsen´ ym nárok˚ um na v´ ykon, kapacitu operaˇcn´ı pamˇeti a pevn´ ych disk˚ u. Systém na sb´ırán´ı dat by byl k niˇcemu, pokud by se z nˇej data nedala z´ıskat. Pro tuto u ´lohu je do projektu StatCenter pˇridán jednoduch´ y klient, kter´ y umoˇzn´ı stáhnut´ı dat. Tento klient vˇsak nen´ı v oblasti zájmu této práce, protoˇze jeho pokroˇcilá implementace by mohla dosáhnout a snadno i pˇrekroˇcit rozsah projektu. 7

StatCenter je primárnˇe urˇcen pro operaˇcn´ı systém GNU/Linux. Nˇekteré ˇca´sti se s menˇs´ımi u ´pravami daj´ı pouˇz´ıt i na jin´ ych systémech s jádry zaloˇzen´ ymi na Unixu.

1.1.2

Struktura pr´ ace

Práce je rozˇclenˇena do ˇctyˇr základn´ıch ˇcást´ı a dodatku. Prvn´ı ˇcást Systém StatCenter se zab´ yvá ˇreˇsen´ımi pouˇzit´ ymi v systému a jeho strukturou. Druhá ˇca´st Uˇzivatelská dokumentace se vˇenuje oˇcekávan´ ym otázkám uˇzivatel˚ u. Obsahuje návody jak nainstalovat a odinstalovat programy, jak provést základn´ı operace. Tˇret´ı ˇcást Programátorská dokumentace je urˇcena pro programátory. Podrobnˇeji se zab´ yvá fungován´ım a souvislostmi mezi jednotliv´ ymi moduly systému. ˇ Ctvrt´ a ˇca´st Výsledky a hodnocen´ı nab´ız´ı krátké zhodnocen´ı, v´ ysledky a moˇzná zlepˇsen´ı program˚ u. Dodatek obsahuje strukturu a popis konfiguraˇcn´ıch soubor˚ u a jejich hodnot. Je nezbytnou ˇca´st´ı uˇzivatelské dokumentace.

8

1.2 1.2.1

Probl´ emy a jejich ˇ reˇ sen´ı Slovn´ıˇ cek pouˇ z´ıvan´ ych pojm˚ u

Pro dalˇs´ı text definujme nˇekolik pojm˚ u, které budou v práci pouˇzity ve specifickém v´ yznamu. Nˇekteré tyto pojmy maj´ı obecnˇejˇs´ı v´ yznam, kter´ y pro u ´ˇcely této práce m˚ uˇze b´ yt zavádˇej´ıc´ı a matouc´ı. Agent – v této práci je za agenta povaˇzován program sb´ıraj´ıc´ı data na vzdálené stanici Server – v této práci je za server povaˇzován centráln´ı uzel systému, kter´ y sb´ırá data Daemonizace – proces, pˇri kterém program odstraˇ nuje veˇskerá spojen´ı s rodiˇcovsk´ ym procesem (i závislosti) Printer – v této práci je za printer povaˇzován program slouˇz´ıc´ı ke staˇzen´ı dat ze serveru a k jejich v´ ypisu Comms – tato zkratka anglického slova communications pˇredstavuje v této práci program slouˇz´ıc´ı ke komunikaci s daemonizovan´ ym procesem (server, agent)

1.2.2

Pouˇ zit´ e zkratky

POSIX Portable Operating System Interface (for Unix) TCP Transmission Control Protocol UDP User Datagram Protocol XML Extensible Markup Language UTC Coordinated Universal Time ID Identifier, unikátn´ı identifikátor, v programech pouˇz´ıváno celé ˇc´ıslo

9

1.2.3

Rozbor poˇ zadavk˚ u

Pˇredstava systému je taková, ˇze agenti bˇeˇz´ı na málo v´ ykonn´ ych stroj´ıch s omezen´ ymi prostˇredky. Server je na druhou stranu provozován na stroji s dostatkem v´ ykonu i systémov´ ych prostˇredk˚ u (operaˇcn´ı pamˇeti a diskového prostoru). Pozice program˚ u printer a comms se neˇreˇs´ı. Ani jeden nevyˇzaduje nijak velké systémové zdroje s v´ yjimkou pˇrenosové kapacity s´ıtˇe v pˇr´ıpadˇe vzdáleného pˇr´ıstupu. Agenti nechávaj´ı veˇskeré zpracován´ı dat na serveru. Data se nepos´ılaj´ı pr˚ ubˇeˇznˇe, ale hromad´ı se na stranˇe agenta v bufferech, jejichˇz velikost se dá nastavit pˇri startu. Po naplnˇen´ı bufferu se poˇsle jeho kompletn´ı obsah s dodateˇcn´ ymi informacemi serveru. Server data zpracuje a uloˇz´ı na disk. Zároveˇ n poskytuje rozhran´ı pro jejich sd´ılen´ı, um´ı v nich vyhledávat. Na toto rozhran´ı se pˇripojuje program printer. Agenti by mˇeli b´ yt snadno konfigurovateln´ı. Mˇel by b´ yt k dispozici interface, kter´ y umoˇzn´ı pˇridáván´ı plugin˚ u za bˇehu. Je tedy nutné napsat správce plugin˚ u. Agenti bˇeˇz´ı jako systémov´ y proces bez pˇr´ıstupu ke konzoli. Pro komunikaci je zapotˇreb´ı vstup – naˇc´ıtán´ı konfigurace – a v´ ystup – logovac´ı soubory. Agent potˇrebuje b´ yt v nˇekter´ ych pˇr´ıpadech samostatn´ y, mus´ı b´ yt schopn´ y reagovat na pˇreruˇsenou komunikaci se serverem. Agent tedy potˇrebuje dlouhodobˇejˇs´ı buffer. Je docela pravdˇepodobné, ˇze systémové hodiny stroj˚ u serveru a agenta nebudou synchronizované (pokud nepobˇeˇz´ı na stejném stroji). To by bez oˇsetˇren´ı vy´ ustilo v problém s databáz´ı. Váˇznˇejˇs´ı problémy s nesynchronn´ımi hodinami by mohly vést k nepouˇzitelnosti a nesmyslnosti dat v databázi. Potˇrebujeme tedy zajistit synchronizaci hodin (byt’ jen intern´ıch programov´ ych) se serverem. Vzhledem ke struktuˇre systému pˇredpokládejme, ˇze server má správn´ y ˇcas. Pokud nen´ı splnˇen ani tento pˇredpoklad, byl by velk´ y problém s jakoukoliv databáz´ı rozumnˇe pracovat. Takto rozsáhlé programy nelze napsat najednou v celku. Kaˇzd´ y program se dˇel´ı na logické ˇca´sti, které se daj´ı naprogramovat jako v´ıce ˇci ménˇe samostatné moduly. Pˇri rozboru poˇzadavk˚ u na tyto moduly pomalu krystalizovala základn´ı rozhran´ı. U vˇetˇsiny modul˚ u bylo základn´ı rozhran´ı definováno a implementace se ˇr´ıdila podle nich. D´ıky tomu se ˇcást modul˚ u dá vymˇenit za odliˇsné implementace splˇ nuj´ıc´ı stejné rozhran´ı. Vˇetˇsinou se jedná o moduly koncové, jako napˇr´ıklad logovac´ı systém, synchronizace ˇcasu a zpracován´ı dat. Ne vˇsechna rozhran´ı jsou pˇresnˇe definována. U nˇekter´ ych je to ale na10

prosto nezbytné. Jedn´ım z tˇechto pˇr´ıpad˚ u je komunikace s dynamicky linkovan´ ymi knihovnami. Tyto jsou zde pouˇzity pro pluginy, se kter´ ymi je moˇzné pracovat za bˇehu programu. Jejich správce i samotné pluginy mus´ı m´ıt pˇresnˇe definované rozhran´ı, aby byla zaruˇcena funkˇcnost.

11

1.2.4

Existuj´ıc´ı ˇ reˇ sen´ı

Monitorován´ı systému je bˇeˇzná souˇca´st operaˇcn´ıch systém˚ u. Sledován´ı toho, co se na systému dˇeje a jak moc je zat´ıˇzen, je zapotˇreb´ı z nˇekolika d˚ uvod˚ u. K tˇem nejbˇeˇznˇejˇs´ım patˇr´ı ˇreˇsen´ı problém˚ u nebo kontrola zátˇeˇze. Systém StatCenter nen´ı v tomto ohledu prvn´ım a urˇcitˇe taky ne posledn´ım. Mezi nástroji pro sledován´ı v´ıce systém˚ u se systému StatCenter urˇcen´ım podobá program collectd. Projekt collectd Projekt collectd [1] je zamˇeˇren na sledován´ı témˇeˇr ˇcehokoliv. Jeho funkˇcnost lze snadno rozˇs´ıˇrit pomoc´ı plugin˚ u, kter´ ych existuje v´ıce neˇz 90. Program se skládá z jádra, které slouˇz´ı jako most umoˇzn ˇuj´ıc´ı v´ ymˇenu dat, a mnoˇzstv´ı plugin˚ u. Jádro samotné nedˇelá témˇeˇr nic, kromˇe podpory pro naˇc´ıtán´ı konfigurace pro pluginy a samozˇrejmˇe pˇredáván´ı dat mez´ı pluginy. Pluginy se dˇel´ı na dva základn´ı druhy – vstupn´ı a v´ ystupn´ı. Vstupn´ı pluginy jsou volány v pravideln´ ych intervalech. Po proveden´ı jádra pluginu poˇslou namˇeˇrené hodnoty nebo jiné informace do jádra. Tato data jsou poté pˇredána v´ ystupn´ım plugin˚ um, které je dále zpracuj´ı. Jádro programu i vˇsechny pˇr´ıdavné pluginy jsou napsány v ˇcistém C, na rozd´ıl od program˚ u StatCenter, které byly napsány kombinac´ı C a C++. Jazyk C byl vybrán pro v´ ykon zkompilovan´ ych program˚ u a zároveˇ n velmi dobrou pˇrenositelnost a podporu na jednoduch´ ych embedded systémech. Jádro má fungovat na platformách Linux, r˚ uzn´ ych variantách BSD UNIXu, Solaris a Mac OX S. Program bˇeˇz´ı klasick´ ym zp˚ usobem na pozad´ı jako daemon. Komunikace s jádrem prob´ıhá pomoc´ı signál˚ u. Jádro zachycuje signály SIGQUIT a SIGTERM, které zp˚ usob´ı zastaven´ı a vypnut´ı programu. Zachycuje také signál SIGUSR1, kter´ y zp˚ usob´ı okamˇzité poslán´ı dat z cache pamˇet´ı plugin˚ u.

12

1.2.5

ˇ sen´ı projektu StatCenter Reˇ

Server obsahuje implementace vˇsech potˇrebn´ ych ˇca´st´ı, nepouˇz´ıvá pluginy k rozˇs´ıˇren´ı funkˇcnosti. Databáze je ˇca´st´ı programu. Splˇ nuje základn´ı rozhran´ı pro databázi, coˇz m˚ uˇze usnadnit pˇr´ıpadnou v´ ymˇenu implementace. Program serveru v sobˇe dále integruje miniservery systému ˇcasové synchronizace, sd´ılen´ı dat a komunikace pomoc´ı programu comms. Agent poskytuje rozhran´ı pro pos´ılán´ı dat serveru. Jádro programu neprovád´ı ˇza´dné sledován´ı statistik, tuto ˇcinnost obstarávaj´ı plugin. Program obsahuje správce plugin˚ u, kter´ y implementuje rozhran´ı pro v´ ymˇenu dat mezi pluginem a jádrem agenta. Agent v sobˇe integruje miniserver pro komunikaci s programem comms a klientskou ˇca´st systému pro synchronizaci ˇcasu. Kv˚ uli podpoˇre bˇehu bez pˇripojen´ı k serveru má jádro moˇznost ukládat data na disk. Programy comms a printer implementuj´ı jen základn´ı pˇr´ıkazy. Vyuˇz´ıvaj´ı jednoduchého datového protokolu, ˇc´ımˇz je usnadnˇena moˇznost pozdˇejˇs´ıho rozˇs´ıˇren´ı.

13

1.2.6

Syst´ emov´ e z´ aklady

Pro takto rozsáhl´ y projekt je vhodné si nˇekteré vˇeci zjednoduˇsit. Program se rozdˇel´ı do jednotliv´ ych modul˚ u, které se daj´ı klasifikovat podle chován´ı na dvˇe základn´ı kategorie. Prvn´ı kategori´ı jsou aktivn´ı moduly a druhou moduly pasivn´ı. Aktivn´ı moduly provádˇej´ı samostatnou nezávislou ˇcinnost, na rozd´ıl od pasivn´ıch modul˚ u, které jsou jen kontejnery dat s metodami, nebo jen soubory funkc´ı. K implementaci aktivn´ıch modul˚ u je zapotˇreb´ı vytváˇret nová vlákna. Pro zjednoduˇsen´ı vznikla abstraktn´ı tˇr´ıda Thread, která implementuje základn´ı operace s vlákny. Pro jednoduché pouˇzit´ı pomoc´ı dˇediˇcnosti staˇc´ı implementovat jednu metodu – ThreadProc. Tˇr´ıda neobsahuje podporu nuceného vypnut´ı, od implementace procedury vlákna a vˇsech metod z n´ı volan´ ych se poˇzaduje pravidelná kontrola intern´ı promˇenné, zda neindikuje poˇzadavek na vypnut´ı. Pokud je tato promˇenná nastavena na zastaven´ı, oˇcekává se, ˇze metody svou ˇcinnost korektnˇe ukonˇc´ı. S v´ıcevláknov´ ymi aplikacemi automaticky pˇricház´ı problém souˇcasného zacházen´ı se sd´ılen´ ymi daty ve v´ıce vláknech. To bylo d˚ uvodem pro vznik dalˇs´ıho pomocn´ıka – jednoduchého systémového zámku Mutex. Zámek je pro snazˇs´ı pouˇzit´ı opˇet ve formˇe tˇr´ıdy. V databázi se bˇeˇznˇe vyskytuje situace, kdy nˇekolik vláken ˇcte data a zároveˇ n jedno vlákno (nebo i v´ıce vláken) do databáze data pˇridává. Pro tuto situaci se pˇr´ıliˇs nehod´ı typ zámku reprezentovan´ y tˇr´ıdou Mutex. Vhodnˇejˇs´ım nástrojem pro zamykán´ı s´ılen´ ych dat je zámek typu reader(s)/writer(s), kter´ y umoˇzn ˇuje v´ıcenásobn´ y pˇr´ıstup ˇctec´ıch vláken a zároveˇ n poskytuje exkluzivn´ı pˇr´ıstup pro zapisuj´ıc´ı vlákna. Tento typ je reprezentován tˇr´ıdou RwLock. Pro mezivláknovou komunikaci a interakci vznikla pomocná tˇr´ıda Semaphore. Vyuˇz´ıvá se v m´ıstech, kde pravidelné kontrolován´ı promˇenné (a rozumnˇe dlouh´ y spánek mezi tˇemito kontrolami) neposkytuje dostateˇcnou odezvu. Tyto tˇr´ıdy jsou implementovány pomoc´ı POSIXov´ ych vláken a struktur (pthread t, pthread mutex t pthread rwlock t a sem t). Vˇsechny moduly jsou kompilovány a linkovány s podporou POSIXov´ ych vláken, i kdyˇz je pˇr´ımo nevyuˇz´ıvaj´ı. Jádro projektu závis´ı na komunikaci po s´ıti. Potˇreba komunikovat se vyskytuje v mnoha ˇcástech, vˇetˇsinou nejlépe vyhovuje protokol TCP. Kv˚ uli usnadnˇen´ı práce vznikla tˇr´ıda TcpSocket, která implementuje základn´ı operace se sockety komunikuj´ıc´ımi pomoc´ı protokolu TCP. Um´ı obˇe ˇca´sti – 14

serverovou i klientskou. Pro mˇeˇren´ı odezvy je vhodnˇejˇs´ı protokol UDP, kter´ y funguje jednoduˇseji. Proto vznikla tˇr´ıda UdpSocket, která sd´ıl´ı spoleˇcn´ y základ s TcpSocket. Databáze a logovac´ı systém pracuj´ı se soubory ve velké m´ıˇre. Pro objektové pouˇzit´ı byly veˇskeré souvisej´ıc´ı funkce vloˇzeny do jedné tˇr´ıdy. Tˇr´ıda File má nav´ıc rozhran´ı rozˇs´ıˇrené o moˇznost vytváˇren´ı struktury adresáˇr˚ ua jejich mazán´ı. Nejvˇetˇs´ım pˇr´ınosem tˇr´ıd TcpSocket a File je znaˇcné usnadnˇen´ı psan´ı kódu. Za nejvˇetˇs´ı v´ yhodu lze povaˇzovat jednotné zpracován´ı chyb. Nav´ıc nen´ı problém pˇridat vlastn´ı chyby bez u ´prav na nˇekolika m´ıstech. Vˇsechny tyto tˇr´ıdy jsou um´ıstˇeny do jmenného prostoru sys::.

15

1.2.7

Pouˇ zit´ e knihovny

Pˇri v´ yvoji bylo c´ılem napsat nenároˇcné programy. Projekt obsahuje implementace jednoduch´ ych modul˚ u, jejichˇz propracované verze existuj´ı, ale maj´ı zv´ yˇsené nároky na pamˇet’ a dalˇs´ı systémové zdroje. Jsou vyuˇz´ıvány knihovny, jejichˇz v´ yvoj by zabral ne´ umˇerné mnoˇzstv´ı ˇcasu, pˇr´ıpadnˇe jsou nezbytnˇe nutné pro funkˇcnost. Tato sekce se krátce zab´ yvá pouˇzit´ ymi knihovnami. Knihovny iwlib i zlib jsou velmi známé a bˇeˇznˇe pouˇz´ıvané. Wireless Extensions – iwlib Wireless Extensions je rozhran´ı urˇcené pro uniformn´ı pˇr´ıstup k ovladaˇc˚ um bezdrátov´ ych s´ıt’ov´ ych karet. Bylo vytvoˇreno specificky pro Linux za u ´ˇcelem snazˇs´ı konfigurace a z´ıskáván´ı statistik z ovladaˇc˚ u s´ıt’ov´ ych karet. Rozhran´ı ’ se dá pouˇz´ıt i ke konfiguraci s´ıt ové karty, ale tato práce takové operace nevyˇzaduje. Témˇeˇr vˇsechny ovladaˇce bezdrátov´ ych s´ıt’ov´ ych karet dnes obsahuj´ı podporu pro Wireless Extensions. Toto rozhran´ı bylo pouˇzito, protoˇze je snadno pˇrenositelné navzdory sloˇzitosti ovladaˇc˚ u s´ıt’ov´ ych karet. Nav´ıc je pomˇernˇe jednoduché na pochopen´ı i pouˇzit´ı. Rozhran´ı je vyuˇz´ıváno programy pro ovládán´ı bezdrátov´ ych s´ıt’ov´ ych rozhran´ı Wireless Tools for Linux. V novˇejˇs´ıch verz´ıch distribuc´ı b´ yvaj´ı tyto nástroje souˇcást´ı instalace. Souˇcasnˇe se do systému nainstaluje knihovna iwlib, která dává pˇr´ıstup k rozhran´ı dalˇs´ım program˚ um. V dobˇe dokonˇcen´ı práce je aktuáln´ı verze Wireless Tools 29 a Wireless Extensions 22. [3]

16

Komprese – zlib Knihovna zlib je zaloˇzena na algoritmu bezeztrátové slovn´ıkové komprese. Tato metoda se naz´ yvá anglicky deflation. Je to verze kompresn´ıho algoritmu LZ77. Teoretick´ y kompresn´ı limit této knihovny je 1032:1. Reálné v´ ysledky knihovny v bˇeˇzném pouˇzit´ı jsou kolem 2:1 aˇz 5:1 (podle informac´ı na stránkách). [4] Pro tento projekt (hlavnˇe program serveru) je vhodné data pˇred uloˇzen´ım na disk komprimovat. Pˇri sbˇeru dat se totiˇz zaznamenávaj´ı ˇcasové znaˇcky, které nav´ yˇs´ı objem dat podle typu i o 800% v nejhorˇs´ım pˇr´ıpadˇe (uchován´ı 1B hodnoty s ˇcasovou znaˇckou, která má 8 B). Pˇritom se tato ˇca´st dat (minimálnˇe ˇcasové znaˇcky) dá docela snadno komprimovat. Komprese se dá zlepˇsit zpracován´ım ˇcasov´ ych znaˇcek, které tvoˇr´ı rostouc´ı posloupnost. Knihovna byla vybrána, protoˇze se bˇeˇznˇe pouˇz´ıvá jako souˇca´st programu gzip, je pouˇzita jako komprese formátu .png. Oproti jin´ ym volnˇe ˇsiˇriteln´ ym kompresn´ım knihovnám má lepˇs´ı kompresn´ı pomˇery. V dobˇe dokonˇcen´ı práce je aktuáln´ı verze 1.2.5. [4]

17

1.2.8

Vstupy a v´ ystupy

Pro ovládán´ı a konfiguraci program˚ u je potˇreba vytvoˇrit komunikaˇcn´ı cesty. Klasické pouˇzit´ı daemon˚ u totiˇz znemoˇzn ˇuje komunikaci pˇres konzoli, at’ se jedná o vstup, nebo v´ ystup. Vzhledem k pˇredpokládanému dlouhém bˇehu programu by nav´ıc podobné vstupy a v´ ystupy nebyly praktické. Log – cesta ven Tato knihovna je zam´ yˇslena jako mal´ y logovac´ı systém. V´ ystupy log˚ u jdou do nˇekolika v´ ystupn´ıch proud˚ u podle m´ısta vzniku. Tyto vazby jsou napevno zakompilovány. V logicky oddˇelen´ ych jednotkách se snadnˇeji hledá. Události souvisej´ıc´ı s databázemi jsou logicky oddˇeleny od událost´ı z jin´ ych systém˚ u (napˇr´ıklad synchronizace ˇcasu). Souˇcást´ı implementace logovac´ıho systému je i omezovaˇc zabraného m´ısta na disku. Tomuto omezovaˇci se nastav´ı poˇcet a maximáln´ı velikost soubor˚ u. Vˇetˇs´ı poˇcet menˇs´ıch soubor˚ u se lépe spravuje. Z jednoho velkého se ˇspatnˇe odmazávaj´ı staré zprávy, nehledˇe na riziko poˇskozen´ı i novˇejˇs´ıch záznam˚ u. Pˇri dosaˇzen´ı limitu se smaˇze nejstarˇs´ı soubor a vytvoˇr´ı se nov´ y, do kterého se zaˇcne zapisovat. Tato knihovna je urˇcena pro programy serveru a agent˚ u. Podp˚ urné programy comms a printer nevyˇzaduj´ı zvláˇstn´ı v´ ystupy – jejich zam´ yˇslená doba bˇehu je velmi krátká. Nav´ıc maj´ı pˇr´ım´ y pˇr´ıstup ke konzoli. Log se v programu chová jako statická tˇr´ıda. Staˇc´ı ji jen inicializovat a pak volat statické metody odkudkoliv. Nastaven´ım parametr˚ u se zpráva dostane do dané ˇca´sti logovac´ıho systému. Pokud nen´ı log inicializován (nebo tˇreba i jen jeho ˇca´st, která je pouˇzita pˇred svou inicializac´ı), vyp´ıˇse se zpráva na konzoli. Takové chován´ı se hod´ı pˇred naˇcten´ım konfigurace programu a následn´ ym nastaven´ım logovac´ıho systému. Pokud program bˇeˇz´ı jako daemon, zpráva je nenávratnˇe ztracena. Uvnitˇr bˇeˇz´ı jedno vlákno, které jednou za ˇcas vyprázdn´ı pamˇet’ové buffery jednotliv´ ych proud˚ u zpráv, pokud nen´ı probuzeno ˇza´dost´ı o vyprázdnˇen´ı bufferu. Log má implementovan´ y systém d˚ uleˇzitosti zpráv. V základn´ım rozhran´ı jsou to Error, Warning, Info, Debug. Pro kaˇzd´ y proud zpráv se dá nastavit d˚ uleˇzitost, která je po zprávˇe vyˇzadována, aby se dostala do soubor˚ u. Hranice je konfiguravatelná a pˇri inicializaci se nastav´ı na Info – loguj vˇsechny zprávy, které maj´ı d˚ uleˇzitost Info (velké nechybové události) a niˇzˇs´ı (Warning, Error). Error slouˇz´ı k vypsán´ı chyby závaˇzného rázu. War18

ning sp´ıˇse odkazuje na neˇza´douc´ı stav. Debug je obvykle pouˇzit na kontrolu bˇehu programu, kdy se loguj´ı pr˚ uchody d˚ uleˇzit´ ymi m´ısty a hodnoty doˇcasn´ ych promˇenn´ ych. Nastaven´ı Debug nen´ı vhodné pro bˇeˇzné pouˇzit´ı, jelikoˇz zbyteˇcnˇe zatˇeˇzuje logovac´ı systém a znepˇrehledˇ nuje logy. Pro pˇr´ıpad pˇrijet´ı signálu, kter´ y je obvykle d˚ usledkem nesprávného fungován´ı programu, je moˇzno zaregistrovat signal handler, kter´ y se bude snaˇzit vypsat zprávy z buffer˚ u na disk pˇred ukonˇcen´ım programu. D˚ uvodem vyslán´ı signálu m˚ uˇze b´ yt uˇzivatel, ale i chyba v programu. Snaha dostat co nejv´ıce informac´ı do soubor˚ u m˚ uˇze pomoci pˇri hledán´ı chyb, nebo aspoˇ n objasnit d˚ uvod ukonˇcen´ı v pˇr´ıpadˇe zásahu zvenˇc´ı.

19

Config & comms – cesta dovnitˇ r Pro nastavován´ı parametr˚ u pˇri startu programu i za bˇehu je potˇreba zváˇzit moˇzné cesty. Linux nab´ız´ı pomˇernˇe ˇsirokou ˇskálu moˇznost´ı, jak komunikovat s programem. Nˇekteré jsou pomˇernˇe drastické (pos´ılán´ı signál˚ u), nebo sloˇzité ’ (napˇr´ıklad sd´ılená pamˇet ). Velmi d˚ uleˇzité jsou i moˇznosti snadné rozˇs´ıˇritelnosti, pouˇzitelnosti a systémové kompatibility, které byly kritériem pro zvolen´ı komunikaˇcn´ıch prostˇredk˚ u – socket˚ u a soubor˚ u. Oba prostˇredky maj´ı svá pro a proti. Sockety se pyˇsn´ı moˇznost´ı vysoké interaktivity (rychlé odezvy) a moˇznosti komunikovat na velké vzdálenosti skrze s´ıtˇe za pouˇzit´ı stejného nástroje i rozhran´ı. Na druhou stranu maj´ı soubory v´ yhodu ve své trvanlivosti, moˇzné nemˇennosti a také trochu snazˇs´ım zacházen´ı a zpracován´ı. V projektu StatCenter je pouˇzita kombinace. C´ılem je vyuˇzit´ı nejlepˇs´ıch vlastnost´ı z obou. Konfigurace program˚ u je uloˇzena v souborech. Pomoc´ı socket˚ u mohou b´ yt programu zaslány pˇr´ıkazy, mezi kter´ ymi jsou napˇr´ıklad ˇza´dost o vypnut´ı, nebo pˇreˇcten´ı konfiguraˇcn´ıch soubor˚ u. Pro základn´ı akce staˇc´ı velmi jednoduch´ y protokol, kter´ y se dá pozdˇeji snadno rozˇs´ıˇrit o potˇrebné pˇr´ıkazy. Pro pˇrenos je pouˇzit TCP protokol, jelikoˇz vyhovuje svou spolehlivost´ı a univerzálnost´ı. V programech agent˚ ua serveru bˇeˇz´ı jednoduch´ y miniserver, kter´ y zpracovává pˇripojen´ı ovládac´ıch program˚ u (comms) a vykonává vyˇza´dané akce. Config um´ı ˇc´ıst soubory ve formátu XML. Zavolán´ım metody um´ı pˇrevést soubor do pamˇet’ové struktury, kterou lze snadno procházet. Nebo naopak um´ı takovou strukturu pˇrevést do XML a uloˇzit do souboru. Tento modul neobsahuje ˇzádné pokroˇcilé funkce, je zamˇeˇren na jednoduchost a rychlost.

20

1.2.9

Synchronizace ˇ casu

V pˇredchoz´ım textu byl zm´ınˇen problém synchronizace ˇcasu. U systému skládaj´ıc´ıho se z nˇekolika poˇc´ıtaˇc˚ u se nedá oˇcekávat, ˇze by vˇsechny systémové hodiny byly naprosto synchronizované. Za takové situace by data z databáze postrádala ˇcasové souvislosti, které mohou b´ yt ˇcasto kl´ıˇcové. Synchronizace ˇcasu jako taková je kupodivu sloˇzit´ y problém. Zasahuje do n´ı mnoho veliˇcin, z nichˇz mnohé se nedaj´ı ovlivnit. Hodiny jednotliv´ ych jednotek nejdou stejnˇe rychle ani v pˇr´ıpadˇe stejného typu hodin. Natoˇz pak v prostˇred´ı, kde jednotlivé jednotky maj´ı r˚ uzné typy hodin, které nav´ıc nemus´ı pˇri vypnut´ı v˚ ubec udrˇzovat v chodu. Pak je synchronizace nezbytná. Existuje nˇekolik situac´ı, v nichˇz se synchronizace poˇzaduje. Nen´ı neobvyklé, ˇze kaˇzdá situace se spokoj´ı s r˚ uzn´ ym stupnˇem synchronizovanosti. Existuj´ı systémy, kter´ ym staˇc´ı, aby se hodiny znaˇcné vˇetˇsiny jednotek pˇr´ıliˇs nerozcházely a nemus´ı se v˚ ubec starat o skuteˇcn´ y ˇcas. Ani proces synchronizace nen´ı zcela bez neovlivniteln´ ych veliˇcin. Pˇri komunikaci po klasickém pevném nebo bezdrátovém médiu mohou vznikat ˇ kolize signál˚ u, které je pak nutno vyˇreˇsit a data poslat znovu. Sifrov´ an´ı signálu, dnes stále bˇeˇznˇejˇs´ı, zatˇeˇzuje procesor, kterému podle typu, zat´ıˇzen´ı a implementaci deˇsifrovac´ıho software m˚ uˇze trvat rozd´ılnou dobu dekódovat ’ data. To samé plat´ı i pro s´ıt ové karty, nemluvˇe o anténách pro bezdrátová pˇripojen´ı a spoustˇe dalˇs´ıch okolnost´ı. V projektu StatCenter je zvolen systém jednoho ˇcasového vedouc´ıho, kter´ y vˇsem ostatn´ım urˇcuje pˇresn´ y ˇcas. Touto jednotkou je program serveru. Tento systém má své v´ yhody i nev´ yhody. Je jednoduch´ y a pro malé s´ıtˇe i efektivn´ı. Pro vˇetˇs´ı s´ıtˇe uˇz ale nemus´ı b´ yt moˇzné pˇr´ımé spojen´ı se serverem. V takov´ ych situac´ıch m˚ uˇze docházet k velkému zkreslen´ı. Za v´ yhodu lze povaˇzovat zvolen´ı vedouc´ıho, odpadá tedy fáze vyjednáván´ı. Kdyˇz nen´ı dostupné spojen´ı s vedouc´ım, nasb´ıraná data se oznaˇc´ı jako nesynchronizovaná a po nejbliˇzˇs´ı synchronizaci se ˇcasové znaˇcky oprav´ı.

21

Synchronizaˇ cn´ı algoritmus Pˇri pravidelné synchronizaci agent pos´ılá zprávy serveru, kter´ y pˇridá sv˚ uj ˇcas doruˇcen´ı a poˇsle ji zpátky agentovi. Agent z nˇekolika mˇeˇren´ı spoˇc´ıtá pravdˇepodobnou odchylku svého ˇcasu od serverového a uprav´ı rozd´ıl. Implementovan´ y algoritmus poˇc´ıtán´ı odchylky: Probˇehne 9 mˇeˇr´ıc´ıch test˚ u (ping˚ u): 1. vytvoˇren´ı zprávy na stranˇe klienta s ˇcasem timeClient 2. odeslán´ı zprávy serveru 3. server uloˇz´ı ˇcas doruˇcen´ı do zprávy jako ˇcas timeServer 4. server poˇsle zprávu zpˇet agentovi 5. agent zaznamená ˇcas pˇrijet´ı jako receiveTime 6. agent uloˇz´ı hodnotu: timeServer - timeClient - (receiveTime - timeClient)/2 Ve v´ ypoˇctu je pouˇzit pˇredpoklad, ˇze doby cest tam i zpˇet jsou stejné. Tento pˇredpoklad bude platit pro menˇs´ı s´ıtˇe, u velk´ ych by mohl zp˚ usobovat nepˇresnou synchronizaci. Na uloˇzené hodnoty se pak pouˇzije v´ ypoˇcet pravdˇepodobné odchylky. 1. odeber 2 nejmenˇs´ı hodnoty 2. odeber 2 nejvˇetˇs´ı hodnoty 3. ze zb´ yvaj´ıc´ıch 5 hodnot spoˇc´ıtej aritmetick´ y pr˚ umˇer 4. pouˇzij pr˚ umˇer jako odchylku Odebrán´ı nejmenˇs´ıch a nejvˇetˇs´ıch hodnot by mˇelo zabránit ovlivnˇen´ı v´ ysledk˚ u extrémn´ımi hodnotami. V´ ypoˇcet se bl´ıˇz´ı mediánu, kter´ y ˇcasto lépe vypov´ıdá o skuteˇcn´ ych hodnotách. Agent neupravuje systémov´ y ˇcas. Uloˇz´ı si pouze namˇeˇren´ y rozd´ıl, kter´ y se pak pouˇzije pˇri manuáln´ıch korekc´ıch. Metoda to nen´ı efektivn´ı, avˇsak nevyˇzaduje zv´ yˇsená oprávnˇen´ı pro zásah do systémového ˇcasu.

22

1.2.10

Datab´ aze

Databázov´ y modul je nejsloˇzitˇejˇs´ı ˇcást celého systému. Hlavn´ım u ´kolem databáze je ukládán´ı a naˇc´ıtán´ı dat, obˇe operace co nejlépe a nejrychleji. K tomu se pˇridávaj´ı nároky na efektivn´ı vyuˇzit´ı pˇr´ıstupu k disku, diskového prostoru a operaˇcn´ı pamˇeti. Pro snadnˇejˇs´ı pouˇzit´ı by databáze mˇela implementovat zpracován´ı dat, automatizaci, korekci chyb, konfigurovatelnost za bˇehu a mnohé dalˇs´ı. Uˇziteˇcn´ ych vlastnost´ı databáze je velmi mnoho. Implementace vˇsech vyjmenovan´ ych vlastnost´ı je sloˇzitá. V souˇcasné verzi byla implementovaná podmnoˇzina schopnost´ı. Do této podmnoˇziny patˇr´ı vyuˇzit´ı diskového prostoru, rychl´ y pˇr´ıstup k dat˚ um a moˇznost snadno manipulovat se soubory databáze. Ostatn´ı aspekty jsou v implementaci zohlednˇeny v menˇs´ı m´ıˇre. Souˇcást´ı návrhu databáze byl popis minimáln´ıho univerzáln´ıho rozhran´ı. Implementovaná databáze samozˇrejmˇe pouˇz´ıvá toto rozhran´ı. Pˇri návrhu základn´ıch metod byly brány v u ´vahu klasické relaˇcn´ı databáze, aby bylo moˇzné dopsat moduly, které se pˇripoj´ı na extern´ı databázi. V implementaci je zabudovaná podpora pro zpracován´ı dat. Agent pos´ılá data na server jako jeden proud. Databáze se dá nastavit, aby tento proud zpracovávala a vedle origináln´ıch dat vytvoˇrila proud dat upraven´ ych ˇci u ´plnˇe zmˇenˇen´ ych. P˚ uvodn´ı myˇslenka je poˇc´ıtán´ı pr˚ umˇer˚ u nˇekter´ ych veliˇcin za ˇcasovou jednotku a jemné korekce nestejn´ ych interval˚ u mezi jednotliv´ ymi mˇeˇren´ımi hodnot veliˇcin. Tato schopnost naruˇsuje poˇzadavek na malé vyuˇzit´ı operaˇcn´ı pamˇeti, protoˇze kaˇzd´ y podproud mus´ı m´ıt vlastn´ı buffer. Pˇri vˇetˇs´ım poˇctu proud˚ u a velikostech buffer˚ u v ˇrádech megabyt˚ u nar˚ ustá spotˇreba pamˇeti. Na druhou stranu se sniˇzuje zat´ıˇzen´ı disku, na kter´ y se nemus´ı neustále zapisovat malé kousky dat (neˇzádouc´ı situace read-modify-rewrite). Buffery se alokuj´ı aˇz v pˇr´ıpadˇe potˇreby, coˇz m˚ uˇze zlepˇsit pamˇet’ové nároky. Jak jiˇz bylo zm´ınˇeno v u ´vodu této kapitoly, data sb´ıraná t´ımto systémem jsou ˇcasto snadno komprimovatelná. Proto je souˇca´st´ı databáze tˇr´ıda Compression, která je standardnˇe aktivovaná. Dá se vypnout v konfiguraˇcn´ım souboru. Jej´ım u ´kolem je data komprimovat. Zpracován´ı by mˇelo vylepˇsit kompresn´ı pomˇery. Hodnˇe záleˇz´ı na druhu a velikosti ukládan´ ych dat. Nyn´ı je implementováno jen pro malé datové typy. U nich velkou ˇca´st v´ ysledn´ ych dat zab´ıraj´ı ˇcasové znaˇcky, které jsou v rámci jednoho datového proudu zcela sekvenˇcn´ı. Datov´ y typ pro ˇcasovou znaˇcku je uloˇzen v 8 bytech jako celé ˇc´ıslo se znaménkem oznaˇcuj´ıc´ı poˇcet mikrosekund od poˇca´tku unixového ˇcasu (1. 1. 1970 00:00:00.000000 UTC). Rozsah hodnot plnˇe dostaˇcuje na nˇekolik tis´ıc let, pˇritom zachovává dostateˇcnˇe rozumnou pˇresnost. Spoˇc´ıtán´ı 23

rozd´ılu mezi hodnotami, které jsou odebrány s 10sekundov´ ym rozd´ılem, vynuluje pˇet z osmi byt˚ u. V pˇr´ıpadˇe mal´ ych datov´ ych typ˚ u by to mohlo znaˇcnˇe usnadnit kompresi pomoc´ı slovn´ıkov´ ych metod. Stejnˇe tak se pˇredpokládá dobr´ y kompresn´ı pomˇer pro proudy textov´ ych dat.

24

Kapitola 2 Uˇ zivatelsk´ a dokumentace 2.1 2.1.1

Instalace Prerekvizity

Samozˇrejmˇe jako základ potˇrebujete systém GNU/Linux. Dále je z bˇeˇzn´ ych program˚ u potˇreba: • make (pokud moˇzno GNU – ostatn´ı verze nebyly testovány, takˇze nen´ı zaruˇcena funkˇcnost konfiguraˇcn´ıch skript˚ u) • g++ (lepˇs´ı jsou novˇejˇs´ı stabiln´ı verze 4.*, chován´ı na starˇs´ıch nen´ı ovˇeˇreno) • doxygen (nen´ı nezbytnˇe nutn´ y, pouze pro generován´ı podrobnˇejˇs´ı dokumentace ze zdrojov´ ych kód˚ u) Nav´ıc pro jednotlivé programy jsou potˇreba knihovny: 1. Server Pro kompilaci a slinkován´ı serveru je zapotˇreb´ı m´ıt nainstalovanou knihovnu zlib (vˇcetnˇe hlaviˇckov´ ych soubor˚ u). [4] 2. WirelessObserver Pro kompilaci a linkován´ı pluginu WirelessObserver je potˇreba nainstalované knihovny iwlib (vˇcetnˇe hlaviˇckov´ ych soubor˚ u). Knihovna je nezbytná, protoˇze sledován´ı bezdrátov´ ych s´ıt´ı je základn´ı vlastnost systému StatCenter. [3] 25

Potˇrebná instalace se dá zaˇr´ıdit dvˇema zp˚ usoby. M˚ uˇze se nainstalovat systémov´ y bal´ıˇcek, nebo lze knihovny zkompilovat a nainstalovat vlastnoruˇcnˇe. Pokud je zvolen systémov´ y bal´ık, je potˇreba instalovat v´ yvojáˇrské (development – dev) verze, které obsahuj´ı i hlaviˇckové soubory. Pˇri instalaci ze zdrojov´ ych kód˚ u se nainstaluj´ı vˇsechny potˇrebné soubory. Vˇsechny potˇrebné souˇca´sti jsou kontrolovány instalaˇcn´ımi skripty. Pˇri chybˇej´ıc´ı souˇca´sti se skripty s chybou zastav´ı a vyp´ıˇs´ı chybˇej´ıc´ı souˇcást. U nˇekter´ ych souˇcást´ı je naznaˇceno i ˇreˇsen´ı.

26

2.1.2

Instalace

Pro usnadnˇen´ı instalace je pouˇzit program autoconf, kter´ y umoˇzn ˇuje psan´ı kontroln´ıch skript˚ u. Standardn´ı adresáˇr pro instalaci je adresáˇr um´ıstˇen´ı instalaˇcn´ıch soubor˚ u. Projekt se skládá ze 4 program˚ u, u vˇsech je instalace obdobná. 1. Pˇrejdˇete do adresáˇre, ve kterém se nacház´ı instalaˇcn´ı soubory program˚ u. 2. Spust’te konfiguraˇcn´ı skript pˇr´ıkazem ./configure. C´ılov´ y adresáˇr instalace m˚ uˇzete zmˇenit pomoc´ı parametru --prefix. Standardnˇe se pouˇzije aktuáln´ı adresáˇr. Tento krok je nutn´ y pro vytvoˇ ren´ı kl´ıˇ cov´ ych skript˚ u a nastaven´ı promˇ enn´ ych pro program make! 3. Pokud základn´ı kontrola probˇehne bez problém˚ u, zobraz´ı se dostupnost nˇekter´ ych voliteln´ ych ˇcást´ı. Mezi tyto volitelné ˇca´sti patˇr´ı knihovny zlib, iwlib a program doxygen. Jsou-li dostupné vˇsechny potˇrebné ˇca´sti, pokraˇcujte dalˇs´ım bodem. Pokud se objev´ı nˇejaké chybové hláˇsen´ı nebo nedostupnost knihovny ˇci nástroje, je nutné problém vyˇreˇsit. 4. Proved’te build pˇr´ıkazem make PROGRAM (kde PROGRAM m˚ uˇze b´ yt jeden z server, agent, comms, printer). Programy najdete v podadresáˇri bin (standardn´ım nebo definovaném). Knihovny program˚ u se nacházej´ı v podadresáˇri lib. Tento krok je zároveˇ n instalac´ı. Spustitelné soubory jsou um´ıstˇeny v podadresáˇri bin. Knihovny a pluginy jsou um´ıstˇeny v podadresáˇri lib.

27

2.1.3

Odinstalov´ an´ı

Ke smazán´ı program˚ u a knihoven lze pouˇz´ıt pˇr´ıkaz make clean. Ten zachová strukturu adresáˇr˚ u, konfiguraˇcn´ı i datové soubory. K u ´plnému smazán´ı lze pouˇz´ıt pˇr´ıkaz make uninstall, kter´ y odstran´ı podadresáˇre bin a lib z nakonfigurovaného adresáˇre a zároveˇ n provede proˇciˇstˇen´ı zkompilovan´ ych ˇca´st´ı.

28

2.2 2.2.1

Pouˇ zit´ı program˚ u Komunikace mezi programy

Obrázek 2.1: Schéma komunikace Kˇrivky naznaˇcuj´ı moˇzná spojen´ı mezi pomocn´ ymi programy a komunikaˇcn´ım minservery.

29

2.2.2

Server

Po startu a naˇcten´ı konfigurace se server daemonizuje – odpoutá se od rodiˇcovského procesu (typicky shellu) a bˇeˇz´ı na pozad´ı systému. Tato akce má za následek nemoˇznost ovlivnˇen´ı bˇehu programu pomoc´ı textového nebo grafického rozhran´ı. Pro základn´ı komunikaci se serverem je pouˇzito socket˚ u. Pokud se pˇri spuˇstˇen´ı pˇridá parametr -f, program se nedaemonizuje a lze ho zastavit zadán´ım p´ısmene q. Pˇri spuˇstˇen´ı je také moˇzno zmˇenit pracovn´ı adresáˇr programu, ˇc´ımˇz se fakticky zmˇen´ı i cesta, kde se bude hledat hlavn´ı konfiguraˇcn´ı soubor. Toho se doc´ıl´ı pouˇzit´ım parametru -d adres´ aˇ r. Ke komunikaci je potˇreba klient (program comms), kter´ y rozum´ı jednoduchému protokolu. T´ımto klientem se daj´ı ovlivnit základn´ı akce. Protokol je velmi jednoduch´ y a pˇripraven´ y pro rozˇs´ıˇren´ı. V nynˇejˇs´ı verzi jsou implementovány pˇr´ıkazy pro vypnut´ı serveru, naˇcten´ı konfiguraˇcn´ıch soubor˚ u a vyˇzádán´ı nového Agent ID pro pˇridán´ı nového agenta. Vˇsechna moˇzná nastaven´ı se daj´ı zmˇenit v hlavn´ım konfiguraˇcn´ım souboru. Nˇekterá z tˇechto nastaven´ı ale nejdou mˇenit za bˇehu. Jedn´ım z pˇr´ıklad˚ u je hlavn´ı komunikaˇcn´ı port. Mˇenit jej za bˇehu nedává ˇzádn´ y smysl, po zmˇenˇe by se museli pˇrekonfigurovat vˇsichni agenti, protoˇze by se nemohli pˇripojit a pos´ılat data. V´ıce si pˇreˇctˇete v popisu konfiguraˇcn´ıho souboru. Pˇri zmˇenách konfiguraˇcn´ıho souboru je tˇreba dávat si pozor na aktualizace souboru vyvolané nˇejakou souˇcást´ı. Server totiˇz pˇrep´ıˇse p˚ uvodn´ı soubor, coˇz m˚ uˇze znamenat ztrátu zmˇen. Uloˇzen´ı aktuáln´ı konfigurace probˇehne vˇzdy pˇri korektn´ım vypnut´ı programu nebo pˇri vyˇza´dan´ı aktualizace. Pokud program nepobˇeˇz´ı pod uˇzivatelem root, je nutné dát pozor na ˇc´ısla port˚ u. Bˇeˇzn´ y uˇzivatel nem˚ uˇze pouˇz´ıvat ˇc´ısla port˚ u pod 1024. Je také d˚ uleˇzité vyhnout se speciáln´ım port˚ um, které jsou vyuˇz´ıvány dalˇs´ımi programy pro vlastn´ı potˇrebu. Pˇri normáln´ım pouˇzit´ı nen´ı nutné programu dávat rozˇs´ıˇrená práva. Hodnoty nastaven´ı v konfiguraˇcn´ıch souborech se daj´ı rozdˇelit na tˇri ˇca´sti podle moˇznosti je mˇenit – nelze mˇenit (pouze program sám sm´ı), lze mˇenit a pˇri bˇehu programu se nedaj´ı aktualizovat a ty, které lze mˇenit a vyˇzádaná aktualizace za bˇehu programu hodnoty pˇrenastav´ı. Podrobnˇejˇs´ı informace o hodnotách a struktuˇre konfiguraˇcn´ıho souboru lze naj´ıt v Dodatku A, sekci Konfiguraˇcn´ı soubor programu server. Moduly Database a PrintServer maj´ı vlastn´ı konfiguraˇcn´ı soubory. Rozhran´ı pro z´ıskáván´ı dat je také implementováno pomoc´ı socketu. V konfiguraˇcn´ım souboru lze naj´ıt poloˇzku PrintServer port, na kter´ y se lze pˇripojit pomoc´ı programu comms. V´ıce o pouˇzit´ı v sekci Printer. 30

2.2.3

Agent

Agent se po startu a naˇcten´ı konfigurace daemonizuje stejnˇe jako server. Ke komunikaci s agentem slouˇz´ı opˇet program comms. Agent má rovnˇeˇz konfiguraˇcn´ı soubor, kter´ y se dá zmˇenit a poté pomoc´ı programu comms naˇc´ıst. I zde plat´ı varován´ı pˇri zmˇenˇe konfiguraˇcn´ıho souboru a aktualizaci nastaven´ı programu. Komunikaˇcn´ı server v agentovi implementuje provádˇen´ı poˇzadavk˚ u na vypnut´ı a pˇrenaˇcten´ı konfiguraˇcn´ıch soubor˚ u. Do pˇrenaˇcten´ı jsou zahrnuty i konfiguraˇcn´ı soubory plugin˚ u. V´ıce o hodnotách a struktuˇre souboru lze naj´ıt v Dodatku A, ˇca´sti Konfiguraˇcn´ı soubor programu Agent.

2.2.4

Comms

Program comms vyˇzaduje pˇri spuˇstˇen´ı dva parametry – adresu a port miniserveru procesu, se kter´ ym má komunikovat. Po pˇripojen´ı je moˇzné vyvolat nápovˇedu s moˇzn´ ymi pˇr´ıkazy zadán´ım help. Seznam pˇr´ıkaz˚ u závis´ı pouze na schopnostech programu comms, nikoliv na miniserveru, se kter´ ym komunikuje. Nelze napˇr´ıklad vyvolat z´ıskán´ı ID agenta na miniserveru bˇeˇz´ıc´ım na agentovi.

2.2.5

Printer

Program printer nepoˇzaduje pˇri spuˇstˇen´ı ˇzádné parametry. Pˇrihláˇsen´ı k serveru poskytuj´ıc´ımu data se provád´ı interaktivnˇe pomoc´ı pˇr´ıkazu connect. Po spuˇstˇen´ı lze vyvolat seznam pˇr´ıkaz˚ u pˇr´ıkazem help. Pˇresnˇejˇs´ı nápovˇeda k urˇcitému pˇr´ıkazu se vyvolá zadán´ım help pˇ r´ ıkaz . Mezi základn´ı schopnosti patˇr´ı v´ ypis registrovan´ ych agent˚ u v databázi, v´ ypis datov´ ych proud˚ u, jejich podproud˚ u a samozˇrejmˇe v´ ypis dat.

31

2.3 2.3.1

Z´ akladn´ı operace Zastaven´ı daemonizovan´ eho procesu

Jakmile se proces u ´spˇeˇsnˇe spust´ı a daemonizuje, jediná moˇznost nedestruktivn´ı komunikace s n´ım je pomoc´ı programu comms. K u ´spˇeˇsnému spojen´ı je potˇreba zjistit, na jakém portu komunikuje dotyˇcn´ y proces. To lze vyˇc´ıst z konfiguraˇcn´ıho souboru (viz Dodatek A). Konfiguraˇcn´ı soubor se nalézá v adresáˇri, ze kterého byl proces spuˇstˇen, nebo jeho pˇrenastaveném pracovn´ım adresáˇri. Poté se pouˇzije program comms k pˇripojen´ı na adresu a komunikaˇcn´ı port procesu. Nakonec se v konzoli programu comms zadá pˇr´ıkaz stop, kter´ ym se aktivuje proces vypnut´ı.

2.3.2

Pˇ rid´ an´ı agenta

Server standardnˇe blokuje pˇripojen´ı, která nemaj´ı správné Agent ID pˇri inicializaci protokolu. Agent tedy nem˚ uˇze o nové ID poˇzádat. Agent ovˇsem m˚ uˇze bˇeˇzet a sb´ırat data. Nem˚ uˇze data poslat serveru, kter´ y pokus o pˇripojen´ı zablokuje. ID agenta je nutné do konfiguraˇcn´ıho souboru vepsat ruˇcnˇe. Unikátn´ı ID spravuje databáze programu server, ze kterého se nové ID dá vyˇzádat s pomoc´ı programu comms. Po spuˇstˇen´ı programu comms s pˇripojen´ım k serveru, zaregistruje databáze pˇr´ıkazem requestagentid nového agenta, jehoˇz ID se vyp´ıˇse na v´ ystup. Pro správné fungován´ı agenta je nutné pˇrepsat ID v konfiguraˇcn´ım souboru a vyvolat naˇcten´ı konfigurace pomoc´ı programu comms, tentokrát pˇripojeného ke komunikaˇcn´ımu miniserveru agenta (to vˇse v pˇr´ıpadˇe, ˇze agent uˇz bˇeˇz´ı). Pokud agent jeˇstˇe nebˇeˇz´ı, staˇc´ı upravit konfiguraˇcn´ı soubor a spustit. Jméno (respektive popis) agenta lze poté zmˇenit v konfiguraˇcn´ım souboru databáze (viz Dodatek A).

32

2.3.3

Proch´ azen´ı dat

K procházen´ı dat slouˇz´ı program printer. Program ke spuˇstˇen´ı nepotˇrebuje ˇza´dné parametry. Po spuˇstˇen´ı je nutné se nejdˇr´ıve pˇripojit k serveru pro sd´ılen´ı dat. To se provede zadán´ım pˇr´ıkazu connect adresa port . Po u ´spˇeˇsném pˇripojen´ı budou fungovat pˇr´ıkazy: • listagents Vyp´ıˇse seznam agent˚ u. • liststreams Vyp´ıˇse seznam datov´ ych proud˚ u, pokud je pˇridán parametr agentId, vyp´ıˇs´ı se jen proudy agenta s t´ımto ID. • listsubstreams Poˇzaduje parametr streamId pro urˇcen´ı, podproudy kterého proudu se maj´ı vypsat. • listdata Poˇzaduje parametry streamId, substreamId, startTime a enˇ dTime. Casy jsou ve formátu: DD.MM.YYYY-HH:MM:SS.U.

33

Kapitola 3 Program´ atorsk´ a dokumentace 3.1

´ Uvod

Nejvˇetˇs´ı v´ yzva pro programátora je opravit (ˇci upravit) nedokumentovan´ y kód programu ˇci knihovny. A to jak v tom pozitivn´ım smyslu (schopnost porozumˇet kódu), tak v tom negativn´ım – zachovat klidnou hlavu nad zdánlivˇe nesmysln´ ymi operacemi a zmˇet´ı volán´ı funkc´ı. Dokumentace by mˇela b´ yt samozˇrejmost´ı u kaˇzdého programu, coˇz bohuˇzel ani zdaleka neplat´ı. Tato sekce je proto vˇenována programátor˚ um, kteˇr´ı budou m´ıt zájem a odvahu pochopit co, jak a kde se dˇelá. Vˇsechno dˇen´ı je komentováno s vˇetˇs´ı ˇci menˇs´ı hustotou pˇr´ımo v kódu. Nav´ıc hlaviˇckové soubory jednotliv´ ych tˇr´ıd obsahuj´ı rozˇs´ıˇrené komentáˇre t´ ykaj´ıc´ı se funkˇcnosti, parametr˚ u a návratov´ ych hodnot ˇclensk´ ych funkc´ı. Tyto komentáˇre jsou psány pro program doxygen, kter´ y um´ı z takto okomentovan´ ych zdrojov´ ych kód˚ u vygenerovat spoustu uˇziteˇcn´ ych vˇec´ı. Um´ı napˇr´ıklad graficky zobrazit dˇediˇcnost tˇr´ıd, vztahy, volan´ı atd. Tyto informace um´ı exportovat do r˚ uzn´ ych formát˚ u. Velmi uˇziteˇcné jsou HTML stránky, které se d´ıky odkaz˚ um daj´ı velmi snadno a rychle procházet. Jazykem pro komentáˇre je zvolena angliˇctina kv˚ uli své univerzálnosti. V angliˇctinˇe jsou vˇsechny komentáˇre i logovac´ı v´ ystupy a chybová oznámen´ı. Angliˇctina je pouˇzita i pro pojmenován´ı promˇenn´ ych, z jejichˇz jmen by mˇelo b´ yt zˇrejmé pouˇzit´ı.

34

3.2

LogSystem

Logovac´ı systém je implementován jako singleton. Podporuje zápis do soubor˚ u i na standardn´ı v´ ystup. Tˇr´ıda splˇ nuje rozhran´ı interfaces::LogI, které definuje tvar logovac´ı metody a nastaven´ı logovac´ıch v´ ystup˚ u. Implementovaná logovac´ı metoda se nepouˇz´ıvá, v programu je v´ yhodnˇejˇs´ı a jednoduˇsˇs´ı pouˇzit´ı statick´ ych metod, které splˇ nuj´ı rozhran´ı logovac´ı metody. ´ Urovnˇ e d˚ uleˇzitosti zpráv jsou definovány ve jmenném prostoru interfaces::. K dispozici jsou ˇctyˇri: 1. Error – chybová hláˇsen´ı 2. Warning – neˇza´douc´ı stavy 3. Info – informace o normáln´ım bˇehu 4. Debug – debugovac´ı informace Vˇsechny souvisej´ıc´ı tˇr´ıdy jsou um´ıstˇeny ve jmenném prostoru logsystem::.

3.2.1

Struktura

Tˇr´ıda obsahuje dvˇe logovac´ı ˇcásti – v´ ystup na konzoli a v´ ystup do souboru. Konzolová ˇca´st se hod´ı pˇri startu programu, kdy jeˇstˇe nemus´ı b´ yt zcela jasné, kde má logovac´ı systém své v´ ystupn´ı soubory. Lze naˇc´ıst konfiguraˇcn´ı soubor, ve kterém se najdou potˇrebné informace (kde má log soubory, jaké v´ ystupn´ı proudy se maj´ı aktivovat a jak se maj´ı nastavit...). Nav´ıc konzole zachyt´ı i pˇr´ıpady, kdy se zapisuje do neaktivovaného v´ ystupn´ıho proudu. Zápis na konzoli je zcela synchronn´ı s volán´ım logovac´ıch metod, ale podléhá bufferován´ı standardn´ıho v´ ystupu a zaˇr´ızen´ı, na které je pˇripojen. Druhá ˇca´st, která zprostˇredkovává ukládán´ı do soubor˚ u, je sloˇzitˇejˇs´ı. Kombinuje se zde synchronn´ı zápis do bufferu a asynchronn´ı zápis buffer˚ u do soubor˚ u. Logovac´ı systém je rozdˇelen do nˇekolika proud˚ u, které mohou b´ yt jednoduˇse pˇridány. Proudy jsou na sobˇe nezávislé, kaˇzd´ y z nich se dá nastavit samostatnˇe. Proudu se pˇriˇrad´ı jméno, které se stane souˇca´st´ı jmen soubor˚ u, do nichˇz se proud logovac´ıch zpráv bude zapisovat. Kaˇzd´ y proud má buffer, kter´ y je pˇr´ıstupn´ y k synchronn´ımu zápisu zpráv pˇri bˇehu programu. Pˇri naplnˇen´ı se buffer pˇredá jádru logovac´ıho systému a 35

signalizuje, ˇze se má o vyprázdnˇen´ı bufferu postarat. Zároveˇ n si vyˇza´dá nov´ y prázdn´ y buffer. Pomal´ y zápis do souboru tak nebˇeˇz´ı ve volaj´ıc´ım vláknˇe, které by bylo zbyteˇcnˇe blokováno. Tˇr´ıda LogSystem obsahuje vlákno, které má pouze dva u ´koly – plánovat pravidelné vyprazdˇ nován´ı buffer˚ u a zápis dat na disk. Pˇri pˇredán´ı bufferu k zápisu se hlavn´ı vlákno probud´ı. Jinak se pravidelnˇe probouz´ı a sb´ırá buffery, které následnˇe zapisuje na disk. Komunikace je zde zajiˇstˇena pomoc´ı semaforu. Semafor je v´ıcehodnotov´ y, poˇca´teˇcn´ı hodnota je urˇcena poˇctem moˇzn´ ych proud˚ u. Pˇri inicializaci logovac´ı systém cel´ y semafor zablokuje a spust´ı vlákno, které ˇceká v cyklech na naplánované vyprázdnˇen´ı bufferu, nebo na uvolnˇen´ı pozice v semaforu, coˇz znaˇc´ı poˇzadavek nˇejakého proudu na vyprázdnˇen´ı. Kaˇzd´ y proud m˚ uˇze zv´ yˇsit hodnotu semaforu o jedna, takˇze vlákno nezapomene na nˇejak´ y buffer. Semafor je nav´ıc pomˇernˇe rychl´ y, takˇze nejsou zbyteˇcné prodlevy mezi ˇzádost´ı a zaˇca´tkem zápisu na disk. Pro ukládán´ı logovac´ıch dat se nastavuje omezen´ı na maximáln´ı velikost. Toto omezen´ı je kombinac´ı maximáln´ı velikosti souboru a maximáln´ıho poˇctu soubor˚ u. Data v souborech jsou v klasickém textovém formátu. Jelikoˇz se ˇspatnˇe spravuje omezen´ı velikosti textového souboru, je proud rozdˇelen do nˇekolika soubor˚ u. Pokud dojde k naplnˇen´ı limitu (existuje maximáln´ı poˇcet soubor˚ u daného proudu), je smazán nejstarˇs´ı ze soubor˚ u a vytvoˇr´ı se soubor nov´ y. Pˇri spuˇstˇen´ı programu se vˇzdy vytvoˇr´ı nov´ y soubor, aˇckoliv posledn´ı star´ y soubor proudu z minulého spuˇstˇen´ı programu nemus´ı b´ yt pln´ y. Zv´ yˇs´ı se tak pˇrehlednost soubor˚ u – inicializaˇcn´ı zprávy jsou na zaˇca´tku souboru a d´ıky tomu, ˇze název souboru obsahuje datum a ˇcas, lze správn´ y soubor rychle naj´ıt podle názvu.

36

3.3

Config

Config je tˇr´ıda, která sama o sobˇe pouze implementuje konverzi z textového formátu podobnému XML do pamˇet’ov´ ych struktur a opaˇcnˇe. Jsou k n´ı pˇridány pamˇet’ové struktury reprezentuj´ıc´ı uzly ve struktuˇre XML. Vˇsechny tˇr´ıdy náleˇzej´ıc´ı ke konfiguraˇcn´ı ˇcásti jsou um´ıstˇeny ve jmenném prostoru config::. ˇ ı a dekódován´ı soubor˚ Cten´ u prob´ıhá stavov´ ym automatem nad ˇcást´ı souboru naˇctenou v bufferu. Pokud vˇse probˇehne v poˇra´dku, je vrácen koˇrenov´ y uzel struktury souboru. V pˇr´ıpadˇe chyby dekódován´ı je návratovou hodnotou chybov´ y kód. Zápis souboru prob´ıhá rekurzivn´ım v´ ypisem jednotliv´ ych uzl˚ u. Pˇri v´ ypisu jsou pouˇzity tabulátory pro zpˇrehlednˇen´ı v´ ysledného formátu. ’ Pamˇet ové struktury jsou optimalizovány pro malou spotˇrebu pamˇeti pomoc´ı poˇc´ıtán´ı odkaz˚ u na datov´ y obsah. Tˇr´ıdy reprezentuj´ıc´ı uzly jsou pouze obaly nad daty, která jsou v pamˇeti obsaˇzena pouze jednou. Uzly nav´ıc podporuj´ı nˇekteré bˇeˇzné konverze p˚ uvodnˇe textov´ ych parametr˚ u na potˇrebn´ y datov´ y typ.

37

3.4

Protokoly

Systém StatCenter závis´ı na komunikaci po s´ıti. Pomoc´ı socket˚ u prob´ıhá témˇeˇr vˇsechna komunikace. Je tedy nutné definovat tvar zpráv, jejich v´ yznam a pouˇzit´ı. K tomuto u ´ˇcelu slouˇz´ı následuj´ıc´ı protokoly.

3.4.1

DataProtocol

DataProtocol se pouˇz´ıvá pˇri komunikaci pˇres TCP spojen´ı. Tento protokol vyuˇz´ıvá ke komunikaci nˇekolik modul˚ u. Kaˇzd´ y modul vyuˇz´ıvá specifickou podmnoˇzinu zpráv. Protokol umoˇzn ˇuje pˇrenáˇsen´ı dat v tˇele zprávy. Vˇetˇsina zpráv má své potvrzovac´ı varianty, komunikace je obousmˇerná. Témˇeˇr vˇsechna data jsou zakódovaná pomoc´ı big-endian poˇrad´ı byt˚ u (také nˇekdy network). Jedinou v´ yjimkou jsou neurˇcitá data pˇrenáˇsená v datové zprávˇe. Jako neurˇcitá data se pos´ılaj´ı prakticky vˇsechna data z agent˚ u. Má to nˇekolik d˚ uvod˚ u: 1. Znalost obsahu (a tedy i formátu a kódován´ı) dat nen´ı u ´ˇcelem protokolu. Protokol by ztratil svou univerzálnost a jednoduchost. 2. Pos´ılaná data jsou pravdˇepodobnˇe nejvˇetˇs´ı ˇca´st´ı pˇrenáˇsen´ ych dat (pokud se bere v u ´vahu rozumné nastaven´ı). Zakódován´ı a dekódován´ı by zabralo zbyteˇcnˇe mnoho ˇcasu a systémov´ ych prostˇredk˚ u. 3. Data nemus´ı b´ yt nutnˇe kódována – vˇetˇsina pouˇz´ıvan´ ych systém˚ u bude m´ıt stejné poˇrad´ı byt˚ u. Pokud ne, konverze se m˚ uˇze provést pouze jednou. Staˇc´ı tedy poslat informaci o tom, jaké poˇrad´ı byt˚ u pouˇz´ıvá zdrojov´ y systém. T´ım se dá vyhnout zbyteˇcnému zpracován´ı dat. Pˇr´ıpadn´ y pˇrevod provede modul, kter´ y struktuˇre dat rozum´ı. Kaˇzdá zpráva obsahuje hlaviˇcku: struct MessageHeader { uint16 type; uint16 part; uint32 size; };

38

Typ zprávy (type) je jeden z definovan´ ych typ˚ u, které se liˇs´ı povinn´ ymi paˇ rametry. Cást zprávy (part) se vyuˇz´ıvá pˇri pˇrenosech velk´ ych dat. Velké datové bloky jsou z praktick´ ych d˚ uvod˚ u rozdˇeleny na menˇs´ı ˇca´sti. Posledn´ı ˇcást zprávy je identifikována konstantou LastPart. Velikost (size) v hlaviˇcce zprávy oznaˇcuje velikost tˇela, nen´ı tedy do n´ı zapoˇc´ıtána hlaviˇcka samotná. Povinné parametry se skládaj´ı z hlaviˇcky parametru a hodnoty parametru. struct ParameterHeader { uint16 type uint32 size }; Datov´ y typ parametru je urˇcen polem type. Podle nˇej se rozhodne, jak´ y je typ hodnoty. Velikost hodnoty je uloˇzena v poli size (do této velikosti opˇet nen´ı zahrnuta hlaviˇcka parametru). Pro porozumˇen´ı typ˚ um s promˇenlivou délkou je nezbytn´ y, pro zbytek typ˚ u m˚ uˇze slouˇzit jako kontrola. Protokol má kv˚ uli hlaviˇckám vyˇsˇs´ı reˇzii na pˇrenáˇsen´ı základn´ıch zpráv. Stejnˇe tak kódován´ı a dekódován´ı do specifického poˇrad´ı byt˚ u na prvn´ı pohled zbyteˇcnˇe zatˇeˇzuje systém. Kódován´ı big-endian bylo zvoleno, protoˇze je bˇeˇzn´ y standard i v dalˇs´ıch protokolech. D´ıky vyˇsˇs´ı reˇzii pˇrenesen´ ych dat a jejich struktuˇre se snadno odhaluj´ı a hledaj´ı chyby. Datová reˇzie nen´ı kritická, protoˇze základn´ı zprávy netvoˇr´ı hlavn´ı ˇca´st komunikace.

39

3.4.2

TimeSyncProtocol

TimeSyncProtocol, se pouˇz´ıvá pro komunikaci pˇres UDP spojen´ı a slouˇz´ı v´ yhradnˇe k synchronizaci. Pouˇz´ıvaj´ı ho pouze synchronizaˇcn´ı server a klient. Zpráva tohoto protokolu má takovou strukturu: struct TimeSyncMessage { uint16 messageType; uint16 sequenceNumber; int64 timeClient; int64 timeServer; } Nikde nen´ı pouˇzito pamˇet’ové v´ yplnˇe, vˇsechny poloˇzky následuj´ı hned za sebou, velikost zprávy je 20 oktet˚ u. Hodnoty parametr˚ u jsou uloˇzeny s poˇrad´ım byt˚ u big-endian. Parametr messageType ˇr´ıká, zda se jedná o ˇza´dost, nebo odpovˇed’. sequenceNumber obsahuje ˇc´ıslo synchronizaˇcn´ıho pokusu. Pˇri kaˇzdé synchronizaci se zaˇc´ıná poˇc´ıtat od 0. Parametry timeClient a timeServer pˇrenáˇsej´ı aktuáln´ı ˇcasové znaˇcky. timeClient obsahuje ˇcas odeslán´ı ˇzádosti, timeServer ˇcas odeslán´ı odpovˇedi. Tyto hodnoty jsou ve skuteˇcnosti typu Timestamp, kter´ y pouˇz´ıvá cel´ y systém pro ukládán´ı ˇcasu. V´ yznamem ˇc´ısla je poˇcet mikrosekund od poˇcátku unixového ˇcasu. Komunikace pomoc´ı tohoto protokolu prob´ıhá stylem ˇzádost–odpovˇed’. O synchronizaci vˇzdy ˇzádá klientská ˇca´st. Serverová ˇcást má za u ´kol pouze pos´ılat zpˇet doruˇcené zprávy s aktualizovan´ ym ˇcasem. Pˇrenesená data pak agent vyuˇzije ke spoˇc´ıtán´ı odchylky od ˇcasu serveru.

40

Kapitola 4 V´ ysledky a hodnocen´ı Podaˇrilo se naprogramovat systém pro sbˇer dat. ´ echy: Uspˇ • z´ıskáván´ı dat ze s´ıt’ov´ ych rozhran´ı s podporou Wireless Extensions • synchronizace ˇcasu agenta a serveru • sbˇer dat serverem • poskytován´ı dat • pos´ılán´ı pˇr´ıkaz˚ u daemon˚ um f Dobˇre ˇreˇsenou ˇca´st´ı je komunikace s daemonizovan´ ymi procesy. Pouˇzit´ı socket˚ u spolu s jednoduch´ ym protokolem umoˇzn ˇuje snadné rozˇs´ıˇren´ı a interaktivn´ı ovládán´ı ˇcinnosti procesu. Jednou z nev´ yhod je potˇreba pouˇzit´ı speciáln´ıho programu. Pˇri práci na programech se ukázal nedostatek zkuˇsenost´ı s navrhován´ım a plánován´ım vˇetˇs´ıch projekt˚ u. Pˇri prvn´ım návrhu byl seznam poˇzadavk˚ u zbyteˇcnˇe dlouh´ y a poˇzadavky nereálné. Postupnˇe se objevovaly problémy jak v navrˇzen´ ych rozhran´ıch, tak v implementac´ıch jiˇz hotov´ ych ˇca´st´ı. Jejich ˇreˇsen´ı samozˇrejmˇe pˇrispˇelo k lepˇs´ımu návrhu dalˇs´ıch ˇca´st´ı, ale zbyteˇcné lpˇen´ı na implementaci vlastn´ıch modul˚ u zp˚ usobilo velmi dlouh´ y v´ yvoj.

41

Literatura [1] collectd Home Site, http://collectd.org [2] doxygen Home Site, http://www.doxygen.org [3] Wireless Tools for Linux, http://www.hpl.hp.com/personal/Jean Tourrilhes/Linux/Tools.html [4] zlib Home Site, http://www.zlib.net/

42

Kapitola 5 Dodatek A Dodatek A obsahuje popis struktury soubor˚ u, které m˚ uˇze uˇzivatel mˇenit. V hranat´ ych závorkách za popisem parametr˚ u je nastaven´ı, kdy se dá parametr zmˇenit a naˇc´ıst. Hodnoty jsou Init pro naˇcten´ı pouze pˇri startu (za bˇehu se nezmˇen´ı) a Run pro zmˇeny pˇri startu ˇci bˇehu programu. Hodnoty s nastaven´ım Init budou pˇri ukládán´ı za bˇehu pˇrepsány aktivn´ım nastaven´ım, takˇze pˇr´ıpadné zmˇeny budou ztraceny. Obdobnˇe u uzl˚ u se m˚ uˇze vyskytnout vlastnost Run, která znamená, ˇze lze uzly pˇridávat za bˇehu. Pˇridáván´ı uzl˚ u má na starosti program, je ale ˇ moˇzné uzly pˇridat ruˇcnˇe. Spatné nastaven´ı nˇekter´ ych parametr˚ u vˇsak m˚ uˇze zp˚ usobit chyby v nastaven´ı. Uzly lze ruˇcnˇe odeb´ırat pouze po vypnut´ı (pˇred inicializac´ı) programu. Ty uzly, u kter´ ych nen´ı vlastnost specifikována, jsou povinné. U jmen opˇet záleˇz´ı na velikosti p´ısmen. Chybˇej´ıc´ı povinné uzly zp˚ usob´ı chybu naˇcten´ı konfiguraˇcn´ıho souboru.

43

5.1 5.1.1

Konfiguraˇ cn´ı soubor programu agent Agent

Hlavn´ı uzel konfiguraˇcn´ıho souboru. <Server /> <Buffering /> Parametry: AgentId obsahuje unikátn´ı ID klienta v systému [Run] Poduzly: Server popisuje adresy a porty pro komunikaci se serverem Buffering popisuje nastaven´ı a velikosti buffer˚ u Log obsahuje nastaven´ı logovac´ıho systému PluginManager obsahuje seznam a nastaven´ı spouˇstˇen´ı plugin˚ u

5.1.2

Server

<Server Addess="127.0.0.1"> <TimeSync /> Parametry: Address adresa serveru [Init]

44

Poduzly: Comms nastaven´ı komunikace s programem agenta Data nastaven´ı komunikace mezi agentem a serverem TimeSync nastaven´ı synchronizace ˇcasu

5.1.3

Comms

Parametry: Port port, na kterém naslouchá komunikaˇcn´ı miniserver [Init]

5.1.4

Data

Parametry: Port port, na kterém server pˇrij´ımá data [Init]

5.1.5

TimeSync

<TimeSync Port="11548" Interval="3600" /> Parametry: Port port, na kterém naslouchá synchronizaˇcn´ı server [Init] Interval interval v sekundách, jak ˇcasto má doj´ıt k synchronizaci [Run]

5.1.6

Buffering

<Buffering> <Memory />

45

Poduzly: Memory Obsahuje nastaven´ı pamˇet’ového zásobn´ıku File Obsahuje nastaven´ı diskového zásobn´ıku

5.1.7

Memory

<Memory MaxSize="1048576" MaxMessages="10000" /> Parametry: MaxSize Maximáln´ı velikost pouˇzité pamˇeti [Init] MaxMessages Maximáln´ı poˇcet datov´ ych zpráv [Init]

5.1.8

File

Parametry: Enable Zap´ıná ˇci vyp´ıná buffer (hodnoty: yes, no) [Run] FileDir Adresáˇr, ve kterém jsou um´ıstˇeny datové soubory bufferu [Init] MaxSpace Limit m´ısta na disku [Run] MaxMessages Limit poˇctu uloˇzen´ ych datov´ ych zpráv [Run] Kaˇzdá zpráva je uloˇzena v samostatném souboru.

5.1.9

Log

Nastaven´ı logován´ı. Tento uzel se nastavuje zvláˇst’ jeˇstˇe pˇred spuˇstˇen´ım ostatn´ıch systém˚ u. <Main /> 46

Parametry: Dir Adresáˇr, kde budou uloˇzeny soubory log˚ u [Init] Poduzly: Main Nastaven´ı hlavn´ıho logovac´ıho proudu Plugins Nastaven´ı logovac´ıho proudu pro pluginy

5.1.10

Main

<Main Severity="Debug" MaxFiles="10" MaxFileSize="1048576" /> Parametry: Severity Minimáln´ı d˚ uleˇzitost zpráv, které se zapisuj´ı do logu (hodnoty: Error, Warning, Info, Debug) [Run] MaxFiles Poˇcet logovac´ıch soubor˚ u [Run] MaxFileSize Velikost jednoho logovac´ıho souboru [Run]

5.1.11

Plugins

Parametry: Severity Minimáln´ı d˚ uleˇzitost zpráv, které se zapisuj´ı do logu (hodnoty: Error, Warning, Info, Debug) [Run] MaxFiles Poˇcet logovac´ıch soubor˚ u [Run] MaxFileSize Velikost jednoho logovac´ıho souboru [Run]

5.1.12

PluginManager

47

Parametry: Dir Adresáˇr, ve kterém jsou um´ıstˇeny pluginy [Init] Poduzly: Plugin Nastaven´ı plugin˚ u [Run]

5.1.13

Plugin

Parametry: File Název souboru pluginu [Run] Enabled Zap´ıná plugin (hodnoty: yes, no) [Run] ConfigFile Konfiguraˇcn´ı soubor pluginu (hledá se ve stejném adresáˇri jako plugin) [Run]

48

5.2

Konfiguraˇ cn´ı soubor programu server

Konfigurace programu server je uloˇzena v souboru Server.conf. Soubor je hledán v pracovn´ım adresáˇri.

5.2.1

StatCenter

<StatCenter DataPort="11546"> <TimeSyncServer /> Parametry: DataPort Port na kterém se pˇrij´ımaj´ı data [Init] Poduzly: TimeSyncServer Nastaven´ı serveru pro synchronizaci ˇcasu CommsServer Nastaveni komunikaˇcn´ıho miniserveru PrintServer Nastaven´ı serveru pro sd´ılen´ı dat Log Nastaven´ı logovac´ıho systému

5.2.2

TimeSyncServer

<TimeSyncServer Port="11547" /> Parametry: Port Port na kterém naslouchá synchronizaˇcn´ı modul [Init]

5.2.3

CommsServer

49

Parametry: Port Port, na kterém naslouchá komunikaˇcn´ı miniserver [Init]

5.2.4

PrintServer

Parametry: Port Port, na kterém naslouchá server pro sd´ılen´ı dat [Init]

5.2.5

Log

<Main /> <Servers /> Parametry: Dir Adresáˇr, ve kterém se nacház´ı logovac´ı soubory [Init] Poduzly: Main Nastaven´ı hlavn´ıho logovac´ıho v´ ystupu Database Nastaven´ı logovac´ıho v´ ystupu pro databázi Servers Nastaven´ı logovac´ıho v´ ystupu pro miniservery

5.2.6

Main

<Main Severity="Debug" MaxFiles="10" MaxFileSize="10485760" />

50


5.2.7

Database


5.2.8

Servers

<Servers Severity="Debug" MaxFiles="10" MaxFileSize="10485760" />

51

5.3

Konfiguraˇ cn´ı soubor datab´ aze


5.4 5.4.1

Konfiguraˇ cn´ı soubor modulu Database Database

<Streams /> Poduzly: LastUsedStreamId Posledn´ı pouˇzité stream ID LastUsedAgentId POsledn´ı pouˇzité agent ID Agents Seznam registrovan´ ych agent˚ u Streams Seznam registrovan´ ych proud˚ u

5.4.2

LastUsedStreamId

Parametry: Value Posledn´ı pouˇzité stream ID

52

5.4.3

LastUsedAgentId

Parametry: Value Posledn´ı pouˇzité agent ID

5.4.4

Agents

Poduzly: Agent Informace o agentovi

5.4.5

Agent

Parametry: Id ID agenta Description Popis agenta [Run]

5.4.6

Streams

<Streams> <Stream /> Poduzly: Stream Informace o proudu

5.4.7

Stream

<Stream Id="2" AgentId="2" Description="ID 2" /> 53

Parametry: Id ID proudu AgentId ID agenta, ke kterému proud patˇr´ı Description Popis datového proudu

54

Michal Roder Distribuovaný monitorovací systém pro

Recommend Documents