Skenování otevˇrených zdroju˚ Leo Galamboš
Skenování otevˇrených zdroju˚
Úvod Design robota DNS HTTP
Leo Galamboš
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚
Katedra Softwarového Inženýrství Matematicko-fyzikální fakulta UK
EGOTHOR 2 ˇ Záver
2008-05-19
Literatura
Obsah
Skenování otevˇrených zdroju˚ Leo Galamboš
1
Úvod
Úvod Design robota DNS HTTP
2
Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚
3
EGOTHOR 2
4
ˇ Záver
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚
EGOTHOR 2 ˇ Záver Literatura
ˇ Vecný obsah
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚
technologie robota: DNS, HTTP, zpracování odkazu˚
EGOTHOR 2
navigace robota po webu
ˇ Záver
architektura Egothor2 robota
Literatura
Web – Osoby a obsazení
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP
webový server (httpd) poskytuje webové dokumenty webový dokument je opatˇren metadaty (formát, délka, cˇ as modifikace. . . ) webový klient si stahuje webové dokumenty z webového serveru nad HTTP(S) robot1 stahuje automaticky a systematicky požadované dokumenty
1
bot, crawler, spider
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚
EGOTHOR 2 ˇ Záver Literatura
Web – komunikace
Skenování otevˇrených zdroju˚ Leo Galamboš
Kritická místa HTTP ˇ Content-Type k URL sdeluje server: *.html;text/html
Úvod Design robota DNS
skuteˇcný cíl neurˇcuje IP, ale IP + Host v hlaviˇcce
HTTP Normalizace Bezedný web Procházení webu
GET /robots.txt HTTP/1.0 Host: www.example.com
Aktualizace dokumentu˚
EGOTHOR 2 ˇ Záver Literatura
HTTP/1.1 200 OK Date: Sat, 18 Feb 2006 00:44:20 GMT Last-Modified: Mon, 02 Feb 2004 21:34:29 GMT Content-Length: 402 Connection: close Content-Type: text/html
....<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Odlišnosti od klasických knihovních full-textu˚ ˇ až za behu objevujeme co ješteˇ stahovat ˇ ale pˇresto co možná nutnost tahat neagresivne, nejvíce<br />
<br />
Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu<br />
<br />
Robot Googlebot Mercator Mercator Xyro Nutch Become Egothor 1 Dominos Egothor 2 Larbin VN<br />
<br />
stroju/CPU ˚ 4/? 1/2 4/8 4/? 1/? 50/? 1/2 5/? 1/2 1/2 9/14<br />
<br />
str/sec 25-32 55 72 12 ? 100 40 154 70-100 80 2?<br />
<br />
tok (MB/s) 0,2 0,84 1,72 ? 0,5 0,3? 0,6 0,9 1,5-5,0 2,1 0,1<br />
<br />
rok 1998 1999 2001 2001 2004 2004 2004 2004 2005,2007 2006 2006<br />
<br />
Otázka Co zpusobuje ˚ tak velké rozdíly ve výkonu výkonu?<br />
<br />
Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Zjednodušená struktura robota<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
DNS<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Problematika DNS<br />
<br />
Leo Galamboš<br />
<br />
Robot se snaží netahat dlouho z jednoho serveru ⇒ více dotazu˚ do DNS a snížení “lokality” pˇrístupu do cache.<br />
<br />
Úvod Design robota DNS HTTP Normalizace<br />
<br />
Reálný provoz nedodržují se expiraˇcní cˇ asy obnova zón (typicky) v idle režimu gethostbyname(3) neefektivní cache jako spojový seznam (JAVA) ˇ neumožnuje ˇ soubežné dotazy<br />
<br />
Bezedný web<br />
<br />
ˇ Rešení<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
více resolveru˚ s velkými cache (Mercator až 3 s 1GB) používá se prefetch jeden dotaz muže ˚ implikovat až desítku UDP dotazu˚ ⇒ komunikace mezi link parser a async DNS modulem<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Praxe<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web<br />
<br />
ADNS knihovna (asynchronous DNS client library) Mercator (Compaq): úspora po pˇrepsání DNS knihovny, cˇ as v DNS z 87% na 25% Egothor2: DNS modul není brzdou (dané technikou plánování front)<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Stahování via HTTP<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Implementace<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web<br />
<br />
latence pˇri stahování ⇒ stahuje se ˇrádoveˇ n × (100 − 1000) stránek najednou ˇ vedecký robot obvykle ˇrádoveˇ desítky až stovky distribuované farmy tisíce na jednom uzlu<br />
<br />
je nevýhodné používat systémová vlákna, používá se select(2)<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Blokované sockety<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš<br />
<br />
používá se statický poˇcet vláken vlákno má vlastní stack, stav a pˇrístup do sdílené ˇ pameti<br />
<br />
Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu<br />
<br />
Výhody snadná implementace ˇ a krokování (JAVA) ladení<br />
<br />
Nevýhody synchronizace vláken stojí výkon pˇri pádu vlákna obtížná detekce a oprava (C/C++) vlákna dotahují relativneˇ nezávisle ⇒ náhodné pˇrístupy do repository, z toho plynoucí velký interleave a snížení výkonu<br />
<br />
Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Neblokované sockety<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota<br />
<br />
funkce select(2) s následným zpracováním vuˇ ˚ ci nosnému datovému bloku<br />
<br />
DNS HTTP Normalizace Bezedný web Procházení webu<br />
<br />
Výhody<br />
<br />
Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2<br />
<br />
velký výkon<br />
<br />
ˇ Záver<br />
<br />
možnost “sériového výstupu”<br />
<br />
Literatura<br />
<br />
Nevýhody ˇ pamet’ová nároˇcnost, správa heap-u problém se správou timeoutu˚<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Normalizace<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Extrakce linku, ˚ normalizace<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš<br />
<br />
Snaha o omezení duplicitních URL: cˇ isté porovnání nestaˇcí --/~plha/--/%7Eplha/--/%7eplha/-poˇradí parametru˚ za ?<br />
<br />
duplicitní obsah se zjišt’uje až dodateˇcneˇ Normalizace: alesponˇ cˇ ásteˇcneˇ snižuje poˇcet duplicitních URL klasicky: 1 2 3 4 5 6 7 8<br />
<br />
protokol i hostname malými písmeny pˇridání cˇ ísla portu normalizace znaku˚ (escape sekvence) ˇ fragmentu˚ /./ a /../ vyˇcištení -36%: index.htm(l) -30%: egothor.org v. www.egothor.org -5%: /dir v. /dir/ +26%: auto-redirect<br />
<br />
Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Eliminace duplicit<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Eliminace známých URL Problém Pˇri 1000URL/sec produkuje robot až 40000 “nových” URL. Zapisuje se i struktura odkazu, ˚ a proto musíme znát pˇríslušná ID dokumentu. ˚ Jak to technicky zvládnout?<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu<br />
<br />
1 2<br />
<br />
URL se pˇrevede na pevnou délku (MD5 16B): key klíˇc pˇridáváme do hash tabulky – problémy: ˇ tabulka se vetšinou nevejde do RAM (Larbin) dobrý pˇrevod na pevnou délku nám rozbije lokálnost<br />
<br />
ˇ Rešení Standardní zpusob ˚ lokálnost si zase zavedeme: key := (keyhostname ; key ) lze použít B-tree Dominos pˇrišel s novinkou: Judy-array.<br />
<br />
Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Bezedný web<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš<br />
<br />
Nevhodná pˇremapování na straneˇ serveru nebo httpd s chybami2 mohou vytvoˇrit bezedný web a z toho plynoucí pasti3 : mužeme ˚ omezit délku URL, ale dokonalé to není<br />
<br />
DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2<br />
<br />
lze detekovat opakující se fragmenty v URL<br />
<br />
Literatura<br />
<br />
Pˇríklady .../archiv/archiv/archiv/archiv/05.html .../calendar.php?date=1456-02-28<br />
<br />
3<br />
<br />
Design robota<br />
<br />
je možné vytváˇret statistiky a anomálie ruˇcneˇ ošetˇrovat pomáhá i nestahování stránek s nízkým rankem<br />
<br />
2<br />
<br />
Úvod<br />
<br />
ˇ Nekteré starší verze Apache Spider traps<br />
<br />
ˇ Záver<br />
<br />
Eliminace duplicit<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP<br />
<br />
ˇ ˇrešení pˇres detekci duplicit Robustnejší Sledujeme unikátnost dvojic (hashdokument ; rel), kde rel je relativní odkaz.<br />
<br />
Dokonalé ˇrešení neexistuje Omezené ˇrešení nabízí shingling (šindlování), které je schopné detekovat duplicitní obsah.<br />
<br />
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Navigace robota<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Procházení webu<br />
<br />
Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
metoda konvergence rychlost<br />
<br />
BFS 3 2<br />
<br />
DFS 1 [Castillo et al.]<br />
<br />
OPIC 1*<br />
<br />
PD 5 1<br />
<br />
NVW **<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Anti SPAM = K-rank<br />
<br />
Leo Galamboš<br />
<br />
0,82<br />
<br />
Úvod 0,80<br />
<br />
Design robota DNS 0,78<br />
<br />
HTTP<br />
<br />
Kendallovo<br />
<br />
Normalizace Bezedný web<br />
<br />
0,76<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
0,74<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
0,72 CZ EU<br />
<br />
0,70<br />
<br />
UK<br />
<br />
0,68 0<br />
<br />
20<br />
<br />
40<br />
<br />
60<br />
<br />
80<br />
<br />
BFS fáze [%]<br />
<br />
doména URL odkazu˚<br />
<br />
CZ 200M 3,0G<br />
<br />
UK 90M 1,1G<br />
<br />
EU (Uni) 180M 2,1G<br />
<br />
100<br />
<br />
Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Anti SPAM = K-rank<br />
<br />
Leo Galamboš Úvod 1<br />
<br />
1<br />
<br />
0,95<br />
<br />
0,95<br />
<br />
0,9<br />
<br />
0,9<br />
<br />
0,85<br />
<br />
0,85<br />
<br />
Design robota HTTP Normalizace Bezedný web Procházení webu<br />
<br />
0,8 CZKR CZPR<br />
<br />
0,75<br />
<br />
EUKR 0,7<br />
<br />
EUPR<br />
<br />
Kendallovo<br />
<br />
Kendallovo<br />
<br />
DNS<br />
<br />
0,8<br />
<br />
Aktualizace dokumentu˚ CZKR<br />
<br />
0,75<br />
<br />
EUKR<br />
<br />
0,7<br />
<br />
UKPR<br />
<br />
0,6<br />
<br />
ˇ Záver<br />
<br />
EUPR<br />
<br />
UKKR 0,65<br />
<br />
EGOTHOR 2<br />
<br />
CZPR<br />
<br />
UKKR<br />
<br />
0,65<br />
<br />
Literatura<br />
<br />
UKPR<br />
<br />
0,6 0<br />
<br />
10<br />
<br />
20<br />
<br />
30<br />
<br />
Fáze BFS [%]<br />
<br />
40<br />
<br />
50<br />
<br />
0,0<br />
<br />
0,2<br />
<br />
0,4<br />
<br />
0,6<br />
<br />
Agregovaná d le itost<br />
<br />
K-rank. . . potˇrebuje až o tˇretinu menší matici než Page rank<br />
<br />
0,8<br />
<br />
1,0<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Aktualizace dokumentu˚<br />
<br />
Leo Galamboš<br />
<br />
Normalizer linku˚<br />
<br />
Indexování a Analýza<br />
<br />
Úvod<br />
<br />
Index<br />
<br />
Design robota DNS HTTP Normalizace<br />
<br />
Kontrola povolení<br />
<br />
Bezedný web<br />
<br />
Socket R/W<br />
<br />
Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Globální fronta<br />
<br />
Socket wait<br />
<br />
Monitor manager<br />
<br />
ˇ Cekání na DNS Separátní fronty<br />
<br />
Literatura<br />
<br />
Async DNS<br />
<br />
Aktualizace dokumentu˚<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS<br />
<br />
1<br />
<br />
2 3<br />
<br />
HTTP nabízí: If-Modified-Since ignoruje se Expire ignoruje se robot se sám uˇcí frekvenci aktualizací nabízená ˇrešení (definitivní ˇrešení zatím není): ˇ každého jednotlivého zohlednit frekvenci zmen dokumentu (egothor2) zohlednit významnost dokumentu nebo serveru ˇ (obtížný NLP problém) zohlednit významnost zmeny<br />
<br />
HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod<br />
<br />
DB<br />
<br />
Design robota DNS<br />
<br />
DNS T0<br />
<br />
T1<br />
<br />
HTTP T3<br />
<br />
Mutex T5<br />
<br />
TX<br />
<br />
TX T2<br />
<br />
T4<br />
<br />
HTTP<br />
<br />
Post-processing<br />
<br />
Monitor<br />
<br />
TX<br />
<br />
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Zatížení front<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Inicializace spoje<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Zápis a cˇ tení do socketu<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Zpracovaní HTTP a HTML<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Zpracování dokumentu<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
ˇ Záver<br />
<br />
Leo Galamboš Úvod Design robota<br />
<br />
plánovaˇc robota muže ˚ ovlivnit kvalitu výsledku˚ hrubá síla versus komplikované plánování test na (ne)existenci URL DNS (Mercator) ⇒ Indexer-Async DNS hook duplikáty - základní heuristiky -36%: index.htm(l) -30%: egothor.org v. www.egothor.org -5%: /dir v. /dir/ +26%: auto-redirect<br />
<br />
SPAM. . .<br />
<br />
DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Castillo, C. Effective web crawling. SIGIR Forum, 39(1), 55-56, ACM Press, NY, USA, 2005.<br />
<br />
Leo Galamboš Úvod Design robota DNS HTTP<br />
<br />
Cho, J., Garcia-Molina, H. Estimating frequency of change. ACM TOIT, 3(3), 256-290, 2003. Craswell, N., et al Performance and cost tradeoffs in web search. In Proc. of the 15th ADC, 161-169, Dunedin, NZ, 2004. Cutting, D., Pedersen, J. Optimization for dynamic inverted index maintenance. In Proc. of the 13th SIGIR, 405-411, ACM Press, 1990.<br />
<br />
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš<br />
<br />
Fagni, T., et al Boosting the performance of Web search engines. ACM TOIS, 24(1), 51-78, 2006.<br />
<br />
Úvod Design robota DNS HTTP Normalizace<br />
<br />
Galamboš, L. Dynamic Inverted Index Maintenance. IJCS, 1(2), 157-162, 2006. Gomes, D., Silva, M.J. The Viuva Negra crawler. FI-FCUL, TR-2006-06-21, Lisboa, 2006. Hafri, Y., Djeraba, C. Dominos: A New Web Crawler’s Design. IWAW, Bath, UK, 2004.<br />
<br />
Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚ Leo Galamboš<br />
<br />
Heydon, A., Najork, M. Mercator: A scalable, extensible web crawler. WWW 2(4), 219-229, 1999.<br />
<br />
Úvod Design robota DNS HTTP<br />
<br />
Hirai, J., et al WebBase: A repository of web pages. In Proc. of the 9th WWW Conf., Amsterodam, 2000. Lawrence, S., Giles, C.L. Accessibility of information on the web. Intelligence, 11(1): 32-39, 2000. Lempel, R., Moran, S. Predictive cahing and prefetching of query results in search engines. In Proc. of the WWW12, 19-28, ACM, 2003.<br />
<br />
Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Lim, L., et al Dynamic Maintenance of Web Indexes Using Landmarks. In Proc. of the 12th WWW Conf., 2003. Lyman, P., Varian, H.R. How much information. http://www.sims.berkeley.edu/ how-much-info-2003 Mignet, L., et al Xyro: The Xyleme Robot Architecture. In DIWeb, 91-99, 2001. Najork, M, Heydon, A. High-performance web crawling. COMPAQ SRC173, 2001.<br />
<br />
Leo Galamboš Úvod Design robota DNS HTTP Normalizace Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver Literatura<br />
<br />
Skenování otevˇrených zdroju˚<br />
<br />
Saraiva, P.C., et al Rank-Preserving Two-Level Caching for Scalable Search Engines. In Proc. of the SIGIR2001, 51-58, ACM, 2001.<br />
<br />
Leo Galamboš Úvod Design robota DNS HTTP Normalizace<br />
<br />
Silvestri, F. High Performance Issues in Web Search Engines. Ph.D. Thesis, Univ. Pisa, 2004.<br />
<br />
Bezedný web Procházení webu Aktualizace dokumentu˚<br />
<br />
EGOTHOR 2 ˇ Záver<br />
<br />
Shkapenyuk, V., Suel, T. Design and implementation of a high-performance distributed web crawler. In Proc. of the 18th DE Int Conf., 357-368, San Jose, 2002. Zobel, J., Moffat, A. Inverted files for text search engines. ACM CSUR, 38(2), 6pg, ACM Press, 2006<br />
<br />
Literatura<br />
<br /> </div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<div class="modal fade" id="report" tabindex="-1" role="dialog" aria-hidden="true">
<div class="modal-dialog">
<div class="modal-content">
<form role="form" method="post" action="https://adoc.pub/report/leo-galambo" style="border: none;">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal" aria-hidden="true">×</button>
<h4 class="modal-title">Report "Leo Galamboš"</h4>
</div>
<div class="modal-body">
<div class="form-group">
<label>Your name</label>
<input type="text" name="name" required="required" class="form-control" />
</div>
<div class="form-group">
<label>Email</label>
<input type="email" name="email" required="required" class="form-control" />
</div>
<div class="form-group">
<label>Reason</label>
<select name="reason" required="required" class="form-control">
<option value="">-Select Reason-</option>
<option value="pornographic" selected="selected">Pornographic</option>
<option value="defamatory">Defamatory</option>
<option value="illegal">Illegal/Unlawful</option>
<option value="spam">Spam</option>
<option value="others">Other Terms Of Service Violation</option>
<option value="copyright">File a copyright complaint</option>
</select>
</div>
<div class="form-group">
<label>Description</label>
<textarea name="description" required="required" rows="3" class="form-control" style="border: 1px solid #cccccc;"></textarea>
</div>
<div class="form-group">
<div style="display: inline-block;">
<div class="g-recaptcha" data-sitekey="6LcEnMcZAAAAAFHzKKgaE-Qh57XzUTzpfRElD4dP"></div>
</div>
</div>
<script src='https://www.google.com/recaptcha/api.js'></script>
</div>
<div class="modal-footer">
<button type="button" class="btn btn-default" data-dismiss="modal">Close</button>
<button type="submit" class="btn btn-primary">Send</button>
</div>
</form>
</div>
</div>
</div>
<script>
$(document).ready(function () {
var inner_height = $(window).innerHeight() - 250;
$('#pdfviewer').css({"height": inner_height + "px"});
});
</script>
<footer class="footer" style="margin-top: 60px;">
<div class="container-fluid">
Copyright © 2024 ADOC.PUB. All rights reserved.
<div class="pull-right">
<span><a href="https://adoc.pub/about">About Us</a></span> |
<span><a href="https://adoc.pub/privacy">Privacy Policy</a></span> |
<span><a href="https://adoc.pub/term">Terms of Service</a></span> |
<span><a href="https://adoc.pub/copyright">Copyright</a></span> |
<span><a href="https://adoc.pub/contact">Contact Us</a></span> |
<span><a href="https://adoc.pub/cookie_policy">Cookie Policy</a></span>
</div>
</div>
</footer>
<!-- Modal -->
<div class="modal fade" id="login" tabindex="-1" role="dialog" aria-labelledby="myModalLabel">
<div class="modal-dialog" role="document">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal" aria-label="Close" on="tap:login.close"><span aria-hidden="true">×</span></button>
<h4 class="modal-title" id="add-note-label">Sign In</h4>
</div>
<div class="modal-body">
<form action="https://adoc.pub/login" method="post">
<div class="form-group">
<label class="sr-only" for="email">Email</label>
<input class="form-input form-control" type="text" name="email" id="email" value="" placeholder="Email" />
</div>
<div class="form-group">
<label class="sr-only" for="password">Password</label>
<input class="form-input form-control" type="password" name="password" id="password" value="" placeholder="Password" />
</div>
<div class="form-group">
<div class="checkbox">
<label class="form-checkbox">
<input type="checkbox" name="remember" value="1" />
<i class="form-icon"></i> Remember me
</label>
<label class="pull-right"><a href="https://adoc.pub/forgot">Forgot password?</a></label>
</div>
</div>
<button class="btn btn-primary btn-block" type="submit">Sign In</button>
</form>
</div>
</div>
</div>
</div>
<!-- Global site tag (gtag.js) - Google Analytics -->
<script async src="https://www.googletagmanager.com/gtag/js?id=UA-177279549-1"></script>
<script>
window.dataLayer = window.dataLayer || [];
function gtag(){dataLayer.push(arguments);}
gtag('js', new Date());
gtag('config', 'UA-177279549-1');
</script>
<script src="https://adoc.pub/assets/js/jquery-ui.min.js"></script>
<link rel="stylesheet" href="https://adoc.pub/assets/css/jquery-ui.css">
<script>
$(function () {
$("#document_search").autocomplete({
source: function (request, response) {
$.ajax({
url: "https://adoc.pub/suggest",
dataType: "json",
data: {
term: request.term
},
success: function (data) {
response(data);
}
});
},
autoFill: true,
select: function( event, ui ) {
$(this).val(ui.item.value);
$(this).parents("form").submit();
}
});
});
</script>
<!-- cookie policy -->
<div id="ADOCPUB_cookie_box" style="z-index:99999; border-top: 1px solid #fefefe; background: #FFC107; width: 100%; position: fixed; padding: 5px 15px; text-align: center; left:0; bottom: 0;">
Our partners will collect data and use cookies for ad personalization and measurement. <a href="https://adoc.pub/cookie_policy" target="_blank">Learn how we and our ad partner Google, collect and use data</a>. <a href="#" class="btn btn-success" onclick="accept_ADOCPUB_cookie_box();return false;">Agree & close</a>
</div>
<script>
function accept_ADOCPUB_cookie_box() {
document.cookie = "ADOCPUB_cookie_box_viewed=1;max-age=15768000;path=/";
hide_ADOCPUB_cookie_box();
}
function hide_ADOCPUB_cookie_box() {
var cb = document.getElementById('ADOCPUB_cookie_box');
if (cb) {
cb.parentElement.removeChild(cb);
}
}
(function () {
var ADOCPUB_cookie_box_viewed = (function (name) {
var matches = document.cookie.match(new RegExp("(?:^|; )" + name.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g, '\\$1') + "=([^;]*)"));
return matches ? decodeURIComponent(matches[1]) : undefined;
})('ADOCPUB_cookie_box_viewed');
if (ADOCPUB_cookie_box_viewed) {
hide_ADOCPUB_cookie_box();
}
})();
</script>
<!-- end cookie policy -->
</body>
</html>
