Jak se měří síťové toky? A k čemu to je? Martin Žádník
Představení • CESNET je poskytovatelem konektivity pro akademickou sféru v ČR • Zakládající organizace jsou univerzity a akademi věd
Obsah • Motivace • Popis architektury • Popis protokolu • Využití
Motivace • Bez měření nevíme, • co se na síti děje • jak se to děje • kde se to děje
Měření toků • Měření toků poskytuje informace pro • Správu sítě a síťových služeb • Dohledávání problémů a incidentů • Plánování rozšíření • Optimalizace
• Co obnáší měření toků • Agregace informace ze záhlaví několika paketů jednoho toku • Uchování a analýza agregovaných informací
A co soukromí • Měření toků zachovává soukromí a zároveň má vypovídací hodnotu
Síťový tok 1
Síťový tok 2
Síťový tok 3
Architektura
Architektura
Činnost sondy 1 • Parsing paketu
Činnost sondy 2 • Vyhledání záznamu pomocí klíče • Aktualizace statistik • Export dat po vypršení časovače
Kolektor • Příjem dat různými protokoly • Zpracování dat • Uložení či přeposlání
UDP
Profily
Export
TCP
Vzorkování
Úložiště
NetFlow
Filtrace
Statistiky
IPFIX
Protokoly • NetFlow v1 – první verze • NetFlow v5 – nejpoužívanější • NetFlow v7 – pro switche, info o přepínání • NetFlow v8 – větší agregace než jen toky • NetFlow v9 – flexibilní záznam, šablony (templates) • v10 = IPFIX (IETF RFC )
NetFlow • Vyvinuto firmou Cisco • Vzniklo exportem záznamů z tabulek pro urychlení směrování
NetFlow v5 • Přenos přes UDP • Záznam má pevnou strukturu • Source IP address • Destination IP address • Packet Count • Byte Count • Time at Start of Flow • Time at End of Flow • Source Port • Destination Port • TCP flags • Layer 4 Protocol
NF v9 a IPFIX • Šablony popisují strukturu záznamů či nastavení monit. procesu • Šablony se pravidelně posílají pro aktaulizaci • Je možné použít více šablon • Záznamy se odkazují na šablony • Kolektor interpretuje záznamy podle šablon
Využití
Využití • Znalost provozu na síti a co se stane když • Sledování a analýzy aplikací • Zvýšení bezpečnosti sítě, detekce vnitřních i vnějších útoků, dodržování politiky využití sítě • Odhalení nesprávných konfigurací • Dohledávání incidentů • Dlouhodobé skladování informací o přenesených datech • Dodržování zákona o elektronické komunikaci • Účtování a fakturace, kontrola FUP • Plánování kapacity sítě a datových linek • Kontroly peeringu a SLA • Monitorování využití Internetu
Sledování aplikací • Např. sledování vytížení různých aplikačních serverů v různé časové úseky • Možnost konsolidace více serverů • Rozložit optimálně aplikace • Naplánovat zálohy dat
• Např. Pokud má firma vyhrazené přenosové pásmo ke svému ISP pro VoIP provoz • Sledování zda nepotřebuji méně
• Zda se neblíží limitu
Vyvážení routingu mezi ISP • Použití NetFlow dat pro optimalizaci routingu • Znalost odkud kam jdou data a za jakou cenu • Pomoc při rozhodování / vytváření / plánování nových peeringových strategií • Měření přenesených dat pro potřeby účtování a plateb za routing mezi ISP • Cílem je minimalizace celkové ceny síťových operací při maximalizaci výkonu sítě, kapacity a dostupnosti
Zákon o el. komunikacích • Právnická nebo fyzická osoba zajišťující veřejnou komunikační síť nebo poskytující veřejně dostupnou službu elektronických komunikací je povinna uchovávat po dobu 6 měsíců provozní a lokalizační údaje, které jsou vytvářeny nebo zpracovávány při zajišťování jejích veřejných komunikačních sítí a při poskytovávání jejích veřejně dostupných služeb elektronických komunikací … §97 odstavec 3
Zákon o el. komunikacích • Právnická nebo fyzická osoba zajišťující veřejnou komunikační síť nebo poskytující veřejně dostupnou službu elektronických komunikací je povinna uchovávat po dobu 6 měsíců provozní a lokalizační údaje, které jsou vytvářeny nebo zpracovávány při zajišťování jejích veřejných komunikačních sítí a při poskytovávání jejích veřejně dostupných služeb elektronických komunikací … §97 odstavec 3
Video demo • Dohledání NTP amplifikačního útoku
NTP servers
Software •
Open source • •
•
Komerční řešení •
•
Fprobe – NetFlow v5 sonda, nízký výkon NfSen – populární kolektor Cisco router, FlowMon, VMware switch
Cesnet vyvíjí open source řešení pro sběr a analýzu dat • •
IPFIXcol a fdistdump – distribuovaný kolektor Nemea – behaviorální proudová analýza
Software •
Distribuované dotazování na kolektoru pomocí fdistdump (nad 3 uzly)
Závěr • • • •
•
Měření síťových toků je motivováno snahou udržet síť a provozované služby v provozu Sondy v síti exportují data na kolektor Využití při řešení problémů a ke zvýšení bezpečnosti CESNET vyvíjí ve spolupráci s MU, ČVUT a FlowMon Networks open-source nástroje pro zpracování exportovaných toků Věděli jste, že …
Závěr 1400000 1200000 1000000 800000 600000 400000 200000 0
Závěr •
Projekt distribuovaného open-source kolektoru je podpořen Technologickou agenturou České Republiky.
