Simulace HPN sítí Simware V7 a VSR

Simulace HPN sítí Simware V7 a VSR Martin Žampach

Simware V7 ve verzi 7.1.43, Alpha 7143 VSR ve verzi 7.1.049, ESS 102

Dokument verze 1.10, 3.2014

Úvod Následující lab guide není oficiálním dokumentem, ani jej nelze považovat za best practice. Doporučuji absolvovat HP ExpertONE školení v oblasti routing a switching. Tento text je zaměřen na první kroky se softwarovými nástroji a produkty fy HP, které umožňují simulaci reálných HPN sítí a nebo dokonce jsou alternativou specializovaného HW. Materiál je tvořen nad produktem HP VSR1000 Virtual Services Router Series, který si můžete stáhnout zde: HP VSR1000 Virtual Services Router Series. Pro simulaci lan switchovaných infrastruktur a jiných typů routerů je vyžíván nástroj Simware V7, který je zdarma dostupný všem síťovým partnerům z partnerského dropboxu.

Přeji vám hodně zdaru a hlavně inovativní inspirace!

Martin Žampach

2|HP Síťové simulace

Obsah Úvod ........................................................................................................................................................ 2 Iniciální setup .......................................................................................................................................... 6 První rozhraní - IP nastavení - vmware ........................................................................................... 6 První rozhraní - IP pro PC ................................................................................................................ 7 Instalace Nested Virtualizace 64bit host i guest ............................................................................. 8 Iniciální spuštění / ověření setupu .................................................................................................. 8 Idea ....................................................................................................................................................... 11 Cíl .......................................................................................................................................................... 11 Postupné cíle ..................................................................................................................................... 11 VSR popis............................................................................................................................................... 12 Simware popis ....................................................................................................................................... 12 Typy simulovaných zařízení .............................................................................................................. 13 Konfigurační soubor pro Simware .................................................................................................... 14 Spuštění prvního zařízení – D3.............................................................................................................. 16 Seznámení s virtuálními sítěmi ............................................................................................................. 16 Testujeme síťové komunikace .......................................................................................................... 17 Vzdálený přístup ............................................................................................................................... 17 VTY ................................................................................................................................................ 17 AUX................................................................................................................................................ 18 Naplánování celé topologie .................................................................................................................. 19 Prototyp topologie ............................................................................................................................ 19 Zadání .................................................................................................................................................... 19 Osazení zařízení................................................................................................................................. 20 Konektivita ........................................................................................................................................ 20 Adresní plán ...................................................................................................................................... 21 Zjednodušení..................................................................................................................................... 21 Přehled co a kde se uvnitř počítače v rámci labu odehrává ............................................................. 22 První chassis – D1 .................................................................................................................................. 22 Základní konfigurace ......................................................................................................................... 23 IRF příprava ....................................................................................................................................... 24 Druhé chassis – D2 ................................................................................................................................ 25 IRF dokončení.................................................................................................................................... 26 MDC ...................................................................................................................................................... 27 Tvorba MDC2 .................................................................................................................................... 27 3|HP Síťové simulace

IRF pro MDC2 ................................................................................................................................ 27 Tvorba MDC3 .................................................................................................................................... 27 IRF pro MDC3 ................................................................................................................................ 27 Spuštění MDC.................................................................................................................................... 28 Příprava na připojení access switchů do jednotlivých MDC ............................................................. 30 Access switche – dokončení – D4 ......................................................................................................... 33 Konfigurace access switchů .............................................................................................................. 34 Zprovoznění D4 ............................................................................................................................. 35 Routing mezi MDC - VSR ................................................................................................................... 36 Finální test............................................................................................................................................. 38 Další témata .......................................................................................................................................... 39 „Sniffování“ provozu ......................................................................................................................... 39 Příklad odposlechu komunikace uvnitř Linuxu na rozhraní t3. ..................................................... 40 Závěr ..................................................................................................................................................... 41 Přílohy ................................................................................................................................................... 42 IRF – Intelligent Resilient Framework ............................................................................................... 42 Typické užití................................................................................................................................... 42 MDC .................................................................................................................................................. 42 Spolupráce IRF a MDC ................................................................................................................... 42 Instalace / Tvorba vlastního VM ....................................................................................................... 43 Instalace Ubuntu ........................................................................................................................... 43 Instalace Nested Virtualizace 64bit host i guest ........................................................................... 44 Provedeni instalace ....................................................................................................................... 44 Vypnuti Ipv4 a Ipv6 ....................................................................................................................... 45 Skripty ............................................................................................................................................... 46 ksim ............................................................................................................................................... 46 rcfg ................................................................................................................................................ 46 vtapup ........................................................................................................................................... 46 vnetset .......................................................................................................................................... 46 Hotové skripty ................................................................................................................................... 47 .bash_aliases ................................................................................................................................. 47 ksim ............................................................................................................................................... 47 rcfg ................................................................................................................................................ 47 vtapup ........................................................................................................................................... 47 vnetset .......................................................................................................................................... 48 4|HP Síťové simulace

MPLS/VPLS topologie ........................................................................................................................ 49 vpls.cfg .......................................................................................................................................... 49


Iniciální setup Lab budeme realizovat jako dva virtuální stroje běžící uvnitř Vmware Workstation 9 na Windows. První stroj poběží Linux Ubuntu 12.10 desktop s nainstalovaným Simware, druhý stroj běží VSR. Je nutno aby HW podporoval hardwarovou virtualizaci (VT-x/EPT ci AMD-V/RVI), měl minimálně 4G RAM VM jsou předinstalovaná a je pouze potřeba připravit vmware a windows. Je potřeba připravit dvě host síťová rozhraní pro  

Management virtualní infrastruktury – IP segment 192.168.100.0/24 – PC ma ip 192.168.100.101 Pro provoz mezi Simware a VSR – IP segment 192.168.101.0/24 - PC ma ip 192.168.101.101

První rozhraní - IP nastavení - vmware


První rozhraní - IP pro PC

Druhé síťové rozhraní se konfiguruje analogicky Tato síťová rozhraní jsou při importu VM v uvedeném pořadí připojena k síťovým kartám VM.

Pro zvídavé Pokud chcete připojit fyzickou síť k labu který budete mít ve svém PC, nahraďte host rozhraní bridge rozhraním na reálnou síťovou kartu svého PC.


Pro VM Simware je potřeba při importu VM zapnout Nested Virtualizaci

Instalace Nested Virtualizace 64bit host i guest

Iniciální spuštění / ověření setupu Spustit VM Simware Po spuštěni přihlásit do grafickeho GUI s heslem: si Z xterm spustit další terminal pod rootem: sudo gnome-terminal


Pokud se vám v Linuxu objeví nová síťová rozhraní (jako Wired connection 3, 4, 5 na obrázku) nakonfigurujte je dle postupu Vypnuti IPv4 a IPv6.

Spustit nastavení virtuální sitě: vnetset

Ověření přikazem ifconfig


Ev. ping 192.168.100.101

10 | H P S í ť o v é s i m u l a c e

Idea Seznámení se Simware a VSR prostřednictvím výstavby a simulace datového centra. Snahou je aby datové centrum odpovídalo stávajícím požadavkům a v současnosti nasazovaným řešením. Core datového centra je navržen jako dvě chassis spojené do IRF. Takto realizovaný core je rozdělen na dvě (resp. na 3, admin+2) virtuální DC prostřednictvím technologie MDC. Ke každému je DC redundadně připojen L2 access switch pro uživatele příslušného virtuálního DC Routovaný L3 prostup mezi virtuálními DC (a přístup k nim ze světa) realizuje VSR zapojený do obou access switchů. Každé zařízení je připojeno do dedikované management lan sítě.

MDC3 MDC2

D1 MGMT LAN

D3

D4 VSR

Cíl Vymyslet, realizovat a nakonfigurovat výše uvedenou infrastrukturu, tak aby procházel provoz z MDC2 přes VSR do MDC3. Bude se ověřovat pingem mezi adresami uvnitř příslušných MDC.

Postupné cíle -

Seznámení s nástroji – VSR Seznámení s nástroji – Simware Spuštění prvního zařízení Seznámení s virtuálními sítěmi Naplánování celé topologie 11 | H P S í ť o v é s i m u l a c e

-

Postavení prvního chassis Postavení druhého chassis Realizace IRF Konfigurace MDC2 Konfigurace MDC3 Postavení celého accesu VSR routující mezi MDC Finální test

VSR popis VSR (Virtual Services Router) je komerční plnohodnotná implementace routeru s Comware 7 určená pro běh pod hypervizorem nebo přímo na x86 hw. Aktuálně podporované hypervizory jsou VMware, a KVM. Je dostupný v provedeních pro 1,4 a 8 virtuálních CPU. Pro účely testování je buď možno použít VSR bez licenčního klíče, kde je omezen výkon na 2kpps. Je možno požádat o testovací licenci, která umožní testovat VSR bez omezení po dobu 60 dní. Typické nasazení je cloud, datová centra, či virtualizované pobočky. Obsahuje vše co by univerzálni PE router s ethernetovými rozhraními měl/mohl poskytovat. Klasický routing, MPLS/VPLS, QoS, Firewall, VPN, IPSEC atd...

Využívá rozhraní která mu nabízí hypervizor až do počtu 16. Hypervizor musí nabízet nějaký z těchto typů síťových karet:   

VirtIO NE1000 Vmxnet3

Pokud tomu tak nebude VSR nerozpozná rozhraní a žádná potom v CLI nenabídne. Z pohledu správy a pod. se VSR chová jako standardní Comware 7 router a nevyžaduje žádnou další konfiguraci či přípravu.

Simware popis Simware V7 je x86 simulátor zařízení běžící na Windows a Ubuntu. Emuluje Comware 7 zařízení. Emuluje jak stackovatelné switche tak chassis včetně IRF a dalších pokročilých funkcionalit jako MDC, TRILL, EVB atd. Simware je implementováno nad QEMU (Quick Emulator), kde pro stackovatelné switche jeden QEMU process/instance realizuje jedno zařízení. U chassis, jeden QEMU process realizuje jednu kartu (MPU nebo LPU). 12 | H P S í ť o v é s i m u l a c e

Simware existuje ve verzi pro Windows a Ubuntu Linux a to pro 32bit I 64bit OS. Je zřejmé, že některé funkcionality reálného HW není možno implementovat a výkon je nižší než u reálného HW. Simware samozřejmě realizuje i propojení mezi jednotlivými porty různých zařízení, včetně připojení na rozhraní poskytovaná samotným operačním systémem, kde Simware běží.

Poznámky pro zvídavé 1) Simware běhá i na RedHat based Linuxech (jako Fedora) a pod., protože ale instalační balíček existuje pouze pro linuxové distribuce na bázi Debianu, je instalace pod jiným typem distribuce komplikovaná 2) Pokud processor zařízení podporuje virtualizaci a QEMU k ní má přístup, QEMU pouští kód Simware prakticky přímo bez jakékoliv emulační vrstvy. Jinak je veškerý kod Simware emulován. 3) V linuxu má QEMU přístup k virtualizaci prostřednictvím KVM hypervizoru. Velice rychlé a pro větší projekty jednoznačná volba. 4) Ve windows QEMU nemá přístup k podpoře virtualizace procesoru a každou instrukci kódu Simware musí emulovat. Použitelné na 1 nemodulární zařízení. 5) V labu běží QEMU pod Ubuntu Linuxem s KVM hypervizorem uvnitř virtuálního stroje pod VMware hypervizorem. Toto je obecně nedoporučovaná varianta. Hlavně proto, že vyžaduje Nested Virtualizaci (KVM hypervizor pod VMware hypervizorem), která je možná je při určítých kombinacích hypervizorů. V labu byla tato varianta vybrána, protože je možno dosáhnout výrazně většího výkonu než v samotných Windows. VSR je podporováno na Linuxu pod KVM (a běhá fantasticky), ale většina studentů labu dělá tento lab na firemních Windows zařízeních, kde přebootování do Linuxu (byť z usb disku) nemusí být možná. Vše zde popisované pro Linux budete používat uplně stejně i při spuštění Simware nativně v Linuxu.

Typy simulovaných zařízení Simware emuluje následující zařízení a karty do chassis: Typ

Router/

IRF

Modul

Port

Typ portu

/Switch SIM1x00

R

Ne

n/a

1 2-9 10-13 14-17 18-21

Network Management Port GbE Serial POS E1

SIM2x01

S

Ano

n/a

1 2 - 49

Network Management Port GbE


SIM2x02

S

Ano

n/a

1 2 - 25 26 - 49

SIM3x00

R/S

Ano

SIM3x01

MPU

SIM3x11

1 – 48

GbE

SIM3x12

1–4 5-8 1–4 5-8 1–4 5-8

GbE Serial GbE POS GbE E1

SIM3x13 SIM3x14

Network Management Port GbE 10GbE (FCoE capable)

Pro 32bitové systémy je x = 1 pro 64bit x=2 V labu pracujeme na 64bit. Realizujeme switche, pro chassis budeme tedy používat SIM3201, SIM3211, pro ostatní pak SIM2201.

Konfigurační soubor pro Simware Celá simulovaná infrastruktura je popsána v konfiguračním souboru, který má následující strukturu. Příklad pro chassis s 1xMPU a SIM1x3212, switch SIM2201, ktere jsou propojeny takto: první GE ve slotu 3 na čtvrtý GE port druhého zařízení. Management porty obou zařízení jsou dostupné z Linuxu jako zařízení t1 a t3. sim.cfg: #sekce jednotlivých zařízení #device id device_id = 1 #device type is chassis device_model = SIM3200 #pokud by zařízení bylo realizováno na jiném PC #host_ip = 192.168.100.1 #board slot type and aux_port memory_size board = slot 0 : SIM3201 : aux_port 3010 : memory_size 900 board = slot 3 : SIM3212 14 | H P S í ť o v é s i m u l a c e

device_id = 3 device_model = SIM2200 board = SIM2201 : aux_port 3030 : memory_size 480 #sekce propojeni zarizeni mezi sebou, interface odpovida hodnote port v tabulce device 1 : slot 3 : interface 1 <---> device 3 : interface 5 #sekce připojení do realneho sveta device 1 : slot 0 : interface 1 <---> host : t1 device 3 : interface 1 <---> host : t3 Simware na Linuxu je instalováno do /usr/local/Simware. Přímo v tomto adresáři se ukládají konfigurační soubory a zde se také nachází konfigurační utilita cfgtool, jedna vzorová konfigurace (example.cfg) a podadresáře z nichž je důležitý run_env, kde cfgtool generuje simulovaná zařízení dle konfigurace. Utilita se pouští s názvem konfiguračního souboru:

V podadresáří run_env vznikne adresář stejného jména jako konfigurační soubor


Jednotlive soubory pak mají název deviceX_slotY.sh (kde X je id zařízení a Y číslo slotu) pro chassis nebo deviceX.sh pro normální switch. Zařízení se aktivují spuštěním v shellu ./device3.sh. U chassis je potřeba napřed pouštět MPU a pak LPU. Jednodušší je použít skript rcfg, který spustí celý setup.

Spuštění prvního zařízení – D3 Položíme základ našemu DC, tím že s připravíme access zařízení D3. Jedná se o obyčejný switch, který bude mít pouze připojen management interface k Linuxu prostřednictvím zařízení t3. V adresáři /usr/local/Simware vytvoříme soubor pro konfiguraci vydefinujeme zařízení takto: device_id = 3 device_model = SIM2200 board = SIM2201 : memory_size 480 device 3 : interface 1 <---> host : t3 V shellu provedeme ./cfgtool irf_mdc.cfg cd run_env/irf_mdc.cfg rcfg

Seznámení s virtuálními sítěmi Pro propojeni síťových rozhraní uvnitř Linuxu jsou připraveny dva bridge b0 pro management lan a b1 pro komunikaci k VSR. Skript vtapup připojí zařízení t1, t2, t3, t4 do b0 a t5 a t6 k b1. Následně je všechna spustí. Protože zařízení tx vznikají dynamicky po spuštení patřičného simulovaného zařízení je potřeba skript pouštět opakovaně. 16 | H P S í ť o v é s i m u l a c e

Testujeme síťové komunikace V shellu zadáme vtapup a přikazem brctl show ověříme přiřazení do bridge

V konzoli device3 nakonfigurujeme management rozhraní sys int m-e 1/0/1 ip address 192.168.100.3 24 sa f A pomocí ping na 192.168.100.100 (linux b0) a 192.168.100.101 ověříme komunikaci do Windows.

Vzdálený přístup Výse uvedeným můžeme přistupovat na management ethernet rozhraní. Ještě je potřeba nastavit zařízení aby nás pustilo dovnitř a se správnými právy.

VTY jde nám o surovou funkcionalitu, pro reálné nasazení musí zabezpečení vypadat jinak!!! : sys telnet server enable line vty 0 63 authentication-mode none user-role network-admin user-role network-operator # 17 | H P S í ť o v é s i m u l a c e

AUX Simware nám umožňuje přistupovat přes telnet na aux port simulovaného zařízení. Prostřednictvím parametru aux_port XXXX v konfiguračním souboru specifikujeme na jakém portu je konkrétní zařízení dostupné. Aby nás zařízení pustilo je potřeba alespoň toto: line aux 0 authentication-mode none user-role network-admin Bohužel telnet na portu je spouštěn pouze na lokálním stroji, tj je dostupný pouze lokálně z Linuxu. Normálně je to v pohodě, pro naši dvojitou virtualizaci to znamená se buď připojit z Windows do Linuxu a pak telnet na aux port nebo rovnou z Windows telnet na management ethernet.

Nyní můžeme simulaci ukončit. Je možno zavírat jednotlivá okna čímž simulujeme výpadek MPU či LPU, nebo je možno vše ukončit najednou skriptem ksim.


Naplánování celé topologie Chassis si pořizujeme protože chceme modularitu možnost přidávat karty. To by měl design zohlednit a chassis by mělo mit více karet. Samo o sobě by mělo být redundadní, takže dvě LPU. I když mám vice chassis tak chci spravovat vše jako jedno zařízení, takže je dám do IRF. Když už mám tolik portů a výkonu, tak zvirtualizuji DC dvou odlišných oddělení, takže MDC. IRF požaduje redundadně propojit chassis. MDC (čili virtuální zařízení) požadují pro speciální IRF propoje - pro control plane a MDC1 je použito normální propojení ale pro dataplane musí být použity porty, které jsou dedikovány relevantnímu MDC. IRF v Simware má omezení na 4 rozhraní na irfport.

Prototyp topologie

D1

D2

MGMT LAN

D3

D4

VSR MDC dedikuje hardwarové zdroje. V připadě karet jsou to skupiny portů (které obvykle spadají pod stejný ASIC). U simware jsou skupiny na kartě SIM3211 po dvanácti portech. Připojované access L2 switche by měly být připojeny redundandně pomocí etherchannelu, každý do svého MDC (do dvou karet ve dvou chassis 4linky). V každém L2 switchi musí být port pro připojení VSR.

Zadání   

Pro MDC2 bude na každé kartě dedikováno prvních dvanáct portů. Kde každý první port bude sloužit pro připojeni L2 switche D3. Pro MDC3 bude na každé kartě dedikováno druhých dvanáct portů. Kde každý první port bude sloužit pro připojeni L2 switche D4. Ostatní porty budou v MDC1. Porty 48 a 47 na každé kartě budou použity pro IRF. 19 | H P S í ť o v é s i m u l a c e



První 4 GE porty na L2 switchi budou připojeny do relevantního MDC. Port 9 na každém zařízení bude určen pro připojení VSR.

Osazení zařízení Zařízení D1

Typ Slot SIM3200

D2

SIM3200

D3 D4

SIM2200 SIM2200

0 1 3 4

SIM 3201 3201 3211 3211

0 1 3 4

3201 3201 3211 3211 SIM2212 SIM2212

Konektivita Zařízení 1 D1 D2 D3 D4

Port 1 slot 0: interface 1 slot 0: interface 1 interface 1 interface 1

Zařízení 2 Linux Linux Linux Linux

Port 2 host : t1 host : t2 host : t3 host : t3

Účel Mgmt Mgmt Mgmt Mgmt

D1 D1 D1 D1

slot 3 : interface 48 slot 4 : interface 48 slot 3 : interface 12 slot 3 : interface 24

D2 D2 D2 D2


IRF / MDC1 IRF / MDC1 IRF / MDC2 IRF / MDC3

D1 D1 D1 D1


D2 D2 D2 D2


IRF / MDC1 IRF / MDC1 IRF / MDC2 IRF / MDC3

D3 D3 D3 D3

interface 2 interface 3 interface 4 interface 5

D1 D2 D1 D2


MDC2 acc MDC2 acc MDC2 acc MDC2 acc

D4 D4 D4 D4

interface 4 interface 5 interface 2 interface 3

D1 D2 D1 D2

slot 3 : interface 13 slot 3 : interface 13 slot 4 : interface 13 slot 4 : interface 13 20 | H P

MDC3 acc MDC3 acc MDC3 acc MDC3 acc Síťové simulace

D3 D4

interface 9 interface 9

Linux Linux

host : t5 host : t6

VSR VSR

Adresní plán Síť

IP adresa /24

Port v Linuxu

192.168.100.1

t1

D2 D3 D4 VSR Linux Linux Windows

192.168.100.2 192.168.100.3 192.168.100.4 192.168.100.5 192.168.100.100

t2 t3 t4

MDC2 D3 VSR Linux Linux Windows MDC3 D4 VSR Linux Linux Windows

192.168.101.2

Zařízení

Management D1

MDC2_VSR

MDC3_VSR

Port v Simware slot 0: interface 1 slot 0: interface 1 interface 1 interface 1

Port v sim zarizeni M-E1/0/0 M-E1/0/0

GE 1/0 b0 eth0

192.168.100.101

t5 192.168.101.1 192.168.101.100

GE 2/0 b1 eth1

192.168.101.101 192.168.102.3 t6 192.168.102.1 b1 eth1.102

GE 2/0.102

Zjednodušení Přesto že by si architektura zasloužila plnou realizaci dle návrhu je velmi pravděpodobné, že by pro celou architekturu nebylo dost RAM v PC a proto u šedě označených položek promyslete jak byste je realizovali, ale nerealizujte je!

Doplnění pro zvídavé Byly odstraněny redundandní MPU a druhá řada LPU. Primárně je to proto abychom se vešli RAM. MPU s MDC potřebuje cca 900MB RAM, LPU v chassis cca 650MB a samostatný switch 500MB. VSR samotné potřebuje cca 1GB RAM.


Přehled co a kde se uvnitř počítače v rámci labu odehrává

Windows VM Linux

MGMT LAN

VM

První chassis – D1 Podle zadání připravíme doplnění konfiguračního souboru a patřičně jej doplníme: #device 1 device_id = 1 #device type is chassis device_model = SIM3200 #board = slot X : type T: aux_port A : memory_size M board = slot 0 : SIM3201 : aux_port 3010 : memory_size 900 #board = slot 1 : SIM3201 : aux_port 3011 : memory_size 900 board = slot 3 : SIM3211 : memory_size 640 #board = slot 4 : SIM3211 : memory_size 640 #connect host tap interface for mgmt device 1 : slot 0 : interface 1 <---> host : t1 Provedeme vygenerování simulace, spuštění zařízení jedna a připojení sítí. V shellu provedeme: ./cfgtool irf_mdc.cfg cd run_env/irf_mdc.cfg rcfg 1 vtapup


Pokud šlo všechno dobře...

Základní konfigurace (v konzoli – okno device1_slot0): sys sysname D1 interface M-E 0/0/0 ip address 192.168.100.1 24 proveďte test připojení: ping 192.168.100.100 nezapomeňte průběžně ukládat: sa f Někdy se hodí vzdálený přístup (jde nám o surovou funkcionalitu, pro reálné nasazení musí zabezpečení vypadat jinak!!!): sys telnet server enable line vty 0 63 authentication-mode none user-role network-ad user-role network-operator #


IRF příprava A když už tam jsme, tak nakonfiguruje připravu na IRF: sys irf member 1 irf priority 1 #fyzicke rozhrani pro IRF ge 3/0/48 interface g 3/0/48 Shut irf-port 1 port group mdc 1 interface GigabitEthernet3/0/48 mode enhanced interface g 3/0/48 undo shut sa f chassis convert mode irf Následuje reboot... Pak doplníme system-view #Undo irf auto-merge enable Irf-port-configuration active Sa f Vypneme simulaci pomoci ksim


Druhé chassis – D2 Podle zadání připravíme doplnění konfiguračního souboru a patřičně jej doplníme: device_id = 2 device_model = SIM3200 board = slot 0 : SIM3201 : aux_port 3020 : memory_size 900 board = slot 3 : SIM3211 : memory_size 640 # # IRF device 1 : slot 3 : interface 48 <---> device 2 : slot 3 : interface 48 # IRF for MDCs / datapart # MDC 2 device 1 : slot 3 : interface 12 <---> device 2 : slot 3 : interface 12 #device 1 : slot 4 : interface 12 <---> device 2 : slot 4 : interface 12 # MDC 3 device 1 : slot 3 : interface 24 <---> device 2 : slot 3 : interface 24 #connect host tap interface for mgmt device 2 : slot 0 : interface 1 <---> host : t2 Provedeme vygenerování simulace, spuštění zařízení jedna a dvě a připojení sítí. V shellu provedeme: ./cfgtool irf_mdc.cfg cd run_env/irf_mdc.cfg rcfg 1 2 vtapup


IRF dokončení Což by nám mělo spustit obě chassis, které si ještě nebudou spolu „povídat“, protože v chassis není nakonfigurováno IRF a také porty pro IRF jsou shozeny. Provedeme minimální konfiguraci potřebnou pro IRF: sys irf member 2 irf priority irf-port 2 port group interface GigabitEthernet3/0/48 mode enhanced interface g 3/0/48 undo shut chassis convert mode irf Následuje reboot... Po kterem by už mělo existovat pouze jedno chassis spojene IRF


MDC Tvorba MDC2 system-view Mdc 2 id 2 # priradime do MDC2 prvnich 12 portu z karty 3 v chassis 1 allocate interface GigabitEthernet 1/3/0/1 to GigabitEthernet 1/3/0/12 # priradime do MDC2 prvnich 12 portu z karty 3 v chassis 2 allocate interface GigabitEthernet 2/3/0/1 to GigabitEthernet 2/3/0/12 #jeste lokace MDC2 – tj. Kde opravdu poběží location chassis 1 slot 3 location chassis 2 slot 3

IRF pro MDC2 irf-port 1/1 port group mdc 2 interface GigabitEthernet1/3/0/12 mode enhanced irf-port 2/2 port group mdc 2 interface GigabitEthernet 2/3/0/12 mode enhanced

Tvorba MDC3 system-view Mdc 3 id 3 # priradime do MDC3 porty 13-24 z karty 3 v allocate interface GigabitEthernet 1/3/0/13 # priradime do MDC3 porty 13-24 z karty 3 v allocate interface GigabitEthernet 2/3/0/13 #jeste lokace MDC3 – tj. Kde opravdu poběží location chassis 1 slot 3 location chassis 2 slot 3

chassis 1 to GigabitEthernet 1/3/0/24 chassis 2 to GigabitEthernet 2/3/0/24

IRF pro MDC3 irf-port 1/1 port group mdc 3 interface GigabitEthernet1/3/0/24 mode enhanced irf-port 2/2 port group mdc 3 interface GigabitEthernet 2/3/0/24 mode enhanced


Ověření, že je nakonfigurováno správně

Spuštění MDC Teď je čas uvést MDC v život. system-view Mdc 2 Mdc start Mdc 3 Mdc start



Příprava na připojení access switchů do jednotlivých MDC MDC2

Stav po přepnutí dovnitř do MDC přikazem Switchto mdc 2


Konektivitu uděláme jako L2 etherchannel a IP adresu dáme na vlan interface, nastavíme default routu na VSR: system-view Sysname MDC2 Vlan 200 int Bridge-Aggregation 1 int g 1/3/0/1 port link-aggregation group 1 undo shut int g 2/3/0/1 port link-aggregation group 1 undo shut int Bridge-Aggregation 1 port access vlan 200 link-aggregation mode dynamic undo shut int vlan 200 ip address 192.168.101.2 24 undo shut ip route-static 0.0.0.0 0 192.168.101.1


MDC 3 Nakonfigurujeme jako L3 etherchannel a ten oadresujume, nastavíme default routu na VSR Switchto mdc 3 system-view Sysname MDC3 int Route-Aggregation 1 int GigabitEthernet 1/3/0/13 port link-mode route port link-aggregation group 1 undo shut int GigabitEthernet 2/3/0/13 port link-mode route port link-aggregation group 1 undo shut interface Route-Aggregation1 link-aggregation mode dynamic ip address 192.168.102.3 24 undo shut ip route-static 0.0.0.0 0 192.168.102.1


Access switche – dokončení – D4 Zbývá do topologie doplnit druhý access switch (D4) a propojení na core (D1/D2) resp MDC2 a MDC3. Do konfiguračního souboru doplníme do patřičné sekce D4: device_id = 4 device_model = SIM2200 board = SIM2201 : aux_port 3040 : memory_size 480 # # doplníme pripojeni accessu do core device 1 : slot 3 : interface 1 <---> device 3 : interface 2 device 1 : slot 3 : interface 13 <---> device 4 : interface 4 device 2 : slot 3 : interface 1 <---> device 3 : interface 3 device 2 : slot 3 : interface 13 <---> device 4 : interface 5 #device 1 : slot 4 : interface 1 <---> device 3 : interface 4 #device 1 : slot 4 : interface 13 <---> device 4 : interface 2 #device 2 : slot 4 : interface 1 <---> device 3 : interface 5 #device 2 : slot 4 : interface 13 <---> device 4 : interface 3 # # management rozhrani device 4 : interface 1 <---> host : t4 # # jeste rozhrani do bridge b1 pro spojeni s VSR device 3 : interface 9 <---> host : t5 device 4 : interface 9 <---> host : t6 Provedeme vygenerování simulace, spuštění všech zařízení a připojíme sítě. V shellu provedeme: ./cfgtool irf_mdc.cfg cd run_env/irf_mdc.cfg rcfg 1 2 rcfg 3 4 vtapup


Konfigurace access switchů Dokonfigurujeme D3 - etherchannel sys interface Bridge-Aggregation1 link-aggregation mode dynamic interface range name agg interface GigabitEthernet1/0/2 to GigabitEthernet1/0/5 port link-aggregation group 1 undo shutdown

A povolíme port pro VSR: int gigabitethernet 1/0/9 undo shut V tomto okamžiku je možno na int vlan 1 dát ip adresu z rozsahu 192.168.101.0 /24 a měla by fungovat komunikace do MDC2. Tedy int vlan 1 ip address 192.168.101.5 24 undo shut


a ping na 192.168.101.1 by měl odpovídat

Zprovoznění D4 -

Dáme management IP adresu Uděláme etherchannel Zprovozníme VSR port, kde z trunku přijmeme vlanu 102 ve které je provoz a ten předáme dál na etherchannel

system-view Sysname D4 int m-e 1/0/1 ip address 192.168.100.4 24 interface GigabitEthernet1/0/9 port link-mode bridge port link-type trunk undo port trunk permit vlan 1 port trunk permit vlan 102 interface Bridge-Aggregation1 interface range name agg interface GigabitEthernet1/0/2 to GigabitEthernet1/0/5 port link-aggregation group 1 undo shut vlan 102 interface Bridge-Aggregation1 port access vlan 102 link-aggregation mode dynamic undo shutdown


Routing mezi MDC - VSR Už zbýva jen komplet spustit VSR. Nakonfigurovat management přístup, další základní věci a routing mezi rozhraními routeru. Pro účely managementu by měl být první interface připojen k management síti. Druhý interface v netagovaném provozu přenáší přes D3, komunikaci do MDC2. Na tomtéž interface je ve vlaně 102 posílán provoz do MDC3.

Boot proces VSR

Napřed management lan system-view interface g 1/0 ip address 192.168.100.5 24 pingem ověříme konektivitu po management lan…


nakonfigurujeme komunikaci do MDC2 interface g 2/0 ip address 192.168.101.1 24 a pingem na 192.168.101.2 ověříme

Ještě komunikaci do MDC3 ve vlaně 102. Zrealizujeme jako subinterface .102 interface GigabitEthernet2/0.102 ip address 192.168.102.1 255.255.255.0 vlan-type dot1q vid 102 A pingem do MDC3 (192.168.102.3) si potvrdíme fukčnost setupu

Hlavně aby to routovalo!!! 37 | H P S í ť o v é s i m u l a c e

Finální test


Další témata Pokud jste nevyčerpali veškerý čas, je možno se zamyslet jak doplnit topologii Simware o redundadní MPU a druhé karty (do slotu 4, např.) Také zvažte realizaci nějakého zabezpečení (na VTY, jména, hesla) Další zajímavou oblastí je vyzkoušet, jak se topologie bude chovat, když dojde k výpadku LPU, MPU, celého chassis (simulujte zavřením relevantniho okna). Vyzkoušejte si „sniffování“ provozu v simulované infrastruktuře.

„Sniffování“ provozu Tap rozhraní se chovaní jako standardní fyzická rozhraní a rámci labu je možno na různých urovních pomocí utility wireshark „sbírat“ provoz. Uvnitř Linuxu na rozhraních tap (t1-t6) představujících rozhraní do simulovaných systému, na rozhraních b0,b1 představujících broadcast domény/lan segmenty nebo na rozhraních ethX představujích rozhraní Linuxu samotného. Mimo to na urovní Windows je možno odposlouchávat na samotných Vmware rozhraních představujících rozhraní mezi Windows a Linuxem (resp segmenty b0, b1).


Příklad odposlechu komunikace uvnitř Linuxu na rozhraní t3. Jedná se o telnet přístup z VSR do managementu D3.


Závěr Gratuluji, že se vám podařilo dostat až na konec labu! Doufám, že vás bude inspirovat k dalšímu zkoumání a seznamování se fascinujícím světem virtualize, simulace síťových prostředí a vůbec k prohloubení zájmu o HP networking. Tento lab ilustroval základní možnosti nástrojů a produktů a proto je zde obrovský prostor pro další zkoumání... Například:      

Spanning tree Dynamický routing IPSEC MPLS / VPLS (konfigurace pro simware viz přiloha) TRILL (možno užít stejný konfig jako VPLS) EVI či nějaká jiná forma tunelování síťového provozu.

Při zkoumání nezapomínejte i na český http://www.netsvet.cz, kde najdete články, videa, ukázky či dokumenty apod. NetSvět můžete následovat i na Twitteru na @NetSvetCZ.

Zkuste odkrýt obrovský potenciál, který vám Simware s VSR nabízejí. Komplexní síťové topologie, které si mohu nosit s sebou! Vlastní lab pro další vzdělávání v oblasti networkingu i HP specifických síťových technologiích. Možnost zkusit technologie, které byly možné pouze na nedostupném drahém hw. Vyzkoušet každou myšlenku hned! Studujte dál s VSR (nelicencovaná verze je plně vybavena, jen limituje propustnost) neboť ten je jedním ze základních kamenů NFV. Povyšte svujl lab tím, že si instalujete iMC do VM a začnete jím řídit své simulované sítě.

Martin Žampach Email: [email protected]


Přílohy IRF – Intelligent Resilient Framework Technologie která několik zařízení „spojí“ dohromady, tak že se ve všech ohledech chovají jako jedno (virtuální) chassis zařízení – kde každé zařízení je presentováno jako karta (nemodulární switch) nebo jako sada subkaret (v připadě „spojení“ více chassis zařízení). Takto jsou virtualizovány všechny služby, které fyzické zařízení umožňovalo (L2 switching, L3 routing včetně MPLS/VPLS atd). Okolní sít vnímá veškerou komunikaci jako komunikaci s jedním zařízením. Topologicky mohou být zařízení propojena do řetězu nebo do kruhu. Pro fyzické propojení se v reálnem hw užívají 10GE rozhraní, v prostředí Simware je tato funkcionalita možná i na 1GE. Doporučuje se propojení více linkami. Přes tyto linky se přenáší heartbeat a synchronizace, (užívatelský provoz normálně tudy neteče) což neni na provoz náročné, více linek je kvůli redundanci.

Typické užití Zařízení je připojeno virtuálnímu zařízení ethechannelem (duálně - fyzicky do různých fyzických zařízení). To umožňuje napřiklad realizovat ISSU (In Service Software Upgrade) jednoduchým zpusobem – postupně se upgradují jednotlivá fyzická zařízení, ostatní stále forwardují provoz (tj. nedochází k vypadku služby, maximálně ke snížení propustnosti).

MDC Multitenant Device Context je způsob jak fyzický hw „rozřezat“ na více logických entit, které se chovají jako samostatná zařízení. Jednotlivým MDC jsou dedikováný HW zdroje chassis/sloty, karty (a CPU, pamět, CF). Je možno dedikovat jednotlivá síťová rozhraní respektive skupiny rozhraní, které jsou ovládány jedním hw zdrojem (ASIC v rámci karty – typicky 8 nebo 16 portů) – v Simware jsou skupiny po 12ti ge rozhraních (tj 1-12, 13-24 ...). Zařízení běží defaultně v MDC 1 – Admin.

Spolupráce IRF a MDC Z IRF z pohledu funkce je možno rozdělit na control-plane (synchronizace atd) a data-plane (uzivatelský provoz uvnitř MDC). Control-plane všech MDC běhá po klasickém IRF propoji v rámci MDC1. Dataplane musí být realizován separátním propojem na portu uvnitř relevatního MDC.


Instalace / Tvorba vlastního VM Instalace Ubuntu


Instalace Nested Virtualizace 64bit host i guest

Provedeni instalace Instalace podpory vlan sudo Apt-get install vlan

Instalace „Comware 7 Simulator Ubuntu 64 Bit.deb“ sudo dpkg –i Comware 7 Simulator Ubuntu 64 Bit.deb

Doplnění SSH přístupu sudo apt-get openssh-server

Wireshark pro sniffování provozu sudo apt-get install wireshark


Vypnuti IPv4 a IPv6 nutno provézt na connection 1 a 2 (odpovidaji eth0 a eth1)!


Skripty (uloženy v /usr/local/bin, spouštěny pod rootem)

ksim Zruší všechny běžící simulace

rcfg Spouští všechny simulované stroje (a jejich karty v případě chassis) ve vyžadovaném pořadí. Je možno dát jako parametry čísla zařízení která se maji spustit (tj. rcfg 1 3).

vtapup Spustí všechna TAP rozhraní ze simulovaných zařízení a přiřadí je do patřičných bridgů (t1-4 do b0 a t5,t6 do b1)

vnetset Nastaví virtuální networking unitř linuxu – vytvoří bridge b0, b1. Spustí podporu vlan, zařadí fyzická rozhraní do bridgu (eth0 do b0, eth1 do b1). Spustí bridge a přiřadí jim IP adresy. 46 | H P S í ť o v é s i m u l a c e

Hotové skripty .bash_aliases alias cdd='cd /usr/local/Simware'

ksim killall -9 qemu-system-i386 killall -9 qemu-system-x86_64

rcfg d=`find ./ -mindepth 1 -maxdepth 1 -type d -printf %f\\\n` z='' if [[ ${#@}>0 ]]; then z=$@; else for n in $d; do reg='^device([0-9])+$' if [[ $n =~ $reg ]] ; then z+=${BASH_REMATCH[1]}' ' fi done; fi for m in $z; do n='ls device'$m'*.sh' f=`$n` int=1 for i in $f; do if((int==1)); then ./$i int=0; else sleep 2s ./$i; fi done sleep 1s done

vtapup ifconfig t1 ifconfig t2 ifconfig t3 ifconfig t4 ifconfig t5 ifconfig t6 brctl addif brctl addif brctl addif brctl addif brctl addif brctl addif

up up up up up up b0 b0 b0 b0 b1 b1

t1 t2 t3 t4 t5 t6 47 | H P S í ť o v é s i m u l a c e

vnetset vconfig add eth0 0 vconfig add eth1 0 ifconfig eth0 down ifconfig eth1 down iptables -F brctl addbr b0 brctl addbr b1 brctl addif b0 eth0 brctl addif b1 eth1 sysctl sysctl sysctl sysctl sysctl sysctl

net.bridge.bridge-nf-call-ip6tables=0 net.bridge.bridge-nf-call-iptables=0 net.bridge.bridge-nf-call-arptables=0 net.bridge.bridge-nf-filter-pppoe-tagged=0 net.bridge.bridge-nf-filter-vlan-tagged=0 -p

ifconfig eth0 up ifconfig eth1 up ifconfig b0 192.168.100.100 netmask 255.255.255.0 ifconfig b1 192.168.101.100 netmask 255.255.255.0 ifconfig b0 up ifconfig b1 up #dhclient b0 #dhclient b1


MPLS/VPLS topologie D4 t1

t6 D1

D2

D5

D6

D3 vpls.cfg device_id = 1 device_model = SIM2200 board = SIM2201 : aux_port 3010 : memory_size 480 device_id = 2 device_model = SIM2200 board = SIM2201 : aux_port 3020 : memory_size 480 device_id = 3 device_model = SIM2200 board = SIM2201 : aux_port 3030 : memory_size 480 device_id = 4 device_model = SIM2200 board = SIM2201 : aux_port 3040 : memory_size 480 device_id = 5 device_model = SIM2200 board = SIM2201 : aux_port 3050 : memory_size 480 device_id = 6 device_model = SIM2200 board = SIM2201 : aux_port 3060 : memory_size 480 # doplníme device 1 : device 2 : device 2 : device 3 : device 3 : device 4 : device 5 :

pripojeni interface interface interface interface interface interface interface

zarizeni 2 <---> device 2 <---> device 3 <---> device 3 <---> device 4 <---> device 3 <---> device 9 <---> device

2 3 4 5 4 5 6

: : : : : : :

interface interface interface interface interface interface interface

9 2 2 2 4 3 2

#connect host tap interface # b0 - tapy 1 - 4 jsou pouzity pro jeden vstup do vpls site # b1 - tapy 5,6 jsou pouzity pro druhy vstup do site. 49 | H P S í ť o v é s i m u l a c e

# VPLS sit prenasi provoz mezi t1 a t6 device 1 : interface 9 <---> host : t1 device 6 : interface 9 <---> host : t6 #mgmt rozhrani nejsou pripojena!


Simulace HPN sítí Simware V7 a VSR

Recommend Documents