Felhők teljesítményelemzése – felhő alapokon Kocsis Imre
[email protected] HTE Infokom 2014
Budapest University of Technology and Economics Department of Measurement and Information Systems
1
IT Szolgáltatásmenedzsment @FTSRG Vezető oktató: Prof. Pataricza András Felhő számítástechnika & virtualizáció o Virtualizációs technológiák és alkalmazásaik o Intelligens rendszerfelügyelet o Autonóm és hibatűrő informatikai rendszerek
Exploratory Data Analysis (EDA) & „Big Data” o Intelligens adatelemzés o „Big Data” elemzési módszerek
Apache Virtual Computing Lab o Alkalmazott oktatási felhő
Szolgáltatásbiztonság tervezése és elemzése o Szolgáltatásbiztonságra tervezés o Rendszermodellezés 2
Teljesítményérzékeny alkalmazások – felhőben?!?
3
Teljesítményérzékeny alkalmazások felhőben
„standard” infrastruktúra vs Puha valósidő, QoS/QoE 4
Teljesítményérzékeny alkalmazások felhőben
Virtual Desktop Infrastructure
Telekommunikáció 5
Teljesítményérzékeny alkalmazások felhőben Extrafunkcionális követelmények: Áteresztőképesség, időzítés, rendelkezésreállás „Kicsi problémák” komoly hatással Carrier clouds! Virtual Desktop Infrastructure
Telekommunikáció 6
Motiváció: telekonferencia a felhőben Test automation OS and hypervisor metrics HI
LO
Interference Hypervisor
7
Lab
Rövid tranziens hiba – lassú helyreállás Mintha kihúznánk a gépet… 30 sec kiesés 120 sec rossz QoS/QoE 8 sec platform túlterhelés
8
Háttérben: a „noisy neighbour” jelenség
Tenant
Neighbor
Hypervisor 9
IaaS teljesítmény jellemzése
10
Altalános IaaS: instabil/heterogén teljesítmény Ismeretlen ütemezés
„Noisy neighbours”
Ismeretlen/nem vezérelhető terítés
Cloud szolgáltatások? Hálózat? HW nem ismert 11
CPU teljesítmény szondázása egy ismert felhőn Teljesítmény tesztek/ Benchmarkok?
Túlkapacitás nem tudja kezelni
Túlkapacitás kezelheti Védelmek léteznek – de ismerni kell az „ellenfelet” (és hatását) 12
Teljesítményteszt/benchmark: elégtelen válasz Reprezentativitás? o Stabilitás? Homogenitás? o Ritka események
Megismételhetőség? o Szolgáltató/bérlő
Mikrobenchmarkok? o Alkalmazás-érzékenység? o Felhő funkciók (scale in és out)? 13
A „felhő méréstechnika” és alkalmazása (Platform) hibamodell
Alkalmazásérzékenységi modell
Teljesítmény/ kapacitásmodell
Strukturális védelem
Felderítő adatelemzés
Dinamikus védelem
Finom felbontású tárolás Teljes adaptív adatgyűjtés
Próbavásárlók és rutinszerű gyakorlatok
Full stack instrumentáció
14
BENCHMARK
MONITOROZÁS
Megerősítő adatelemzés
Felhő teljesítmény adatelemzése: „Big Data” és EDA
15
Példa: VDI „CPU Ready Time” karakterizálása „Ready”: VM futásra kész, de nem fut o VDI: „akadás”
Ritka események o Mintavételezés…?
Finom felbontás kell! Legalább több hónapnyi adat Nagyon „széles” adat Big Data eszközök
Eredmény: ~QoE kapacitás + terhelés 16
Egy/A Big Data probléma „At rest Big Data” o Nincs update o „Mindent” elemzünk
Elosztott tárolás „Computation to data”
„Not true, but a very, very good lie!” (T.Pratchett, Nightwatch) 17
MapReduce Reduce
[ , ]
[ , ]
[ , ]
[ , ]
[ , ]
[ ,[ , , ]]
[ ,[ , , ]]
[ ,[ , , ]]
[ ,[ , , ]]
[ ,[ , , ]]
[ , ] [ , ] [ , ]
[ , ] [ , ] [ , ]
SHUFFLE [ , ] [ , ] [ , ]
[ , ] [ , ] [ , ]
[ , ] [ , ] [ , ]
Map Distributed File System Algoritmika: változó 18
EDA: hipotézisek adatok vizuális „bejárásából” Cloud válaszidő ~ hálózati késleltetés
Kliensek helyei
Kliens ID ~ helye
19
Nagy adatra (még) nem skálázódik
Workflow? (Jelenleg) Interaktív EDA mintákon
statisztika mintán
Lassú EDA Big Data-n
Big Data statisztika
20
Klasszikus eszközök
Hadoop, Storm, Cassandra, …
A „felhő méréstechnika” & alkalmazása (Platform) hibamodell
Alkalmazásérzékenységi modell
Strukturális védelem
Megerősítő adatelemzés
Dinamikus védelem
Felderítő adatelemzés
Természetes platformja: a felhő
Finom felbontású tárolás Folyamatos adatgyűjtés
Próbavásárlók és rutinszerű gyakorlatok
Full stack instrumentáció
21
BENCHMARK
MONITOROZÁS
Teljesítmény/ kapacitásmodell
