Hogyan lesz adatbányából aranybánya? Szolgáltatások kapacitástervezése a Budapest Banknál Németh Balázs – Budapest Bank Fehér Péter - Corvinno Visontai Balázs - KFKI
Tartalom 1. Szolgáltatás életciklus 2. Előzmények 1. Kihívások 2. Fókuszterület
3. A projekt bemutatása 4. Tapasztalatok
2
Szolgáltatás életciklus Service Design Service Strategy
Service Operation
Continual Service Improvement
Koncepció Megvalósíthatóság
Service Transition
Fejlesztés Követelmény
Tervezés
Kivezetés
Éles környezet
Kódolás
Tesztelés
Roll-out
Igénykezelés
Éles üzem
Változások
Életciklus vége
Igénykezelés
Modellezés Kapacitásterv Iteratív Szolgáltatás méretezés
Sz. méretezés
Teljesítmény monitoring
Szolgáltatás életciklus 3
ELŐZMÉNYEK 4
Kihívások kapacitásmenedzsment területen • Komplex és heterogén architektúra • Osztott erőforrások • Feldolgozott és riportált adatmennyiség • Infrastruktúra performancia • Szolgáltatás performancia
• Feldolgozott és riportált adatkörök egymásra hatása nem ismert
5
Kapacitásmenedzsment funkciók kapacitás tervezés
SLM
Kapacitás adatbázis
szolgáltatás méretezés
IM
összefüggés elemzés
PM
trendelemzés, előrejelzés performancia riport
CHG FIN
mérés
Üzleti szolgáltatás
IT szolgáltatás
infrastruktúra
6
Összefüggés elemzés
Üzleti szolgáltatás
IT szolgáltatás
Infrastruktúra
7
Összefüggés elemzés – statisztikai alapokon • •
Trendelemzés, előrejelzés Összefüggés elemzés
• • • •
Erőforrás becslés Performancia képesség meghatározás SLA javaslatok Szűk keresztmetszetek megállapítása
Magas szintű összefüggés volumen és terhelés között
8
A PROJEKT 9
Aktuális kihívások • Számos mérés történik • Nagy mennyiségű adat keletkezik • Adatok felhasználása – Döntéshozatal – Beavatkozási lehetőségek – Fejlesztési tervek
• A szolgáltatások viselkedése terhelések változására nem ismert • Ráfordítások és szolgáltatási szintek között nincs kimutatható kapcsolat 10
Kutatás részei Adatkörök vizsgálata
• Jelenlegi környezet vizsgálata • Operációs rendszer, tranzakciók, alkalmazási adatok
Mutatószámok vizsgálata
• Mutatószámok összegyűjtése és vizsgálata • További mutatószámok használatának vizsgálata
Támogató rendszerek vizsgálata
• Modellek alkalmazásához szükséges támogató eszközök
Összefüggések elemzése
• Modellezési megoldások vizsgálata • Modellezés végrehajtása
Forgatókönyv elemzési modellek
• Trendek, események hatásainak vizsgálata
11
Projekt felépítése
Budapest Bank
Corvinno
KFKI
12
Vizsgálati pilot terület • Szignifikáns üzleti hasznosság • Vizsgált terület komplexitása • Vizsgált területhez kapcsolódó infrastruktúra feltárása • Kialakított mérések – Széles körű lefedés – Nagy adatmennyiség
• SLA álljon rendelkezésre 13
Vizsgált adatkörök
Operációs rendszer szintű adatkörök Processzor leterheltség Memória leterheltség
Adatbázis szerver szintű adatkörök Diszk válaszidő Várakozási sorok Írás, olvasás idő
Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Felhasználók száma Tranzakció válaszidők
Hálózati szintű adatkörök Hálózati eszközökön átmenő forgalom Hálózati eszközök processzor terheltsége Hálózati eszközök memória terheltsége 14
Támogató architektúra Szolgáltatás csoport
Szolgáltatás csoport
Szolgáltatás csoport
15
Szolgáltatáscsoportok vizsgálata
Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Tranzakció válaszidők
Operációs rendszer szintű adatkörök Processzor leterheltség
16
Vizsgált módszerek, eljárások • Alapstatisztika – Korreláció – Regresszió
• Sokváltozós statisztika – Faktorelemzés – Klaszterelemzés
• Neurális hálók alkalmazása
17
Eszközök, adatok
Statisztikai összefüggések Modellalkotás, modellfuttatás, előrejelzés 2 hónapnyi adat 18
Az elemzés végrehajtása • • • • • • •
Pilot terület meghatározása Tranzakciók arányának vizsgálata Rendelkezésre álló mérések vizsgálata Adatok megfelelősége Elemzési lehetőségek vizsgálata Elemzések végrehajtása, modellépítés Eredmények tesztelése
19
ÁLTALÁNOS EREDMÉNYEK 20
Vizsgált tranzakciótípusok megoszlása
21
Szolgáltatásokhoz kapcsolódó elemezések elvárásai • Mért adatmennyiség • Adatok reprezentativitása • Terhelt infrastruktúraelemek, feldolgozási út
22
Tranzakciószám és front-end terhelés
23
Terhelés
Összefüggések statisztikai vizsgálata
Tranzakciószám
24
AZ ALAPSTATISZTIKÁK KORLÁTAI 25
Modell kialakítás
Input: Tranzakciószám Nap Infrastruktúra mérési adatok
Transzformáció
Output: Válaszidő
26
Szolgáltatáscsoportok vizsgálata Szolgáltatás csoport
27
27
Front-end Leterheltség
Tranzakciószám
Összefüggések
Válaszidő
28
Válaszidő
MODELLEZÉS EREDMÉNYEK 29
Neurális háló leképezés
Input: Tranzakciószám Nap Infrastruktúra elem terhelések
Transzformáció
Output: Válaszidő
30
Neurális háló
• Előnyös, ha – A problématerület gazdag történeti adatokban, – A megoldást meghatározó függvény ismeretlen vagy előállítása költséges – Az célváltozót egymásra ható paraméterek írják le – Az adathalmaz bizonyos számú hibát tartalmaz 31
Jó előrejelző képesség • 1 hónapnyi adat • Illeszkedés: r = 0,89
32
40
20
0
Tény
1 19 37 55 73 91 109 127 145 163 181 199 217 235 253 271 289 307 325
1 15 29 43 57 71 85 99 113 127 141 155 169 183 197 211 225 239 253 267 281 295 309 323 337
További tesztek 140
120
100
80
60
140
120
100
Előrejelzés 80
60 Előrejelzés
Tény
40
20
0
33
ÉRTÉKELÉS 34
Tapasztalatok • • • •
Tanító minta elemszáma Jól reprezentáló minták Feldolgozási kapacitás Modellek pontosítási igénye
35
Felhasználási lehetőségek • SLM folyamat támogatása – – – – –
• • • •
Kampányok várható performancia hatásainak előrejelzése Szűk keresztmetszetek meghatározása (időszakokra, vagy komponensre) Szolgáltatás performancia képességek meghatározása Kapacitás korlátok meghatározása What-if próbák
További adatkörök bevonása, modellépítés Alkalmazás méretezés Változások követése, visszamérés Kapacitástervezés
36
Üzenetek Válság ellenére sem kell lemondani a szolgáltatásfejlesztésről
Innovációval kiemelkedő eredmények érhetőek el
Nem előfeltétel a drága eszköz
van olcsó open-source alternatíva Pl. Rapidminer, Weka, stb.
Nagymennyiségű adat feldolgozása
Komplex elemzési lehetőségek
Újabb eszköz
Előrejelzések, trendelemzések biztosítása megalapozottabbá válik
A modell annyira pontos, mint az adat amivel használjuk
vegyük figyelembe az adattartalmat, és a lefedett adatköröket 37
Köszönjük a figyelmet! Várjuk a kérdéseket… 38
