Intelligens rendszerfelügyelet (VIMIA370)
Privát felhő megoldások és tapasztalatok Tóth Áron toth.aron AT inf.mit.bme.hu
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
Ami eddig volt… Számítási felhők alapfogalmai
Számítási felhők lehetséges kialakításai Milyen előnyökkel/hátrányokkal jár a használata Felhők teljesítménymérése
2
Privát cloud megoldások
3
Apache VCL
Történeti áttekintés
NCSU: North Carolina State University 2004 tavasz: fejlesztés elkezdése 2004 ősz: bevezetés 2008 október: Apache közzététel 2011 december: 1 milliomodik foglalás 2012 június: Apache TLP
2012 augusztus: teszt rendszer a tanszéken 2013 február: „Éles” rendszer indulása 5
Problémák/kihívások Oktatók: o Új szoftver bevezetés nehézkes o Új szoftver verzió váltsunk/ne váltsunk
IT: o Alkalmazás inkompatibilitás o Telepítési variációk heterogén labor gépekre
Hallgatók: o 24 órás hozzáférés o Elérhetőség/távolság
Kutatás: o Kutatás-fejlesztés elősegítése o Jogosultságproblémák 6
Képességek
Virtuális gép kiajánlás Bare-metal gép kiajánlás Linux / Windows Op. Rendszer támogatás Hypervisor: o VMware ESXi o Linux KVM
Foglalások o Hozzáférés meghatározott erőforráshoz
Részletes jogosultságkezelés 7
Architektúra
8
Felhasználói és erőforrás adatok Architektúra Működés közbeni adatok tárolása
Felhasználói portál biztosítása (SSP) Adminisztrációs felület
Foglalások és erőforrások kezelése Folyamatok vezérlése
Alapvető számítási erőforrások biztosítása CPU idő, memória, adattárolás, kommunikáció 9
Környezet előkészítése
Ellenőrzés
„Connect”
„Kattint”
Foglalás menete
Új foglalás
10
Foglalás lejárása Foglalás kérés
Erőforrás-takarékosság!
„Connect” gomb aktív
A felhasználó nem kattint a „connect” gombra
15 perc eltelik
A foglalás lejár
Gép megtisztítása
Kattintás a „Connect” gombra
A felhasználó nem jelentkezik be
15 perc eltelik
A foglalás lejár
Gép megtisztítása
Bejelentkezés
A felhasználó kijelentkezik
A foglalás lejár
Gép újratöltése
15 perc eltelik
11
Egy gép, meghatározott időre
Foglalás típusok
Több gép, meghatározott időre
Fürt
Klasszikus
Foglalás Több azonos gép, meghatározott időre, ismétlődéssel
Nincs időlimit, csoport hozzáférés
Blokk
Szerver
12
Környezetek Alap (Base image)
Mester (Master image)
Mester (Master image)
Revízió (Master image)
Pl.:
Szülő (Parent image)
Gyermek (Sub image)
Gyermek (Sub image)
Windows 7 vSphere klienssel
ESXi 5.5
13
NFS Szerver
Erőforrások, Csoportok Erőforrások:
Image
Csoportok:
14
Schedule
Felhasználó- és jogosultságkezelés Felhasználók hitelesítése o Lokális (saját adatbázis) o LDAP címtár o Shibboleth (pl. BME Címtár) o Származás (Affilation)
Jogosultság Fa (Privilege Tree) o Hierarchikus felépítés, részletes jogosultságkezelés o Felhasználók jogosultságkezelése
Csoportokon keresztül szabályozott o Párhuzamos foglalások száma o Foglalás időtartam 15
Felhasználói- és erőforrás-jogosultságok Erőforrásjogosultságok
Felhasználók
Jogosultság Fa
Erőforrások
Felhasználói jogosultságok 16
Openstack
Openstack 2010 Július: Rackspace és NASA EC2 kompatibilis API Gyorsan fejlődik, 6 hónapos fejlesztési ciklus
Széleskörű technológiai támogatás Testre szabható kialakítás Nagy technológiai cégek támogatják (>200) o AMD, Cisco, Dell, EMC, Intel, HP, IBM, RedHat, VMware, Oracle…
Megvalósítás: Python (!) 18
Database
Messaging
Compute (Nova)
Hypervisor
Operating systems
Physical Hardware
19
Identity (Keystone)
Image cache (Glance)
Object store (Swift)
Network (Neutron)
Block Storage (Cinder)
Openstack komponensei Dashboard (Horizon) Cloud API
Database
Messaging
Compute Amazon (Nova) EC2
Hypervisor Xen
Operating systems
Physical Hardware
20
Identity (Keystone)
cache Image Amazon (Glance) AMI
Object Amazon store (Swift) S3
Network Amazon (Neutron) VPC
Block Amazon Storage (Cinder) EBS
Openstack komponensei Dashboard AWS Console (Horizon) Cloud EC2 API API
Openstack dashboard Általános áttekintés Virt. gépek kezelése Perzisztens lemezek kezelése Képfájlok és pillanatképek Kulcsok, Security Group-ok, API Endpoints Hálózat kezelése
Swift konténerek 21
Openstack dashboard Erőforrások áttekintése Kvóták kezelése Rendszer beállítások Rendszer állapot
Felhasználó- és jogosultságkezelés
22
Openstack vs. VCL Openstack
VCL
Open Source
Igen
Igen
Federált hitelesítés
Igen
Igen
Object Store
Igen
Nem
Block Store
Igen
Nem
Custom Network
Igen
Nem
Multi hypervisor
Igen
Igen*
Modularitás
Igen
Igen
Számlázás
Igen
Nem* 23
Miért VCL? Oktatási igényekhez jobban igazodik Foglalási idő Gyors betöltés o Foglalások 95% <2 perc rendelkezésre áll
Teljesen felkonfigurált környezetek Erőforrás-takarékosság
Egyszerű környezetkészítés (kiadható oktatóknak) 24
Technikai kialakítás
Tervezési kérdések Fizikai gépek felhasználása Hálózati elrendezés OS verzió Felhasználók hitelesítése
Hypervisor kiválasztása Komponensek elhelyezése 26
Hálózat kialakítása Két független hálózat o Privát: Menedzsment forgalom o Publikus: Felhasználói forgalom
Privát hálózaton: o DHCP-vel osztott, MAC-címhez rendelt fix IP-cím
Publikus hálózaton: o DHCP-vel osztott o DHCP-vel osztott, MAC-címhez rendelt fix IP-cím o Statikus IP-cím
27
Részletes architektúra
28
Részletes architektúra Kiszolgáló infrastruktúra
Számítási erőforrás
29
Kiszolgáló infrastruktúra
30
Other Modules
VCL Daemon
Perl
User interface, scheduler
xCAT
OS Modules
MySQL Client
Provisioning Modules
DHCP Server
Szoftveres megvalósítás PHP Modules
RPC-XML API
Js, AJAX, Dojo Toolkit
PHP Apache HTTP Server
Linux OS
Linux OS
Image Library
MySQL DB
31
Statisztikák és tapasztalatok
Tapasztalatok Tantárgyak o Informatikai technológiák laboratórium 1. o Intelligens rendszerfelügyelet o Informatikai technológiák laboratórium 2. o Rendszermodellezés
1 év alatt: o 4800 db foglalás o 6300 db virtuális gép foglalás o 13000 óra használat o 18000 óra virtuális gép használat 33
Hardver 10 db IBM System x3550 o 2 processzor, 8 mag o 32 GB memória o 2 db 136 GB SAS háttértár o 2 Gigabit Ethernet
Storage server o 6 db 500 GB SATA RAID-10
Cisco SG 500 Gigabit Switch
34
Foglalások hossza tavaszi félévben 450
400
350
300
250 ITLab1-MIT1 200
IRF-Win8 IRF-WS2012
150
100
50
0
35
Foglalások száma a tavaszi félévben 160
140
120
100
80
ITLab1-MIT1 IRF-Win8 IRF-WS2012
60
40
20
0
36
Foglalások hossza őszi félévben 500
450
400
350
300
250
ITLab2-MIT2 ITLab2-MIT1
200
REMO-2013
150
100
50
0
37
Virt. gép foglalás hossza az őszi félévben 1200
1000
800
600
ITLab2-MIT2 ITLab2-MIT1 REMO-2013
400
200
0
38
Foglalások száma az őszi félévben 180
160
140
120
100 ITLab2-MIT2 80
ITLab2-MIT1 REMO-2013
60
40
20
0
39
Virt. gép foglalások száma az őszi félévben 350
300
250
200 ITLab2-MIT2 ITLab2-MIT1
150
REMO-2013
100
50
0
40
Összes használat környezetenként 6000
5000
4000
Total Hour
3000
Total VM Hour
2000
1000
0 2 Node Hadoop
ITLab-1 MIT1
IRF-Windows 8
IRF-WS 2012
ITLab-2 MIT2
41
ITLab-2 MIT1
REMO 2013
IQD-Image
Összes foglalás környezetenként 2500
2000
1500
Count VM Count 1000
500
0 2 Node Hadoop
ITLab-1 MIT1
IRF-Windows 8
IRF-WS 2012
ITLab-2 MIT2
42
ITLab-2 MIT1
REMO 2013
IQD-Image
Összefoglaló Milyen motivációja van a használatának
Hogyan viszonyul egy privát felhő megoldáshoz Hogyan épül fel egy komplex infrastruktúra Milyen tervező döntések szükségesek Milyen komponensek szükségesek 43
