23/06/2011
OCMW Brugge - Dienst Informatica - presentatie
Steve Vandenbroecke: ICT Coördinator OCMW Brugge Steven Cozyns: Technische Commercieel Coördinator CEVI NV
SESSIE 1: BLADE INSTALLATIE OCMW BRUGGE
1
23/06/2011
Tijdslijn
Grote organisatie, vanaf 2002 explosie van data en werkstations Veel servers, grotendeels vernieuwd in 2004 Na verhuis naar nieuwe hoofdzetel in 2005: stabiele omgeving maar steeds meer groei en nood aan servers 2009: plan om groot aantal servers te vervangen
Serverroom 2008
2
23/06/2011
Vereisten nieuwe oplossing
bijkomende servers, vervangen servers zonder dat er extra plaats wordt ingenomen meer storage capaciteit behoud van oude serverlokaal impact naar gebruiker: minimaal
Voorstudie
Begin 2009: eerste studie beschikbare ruimte en opnieuw rangschikken bestaande servers, Resulataat van studie:
3
23/06/2011
Resultaat Voorstudie
Resultaat Voorstudie
nood aan bijkomende serverracks maar geen plaats Stroom zeer groot Koeling problematisch
Informeren bij onze ICT-leveranciers
4
23/06/2011
Hoe vereisten invullen
Input:
Plaats beperkt Veel servers Nood aan extra flexibele storage Uitbreiding naar de toekomst noodzakelijk
Oplossing:
…
Voordelen Virtualiseren
Consolidatie
Reduceren aantal servers
Beheerbaarheid
stroomverbruik,
koeling, plaats
5
23/06/2011
Voordelen Virtualiseren
Vmotion
Manueel (onderhoud op server) Geautomatiseerd (Enterprise) SAN vereist !!
High availabiltiy
Opnieuw opstarten falende server
VMWare P2V assistant
Voordelen Virtualiseren
Flexibel
Extra server(s) opzetten zeer snel LET OP Windows Server licenties
Enterprise
4 virtuele servers Datacenter onbeperkt aantal servers (per CPU)
Ook van toepassing in kleine omgevingen
6
23/06/2011
vmware
vmware
Marktleider, stabiel Kleine footprint (SD memory)
Virtualcenter
Management console Uitrol virtuele servers
Citrix XenApp servers Virtualiseren?
Meer dan 300 concurrent users 5 Citrix XenApp servers op punt gezet in 2009 Waarom wel
Vlotte uitrol dmv Vcenter Servers gevirtualiseerd op de SAN Maken ook gebruik van de Vmware features
minimaal performantie verlies
Waarom niet
7
23/06/2011
SAN
Virtualisatie = SAN Voldoende storage voor alle data en virtuele servers Uitbreidbaar mogelijkheden Redundante verbindingen tussen servers en SAN
Voordelen Blade technologie
Gemeenschappelijk voeding en ventilatie Inbouw van FC switches Bijkomende plaats besparing en energie
8
23/06/2011
Lastenboek
Veel interesse doch groot deel haakt af omwille van de specificaties van het bestek en de resultaatsverbintenis Resterend: 2 partijen, Cevi en bedrijf X. Cevi krijgt het bestek toegewezen omwille van de aanpak en de kwaliteit van de aangeboden materialen. Belangrijkste punt: Cevi coördineert het project en treedt op als single point of contact, voert dit uit samen met product specialisten van Fujitsu. BX600 reeks met storage en installatie, afwerking en opleiding ter plaatse.
Eindresultaat Fase1eind 2009
Stroomvoorziening: 20A en 2x 16A via eigen stroomcircuit 2x6 CAT6 aansluiting voor aanlevering data aan OCMW Netwerk via Core switches: redundantie verzekerd! Geen extra koeling nodig Plaats komt vrij naarmate servers gevirtualiseerd worden
Impact naar de gebruikers
Geen hinder tijdens virtualisaties daar deze ‘s nachts gebeuren Uitval tijdens overschakeling duurt maximum 30 minuten
9
23/06/2011
Eindresultaat Fase1eind 2009
Blade cabinet BX600 S3 7U 2 Blade servers (ESX servers) SAN DX80, Dual controller Vmware Advanced edition 4 x Windows Data Center Integratie met aanwezig backup infrastructuur
Eindresultaat Fase1eind 2009 Bestaande Terminals / PC’s Internal LAN
internal LAN
DMZ1
BX 600
FW-Ext
Bestaande-Farm
FC netwerk
Ctrl 1
Ctrl 1
Bestaande FibreCAT SX60 voor archivering
DX80
Backup naar disk iSCSI storage netwerk op de equallogic
SAS
Tape-Robot TX48-S2 24 (-48) slots 2 x LTO-3
Backup-Server
Ctrl 2
10
23/06/2011
Fase 2 Uitbreiding + Monitoring
Uitbreiding van het bestaande concept
Van 2 ESX naar 4 ESX server In
totaal 36 virtuele servers (waarvan 10 Citrix servers)
Uitbreiding naar 5 diskcabinets
Brugge OCMW wenste een proactieve aanpak van potentiële problemen
Monitoring
Gebaseerd op Microsoft System Center Operation Manager: veel plug-ins beschikbaar Wat monitoren: hardware, systeemsoftware, eventlogs,… Netwerkcomponenten
11
23/06/2011
Monitoring
Rapportering:
Vaak voorkomende eventlog boodschappen Server beschikbaarheid Server performance (CPU / MEM) Bandbreedte verbruik externe verbindingen
Op de hoogte gebracht via mail, blackberry, … Installatie, configuratie en opleiding door Cevi
Eindresultaat Fase 2: (2010)
12
23/06/2011
Voorstelling aangekocht materialen: • 2 x BX620 S5 blade servers voorzien van 2 x E5506 (2.13GHz/4M/4,8GT) -64 GB RAM • 2 x BX620 S6 blade servers voorzien van 2 x E5640 (4C/8M 2.66 GHz 12 MB) – 72GB RAM • uitbreidbaar tot voor 10 blade servers of storage blades • Aantal virtuele servers per blade server: afhankelijk van geheugen en processors: hier 10 virtuele windows servers per ESX server • Bladechassis heeft eigen voedingen en brocade switches, alles redundant uitgewerkt
Voorstelling aangekocht materialen: • DX80 schijvencabinet • 1 controller met dubbele Fibre Optic naar san switch achteraan op bladeframe • Slave cabinet: via Fibre Optic dubbel verbonden aan controller • Capaciteit per shelf: 12 disken van 450 Gb en hoger. Hier: 12x450 Gb per shelf (verhoogd performantie daar schijf kleiner is). • Per controller 8 shelves mogelijk.
13
23/06/2011
Fase 3: Aanpassen backup (2011)
Backuppen op HDD adhv NAS Eternus CS800 S2 16 TB bruto diskcapaciteit Compressie tot 1:8 => 50TB primaire data Uitbreiding van de tape lirbrary dmv FC tapdrive LTO Oude backup kan blijven gebruikt worden
14
23/06/2011
DMZ
Existing Terminals / PC’s Internal LAN
1 Backup-Server
Storage SAN
Ctrl 1
Ctrl 2
CS800 8 TB 8 TB
CS 800 DE-Dupe
2 FC
Bestaande Tape Robot TX48 met extra voeding En een FC drive
FibercatTX48
Niewe of upgrade de bestaande Backup server naar Backup Exec 2010 ( 2 x FC HBA extra is nodig)
48 slots 2 x LTO 4 (Redundant PS)
SAS
Internal LAN
Eternus DX80
Restore of old backups
Dual Controller 8 x 4Gbps conneciviteit 12 TB bruto capaciteit in SAS disks Tot max. 108 disks Backup-Server
• 2011: vervanging backup systeem • Apparatuur: Fujitsu CS800, backupserver, uitbreiding bestaande tape robot (48 sloten met 3 tape drives). Duur backup alle servers: van 18u ‘s avonds tot 6u ‘s morgens. • Leverancier: Cevi nv, Fujitsu voert installatie uit en Cevi is projectmanager
15
23/06/2011
Verder plannen Afvoeren oude hardware en servers virtualiseren Enkel bepaalde servers zullen nog eigen hardware hebben Toekomst: clusteren van bestaande blade en diskcabinet naar andere locatie met eigen glasvezel.
Ervaringen met het nieuwe concept • • • •
Uitschakelen blade chassis en servers: nooit Blades beheren zichzelf Gemakkelijk te beheren Virtualisatie servers is eenvoudig
16
23/06/2011
Ervaringen met het nieuwe concept
Disaster recovery: nacht van 29 december • • • • •
• •
Storage server gaat onderuit wegens fout in Windows: onherstelbaar via recovery console Reden: corrupte files in windows directory na restore Oplossing: volledig opnieuw installeren Gelukkig aanwezigheid goede backup van systemstate. Volledig nieuwe installatie, terugplaatsen systemstate, diverse aanpassingen. Start: 22u lokale tijd, afgerond: 5u ‘s morgens lokale tijd. De restore werd uitgevoerd vanuit het buitenland. Interventie Cevi 30 december: aanpassingen aan scsi drives, aanpassingen aan gekoppelde shares van DX80, nazicht installatie. Alles terug in orde om 11u. Hinder personeel: minimaal tot matig.
Rol Cevi en Fujitsu
Adviserende rol
Bij uitvoering
Mensen met ervaring Bekijken de oplossing in zijn geheel Cevi hoofdaannemer, coördineert de werken en staat in voor de installatie Fujitsu product-specialisten configureren de SAN Brugge OCMW staat in voor de uitrol (virtualiseren, overzetten data, ..)
Cevi treedt op als Single point of contact en speelt door naar Fujitsu indien nodig
17
23/06/2011
Voor de kleinere besturen: de BX400: a datacenter in a box.
Vragen
18
