Architektura systému Ultra Enterprise 450 ™
Technický popis
™
© 1997 Sun Microsystems, Inc. 901 San Antonio Road, Palo Alto, California 94303 USA VYSVĚTLENÍ K OMEZENÝM PRÁVŮM: Použití, duplikace a zveřejnění vládou podléhá omezením uvedeným v pododstavci (c) (1) (ii) odstavce Práva k technickým datům a počítačovému softwaru v dokumentu DFARS 252.227-7013 a FAR 52.227-19. OCHRANNÉ ZNÁMKY Sun, Sun Microsystems, logo Sun, Solaris, Ultra, Ultra Enterprise, Ultra Port Architecture, Multipack, Unipack, RSM Array, Solstice, Solstice DeskSuite a Java jsou ochranné známky nebo v USA a jiných zemích registrované ochranné známky společnosti Sun Microsystems, Inc. Všechny ochranné známky SPARC jsou používány podle licence společnosti SPARC International, Inc., a jsou jejími ochrannými známkami nebo v USA a jiných zemích registrovanými ochrannými známkami. Produkty nesoucí ochranné známky SPARC jsou postaveny na architektuře vyvinuté společností Sun Microsystems, Inc. TATO PUBLIKACE JE POSKYTNUTA „TAK, JAK JE“ BEZ JAKÉKOLI VÝSLOVNĚ UVEDENÉ NEBO MLČKY PŘEDPOKLÁDANÉ ZÁRUKY, VČETNĚ – ALE BEZ OMEZENÍ NA – MLČKY PŘEDPOKLÁDANÉ ZÁRUKY PRODEJNOSTI, VHODNOSTI PRO URČITÝ ÚČEL A NEPORUŠENÍ PRÁV. TATO PUBLIKACE MŮŽE OBSAHOVAT TECHNICKÉ NEPŘESNOSTI NEBO TYPOGRAFICKÉ CHYBY. INFORMACE V NÍ OBSAŽENÉ JSOU PERIODICKY UPRAVOVÁNY; TYTO ÚPRAVY BUDOU ZAČLENĚNY DO NOVÝCH VYDÁNÍ PUBLIKACE. SUN MICROSYSTEMS, INC., MŮŽE PRODUKT (PRODUKTY) NEBO PROGRAM (PROGRAMY) POPSANÝ (POPSANÉ) V TÉTO PUBLIKACE KDYKOLI VYLEPŠIT NEBO UPRAVIT.
Recyklujte prosím
Obsah 1. Úvod .......................................................................................................................................1 2. Přehled systému ...................................................................................................................3 Vysoce výkonná konstrukce procesoru, paměti a sběrnic ..............................................3 Spolehlivá vysokokapacitní disková paměť ....................................................................4 Vysoce propustné propojování do počítačových sítí a komunikace ............................5 Napájení a skříň ....................................................................................................................6 Spolehlivost, dostupnost a opravitelnost ..........................................................................6 3. Architektura systému Ultra Enterprise 450 ....................................................................7 Procesor UltraSPARC™-II .....................................................................................................7 Propojovací subsystém Ultra Port Architecture™ ............................................................9 Subsystém čtyřcestné prokládané paměti ......................................................................10 Architektura sběrnic PCI ...................................................................................................11 Vysoce výkonné konfigurace diskových pamětí ...........................................................14 Konzola ................................................................................................................................16
i
Redundantní systém distribuovaného napájení ..........................................................17 Monitorování a řízení prostředí ....................................................................................17 Skříň a mechanické specifikace ......................................................................................18 4. Závěr ..................................................................................................................................21 A. Další informace ................................................................................................................23
ii
Architektura systému Ultra Enterprise 450 – říjen 1997
Úvod
1
Server Sun™ Ultra™ Enterprise™ 450 je nejnovějším členem řady výkonných systémů společnosti Sun pro podnikové zpracování dat. Systémy jsou vybaveny procesorem UltraSPARC™-II. Tento flexibilní a všestranný střední server přináší mohutnou kombinaci rozšiřitelného výkonu a výjimečné spolehlivosti za dostupnou cenu. Nový server v provedení tower, který je možno usadit do stojanu, se díky výjimečné kombinaci výpočetního výkonu, kapacity a propustnosti diskové paměti a výkonnosti síťového vstupu a výstupu dokonale hodí k provozování databází nebo jako zprostředkovatel přístupu k databázím od společností Oracle™, Sybase a Informix, k poskytování služeb elektronické pošty a webových služeb stovkám současně pracujících uživatelů, nebo k implementaci tisíců jiných stěžejních dvouvrstvých a třívrstvých podnikových aplikací klient/server. Server Ultra Enterprise 450 je ideální pro náročnou správu, zpracování a doručování informací, v rozsahu obvyklém ve středních podnicích, pobočkách, pracovních skupinách a pro distribuované aplikace ve velkých nebo celosvětových podnicích: • Správa databází a správa digitálních médií • Přístup k distribuovaným databázím • Správa distribuovaných souborů, HTTP a FTP služby, zavádění systémů do síťových počítačů (NC) • Elektronická pošta, webové poštovní služby, brána k Internetu, brána ke starším hostitelským systémům • Online zpracování transakcí (OLTP), elektronický obchod • Podpora rozhodování a online analytické zpracování (OLAP) • Simulace • Groupware (např. Lotus Notes) • Tiskové služby, správa počítačové sítě, směrování zpráv a zálohování sítě
1
1
Obrázek 1
Sun Ultra Enterprise 450 je nejnovější člen řady výkonných serverů společnosti Sun, postavených na procesoru UltraSPARC a určených pro podnikové zpracování dat.
Ve všech systémech Sun jsou pro konstrukci elektronických obvodů, konstrukci desek, subsystémy a komponenty použity progresivní materiály, elektronika, software a výrobní technologie. Ve 2. kapitole jsou stručně popsány technické charakteristiky serveru Ultra Enterprise 450. Podrobnější rozbor architektury procesoru, propojovacího subsystému a vstupů a výstupů je uveden ve 3. kapitole.
2
Architektura systému Ultra Enterprise 450 – říjen 1997
Přehled systému
2
Server Ultra Enterprise 450 je vysoce výkonný serverový systém se sdílenou pamětí a symetrickým paralelním zpracováním. Systém je postaven na firemní vysokorychlostní architektuře propojení systémových komponentů pomocí křížového přepínače, zvané Ultra Port Architecture™ (UPA), a procesorech UltraSPARC-II, rovněž vyvinutých ve společnosti Sun. Výsledkem je vynikající celková výkonnost systému.
Vysoce výkonná konstrukce procesoru, paměti a sběrnic Výpočetní výkon zajišťují až čtyři modulární jednotky CPU UltraSPARC-II. Každá CPU je vybavena 1 nebo 2 MB lokální rychlé externí paměti cache. Taktovací kmitočet propojovacího subsystému UPA se automaticky synchronizuje s taktovací frekvencí instalovaných CPU. UPA pracuje s taktovací frekvencí, která se rovná jedné třetině nebo jedné čtvrtině taktovací frekvence modulů CPU. Hlavní paměť systému je tvořena až 16 paměťovými moduly DIMM. V každém modulu může být uloženo až 32, 64, 128 nebo 256 MB dat. Celková hlavní paměť může být rozšířena ze 128 MB na 4 GB. Aby se zvýšil výkon V/V paměťových operací, systém přenáší při každém přenosu dat do nebo z paměti 64 bajtů dat. V systému je rovněž implementováno až čtyřcestné prokládání paměti, které může významně snížit průměrnou dobu přístupu do paměti a zvýšit šíři pásma paměti. Systémový vstup/výstup obstarává šest samostatných sběrnic PCI (Peripheral Component Interconnect). Tyto sběrnice podporují všechny vstupy a výstupy hlavní logické desky a až deset karet PCI. Tři sběrnice PCI pracují s taktovací frekvencí 33 MHz, zatímco tři zbývající sběrnice mohou pracovat s frekvencí buď 33 MHz, nebo 66 MHz. Jednotlivé sběrnice PCI jsou schopny zajistit trvalou propustnost 264 MB/s nebo
3
2 334 MB/s a společně systému dávají celkovou propustnost vstupu/výstupu více než 1 GB/s. Všechny karty PCI se zasouvají do slotů na hlavní systémové logické desce.
Skříň Procesory
Paměť Interní disková paměť Externí disková paměť Systémový vstup/výstup Výkon
Funkce RAS
Operační systém
Tabulka 1
• Skříň typu tower, montovatelná do stojanu • Lze volně umístit v kanceláři nebo do standardního 19palcového stojanu • 58,1 ✕ 44,8 ✕ 69,6 cm; 22,9 ✕ 17,6 ✕ 27,4 palce • 1–4 CPU • 64bitové mikroprocesory RISC UltraSPARC-II 250 nebo 300 MHz • Každý procesor má 1 MB nebo 2 MB externí paměti cache • 16 slotů DIMM • Až 4 GB paměti • Paměťové moduly kompatibilní se serverem SPARCserver™ 20 • • • •
Pět samostatných kanálů UltraSCSI Až 20 disků UltraSCSI s kapacitou 4,2 GB a 7 200 ot/min. Až 84 GB interní diskové paměti Vstup/výstup interních disků dosahuje 200 MB/s
• Až 6 TB externí diskové paměti • Až 20 kanálů Fast/Wide SCSI nebo UltraSCSI • • • •
7 slotů PCI, tři sloty PCI 66 MH Sedm 64bitových slotů Šest nezávislých V/V sběrnic PCI Celková propustnost V/V 1 GB
• 10 500 OLTP operací za sekundu • 2 854 operací SPECweb96 za sekundu • • • • • •
Automatické zotavení systému Disky vyměnitelné za provozu Redundantní napájecí zdroje vyměnitelné za provozu Snímání teploty, automatické řízení ventilátorů Ochrana před přehřátím Čtyři úrovně diagnostiky systému
• Solaris™ 2.5.1 (duben 1997 a srpen 1997) • Solaris 2.6
Server Ultra Enterprise 450 má množství prvků, které zajišťují vysoký výkon a vysokou spolehlivost pro širokou řadu úkolů.
Spolehlivá vysokokapacitní disková paměť Interní diskovou paměť tvoří až 20 nízkoprofilových (výška 1“) diskových jednotek UltraSCSI se šířkou 3,5“ a 7 200 ot/min. První čtyři disky podporuje rozhraní UltraSCSI 40 MB/s, které je přímo součástí hlavní systémové logické desky. Další disky je možno podporovat pomocí instalace jedné či dvou volitelných rozšiřujících
4
Architektura systému Ultra Enterprise 450 – říjen 1997
2 jednotek s 8 diskovými šachticemi. Každá volitelná jednotka obsahuje propojovací desku s osmi sloty pro disky, dvoukanálovou kartu PCI UltraSCSI a všechny potřebné propojovací kabely. Jsou-li instalovány dvě volitelné rozšiřující jednotky s 8 diskovými šachticemi, systém má pět samostatných sběrnic UltraSCSI o propustnosti 40 MB/s, z nichž každá podporuje přenos dat ze čtyř disků. Pomocí instalace jednokanálových nebo vícekanálových hostitelských PCI adaptérů a příslušného systémového softwaru je možno podporovat externí mnohadiskové subsystémy a disková pole RAID. Softwarové ovladače podporující zařízení SCSI a jiná zařízení jsou součástí operačního prostředí Solaris™. Server Enterprise 450 je standardně vybaven 3,5palcovou disketovou jednotkou 1,44 MB a jednotkou CD-ROM 12✕. Kromě toho je vybaven šachticí 5,25“ poloviční výšky (1,6“), do které je možno instalovat 8bitovou SCSI (50 pinů) páskovou jednotku, například páskovou jednotku 8 mm nebo DDS-3 4 mm. Ke standardnímu 68pinovému portu Fast/Wide SCSI na zadním panelu serveru je možno připojit až dvě externí pásková zařízení nebo jednu jednotku SPARCstorage™ se šesti nebo dvanácti disky. Další externí pásková zařízení nebo externí diskové paměti je možno podporovat pomocí instalace příslušných hostitelských PCI adaptérů. Systém lze snadno připojit k sítím Ethernet 10 Mb/s nebo 100 Mb/s prostřednictvím rozhraní s autodetekcí, které je na hlavní systémové logické desce. Další rozhraní Ethernet nebo připojení k jiným sítím jako například FDDI, ATM nebo Token Ring lze realizovat pomocí instalace příslušných PCI karet.
Vysoce propustné propojování do počítačových sítí a komunikace Systémovou konzolou může být buď standardní ASCII znakový terminál, nebo lokální subsystém podporující práci v oknech. ASCII terminál se připojuje k standardnímu sériovému portu, zatímco lokální grafická konzola vyžaduje instalaci grafického adaptéru PCI, monitoru, klávesnice a myši. Správu systému lze rovněž provádět ze síťové pracovní stanice. Systém má dva sériové komunikační porty, synchronní a asynchronní. Připojení Připojení se provádí přes jeden sdílený konektor DB-25 umístěný na zadním panelu. Systém má rovněž jeden externí obousměrný paralelní port EPP s propustností 2 MB/s, kompatibilní s rozhraním Centronics. Tento port slouží k připojení lokální tiskárny nebo jiného kompatibilního paralelního zařízení. Napájení je zajištěno jedním nebo dvěma napájecími zdroji o výkonu 560 W. Je možno instalovat až tři tyto modulární jednotky, čímž je zajištěna redundance N+1 a plná schopnost výměny za provozu.
Přehled systému
5
2 Napájení a skříň Systém je uzavřen ve skříni typu tower na otočných kolečkách. Skříň má výšku 58,1 cm, šířku 44,8 cm a hloubku 69,6 cm (22,9“ ✕ 17,625“ ✕ 27,4“). Váha systému se v závislosti na instalovaných volitelných doplňcích pohybuje v rozmezí od 47 kg (120 lb) do 81 kg (205 lb). Server Enterprise 450 je možno bez jakékoli fyzické rekonfigurace nebo odstranění panelů snadno instalovat do standardního devatenáctipalcového stojanu. Stojan musí mít hloubku minimálně 76,2 cm (30“).
Spolehlivost, dostupnost a opravitelnost Spolehlivost, dostupnost a opravitelnost systému zvyšují například následující prvky: • Paměť a všechny datové cesty UPA využívají samoopravný kód • Kontrola parity na všech adresových a řídicích vedeních UPA a sběrnicích PCI a SCSI • Stavové indikátory na čelním panelu • Indikátory správné funkce diskových jednotek • Diskové jednotky vyměnitelné za provozu, snadno přístupné zepředu • Podpora implementací RAID 0, 1 a 5 • Snímání teploty a ochrana před přehřátím • Monitorování napájecího systému a jeho ochrana před selháním • Redundance napájecích zdrojů N+1 • Napájecí zdroje vyměnitelné za provozu, snadno přístupné zezadu • Automatické zotavení systému • Čtyři úrovně diagnostiky systému • Snadný přístup ze strany ke všem interním vyměnitelným komponentům • Volitelné doplňky zajišťující vysokou dostupnost systému.
6
Architektura systému Ultra Enterprise 450 – říjen 1997
Architektura systému Ultra Enterprise 450
3
Architektura systému Ultra Enterprise 450 byla navržena tak, aby skýtala vysoký výkon, rozšiřitelnost, spolehlivost a flexibilitu a hospodárnost. Velmi vysoká úroveň integrace dosažená u systémů Ultra použitím obvodů ASIC má za následek značné snížení počtu dílů, vysokou spolehlivost a nízké náklady. Standardní vysoce výkonná rozhraní současně zachovávají možnost využít úplný sortiment volitelných rozšíření. V této kapitole je podrobně popsána architektura systému Ultra Enterprise 450. Popis začíná blokovým diagramem systému (obrázek 2). Mnoho subsystémů architektury Enterprise 450 je úzce svázáno s mikroprocesorem UltraSPARC-II. Tyto subsystémy jsou pečlivě popsány. Probírán je rovněž subsystém paměti, architektura propojovacího subsystému UPA, sběrnice PCI, standardní rozhraní a periferie, stejně jako subsystém napájení a skříň.
Procesor UltraSPARC-II Ultra Enterprise 450 je systém se sdílenou pamětí a symetrickým paralelním zpracováním, postavený na mikroprocesoru UltraSPARC-II. UltraSPARC-II je nejnovější generací rodiny procesorů SPARC™ a druhou generací 64bitových čipů UltraSPARC. Procesor využívá nejnovější 0,35mikronovou technologii (oproti 0,5mikronové technologii použité v procesorech UltraSPARC-I), čímž se velikost čipu zmenšuje na čtverec o straně 149 mm (ze čtverce o straně 218 milimetrů). Menší rozměr čipu je klíčem k vyšší taktovací frekvenci a ke zvýšenému výkonu mikroprocesoru UltraSPARC-II. Menší rozměr čipu také umožňuje, aby UltraSPARC-II pracoval na základním napětí 2,5 V na rozdíl od mikroprocesoru UltraSPARC-I, který pracuje na napětí 3,3 V. Toto nižší napětí snižuje spotřebu energie a umožňuje, aby čip pracoval na vyšších frekvencích bez vyšších celkových nároků na energii a bez vyšší tvorby ztrátového tepla – což jsou dva hlavní problémy při návrhu dnešních vysoce výkonných systémů.
7
3
UltraSPARC-II UltraSPARC-II Processor Processor 1 and 2 UPA Address Bus 0(35 bits)
Memory DIMMs (16)
System Controller
UPA Data Bus 0(128 bits)
Even Group
UPA Address Bus 1 (35 bits)
UltraSPARC-II Processor 3 and 4
Odd Group Memory Data (576 bits)
Crossbar Switch
UPA Data Bus 1 (128 bits)
CBT Switch
UPA Address 2 (35 bits)
UPA Data 3 (64 bits)
UPA Data 2 (64 bits) PCI-B (33 MHz)
UPA/PCI Bridge 1
SCSI Interface ASIC
UPA/PCI Bridge 2
Core I/O ASIC TOD/ NVRAM
F/W SCSI PCI-A (66 MHz)
Keyboard, Floppy, & Serial Port 32-bit slot
8
PCI-C (66 MHz)
FastEthernet Parallel Port
64 bit slot
Obrázek 2
PCI-F (33 MHz)
PCI-D (33 MHz)
Flash PROM UltraSCSI
64-bit slot
PCI-E (66 MHz)
64-bit slot
64-bit slot
64-bit slot
64-bit slot
32-bit slot
64-bit slot
32-bit slot
Blokový diagram systému Ultra Enterprise 450
Architektura systému Ultra Enterprise 450 – říjen 1997
UPA/PCI Bridge 3
3 Procesory UltraSPARC-II, použité v systému Ultra Enterprise 450, jsou spolu s datovými vyrovnávacími pamětmi UPA a 2 MB vysokorychlostní externí paměti cache SRAM (CPU 250 MHz má 1 MB cache) jednotlivě osazeny na modulárních kartách o rozměrech 4 ✕ 6“, které lze instalovat na pracovišti zákazníka. Moduly jsou podobné modulům použitým v serveru Ultra Enterprise 2 a v pracovních stanicích Ultra 30. Tato modulární konstrukce napomáhá snadnému rozšiřování systému (přidávání dalších jednotek CPU), upgrade procesorů (na budoucí procesory UltraSPARC) a servisu systému. Na hlavní systémové logické desce jsou sloty pro čtyři moduly CPU UltraSPARC-II. Je možno instalovat jeden, dva, tři nebo čtyři procesory. Jsou podporovány CPU s taktovací frekvencí 250 MHz nebo 300 MHz, ovšem všechny procesory instalované v jednom systému musí pracovat na stejné taktovací frekvenci. Každý procesorový slot je podporován modulem konvertoru stejnosměrného napětí, který je umístěn na hlavní systémové logické desce. Konvertory zajišťují správné základní napětí pro čipy CPU. Oddělené stejnosměrné konvertory dávají systému potřebnou flexibilitu k využití budoucích generací procesorů UltraSPARC. Systémová sběrnice, hlavní paměť a V/V subsystémy serveru Ultra Enterprise 450 byly pečlivě navrženy tak, aby zvládly vysoké rychlosti přenosu dat, které jsou nezbytné k plnému využití všech čtyř procesorů UltraSPARC-II. Důsledkem je vysoce rozšiřitelný výkon systému. Stupňování výkonu od lehce zatíženého jednoprocesorového systému až k plně nakonfigurovanému čtyřprocesorovému systému je pozoruhodně lineární.
Propojovací subsystém Ultra Port Architecture Procesorové moduly komunikují se systémovým řadičem, hlavní pamětí a V/V subsystémem přes vysokorychlostní datovou cestu Ultra Port Architecture™ (UPA), která sestává z pěti segmentů a křížového přepínače. Jedná se o vylepšenou implementaci architektury UPA, jež byla použita v serverech Ultra Enterprise 1, 2 a 150. Dva segmenty UPA podporují po dvou modulech CPU, dva segmenty podporují systémový vstup/výstup a jeden tvoří systémovou datovou cestu k hlavní paměti. Dvě datové cesty k CPU mají šířku 144 bitů; 128 bitů slouží pro data a 16 bitů pro samoopravný kód (ECC). Dvě datové cesty UPA, které podporují systémový vstup/výstup, mají šířku 72 bitů; 64 bitů slouží pro data a 8 bitů pro ECC. Datová cesta k bufferované paměti má šířku 576 bitů; 512 bitů (64 bajtů) slouží pro data a 64 bitů pro ECC. Každý segment UPA pracuje nezávisle na ostatních segmentech a přesouvá bloky dat po paralelní datové cestě mezi vyrovnávacími paměťmi klientů a vyrovnávacími
Architektura systému Ultra Enterprise 450
9
3 paměťmi přepínače UPA. Přenosy jsou prováděny s taktovací frekvencí, která je systémovým řadičem automaticky synchronizována na 1/3 nebo 1/4 taktovací frekvence CPU. Jsou-li instalovány jednotky CPU 250 MHz, UPA běží na frekvenci 83,3 MHz a jsou-li instalovány jednotky CPU 300 MHz, UPA přenáší data frekvencí 100 MHz, neboli jeden přenos každých 10 nanosekund. Každý ze segmentů podporujících CPU přenáší při každém hodinovém cyklu paralelně 16 bajtů dat a má tudíž maximální přenosovou rychlost 1,6 GB/s. Každý ze segmentů podporujících vstup/výstup přenáší při každém hodinovém cyklu paralelně 8 bajtů dat a má tudíž maximální přenosovou rychlost 800 MB/s. Přenosy do a z paměti vyžadují tři hodinové cykly propojovacího subsystému UPA, což (v závislosti na rychlosti hodin) dává maximální propustnost paměti 1,78 GB/s. Protože všechny segmenty UPA pracují nezávisle na sobě, mohou všechny současně přenášet data mezi lokálními vyrovnávacími paměťmi a vyrovnávacími paměťmi přepínače. Segmenty podporující CPU přenášejí data z vyrovnávacích pamětí o velikosti 64 bajtů na křížovém přepínači do lokálních vyrovnávacích pamětí o velikosti 16 bajtů po dobu čtyř po sobě jdoucích hodinových cyklů subsystému UPA a segmenty podporující vstup/výstup přenášejí data z vyrovnávacích pamětí o velikosti 64 bajtů na křížovém přepínači do lokálních vyrovnávacích pamětí o velikosti 8 bajtů po dobu osmi po sobě jdoucích hodinových cyklů subsystému UPA. Když je lokální vyrovnávací paměť klienta na sdíleném segmentu UPA zaplněna odchozími daty, klient vyjedná převzetí řízení segmentu a pak během potřebného počtu hodinových pulzů přenese svá data do vyrovnávací paměti přepínače segmentu. Veškerá adresace a jednání o převzetí řízení probíhají v subsystému UPA přes vyhrazené dvoubodové signální spoje, které jsou oddělené od datových cest. Toto uspořádání umožňuje, aby jednání o převzetí řízení a adresace probíhaly paralelně s přenosy dat, čímž se zkracuje doba čekání na přenos a zvyšuje se využití datové cesty.
Subsystém čtyřcestné prokládané paměti Systém Ultra Enterprise 450 podporuje až 4 GB dynamické paměti RAM chráněné samoopravným kódem. Paměťové moduly DIMM použité v serveru Ultra Enterprise 450 jsou stejného typu, jako moduly použité v serverech Ultra Enterprise 1, 2 a 150 (144 pinů, 60 ns, 5 V). Paměť je uspořádána do čtyř banků po čtyřech modulech DIMM. Data se přesouvají mezi pamětí a vyrovnávacími paměťmi křížového přepínače UPA přes samoopravným kódem chráněnou datovou cestu širokou 64 bajtů. Datová cesta k paměti o šíři 576 bitů přesouvá data během čtecích nebo zápisových operací paralelně do nebo ze všech čtyř paměťových modulů v banku. Provedení operace čtení z jednoho místa
10
Architektura systému Ultra Enterprise 450 – říjen 1997
3 v paměti nebo zápisu do jednoho místa v paměti vyžaduje přibližně 13 hodinových cyklů subsystému UPA (se současnými paměťovými čipy se bude jednat přibližně o 130 ns). Všechny čtyři moduly DIMM v jednom banku musí být identické a mohou mít kapacitu v rozsahu od 32 MB do 256 MB. Jsou-li instalovány dva banky identických modulů DIMM (osm paměťových modulů), jsou paměťové operace dvoucestné a prokládané, čímž se oproti neprokládaným operacím zkracuje průměrná doba čekání na čtení a zápis téměř na polovinu a téměř se zdvojnásobuje propustnost paměti. Jsou-li instalovány čtyři banky identických modulů DIMM, jsou operace čtení a zápisu do paměti čtyřcestné a prokládané, čímž se propustnost oproti dvoucestným prokládaným operacím opět téměř zdvojnásobuje. Je-li možné čtyřcestné prokládání, průměrná čekací doba paměti se sníží na přibližně 30 ns, což dává průměrnou propustnost paměti 1,6 GB/s. Je-li instalován pouze jeden nebo tři banky modulů DIMM, prokládání nebude využíváno. Moduly DIMM v různých bancích mohou mít různé kapacity. Ovšem budou-li v různých bancích instalovány paměťové moduly různých kapacit, ovlivní to V/V výkon paměti. Systémy se smíšenými paměťovými konfiguracemi budou využívat všechny dostupné paměťové adresy, ale nepoužívají prokládání paměti. Výkon se bude s přidáváním paměti zlepšovat (vyšší četnost úspěšných přístupů do paměťové cache a snížení stránkování), ale zlepšení výkonu bude menší než zlepšení dosažené při využití prokládání.
Architektura sběrnic PCI Veškerá komunikace systému s periferiemi sloužícími k ukládání dat a se zařízeními tvořícími rozhraní k počítačové síti je zprostředkovávána třemi mosty UPA-PCI, které jsou umístěny na hlavní systémové logické desce. Každý z těchto čipů řídí komunikaci mezi propojovacím subsystémem UPA a dvěma standardními datovými sběrnicemi PCI (Peripheral Component Interconnect). Systém tedy má celkem šest samostatných sběrnic PCI. Dva mosty (čtyři sběrnice PCI) sdílejí jeden segment UPA s přenosovou rychlostí 800 MB/s, zatímco třetí most sám využívá druhý V/V segment UPA. Každý čip mostu zajišťuje bufferovaný přenos dat mezi propojovacím subsystémem UPA a jednou sběrnicí PCI 66 MHz a jednou sběrnicí PCI 33 MHz. Každý most je schopen přenášet data trvalou rychlostí více než 334 MB/s, přičemž aktivní může být jedna nebo dvě podporované sběrnice PCI. Přenáší-li data všechny tři mosty, celkový vstup/výstup systému může překročit 1 GB za sekundu.
Architektura systému Ultra Enterprise 450
11
3 Uspořádání sběrnic a slotů PCI na serveru Enterprise 450 a charakteristiky slotů Číslo slotu PCI
Most PCI–UPA
Sběrnice PCI
Šířka slotu/ /podporované šířky karet
Taktovací frekvence PCI (MHz)
Podporovaná vstupní napětí karet
10
1
B
32 / pouze 32 bitů
33
5 V nebo Universal
9
3
F
32 / 32, 64 (jako 32)
33
5 V nebo Universal
8
3
F
32 / 32, 64 (jako 32)
33
5 V nebo Universal
7
3
F
64 / 32, 64
33
5 V nebo Universal
6
3
E
64 / 32, 64
33, 66
3,3 V nebo Universal
5
1
A
64 / 32, 64
33, 66
3,3 V nebo Universal
4
2
C
64 / 32, 64
33, 66
3,3 V nebo Universal
3
2
D
64 / 32, 64
33
5 V nebo Universal
2
2
D
64 / 32, 64
33
5 V nebo Universal
1
2
D
64 / 32, 64
33
5 V nebo Universal
Tabulka 2
Server Ultra Enterprise 450 má 10 slotů PCI, které přísluší k šesti nezávislým sběrnicím. Jejich celkový výkon překračuje 1 GB/s.
Šest systémových sběrnic dohromady podporuje sloty až pro deset dlouhých nebo krátkých karet PCI (tabulka 2). Jedna sběrnice PCI (sběrnice B) rovněž obstarává komunikaci mezi systémem a zařízeními připojenými k portům SCSI, Fast Ethernet, k sériovému a paralelnímu portu a k portům pro klávesnici a myš, které jsou na hlavní logické desce. Všechny sběrnice PCI v serveru Ultra Enterprise 450 vyhovují verzi 2.1 specifikace PCI, zveřejněné v březnu 1995. • Sběrnice PCI A, C a E pracují na frekvenci 33 nebo 66 MHz a každá z nich má jeden slot pro 32bitovou nebo 64bitovou kartu PCI 3,3 V nebo „Universal“. • Sběrnice PCI B pracuje na frekvenci 33 MHz a má jeden slot pro 32bitovou kartu PCI 3,3 V nebo „Universal“. PCI-B také podporuje všechny vstupy/výstupy systémové desky (viz dále). • Sběrnice PCI D pracuje na frekvenci 33 MHz a má dva sloty pro 32b karty 5 V nebo „Universal“ a jeden slot pro 32bitovou nebo 64bitovou kartu 5 V nebo „Universal“. • Sběrnice PCI F pracuje na frekvenci 33 MHz a má tři sloty pro 32bitové nebo 64bitové karty PCI 5 V nebo „Universal“.
12
Architektura systému Ultra Enterprise 450 – říjen 1997
3 SCSI
Síťový vypínač I 0
Sériový port A/B Paralelní port Klávesnice/myš MII Ethernet TPE Ethernet
Napájecí zdroje
Sloty PCI (10)
Obrázek 3
Přes zadní panel serveru Ultra Enterprise 450 je přístup k napájení, slotům PCI a komunikacím, síťovým prvkům a periferiím.
Server Ultra Enterprise 450 nabízí kromě V/V schopností, které jsou využitelné prostřednictvím volitelných karet PCI, také následující V/V kanály vycházející přes sběrnici PCI B přímo z hlavní systémové desky (obrázek 3): • Jeden výhradně interní kanál UltraSCSI-3 s přenosovou rychlostí 40 MB/s, který podporuje čtyři standardní diskové šachtice UltraSCSI 3,5 umístěné v serveru. • Jeden interní/externí jednoduchý kanál Fast/Wide SCSI-2 s přenosovou rychlostí 20 MB/s; podporuje standardní jednotku CD-ROM plus jedno volitelné interní 8bitové (50 pinů) SCSI páskové zařízení; jeden externí 68pinový SCSI konektor podporuje připojení až 4 externích SCSI páskových zařízení nebo jednoho zařízení SPARCstorage MultiPack™. • Jeden výhradně interní port řadiče disketové jednotky podporuje standardní disketovou jednotku 3,5“, 1,44 MB.
Architektura systému Ultra Enterprise 450
13
3 • Jeden externí port Ethernet 10/100 Mb/s s autodetekcí, který podporuje připojení k síti Ethernet buď přes UTP kategorie 5 (konektor RJ45), nebo přes MII (Media Independent Interface) a 40pinový miniaturní konektor „D“ (oba konektory jsou ve standardní výbavě, ale může být použit pouze jeden). • Dva externí sériové porty, EIA-232D nebo EIA-423 (volitelné propojkou), jeden synchronní a jeden asynchronní, přes jeden konektor DB25 a dělicí kabel „Y“ (bez dělicího kabelu je výstup implicitně synchronní); podporuje synchronní přenos dat EIA-423 rychlostí od 50 baudů do 384 Kb/s a asynchronní přenos dat rychlostí od 50 baudů do 460,8 Kb/s. • Jeden externí obousměrný paralelní port EPP s jedním konektorem DB25, kompatibilní se specifikací Centronics, přenosová rychlost 2 MB/s. • Jeden externí standardní port Sun pro připojení klávesnice/myši (konektor mini DIN-8).
Vysoce výkonné konfigurace diskových pamětí K primárnímu (internímu) uložení dat slouží v serveru Ultra Enterprise 450 až dvacet za provozu vyměnitelných diskových jednotek UltraSCSI-3 4,2 GB, 3,5“ o výšce 1“ (obrázek 4). Tyto disky se 7 200 ot/min. mají průměrnou dobu přístupu 14 ms a špičkovou interní přenosovou rychlost až 140 Mb/s. Disky jsou ve skupinách po čtyřech připojeny k pěti samostatným jednoduchým řadičům UltraSCSI, z nichž každý nabízí špičkovou rychlost přenosu dat 40 MB/s, což je dvojnásobek přenosové rychlosti řadičů Fast/Wide SCSI. První čtyři disky se připojují k portu UltraSCSI na systémové základní desce. Pátý až dvacátý disk se připojuje k jednomu ze dvou dvoukanálových jednoduchých řadičů UltraSCSI. Každý z těchto řadičů obsazuje jeden slot PCI. Jsou-li instalovány oba dvoukanálové řadiče UltraSCSI, může vstup/výstup mezi interními disky a UPA dosáhnout 200 MB/s. Rozložení interních disků na pět sběrnic UltraSCSI umožňuje, aby několik systémových procesů provádělo diskové operace čtení a zápisu souběžně. Tím se významně snižuje čekání na diskový vstup/výstup, protože se snižuje počet V/V požadavků zařazených na každém řadiči do fronty a zmírňuje se soupeření disků o přístup ke sběrnici SCSI. Dovoluje to rovněž rozložit velké datové soubory na několik disků a řadičů, čímž se dále zvyšuje výkonnost vstupu a výstupu, protože se zkracují zpoždění způsobená zařazováním požadavků do front a vyjednáváním přístupu ke sběrnici. Výsledkem je vyšší celková propustnost diskového vstupu a výstupu ve srovnání
14
Architektura systému Ultra Enterprise 450 – říjen 1997
3 s implementacemi s jedním nebo dvěma řadiči. Více diskových V/V kanálů rovněž zvyšuje celkovou dostupnost systému, protože je možno vyměňovat za provozu disky na jednom kanálu řadiče, aniž by došlo k narušení přístupu uživatelů k datům uloženým na jiných sběrnicích SCSI.
Pásková jednotka (volitelná) Jednotka CD-ROM (standardně)
Stavový a řídicí panel Disketová jednotka (standardně)
Horní dvířka
Dvířka diskového prostoru
20 šachtic pro interní disky
Prostor pro elektroniku
Obrázek 4
Server Ultra Enterprise 450 nabízí pohodlný přístup k periferiím a k ovládacím prvkům systému umístěným na čelním panelu.
Skříň serveru Enterprise 450 obsahuje rám s 20 pozicemi pro disky a plně nakonfigurovanou propojovací deskou pro čtyři disky. Řadiče disků PCI UltraSCSI, diskové propojovací desky a kabely pro 5. až 20. disk jsou společně nabízeny jako volitelný rozšiřující doplněk. Tato doplňková jednotka s 8 šachticemi pro interní disky může být instalována v továrně nebo na pracovišti zákazníka. Zákazníci mohou díky této flexibilní nabídce volitelných doplňků nakonfigurovat maximální interní diskovou paměť nebo externí diskovou paměť s vyšší kapacitou nebo se dvěma porty. Aby uspokojil potřeby zákazníků s většími požadavky na uložení dat, server Ultra Enterprise 450 podporuje širokou řadu externích diskových subsystémů. PCI diskové řadiče podporují zařízení SPARCstorage™ Unipack™ a Multipack a diskové zásobníky SPARCstorage RSM společnosti Sun. RSM Array™ 2000 bude podporováno ve velice blízké budoucnosti. Bude-li přes deset dvoukanálových diskových řadičů UltraSCSI
Architektura systému Ultra Enterprise 450
15
3 připojeno dvacet plně nakonfigurovaných diskových polí RSM Array 2000, server Ultra Enterprise 450 bude moci přistupovat k více než šesti terabajtům lokálních dat. Software pro správu diskových pamětí jako například Solstice™ DiskSuite™ společnosti Sun a Veritas Volume Manager umožňují, aby server Ultra Enterprise 450 podporoval rozsévání dat (disk striping RAID 0), zrcadlení (RAID 1), rozsévání s paritou (RAID 5) a rozsévání a zrcadlení (RAID 0+1). Server Ultra Enterprise 450 má kromě možnosti instalace interních a externích rychlých pevných disků také standardní jednotku CD-ROM 12✕ a disketovou jednotku 1,44 MB 3,5“ s ručním vyjímáním disket, které slouží k instalaci softwaru a ke správě systému. Server rovněž obsahuje interní šachtici 5,25“ poloviční výšky (1,6“) pro další 8bitové SCSI zařízení, jako například páskovou jednotku DDS3 4 mm nebo páskovou jednotku 8 mm. Další externě připojené páskové jednotky, automatické zavaděče nebo knihovny lze připojit k systémovému externímu portu SCSI nebo k volitelné kartě řadiče PCI SCSI.
Konzola Server Ultra Enterprise 450 může být spravován z lokálního nebo vzdáleného (síťového) konzolového zařízení. Jako konzola může být připojen lokální znakový terminál (přes jeden ze dvou sériových portů) nebo barevný monitor (k libovolnému podporovanému PCI grafickému řadiči/obrazové paměti) a klávesnice a myš (k portu pro klávesnici a myš). Na serveru Enterprise 450 nejsou podporovány grafické obrazové paměti Sun na bázi architektury UPA. Systém lze kromě toho vzdáleně spravovat z libovolného terminálu nebo pracovní stanice pod X-windows. Na čelním panelu je umístěn čtyřpolohový spínač ovládaný klíčem. Spínačem se ovládá systém napájení i přístup k automatické diagnostice prováděné při zapnutí systému (POST) a k upgradovatelné paměti flash PROM. Upgradovatelná systémová boot flash PROM nabízí standardní schopnosti OpenBoot, automatický test při zapnutí systému a rozsáhlou diagnostiku OpenBoot. Šest diod LED na čelním panelu podává správcům snadno interpretovatelné informace o stavu systémové základní desky, jednotek CPU, paměti, disků, chladicích ventilátorů a napájecích zdrojů.
16
Architektura systému Ultra Enterprise 450 – říjen 1997
3 Redundantní systém distribuovaného napájení Napájení systému je zajišťováno jedním, dvěma nebo třemi univerzálními stejnosměrnými napájecími zdroji o výkonu 560 W. Tyto modulární jednotky, vyměnitelné za provozu, se snadno instalují a vyjímají ze zadní strany systému, dokonce i když je počítač v plném provozu (obrázek 5). Maximálně nakonfigurované systémy budou nepřetržitě pracovat, budou-li instalovány dva napájecí zdroje. Napájecí zdroje napájejí všechny aktivní komponenty systému přes společnou napájecí distribuční sběrnici. Energie je odebírána rovnoměrně ze všech zdrojů instalovaných v systému. Je-li přerušen provoz jednoho zdroje, požadavky systému na energii se automaticky přesunou na zbývající aktivní zdroje. Splňuje-li celkový výkon zbývajících zdrojů požadavky systému, počítač bude bez přerušení pokračovat v činnosti. Je-li instalován zatížený záložní napájecí zdroj (redundance „N+1“), systém může pokračovat v činnosti i po dobu výměny napájecího zdroje. Jestliže potřeba energie překročí výkon aktivních zdrojů, systém automaticky podá zprávu na konzoli a dočasně přeruší provoz. Základní server obsahuje jeden napájecí zdroj, který dává dostatek energie pro maximální paměť, 10 karet PCI, čtyři interní disky, volitelnou páskovou jednotku a až tři moduly CPU. Je-li požadována čtvrtá CPU nebo jsou-li požadovány více než čtyři interní disky, musí být instalován druhý napájecí zdroj.
Monitorování a řízení prostředí Systém monitorování a řízení prostředí zabudovaný v serveru Ultra Enterprise 450 nepřetržitě monitoruje teplotu na několika klíčových místech v různých částech počítače. Hodnoty z teplotních čidel vstupují do systému řízení proudění vzduchu v serveru. Tento systém automaticky podle potřeby upravuje rychlost jednotlivých ventilátorů, aby udržel provozní teploty komponent v přijatelném rozsahu. Jestliže měřené teploty překročí bezpečné provozní meze a ventilátory již pracují maximální rychlostí, systém automaticky podá zprávu na konzoli a dočasně přeruší provoz.
Architektura systému Ultra Enterprise 450
17
3
Sloty pro CPU
Chladicí ventilátory
Hlavní systémová logická deska
Napájecí zdroje Sloty PCI
Obrázek 5
Systém Ultra Enterprise 450 je uzavřen ve skříni typu tower, která má výšku 58,1 cm, šířku 44,8 cm a hloubku 69,6 cm.
Skříň a mechanické specifikace Systém Ultra Enterprise 450 je uzavřen ve skříni typu tower, která má výšku 58,1 cm, šířku 44,8 cm a hloubku 69,6 cm (22,9“ ✕ 17,6“ ✕ 27,4“). Skříň může být umístěna v kanceláři vedle stolu. Rám systému je namontován na čtyřech otočných kolečkách, která je možno aretovat. Systém v závislosti na počtu a typu instalovaných volitelných doplňků váží mezi 47 kg (120 lb) a 81 kg (205 lb). K ovládacím prvkům, které používá operátor, ke všem interním diskům a jednotkám s výměnnými médii se přistupuje přes dvoje otočná dvířka na čelní straně systému. Bezpečnost systému zvyšují dvířka diskového prostoru zajištěná zámkem. Všechny stavové indikátory LED umístěné na čelním panelu jsou viditelné přes okénka ve dvířkách uzavírajících prostor, kde jsou umístěna paměťová média.
18
Architektura systému Ultra Enterprise 450 – říjen 1997
3 Napájecí zdroje a hlavní síťový vypínač jsou snadno přístupné zezadu a všechny tři napájecí zdroje je možno z bezpečnostních důvodů zajistit odnímatelným uzamykacím zařízením (dodává se standardně s každým serverem). Každý napájecí zdroj má stavové indikátory, které jsou viditelné za zadní strany a indikují zapnutí a chybové stavy. Je-li třeba provádět servis uvnitř systému, přístup se získá snadno odemčením a zvednutím levého a pravého krycího panelu. Moduly CPU, paměťové moduly DIMM a volitelné karty PCI lze snadno instalovat nebo vyjmout z levé strany počítače. Hlavní systémovou desku, která je umístěna svisle odpředu dozadu, je možno snadno vyjmout nebo instalovat ze zadní strany počítače. Vzduch systémem protéká zepředu dozadu, takže systém může být namontován do libovolného 19“ stojanu EIA (musí mít minimální hloubku 30“). Chlazení zajišťují dva ventilátory namontované na vodítkách. Jeden ventilátor chladí elektronické komponenty na systémové desce, druhý ventilátor chladí diskové jednotky a napájecí zdroje. Každý ventilátor lze snadno vyjmout ze strany počítače. Server Ultra Enterprise 450 může být v konfiguraci tower umístěn jak v kanceláři vedle stolu, tak usazen do stojanu. Volitelná souprava přípravků pro montáž do stojanu sestávající z držáků a police, jež se montuje na vodítka a jejíž hloubku lze nastavit, může být instalována v libovolném stojanu EIA o šířce 19“. Stojan musí splňovat následující podmínky: • • • •
přední a zadní svislé montážní úhelníky musí být od sebe vzdáleny 28,5 až 34,9“; musí mít standardní čelní a zadní montážní úhelníky; montážní prostor musí mít výšku nejméně 24“; musí mít dostatečnou nosnost.
Systém se jednoduše položí na polici a zajistí se přípravky dodanými v montážní soupravě. Stojan musí být kvůli váze systému buď přišroubován k podlaze, nebo musí být vybaven stabilizačními opěrami, aby se zabránilo naklánění stojanu při vytažení systému v době provádění údržby.
Architektura systému Ultra Enterprise 450
19
3
20
Architektura systému Ultra Enterprise 450 – říjen 1997
Závěr
4
Moderní zpracování dat ušlo dlouhou cestu od monolitických nestandardních firemních hardwarových a softwarových architektur známých z minulosti. Zejména v několika posledních letech jsme byli svědky zrodu distribuovaného zpracování dat jako principiální metody zajištění flexibility tváří v tvář téměř neustálým změnám v dnešním podnikovém prostředí. Tento vývoj vyústil v potřebu nového podnikového nástroje zpracování dat – středního podnikového serveru. Střední servery, typicky určené pro skupinu, oddělení nebo malou organizaci se společnými zdroji nebo úkoly, zajišťují přístup ke specifickým funkcím, například k aplikačním nebo souborovým službám, databázím, Internetu a intranetům nebo k elektronické poště. Důležitou roli hrají rovněž ve větší organizaci, kde pomáhají nově definovat implementaci architektur distribuovaného zpracování dat. V budoucnu budou důležitými prvky řešení postavených na distribuovaném zpracování dat technologií Java™. Hlavní rolí středních serverů je dnes zajištění zdrojů pro pracovní skupinu a současná integrace těchto zdrojů do podnikového prostředí klient/server. Při dynamické povaze dnešních požadavků na zpracování dat není divu, že nároky na tyto systémy jsou podobné nárokům na velké servery – má jim pouze vyhovět poněkud menší a ekonomičtější platforma. Server Enterprise 450 se svojí vynikající výkonností je ideální pro aplikace, ve kterých je v kancelářském prostředí požadován velmi vysoký výkon procesoru a vstupu a výstupu, nebo je důležitá schopnost dramaticky zvýšit kapacitu paměti nebo disků. Multiprocesorový server Ultra Enterprise 450, schopný zvyšovat kapacitu a výkon v téměř libovolné míře, názorně ukazuje skvělou budoucnost vize společnosti Sun.
21
4
22
Architektura systému Ultra Enterprise 450 – říjen 1997
Další informace
A
Sun Microsystems Computer Company zveřejňuje informace o produktech ve formě prospektů, specifikací a dokumentů na své domovské stránce na internetové adrese http://www.sun.com. Mimo jiné zde najdete následující dokumenty o technologiích vyvinutých společností Sun Microsystems: Evaluating Performance Through Benchmarks, dokument, Sun Microsystems Computer Company Stručné zhodnocení výkonnosti serveru Ultra Enterprise 450, dokument, Sun Microsystems Computer Company The UltraSPARC-II Architecture, dokument, Sun Microsystems Computer Company, červenec 1997 Solaris – Networked Computing for the Global Enterprise, dokument, Sun Microsystems Computer Company FastEthernet, dokument, Sun Microsystems Computer Company.
23
A
24
Architektura systému Ultra Enterprise 450 – říjen 1997
Sun Microsystems Computer Company A Sun Microsystems, Inc. Business 901 San Antonio Road Palo Alto, CA 94303 USA tel.: 001-415 960-1300 fax: 001-415 969-9131 http://www.sun.com Obchodní zastoupení: Argentina: +54-1-311-0700 Austrálie: +61-2-9844-5000 Belgie: +32-2-716-7911 Brazílie: +55-11-524-8988 Česká republika a Slovenská republika: +420-2-311 11 66 Čínská lidová republika: Peking: +86-10-6849-2828 Chengdu: +86-28-678-0121 Guangzhou: +86-20-8777-9913 Šang-chaj: +86-21-6247-4068 Dánsko: +45-44-89-49-89 Estonsko: +372-6-308-900 Finsko: +358-0-525-561 Francie: +33-01-30-67-50-00 Hongkong: +852-2802-4188 Chile: +56-2-638-6364 Indie: +91-80-559-9595 Irsko: +353-1-8055-666 Island: +354-563-3010 Itálie: +39-39-60551 Izrael: +972-9-956-9250 Japonsko: +81-3-5717-5000 Jižní Afrika: +2711-805-4305 Kanada: +905-477-6745 Kolumbie: +571-622-1717 Korea: +822-3469-0114 Latinská Amerika/Karibské ostrovy: +1-415-688-9464 Litva: +370-729-8468 Lotyšsko: +371-755-11-33 Lucembursko: +352-491-1331 Maďarsko: +36-1-202-4415 Malajsie: +603-264-9988 Mexiko: +52-5-258-6100 Německo: +49-89-46008-0 Nizozemsko: +31-33-450-1234 Norsko: +47-2218-5800 Nový Zéland: +64-4-499-2344 Polsko: +48-22-658-4535 Portugalsko: +351-1-412-7710 Rakousko: +43-1-60563-0 Řecko: +30-1-680-6676 Singapur: +65-224-3388 Spojené arabské emiráty: +971-4-366-333 Spojené státy: +1-800-821-4643 Společenství nezávislých států: +7-095-956-5470 Španělsko: +34-1-596-9900 Švédsko: +46-8-623-90-00 Švýcarsko: +41-1-825-7111 Thajsko: +662-636-1555 Tchaj-wan: +886-2-514-0567 Turecko: +90-212-236-3300 Velká Británie: +44-1-276-20444 Venezuela: +58-2-286-1044 Celosvětové ředitelství: +1-415-960-1300