Zadavatel
Vysoká škola báňská – Technická univerzita Ostrava se sídlem Ostrava – Poruba, 17. listopadu 15/2172, PSČ: 708 33 IČO: 61989100
Veřejná zakázka „Superpočítač – Velký cluster“ ev. č.: 234444
DODATEČNÉ INFORMACE Č. 7
k zadávacím podmínkám veřejné zakázky
dle § 49 odst. 1 zákona č. 137/2006 Sb., o veřejných zakázkách, ve znění pozdějších předpisů (dále jen „ZVZ“)
Vysoká škola báňská – Technická univerzita Ostrava, se sídlem Ostrava – Poruba, 17. listopadu 15/2172, PSČ: 708 33, IČ: 61989100, jako zadavatel veřejné zakázky s názvem „Superpočítač – Velký cluster“ obdržel dne 15. 7. 2014 žádost o poskytnutí dodatečných informací k zadávacím podmínkám. Na níže uvedené dotazy poskytuje zadavatel následující odpovědi:
Dotaz č. 1 Měření výkonu I/O operací náhodného charakteru datových úložišť HOME a SCRATCH se bude provádět nástrojem fio (na základě SPEC_124 a SPEC_127, SPEC_128). V RFP uvedené fio konfigurační soubory (viz. SPEC_127, SPEC_128) však nemohou plně využít potenciál úložišť pro I/O operace náhodného charakteru. Ve skutečnosti nutí aplikaci provádět tzv. 'unstable writes' do jediného datového souboru s vícenásobnými vlákny, což způsobuje všeobecnou serializaci operací na tomto jediném souboru. Žádáme o možnost mírné modifikace fio konfiguračního souboru s přidáním parametru (direct=l). Díky tomuto parametru bude fio používat tzv. 'stable l/Os', kde operace nejsou zachovány a fio bude provádět direct l/Os. Parametr (direct=l) zajistí měření trvalého výkonu I/O 1
operací náhodného charakteru (sustainable performance) a ve skutečnosti zároveň vynutí požadavek RFP SPEC_121 (požadující mimo jiné, že určení rychlosti úložišť nesmí počítat s podmínkami výhodného režimu, například operace z cache). Možnost použití parametru (direct=l) zároveň není v rozporu s jinými požadavky RFP. Žádáme tedy o možnost alternativně zahrnout parametr (direct=l) do konfiguračního souboru fio pro měření výkonu I/O operací náhodného charakteru datových úložišť HOME a SCRATCH (SPEC_127 and SPEC_128). Nežádáme o změnu zadání RFP, nýbrž spíše o možnost využít také tento parametr během testování výkonnosti úložišť.
Odpověď zadavatele: Zadavatel nepřipouští změnu konfiguračních souborů měření rychlosti datových úložišť. Zadavatel nastavil parametry konfiguračních souborů měření tak, aby nastavení odrážela jeho záměr a aby měření byla jednotná pro všechny zájemce. Parametr direct se nastavuje pro měření rychlosti operací (blokových zařízení) Datového úložiště infrastruktury. Pro měření rychlosti operací Datového úložiště infrastruktury se používá poměrně malý počet serverů, které provádějí současně velký počet (asynchronních) operací, protože toto je předpokládaný model užití (workload) Datového úložiště infrastruktury. Pro měření Souborových úložišť byl zadavatelem zvolen jiný přístup, který je však opět bližší předpokládanému modelu užití Souborových úložišť a to současné použití z velkého počtu výpočetních serverů, přičemž ono použití z jednoho serveru je poměrně jednoduché a blízké používání běžnými uživateli, a proto se parametr direct nenastavuje (protože použití direct přístupu na souborový systém není pro většinu aplikací obvyklé). Fakt, že se testovací aplikace chová reálněji (buffered vs. direct operace, unstable vs. stable operace) a nesnaží se obcházet běžné chování, považuje zadavatel za pozitivní. Zadavatel je toho názoru, že požadovaných hodnot měření lze dosáhnout volbou dostatečného počtu výpočetních serverů použitých pro měření (zadavatel stanovil pouze minimální počet výpočetních serverů použitých pro měření, jejich maximální počet neomezil) a úprava parametrů konfigurací měření ze strany zadavatele není nutná.
Dotaz č. 2 Vzhledem k tomu, že chladicí systém bude zajišťovat chladicí médium pro přímé chlazení serverů, kde není použit žádný výměník pro separaci chladicího systému a hardware serverů, měly by rozvody chladicího systému splňovat následující podmínky:
Rozvody chladicího systému by měly být provedeny ze slitin odolných korozi, jako jsou slitiny mědi a nerezová ocel. Veškeré flexibilní hadice by měly mít vnitřní stěny z EPDM gumy (ethylen-propylendien monomer). Chemické složení vody v chladicím systému musí být důsledně udržováno tak, aby 2
nedocházelo k poškození nebo shutdownu systému vlivem koroze, vlivem mikrobiologického znečištění, usazování vodního kamene a dalšího znečištění. Voda použitá v chladicím systému by měla mít tyto základní parametry: Veškeré kovy Vápník Hořčík Mangan Fosfor Křemík Sodík Bromidy Dusitany Chloridy Dusičnany Sírany Vodivost pH Turbidita (NTU)
< 0.10 ppm < 1.0 ppm < 1.0 ppm <0.10 ppm < 0.50 ppm < 1.0 ppm <0.10 ppm < 0.10 ppm < 0.50 ppm <_0.50 ppm <0.50 ppm < 0.50 ppm < 10.0 //S/cm - vodivost měřená při teplotě 20-25"C 6.5-8.0 < 1.0 ppm
Dotaz zní, zda tato kvalita vody bude zajišťována úpravnou vody v chladicím systému na pozici 601 anebo bude úprava vody zajištěna jiným způsobem.
Odpověď zadavatele: Z formulace dotazu zadavatel usuzuje, že se zájemce domnívá, že v řešení chlazení výpočetních serverů nelze použít výměník tepla pro oddělení chladícího okruhu datového centra od chladícího okruhu chlazení serverů. Zadavatel uvádí, že nepožaduje a z Přílohy č. 3 zadávací dokumentace - Vymezení požadavků na Velký cluster nevyplývá požadavek na přímé chlazení chladícím médiem chladícího okruhu datového centra zadavatele. Zadavatel nevylučuje řešení využívající interních chladících okruhů Superpočítače, které jsou realizovány dodavatelem Superpočítače, které mají vlastnosti a parametry potřebné pro fungování systémů Superpočítače dodavatele a jejichž napojení na chladící okruhy datového centra je realizováno výměníky tepla (interní chladící okruhy tak nesdílí médium s okruhy chlazení datového centra zadavatele). Požadavek zadávací dokumentace SPEC_298, který se k otázce vztahuje a který uvádí: „Procesory Výpočetních serverů bez akcelerace musí být přímo chlazeny kapalným médiem a jejich chlazení musí využívat výhradně vstupy z okruhů teplé vody o teplotě minimálně 32⁰C (teplota chladícího média v použitých chladících okruzích datového centra zadavatele)“ tak musí být interpretován takto: 1. „Procesory Výpočetních serverů bez akcelerace musí být přímo chlazeny kapalným médiem“ – zadavatel požaduje přímé chlazení procesorů Výpočetních serverů bez akcelerace kapalným
3
médiem, nespecifikuje však, o jaké kapalné médium se jedná. Chladícím médiem může, ale také nemusí být médium chladícího okruhu datového centra zadavatele. 2. „jejich chlazení musí využívat výhradně vstupy z okruhů teplé vody o teplotě minimálně 32⁰C (teplota chladícího média v použitých chladících okruzích datového centra zadavatele)“ – zadavatel požaduje, aby řešení chlazení procesorů, pro získání chladu, využívalo výhradně vstupy z okruhů teplé vody o teplotě minimálně 32⁰C, zadavatel ponechává návrh řešení na zájemci, nevylučuje použití výměníků tepla pro oddělení okruhů, atp. Zadavatel dále v souladu s požadavky kapitoly „4.17 Požadavky – Integrace do datového centra zadavatele“ (zejména SPEC_282) dokumentu „Vymezení požadavků na Velký cluster“ uvádí, že dodavatel je povinen respektovat infrastrukturu zadavatele. Změny a rozšíření infrastruktury zadavatele, které jsou nezbytné pro realizaci Velkého clusteru, pro jeho integraci do datového centra zadavatele, musí být součástí dodávky Velkého clusteru. V detailní specifikaci infrastruktury datového centra IT4Innovations (která je součástí zadávací dokumentace veřejné zakázky „Superpočítačové centrum IT4Innovations - Infrastruktura pro Velký cluster - Stavba II“ - viz kapitola „8.2 Datové centrum IT4Innovations“ Přílohy č. 3 zadávací dokumentace - Vymezení požadavků na Velký cluster), která je závazná a rozhodující pro realizaci veřejné zakázky „Superpočítač – Velký cluster“ je infrastruktura chlazení popsána v části „Příloha č.1_část5_SO02_část4/02.6.1_Chlazení“, kde jsou uvedeny jak rozvody potrubí, tak médium chladicích okruhů, úprava chladící směsi, atd., a je tedy na úvaze zájemce, zda považuje parametry infrastruktury chlazení datového centra zadavatele za dostačující a vhodné pro zvažované řešení přímého chlazení chladícím médiem chladícího okruhu datového centra zadavatele či nikoliv a jaké řešení zvolí. Zadavatel nebude poskytovat či garantovat jiné parametry infrastruktury datového centra zadavatele než popsané v Příloze č. 3 zadávací dokumentace - „Vymezení požadavků na Velký cluster“, respektive v dokumentech, které tento dokument uvádí jako závazné. Požaduje-li zájemce zajistit parametry chladícího média (vody) uvedené v tomto dotazu, může použít interního chladícího okruhu Superpočítače odděleného od chladícího datového centra zadavatele a do vyhrazeného prostoru datového sálu instalovat svá zařízení, která požadované parametry chladícího média interního chladícího okruhu Superpočítače zajistí za splnění podmínky, že zařízení budou neutrální k datovému sálu, a to především chemicky a teplotně. Zájemce však nesmí podmiňovat své řešení dodatečnými podmínkami, jinak jeho nabídka nesplní zadávací podmínky a bude vyřazena.
Dotaz č. 3 Vzhledem k tomu, že umístění HW HPC je povoleno pouze do sektoru 6E-8C a vzhledem k tomu, že v takto definovaném prostoru může být nedostatek rozvodných skříní PDB se zásuvkami 32A/400V typu IEC60309 3P+N+G pokládáme dotaz, zda je možné pro napájení HPC využít i některé
4
z rozvodných skříní PDB1.3B, PDB1.3A, PDB2.3B, PDB2.3A, PDB3.3B a PDB3.3A, které se nachází těsně za vyčleněným sektorem.
Odpověď zadavatele: Zadavatel uvádí, že pro potřeby napájení Superpočítače lze použít i uvedené rozvodné skříně PDB1.3B, PDB1.3A, PDB2.3B, PDB2.3A, PDB3.3B a PDB3.3A. Takové použití není v rozporu s požadavky uvedenými ve SPEC_284.
Dotaz č. 4 Projektová dokumentace předpokládá silové rozvaděče pro napájení klimatizačních jednotek na datovém sále RKL-A a RKL-B. Vzhledem k tomu, že v době projektování nebylo známo, jaké jednotky budou napájeny, jsou pro jistící prvky vyprojektovány přístrojové adaptéry. Bude za doplnění vhodných jistících prvků a odpovídajících kabelů od rozvaděčů RKL-A a RKL-B ke klimatizačním jednotkám zodpovídat dodavatel HPC? Nebude s tím mít dodavatel silového napájení problémy (revize, záruky)?
Odpověď zadavatele: V souladu s údaji, které jsou v zadávací dokumentaci veřejné zakázky „Superpočítačové centrum IT4Innovations - Infrastruktura pro Velký cluster - Stavba II“ (dále „Stavba II“) zadavatel potvrzuje, že součástí dodávky silových rozvaděčů RKL-A a RKL-B jsou i jistící prvky a silové kabely napájející jednotlivé klimatizační jednotky na datovém sále. Konkrétně se jedná o „Jistič 40A/ C/ 3p, min. 17kA“ v počtu 31 ks pro každý rozvaděč. Součástí dodávky prováděné na základě Stavby II jsou také vodiče „WLA201-WLA222“ a „WLB201WLB222“ typ „CXKH-R 5x6mm2“. Pokládka vodičů a připojení na straně rozvaděčů RKL-A a RKL-B jsou součástí plnění dodavatele Stavby II. Konečně připojení vodičů na straně klimatizačních jednotek je součástí plnění dodavatele klimatizačních jednotek. Co se týče rozhraní pro rozlišení odpovědnosti ve vztahu k revizím a zárukám, toto se nachází na terminálech klimatizačních jednotek. Zadavatel k tomuto dále konstatuje, že odkaz na zadávací dokumentaci Stavby II je uveden v kapitole 8.2 přílohy č 3. Zadávací dokumentace (Vymezení požadavků na Velký cluster) veřejné zakázky „Superpočítač – Velký cluster“.
5
Uvedené specifikace jističů jsou pak uvedeny v zadávací dokumentaci Stavby II, a to v části řešení Silnoproudu, konkrétně v následujícím umístění: Příloha č. 1, Dokumentace PDF, SO 02, SO 02.8.1 Siln, soubor „02.8.1 - 01_VV.pdf“. Uvedené specifikace kabelů jsou ve stejném umístění, soubor „02.8.1 - 24 Kabelový list.pdf“.
Dotaz č. 5 Jednotlivé skříně HPC i dalších zařízení je nutné zemnit/pospojovat na připravený pásek FeZn 30 x 4 mm. Bude pásek již vybaven připojovacími šrouby?
Odpověď zadavatele: Zadavatel uvádí, že na datových sálech je uzemnění datových stojanů (skříní HPC) nutno realizovat pomocí měděné přípojnice (zemnící pásky Cu 20x5), upevněné přes izolátory na nosném systému datových vodičů v technologické podlaze. Datové stojany (skříně HPC) se tak neuzemňují na pásek FeZn 30 x 4 mm. Součástí Stavby II je i dodávka univerzálních svorek pro připojení vodičů pospojení o průřezu 1,5-16 mm2. Součástí dodávky Stavby II nejsou vodiče ani jiné eventuální systémy pospojení mezi zařízeními a soustavou pospojení na datovém sále. Rozsah dodávky pospojení Stavby II. je patrný z výkresu: 02.8.1 - 10 Uzemnění 2NP.
Dotaz č. 6 Žádáme o odstranění rozporu v textu zadávací dokumentace. V požadavku SPEC_55 se jednoznačně mimo jiné požaduje, aby přístupové servery poskytovaly služby pro přenos souborů SCP a SFTP. V požadavku SPEC_80, ve kterém se detailněji specifikují parametry pro propustnost a dostupnost služeb pro přístup k datům všech souborových datových úložišť, se ale na konci požadavku objevuje věta, která je v případě přístupových serverů v přímém rozporu se SPEC_55, protože přístupové servery k tomuto účelu (přenos souborů pomocí SCP a SFTP) vysloveně zakazuje použít. SPEC_80 dále předpokládá to, že se pro tuto službu použijí vyhrazené servery. Na základě „best practices" považujeme přístup dle SPEC_55 za správný. Žádáme tedy o jednoznačné stanovení role přístupových serverů v rámci uvedených SPEC_55 a SPEC_80. Ponechání požadavku ve znění SPEC_80 beze změny vede k odlišnému přístupu k architektuře řešení, a ten jako takový zásadně ovlivňuje jak obsahové zpracování nabídky, tak její nacenění a bez pochyby i s tím spojený čas nezbytný pro realizaci nabídky.
6
Odpověď zadavatele: Zadavatel rozpor v textu zadávací dokumentace nespatřuje. Text Přílohy č. 3 zadávací dokumentace „Vymezení požadavků na Velký cluster“ uvádí následující: 1) SPEC_55 Přístupové servery musí poskytovat přístup uživatelům protokolem SSH2 a poskytovat služby pro přenos souborů SCP a SFTP. Ve vztahu k této specifikaci tak zadavatel požaduje, aby Přístupové servery poskytovaly požadované služby SSH2, SCP a SFTP. 2) SPEC_80 Data všech Souborových datových úložišť musí být dostupná z externích lokalit (z Internetu) protokoly SFTP, SCP a nástrojem sshfs. Řešení musí poskytovat reálnou agregovanou propustnost (rychlost sekvenčních operací nad Souborovými datovými úložišti) protokoly SFTP a SCP minimálně 5GB/s. Musí být použit protokol verze 2 a minimálně 128 bitové šifrování. Řešení musí být redundantní dle SPEC_71 - služba musí být poskytována i v případě výpadku či odstávky libovolného jednoho serveru zajišťujícího službu, výkonové parametry pak mohou být nižší. Pro zajištění této funkcionality nelze použít Přístupové, Vizualizační nebo Výpočetní servery či Další serverové systémy, předpokládá se použití vyhrazených serverů pro tuto službu. Ve vztahu k této specifikaci zadavatel požaduje, aby data všech Souborových datových úložišť byla dostupná z externích lokalit (z Internetu) protokoly SFTP, SCP a nástrojem sshfs. Řešení musí poskytovat požadované parametry (rychlost) a vlastnosti (verze protokolu, šifrování, redundance řešení). Zadavatel dále specifikuje, že pro zajištění této funkcionality (zajištění dostupnosti dat z externích lokalit s požadovanými parametry a vlastnostmi dle tohoto bodu) nelze použít výše vyjmenované servery, které slouží pro jiné účely a přepokládá použití serverů vyhrazených pro tuto službu. Zadavatel požaduje služby SCP a SFTP na Přístupových serverech (SPEC_55), zde však předpokládá pouze nenáročné, občasné použití těchto služeb. Pro rozsáhlé (objemem dat či délkou trvání přenosu) a náročné (požadavkem na vysokou propustnost a tedy i parametry prvků podílejících se na výkonu) přenosy dat požaduje vyhrazené, dostatečně rychlé a odolné řešení specifikované ve SPEC_80. Zadavatel uvádí, že z důvodu výpočetní náročnosti služby odmítá realizaci požadavku SPEC_80 za použití Přístupových či dalších vyjmenovaných serverů (Vizualizační servery, Výpočetní servery, Další serverové systémy). Zájemce nesmí do své nabídky zahrnout řešení, které pro naplnění požadavku SPEC_80 používá uvedené nepřípustné servery.
V Ostravě dne 21. července 2014
Vysoká škola báňská – Technická univerzita Ostrava
7
Digitálně podepsal Ing. Petr Sázel
