BELANGRIJKSTE CONCLUSIES

TESTRAPPORT DECEMBER 2007 Prestaties en energieverbruik op basis van SPECjbb2005 op bladeservers van Dell, HP en IBM Directieoverzicht BELANGRIJKSTE CONCLUSIES Dell Inc. (Dell) heeft Principled Technologies (PT) opdracht gegeven om de prestaties per watt op basis van SPECjbb2005 van de volgende bladeservers met twee sockets te meten: z z z

Dell PowerEdge M600 HP BladeSystem c-Class IBM BladeCenter H Type 8852

z

De Dell PowerEdge M600 biedt betere prestaties per watt dan de HP BladeSystem c-Class of de IBM BladeCenter H Type 8852 in elke geteste configuratie (zie afbeelding TESTRAPPORT 1).

z

Met tien geïnstalleerde blades in al de drie systemen leverden de blades in de Dell PowerEdge M600 prestaties per watt die 24,59 procent beter waren dan die van de HP BladeSystem c-Class en 28,76 procent dan die van de IBM BladeCenter H Type 8852.

z

Met zestien blades in elk chassis leverde de Dell PowerEdge M600 prestaties per watt die 25,35 procent beter waren dan die van de HP BladeSystem c-Class.

z

In de configuratie met het maximumaantal blades leverde de Dell PowerEdge M600 met zestien blades prestaties per watt die 28,58 procent beter waren dan die van de IBM BladeCenter H Type 8852 met veertien blades.

z

Met zestien blades gebruikte de Dell PowerEdge M600 18,55 procent minder stroom per blade dan de HP BladeSystem c-Class met zestien blades en 11,76 procent minder stroom per blade dan de IBM

In dit gedeelte presenteren wij de beste resultaten voor elke server. Raadpleeg het gedeelte met testresultaten voor volledige informatie over elke Java Virtual Machine (JVM) per warehouse voor elke server. In afbeelding 1 worden de prestaties per watt voor de bladeserversystemen weergegeven per configuratie. Hogere resultaten geven betere systeemprestaties per watt aan. We berekenen de prestaties per watt door het SPECjbb2005-resultaat te delen door het gemiddelde energieverbruik in watt tijdens de periode dat het systeem optimale prestaties leverde. Afbeelding 1 geeft aan dat de blades in de Dell PowerEdge M600 in elke configuratie de beste prestaties per watt leverden. Met tien geïnstalleerde blades in al de drie systemen leverde de Dell PowerEdge M600 prestaties per watt die 24,59 procent beter waren dan die van de HP BladeSystem c-Class. De Dell PowerEdge M600 leverde ook 28,76 procent hogere prestaties per watt dan de IBM BladeCenter H Type 8852.

FEBRUARI 2006

In de configuratie met het maximumaantal blades, installeerden we het maximumaantal bladeservers in elk chassis. Dit aantal was zestien servers voor de Dell en HP, maar slechts veertien blades voor de IBM. In de configuratie met het maximumaantal blades leverde de Dell PowerEdge M600 met zestien blades prestaties per watt die 25,35 procent beter waren dan die van de HP BladeSystem c-Class met zestien geïnstalleerde blades. De Dell PowerEdge M600 leverde met zestien geïnstalleerde blades prestaties per watt die 28,58 procent beter waren dan die van de IBM BladeCenter H Type 8852 met veertien geïnstalleerde blades. Bij de vergelijking van de configuratie met het maximumaantal blades voor de Dell PowerEdge M600 en de IBM BladeCenter H Type 8852 hebben we het maximumaantal blades genomen dat door elke server wordt ondersteund: zestien in de Dell en veertien in de IBM. In dit geval normaliseren we een resultaat voor zestien blades daarom tot een resultaat voor veertien blades. De Dell PowerEdge M600 leverde bovendien respectievelijk 31,95 en 27,83 procent hogere prestaties per watt dan de HP BladeSystem c-Class in configuraties met één en twee blades. De Dell PowerEdge M600 leverde respectievelijk 88,16 en 65,17 procent hogere prestaties per watt dan de IBM BladeCenter H Type 8852 in configuraties met één en twee blades.

1 blade 2 blades 10 blades Maximumaantal blades

Dell PowerEdge M600 Bladesysteem

HP BladeSystem c-Class

IBM BladeCenter H Type 8852

464,54 642,40 919,95 958,86 (16 blades)

352,06 502,52 738,40 764,97 (16 blades)

246,89 388,93 714,47 745,70 (14 blades)

Percentuele toename van prestaties per watt Dell ten opzichte van HP 31,95 27,83 24,59

Percentuele toename van prestaties per watt Dell ten opzichte van IBM 88,16 65,17 28,76

25,35

28,58

Afbeelding 1: prestaties per watt voor elke server per bladeconfiguratie. Hogere waarden zijn beter.

Werklast SPECjbb2005 is een standaardbenchmark in de branche die is ontwikkeld door Standard Performance Evaluation Corp. (SPEC) om de Java-prestaties van een server te meten. SPEC heeft SPECjbb2005 gemodelleerd op de client/server-architectuur met drie lagen, waarbij de aandacht met name op de middelste laag wordt gericht. Volgens SPEC “vertegenwoordigt de willekeurige selectie van invoeropties de eerste (gebruikers)laag. In SPECjbb2005 wordt de bedrijfslogica voor de middelste laag volledig geïmplementeerd. De derde laag wordt vertegenwoordigd door tabellen met objecten, geïmplementeerd door Java Collections, in plaats van een afzonderlijke database.” (www.spec.org/jbb2005/docs/UserGuide.html). SPECjbb2005 wordt uitgevoerd met meerdere speciale gegevensgroepen en meerdere threads. Elke gegevenseenheid is een “warehouse” en vertegenwoordigt een verzameling van ongeveer 25 MB met gegevensobjecten. Elke thread vertegenwoordigt een actieve gebruiker die transactieaanvragen in een warehouse plaatst. De run van de benchmark begint met één warehouse en vervolgens neemt het aantal warehouses toe. Het is de bedoeling om de processorcapaciteit van de server te verzadigen. Naarmate het aantal warehouses toeneemt, groeit ook het aantal threads. De resultaten van de benchmark geven de doorvoercapaciteit in Business Operations Per Seconde ofwel SPECjbb2005 BOPS weer. Een hoger aantal SPECjbb2005 BOPS is beter. (Ga voor meer informatie over SPECjbb2005 naar www.spec.org.)

Testresultaten Voor het testen hebben we een bepaald aantal bladeservers in het chassis geïnstalleerd en vervolgens SPECjbb2005 op alle servers uitgevoerd. Alvorens de SPECjbb2005-benchmark te starten, hebben we ons aangemeld bij het systeem en de servers tien minuten inactief laten draaien. Vervolgens hebben we het energieverbruik gedurende twee minuten gemeten. Dit proces hield in dat alle systemen twaalf minuten lang inactief waren voordat we begonnen met de benchmark. In elke testconfiguratie hebben we 2 JVM-instanties tegelijk uitgevoerd. Dit is een veelgebruikte methode op servers met een groot aantal processors. De totaalscore voor het systeem wordt bij SPECjbb2005 berekend door de scores van alle JVM's op te tellen. Bij SPECjbb2005 wordt de score van elke JVM berekend door het gemiddelde van de resultaten tijdens mixen te berekenen wanneer de server met optimale prestaties wordt uitgevoerd. Tijdens onze tests hebben alle servers optimale prestaties geleverd tijdens de mixen 4 tot en met 8. (In termen van SPEC zijn deze resultaten afkomstig uit runs die aan de eisen voldoen, wat betekent dat we de resultaten in het openbaar kunnen publiceren zonder deze op de SPEC-website te plaatsen met alle bestanden die SPEC doorgaans verplicht stelt. Wij presenteren alle gegevens die nodig zijn om deze resultaten te reproduceren.) In de volgende tabellen vindt u de SPECjbb2005-resultaten voor elke blade voor een specifieke configuratie. Afbeelding 2 geeft het energieverbruik in inactieve toestand (in watt) aan voor de Dell PowerEdge M600, HP BladeSystem c-Class en IBM BladeCenter H Type 8852 in alle bladeconfiguraties. Een lager energieverbruik is beter.

Principled Technologies, Inc.: prestaties en energieverbruik op basis van SPECjbb2005 op bladeservers van Dell, HP en IBM

2


Dell PowerEdge M600 383,75 516,68 1.588,15 2.416,18 (16 blades)

HP BladeSystem c-Class 510,57 666,00 1.975,38 3.035,87 (16 blades)

IBM BladeCenter H Type 8852 681,88 807,32 1.853,73 2.409,92 (14 blades)

Afbeelding 2: energieverbruik in inactieve toestand (in watt) van de testservers tijdens de runs met mediane piekbelasting voor elke bladeconfiguratie. Lagere waarden zijn beter.

Afbeelding 3 geeft het gemiddelde energieverbruik (in watt) aan voor de Dell PowerEdge M600, HP BladeSystem c-Class en IBM BladeCenter H Type 8852 in alle bladeconfiguraties. Een lager energieverbruik is beter. Om het gemiddelde energieverbruik te berekenen hebben we het energieverbruik tijdens de SPECjbb2005-benchmark vastgelegd en het gemiddelde berekend van het energieverbruik tijdens de periode dat het systeem optimaal presteerde. Het energieverbruik van de Dell PowerEdge M600 met zestien blades is bijna gelijk aan het energieverbruik van de IBM BladeCenter H Type 8853 met veertien blades.


Dell PowerEdge M600 454,39 656,45 2.277,47 3.524,19 (16 blades)

HP BladeSystem c-Class 590,01 821,71 2.802,43 4.326,92 (16 blades)

IBM BladeCenter H Type 8852 749,57 954,79 2.605,88 3.494,45 (14 blades)

Afbeelding 3: gemiddeld energieverbruik (in watt) van de testservers tijdens de runs met gemiddelde piekbelasting voor elke bladeconfiguratie. Lagere waarden zijn beter.

Voor het berekenen van de prestaties per watt hebben we de volgende formule gebruikt: Prestaties per watt = de score van de benchmark/het gemiddelde energieverbruik in watt tijdens de periode dat het systeem optimale prestaties leverde. Voor configuraties met twee, tien of het maximumaantal blades delen wij het gemiddelde energieverbruik dat in afbeelding 3 wordt weergegeven door het aantal blades. Vervolgens delen we de benchmarkscore voor elke blade door het gemiddelde energieverbruik. De formules voor deze bladeconfiguraties luiden als volgt: Prestaties/watt per blade (configuraties met twee, tien of het maximumaantal blades) = (benchmarkscore per blade/[totaal gemiddeld energieverbruik/aantal blades]) Vervolgens hebben we de gemiddelde prestaties per watt voor alle blades in de betrokken configuraties genomen. Voor elke configuratie hebben wij driemaal SPECjbb2005 uitgevoerd en het energieverbruik tijdens deze runs gemeten. De onderstaande resultaten zijn de mediaan van drie testruns. Afbeelding 4 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de Dell PowerEdge M600 met één blade geïnstalleerd in het chassis.

SPECjbb2005 BOPS Systeem 1

211.081

Gemiddeld energieverbruik per blade (watt) 454,39


Prestaties/watt 464,54 3

Afbeelding 4: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de Dell PowerEdge M600 tijdens de mediane run voor de configuratie met één blade. Hogere prestaties per watt zijn beter.

Afbeelding 5 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de Dell PowerEdge M600 met twee blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de twee systemen.

SPECjbb2005 BOPS Systeem 1 Systeem 2 Gemiddelde prestaties per watt

210.754 210.946

Gemiddeld energieverbruik per blade (watt) 328,22 328,22

Prestaties/watt 642,11 642,69 642,40

Afbeelding 5: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de Dell PowerEdge M600 tijdens de mediane run voor de configuratie met twee blades. Hogere prestaties per watt zijn beter.

Afbeelding 6 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de Dell PowerEdge M600 met tien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de tien systemen.

SPECjbb2005 BOPS Systeem 1 Systeem 2 Systeem 3 Systeem 4 Systeem 5 Systeem 6 Systeem 7 Systeem 8 Systeem 9 Systeem 10 Gemiddelde prestaties per watt

209.976 211.440 212.122 196.571 211.368 211.277 209.919 210.591 211.792 210.096

Gemiddeld energieverbruik per blade (watt) 227,75 227,75 227,75 227,75 227,75 227,75 227,75 227,75 227,75 227,75

Prestaties/watt 921,97 928,40 931,39 863,11 928,08 927,68 921,72 924,67 929,94 922,50 919,95

Afbeelding 6: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de Dell PowerEdge M600 tijdens de mediane run voor de configuratie met tien blades. Hogere prestaties per watt zijn beter.

Afbeelding 7 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de Dell PowerEdge M600 met zestien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de zestien systemen.


4

Systeem 1 Systeem 2 Systeem 3 Systeem 4 Systeem 5 Systeem 6 Systeem 7 Systeem 8 Systeem 9 Systeem 10 Systeem 11 Systeem 12 Systeem 13 Systeem 14 Systeem 15 Systeem 16 Gemiddelde prestaties per watt

SPECjbb2005 BOPS

Gemiddeld energieverbruik per blade (watt)

Prestaties/watt

211.626 210.538 211.956 211.223 211.357 210.810 210.810 210.289 210.827 210.982 211.456 210.711 211.745 211.525 212.135 211.218

220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26 220,26

960,79 955,85 962,29 958,96 959,57 957,09 957,09 954,72 957,17 957,87 960,02 956,64 961,33 960,34 963,10 958,94 958,86

Afbeelding 7: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de Dell PowerEdge M600 tijdens de mediane run voor de configuratie met zestien blades. Hogere prestaties per watt zijn beter.

Afbeelding 8 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de HP BladeSystem c-Class met één blade geïnstalleerd in het chassis.


207.723


Prestaties/watt 352,06

Afbeelding 8: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de HP BladeSystem c-Class tijdens de mediane run voor de configuratie met één blade. Hogere prestaties per watt zijn beter.

Afbeelding 9 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de HP BladeSystem c-Class met twee blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de twee systemen.


206.882 206.048


Prestaties/watt 503,54 501,51 502,52

Afbeelding 9: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de HP BladeSystem c-Class tijdens de mediane run voor de configuratie met twee blades. Hogere prestaties per watt zijn beter.


5

Afbeelding 10 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de HP BladeSystem c-Class met tien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de tien systemen.


6


206.358 206.638 206.655 206.708 207.438 206.919 206.860 207.330 206.647 207.770


Prestaties/watt 736,35 737,35 737,41 737,60 740,21 738,36 738,14 739,82 737,38 741,39 738,40

Afbeelding 10: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de HP BladeSystem c-Class tijdens de mediane run voor de configuratie met tien blades. Hogere prestaties per watt zijn beter.

Afbeelding 11 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de HP BladeSystem c-Class met zestien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de zestien systemen.

SPECjbb2005 BOPS Systeem 1 Systeem 2 Systeem 3 Systeem 4 Systeem 5 Systeem 6 Systeem 7 Systeem 8 Systeem 9 Systeem 10 Systeem 11 Systeem 12 Systeem 13 Systeem 14 Systeem 15 Systeem 16 Gemiddelde prestaties per watt

207.182 207.103 206.311 208.405 206.547 206.787 207.264 208.406 205.203 207.253 206.343 206.371 206.892 207.169 206.270 206.467

Gemiddeld energieverbruik per blade (watt) 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43 270,43

Prestaties/watt 766,11 765,82 762,89 770,64 763,77 764,65 766,42 770,64 758,80 766,38 763,01 763,11 765,04 766,07 762,74 763,47 764,97

Afbeelding 11: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de HP BladeSystem c-Class tijdens de mediane run voor de configuratie met zestien blades. Hogere prestaties per watt zijn beter.

Afbeelding 12 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de IBM BladeCenter H Type 8852 met één blade geïnstalleerd in het chassis.


7


185.163


Prestaties/watt 246,96

Afbeelding 12: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de IBM BladeCenter H Type 8852 tijdens de mediane run voor de configuratie met één blade. Hogere prestaties per watt zijn beter.

Afbeelding 13 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de IBM BladeCenter H Type 8852 met twee blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de twee systemen.


185.080 186.269


Prestaties/watt 387,69 390,18 388,93

Afbeelding 13: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de IBM BladeCenter H Type 8852 tijdens de mediane run voor de configuratie met twee blades. Hogere prestaties per watt zijn beter.

Afbeelding 14 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de IBM BladeCenter H Type 8852 met tien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de tien systemen.


187.011 185.789 186.519 186.310 186.038 186.163 185.962 186.117 186.921 184.995


Prestaties/watt 717,65 712,96 715,76 714,96 713,92 714,40 713,62 714,22 717,30 709,91 714,47

Afbeelding 14: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de IBM BladeCenter H Type 8852 tijdens de mediane run voor de configuratie met tien blades. Hogere prestaties per watt zijn beter.

Afbeelding 15 bevat de SPECjbb2005-resultaten, het gemiddelde energieverbruik per blade en de prestaties per watt voor de IBM BladeCenter H Type 8852 met veertien blades geïnstalleerd in het chassis. We hebben de gemiddelde prestaties per watt berekend door het gemiddelde te nemen van de scores voor prestaties per watt van de veertien systemen.


8

SPECjbb2005 BOPS Systeem 1 Systeem 2 Systeem 3 Systeem 4 Systeem 5 Systeem 6 Systeem 7 Systeem 8 Systeem 9 Systeem 10 Systeem 11 Systeem 12 Systeem 13 Systeem 14 Gemiddelde prestaties per watt

186.849 184.574 186.015 186.826 185.888 185.400 186.443 186.996 186.388 186.488 186.060 186.037 186.044 185.818

Gemiddeld energieverbruik per blade (watt) 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60 249,60

Prestaties/watt 748,58 739,47 745,24 748,49 744,73 742,78 746,96 749,17 746,74 747,14 745,42 745,33 745,36 744,45 745,70

Afbeelding 15: SPECjbb2005-resultaten, gemiddeld energieverbruik (in watt) en prestaties per watt voor de IBM BladeCenter H Type 8852 tijdens de mediane run voor de configuratie met veertien blades. Hogere prestaties per watt zijn beter.

Vanwege de relatief lage SPECjbb-scores van IBM, hebben we verder onderzoek gedaan. We hebben gecontroleerd of de systeemprocessors op volledige snelheid liepen en er geen hitteproblemen waren. We hebben alle systemen met 4 GB RAM getest. De IBM BladeCenter H Type 8852 beschikte over slechts vier RAM-sleuven die allemaal vol waren. De Dell PowerEdge en HP BladeSystem hadden elke acht RAM-sleuven, waarvan er vier werden gebruikt. Het RAM-geheugen werkte op 667 MHz in al de drie testsystemen. Om de systeemstatus te controleren hebben we de geheugentest van SiSoftware Sandra uitgevoerd. Deze test gaf aan dat de geheugenbandbreedte van de IBM-server de helft lager was dan de bandbreedte van de Dellserver: 10.656 MB/s ten opzichte van 21.312 MB/s. SiSoftware Sandra gaf ook aan dat IBM-server over twee geheugenkanalen beschikte, terwijl de Dell-server er vier had. In Sandra werd alleen weergegeven dat de IBM BladeCenter H Type 8852 was voorzien van een Intel 5000Pchipset. Er werden geen codenamen of andere gegevens vermeld. Er werd wel weergegeven dat de geheugencontroller ondersteuning voor acht geheugensleuven bood, net als bij de Dell en de HP. Mogelijk is het gebruik van een optionele geheugen- en I/O-uitbreidingsblade van IBM BladeCenter, die vier aanvullende DIMMsleuven biedt, vereist om de andere twee geheugenkanalen te benutten. Bij gebruik van de geheugenuitbreidingsblade is het volgens de IBM-documentatie de optimale geheugenconfiguratie om twee paren met overeenkomende DIMM's te gebruiken: één paar op de kaart in sleuf 1 en 3 en het andere paar in de uitbreidingsblade in sleuf 5 en 7. Omdat het geteste systeem niet met dit onderdeel werd geleverd, waren wij niet in staat om deze hypothese te toetsen. Afsluitend vermoeden wij dat de relatief lage SPECjbb-scores van de IBM BladeCenter H Type 8852 waarschijnlijk te wijten zijn aan de lagere geheugenbandbreedte.

Experimenten met geheugeninstellingen We hebben één test met het maximumaantal blades voor elke behuizing uitgevoerd met energie-instellingen voor elke behuizing die zoveel mogelijk overeenkomen. We hebben “AC redundant” (redundante voeding) gebruikt voor de Dell PowerEdge M600, “AC redundant” voor de HP BladeSystem c-Class en “Redundant without Principled Technologies, Inc.: prestaties en energieverbruik op basis van SPECjbb2005 op bladeservers van Dell, HP en IBM

9

performance impact” (redundant zonder gevolgen voor de prestaties) voor de IBM BladeCenter H Type 8852. In afbeelding 16 worden de resultaten van deze test weergegeven. Zoals u ziet, kwamen de resultaten zo sterk overeen met de resultaten van onze hoofdtests, dat we ons op de resultaten van die tests hebben gericht. (Zoals eerder aangegeven, is het maximumaantal blades zestien voor de Dell PowerEdge M600 en HP BladeSystem cClass, maar slechts veertien voor de IBM BladeCenter H Type 8852)


10

Gemiddelde prestaties per watt (hoger is beter) Gemiddeld energieverbruik bij inactiviteit, watt (lager is beter) Gemiddeld energieverbruik bij activiteit per blade, watt (lager is beter) Gemiddelde prestaties per blade, BOPS (hoger is beter)

Dell PowerEdge M600

HP BladeSystem c-Class


949,36

764,97

762,99

2.413,85

3.035,87

2.392,73

222,31 211.054 (16 blades)

270,43 206.873,31 (16 blades)

243,94 186.121,79 (14 blades)

Afbeelding 16: resultaten van afzonderlijke tests met het maximumaantal blades voor elke behuizing en de volgende instellingen voor het energieverbruik: “AC redundant” (redundante voeding) voor de Dell PowerEdge M600, “AC redundant” voor de HP BladeSystem c-Class en “Redundant without performance impact” (redundant zonder gevolgen voor de prestaties) voor de IBM BladeCenter H Type 8852.

Testmethodologie Voer de volgende bewerkingen op BIOS-niveau uit op elk systeem alvorens het besturingssysteem te installeren: 1. Zorg dat de systemen zijn geconfigureerd met RAID 1. Gebruik hiervoor het hulpprogramma voor de schijfcontroller in plaats van het besturingssysteem. 2. Stel de partitie in op de gehele schijf. 3. Werk het BIOS zo nodig bij. Opmerking: het vooraf geïnstalleerde BIOS, versie 1.05, op de IBM BladeCenter H Type 8852 retourneerde het foutbericht "The BIOS does not support the current stepping of Processor P02” (Het BIOS biedt geen ondersteuning voor de huidige stepping van processor P02). Nadat een upgrade van het BIOS werd uitgevoerd tot versie 1.07, werd het foutbericht niet meer weergegeven. 4. Schakel HW prefetcher (Hardware prefetcher) en Adjacent line prefetcher uit in het BIOS. Behoud de standaardinstellingen voor alle andere waarden. Maak de basisimage: 1. Begin voor elke installatie met een schone installatie van Microsoft Windows 2003 Server Enterprise x64 Edition Service Pack 2 op elke bladeserver. (Als u een supportpack met een snelle installatieoptie hebt, moet u deze niet gebruiken. Selecteer een aangepaste installatie en installeer alleen stuurprogramma's. Anders installeert u mogelijk onnodige software, die invloed kan hebben op de testresultaten.) a. Gebruik de standaardinstelling met vijf gelijktijdige verbindingen voor de licentiëringsmodus. b. Voer een wachtwoord in voor de beheerdersaanmelding. c. Selecteer de Oost-Amerikaanse tijdzone en controleer de datum en tijd. d. Gebruik standaardinstellingen voor de netwerkinstallatie. e. Wijs een computernaam toe. Wij hebben de indeling “<Merk>Server<#>” gekozen, waarbij het merk Dell, HP of IBM is en # het bladenummer in het chassis (1–16 voor Dell en HP en 1–14 voor IBM) (bijvoorbeeld IBMServer1). f. Behoud de standaardnaam “WORKGROUP” voor de werkgroep. g. Voltooi de installatie. h. Installeer SP 2. i. Voer Windows-update uit en installeer de volgende updates. Onze updatedatum was 29 november 2007. • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB943460) • Windows Server 2003: Windows-programma voor het verwijderen van schadelijke software x64 - November 2007 (KB890830) • Windows Server 2003: Cumulatieve beveiligingsupdate voor Internet Explorer 5 voor Windows Server 2003 x64 Edition (KB939653) Principled Technologies, Inc.: prestaties en energieverbruik op basis van SPECjbb2005 op bladeservers van Dell, HP en IBM

11

•

2.

3. 4. 5. 6. 7. 8. 9. 10. 11.

Windows Server 2003: Beveiligingsupdate voor Outlook Express voor Windows Server 2003 x64 Edition (KB941202) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB933729) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB936021); Windows Server 2003: Update voor Windows Server 2003 x64 Edition (KB933360) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB938127) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB921503) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB936782) • Windows Server 2003: Update voor Windows Server 2003 x64 Edition (KB932596) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB926122) • Windows Server 2003: Beveiligingsupdate voor Windows Media Player 6.4 (KB925398) • Windows Server 2003 Update voor Windows Server 2003 x64 Edition (KB936357) • Windows Server 2003: Cumulatieve beveiligingsupdate voor Outlook Express voor Windows Server 2003 x64 Edition (KB929123) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB935839) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB935840) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB924667) • Windows Server 2003 Update voor Windows Server 2003 x64 Edition (KB927891) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB932168) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB930178) • Windows Server 2003: Beveiligingsupdate voor Windows Server 2003 x64 Edition (KB925902) Schakel het gebruik van grote geheugenpagina's op alle servers in om de Java-prestaties te verbeteren. Om deze service in te schakelen moet de beheerder eerst aanvullende bevoegdheden toewijzen aan de gebruiker die de toepassing zal uitvoeren. (Wij hebben deze bevoegdheid alleen aan de beheerder toegewezen omdat we de beheerdersaccount hebben gebruikt voor onze tests.) Ga als volgt te werk om grote geheugenpagina's in te schakelen: • ConfiguratieschermÆSysteemwerksetÆLokaal beveiligingsbeleidÆLokaal beleidÆToewijzing van gebruiksrecht: beheerder toevoegen • Pagina's in het geheugen vergrendelen, voeg gebruikers en/of groepen toe Schakel de schermbeveiliging uit. Pas het bureaublad aan zodat Deze computer wordt weergegeven. Stel het scherm in op 10 x 7, 32-bits kleuren. Selecteer Deze pagina niet weergeven bij het aanmelden in het dialoogvenster Deze server beheren. Schakel Automatische updates uit. Stel de server in op automatische aanmelding. Installeer SPECjbb en JVM op de server Maak de prullenbak leeg. Maak de image op de server.

Gebruik voor alle andere blades Ghostcast om de image te installeren. Gebruik het systeem dat zojuist is geconfigureerd om een Ghost-image op de server te maken.


12

Na het vastleggen van images op de servers 1. Elke server moet over een unieke hostnaam beschikken. Wijzig de naam die u voor de basisimage hebt gebruikt in een naam met de indeling “<Merk>Server<#>” waarbij het merk Dell, HP of IBM is en # het bladenummer in het chassis (1–16 voor Dell en HP en 1–14 voor IBM) (bijvoorbeeld IBMServer1). Wij hebben enigszins geëxperimenteerd met de energie-instellingen voor de behuizingen. We hebben de Dell PowerEdge M600 getest met de instellingen Redundancy Policy (redundantiebeleid) en Power Supply Redundancy (redundante voedingseenheid) en we hebben Enable Dynamic Power Supply Engagement (dynamisch gebruik van voedingseenheid) ingeschakeld. We hebben de HP BladeSystem c-Class getest met Power Savings (energiebesparing) ingeschakeld en de voedingseenheden ingesteld op AC Redundant (redundante voeding). Bij de IBM BladeCenter H Type 8852 hadden onze experimenten geen significante gevolgen voor het energieverbruik. Alvorens de definitieve instellingen voor elke behuizing te bepalen, hebben we één test met het maximumaantal blades voor elke behuizing uitgevoerd. De resultaten voor deze test worden weergegeven in het gedeelte over energie-instellingen. Het effect op de resultaten voor de Dell en IBM bedroeg in alle gevallen minder dan 2%. We hebben de volgende standaardinstellingen voor elke behuizing getest: Dell PowerEdge M600: • Server Power Throttling Enabled (servergebruik op lager vermogen): ingeschakeld • Redundancy Policy (redundantiebeleid): Power supply redundancy (redundante voedingseenheid) • Enable Dynamic Power Supply Engagement (dynamisch gebruik van voedingseenheid): ingeschakeld HP BladeSystem c-Class • Enclosure Power Mode: AC redundant (redundante voeding) • Enable Dynamic Power Savings Mode (dynamische energiebesparende modus inschakelen): ingeschakeld IBM BladeCenter H Type 8852: • Domain 1 (domein 1): Non-redundant (niet redundant) • Domain 2 (domein 2): Non-redundant (niet redundant) • Acoustic mode (akoestische modus): uitgeschakeld

Procedure voor het meten van het energieverbruik Om het energieverbruik van elk bladesysteem tijdens de tests te meten, hebben wij 380803 Power Analyzer/Datalogger van Extech Instruments (www.extech.com) gebruikt. We hebben de voedingskabel van de voedingseenheid van het systeem aangesloten op de voedingsuitgang van Power Analyzer. Vervolgens hebben we de voedingsingang van Power Analyzer aangesloten op een stopcontact. Deze opzet hebben we voor elke voedingseenheid in het chassis gehanteerd. Omdat al de drie servers van zes voedingseenheden zijn voorzien, hebben we zes Extech Power Analyzers gebruikt voor de tests. We hebben al de Extech Power Analyzers op één controlesysteem aangesloten om het stroomverbruik van de systemen te meten. Alle resultaten zijn vastgelegd met Data Acquisition-software (versie 2.11) van Power Analyzer. We hebben de software op een afzonderlijke pc geïnstalleerd waarop we alle Power Analyzers via afzonderlijke RS-232-kabels voor elke Extech hebben aangesloten. We hebben het energieverbruik gemeten met intervallen van één seconde. Om het energieverbruik in inactieve toestand te ijken, hebben we het energieverbruik gedurende twee minuten gemeten terwijl op elke server alleen het besturingssysteem werd uitgevoerd.


13

Vervolgens hebben we het totale energieverbruik berekend door het totale wattage op al de meters te nemen. We hebben het gemiddelde berekend van het energieverbruik tijdens de periode waarin de benchmark werd uitgevoerd op de server. We noemen deze periode het interval voor het meten van het energieverbruik. Zie afbeelding 2 (energieverbruik in inactieve toestand) en 3 (gemiddeld piekvermogen) voor de resultaten van deze metingen.

SPECjbb2005-configuratie We hebben SPECjbb2005 versie 1.07 van 15 maart 2006 gebruikt. We hebben de uitvoeringsregels van SPEC gevolgd. (Raadpleeg www.spec.org/jbb2005/docs/RunRules.html voor meer informatie over SPECjbb2005 en de uitvoeringsregels.) We hebben SPECjbb2005 geïnstalleerd door de inhoud van de cd met SPECjbb2005 naar de directory C:\SPECjbb2005v1.07 op de harde schijf van de server te kopiëren. Voor SPECjbb2005 is een Java Virtual Machine vereist op het systeem dat wordt getest. Wij hebben de JVM van BEA JRockit(R) (build P27.4.0-10-90053-1.6.0_02-20071009-1827-windows-x86_64, gecompileerde modus) voor deze test gebruikt met de standaardinstallatie-instellingen. Na de installatie hebben wij in overeenstemming met de uitvoeringsregels het bestand SPECjbb_config.props in de hoofddirectory van SPECjbb2005 bewerkt om informatie over de server en onze licentiegegevens toe te voegen. SPECjbb2005 maakt gebruik van dit bestand bij het genereren van de resultaten voor elke run. We hebben ook het aantal JVM-instanties in 2 gewijzigd in het bestand SPECjbb.props. Hierdoor kunnen er twee 2 JVM-instanties op een server worden uitgevoerd tijdens de tests. We hebben een batchbestand gemaakt dat we in de hoofddirectory van SPECjbb2005 hebben geplaatst om de benchmark te starten met de uitvoeropdracht voor Java. Tijdens de tests hebben we dit batchbestand uitgevoerd vanuit een opdrachtvenster van Microsoft Windows Server 2003 x64 Edition. Dit batchbestand bevat de volgende tekst:


14

@echo off set path="C:\jrockit-jdk1.6.0_02\bin";%path% set JVM=2 :: Set JAVA_HOME to Java.exe path. set JAVA_HOME="C:\jrockit-jdk1.6.0_02\bin" :stage1 set PROPFILE=SPECjbb.props set JAVAOPTIONS= -Xms256m -Xmx256m rem set JBBJARS=.\jbb.jar;.\check.jar set JBBJARS=.\jbb.jar;.\jbb_no_precompile.jar;.\check.jar;.\reporter.jar set CLASSPATH=%JBBJARS%;%CLASSPATH% :stage2 echo Using CLASSPATH entries: for %%c in ( %CLASSPATH% ) do echo %%c @echo on start /b C:\jrockit-jdk1.6.0_02\bin\java.exe %JAVAOPTIONS% spec.jbb.Controller propfile %PROPFILE% @echo off set I=0 set J=F :LOOP set /a I=%I + 1 echo. echo Starting JVM Number %I% with Affinity to CPU %J% echo. @echo on start /AFFINITY %J% /B C:\jrockit-jdk1.6.0_02\bin\java.exe -Xms1600m -Xns1300m Xmx1600m -XXaggressive -XXlargepages -XXcallprofiling -Xgc:genpar XXthroughputCompaction -XXlazyUnlocking -XXtlasize:min=4k,preferred=256k spec.jbb.JBBmain -propfile %PROPFILE% -id %I% > multi.%I% @echo off set J=%J%0 IF %I% == %JVM% GOTO END GOTO LOOP :END :egress


15

In het batchbestand hebben we de Java-opties die de prestaties van JVM bepalen, als volgt ingesteld: Xms1600m

Met deze optie wordt de minimale heap-grootte ingesteld. We stellen de minimale en maximale heap-grootte in op dezelfde waarde, zodat de heapgrootte voortdurend 1600 MB blijft.

Xns1300m

Met deze optie wordt de nursery-grootte op 1300 MB ingesteld.

Xmx1600m

Met deze optie wordt de maximale heap-grootte ingesteld.

XXaggressive

Deze optie geeft in feite aan dat de JVM op maximale snelheid wordt uitgevoerd.

Xgc:genpar

Deze optie geeft aan dat Java gebruikmaakt van generationele parallelle verzameling van objecten.

XXthroughputCompaction

Met deze optie wordt de compressieverhouding dynamisch aangepast aan de live-data in de heap.

XXlazyUnlocking

Deze optie bepaalt wanneer vergrendelingen worden vrijgegeven door de JVM.

XXtlasize:min=4k,preferred=256k

Deze optie geeft de lokale grootte voor threads aan voor de JVM. We hebben een minimale instelling en een voorkeursinstelling opgegeven voor de tests.

-XXlargepages

Deze optie geeft aan dat de JVM zo mogelijk grote geheugenpagina's voor de Java-heap en andere gebieden in de JVM gebruikt.

-XXcallprofiling

Met deze optie wordt het gebruik van aanroepprofilering voor codeoptimalisaties ingeschakeld.

De uitvoering van de tests Om het gemiddelde energieverbruik tijdens optimale prestaties te berekenen moesten alle systemen tegelijkertijd met maximale prestaties worden uitgevoerd. Hiervoor moest SPECjbb2005 tegelijkertijd op alle servers worden gestart. Dit realiseerden wij door SPECjbb2005 op alle testsystemen te starten met batchbestanden. Op elk testsysteem hebben wij een batchbestand in de opstartmap geplaatst dat werd gestart na het laden van het besturingssysteem. Nadat het batchbestand was gestart, bleef het desbetreffende systeem 720 seconden lang inactief. Na de 720 seconden werd door het batchbestand eenmaal per seconde het bestand run.txt gezocht in de directory SPECjbb2005. Om te beginnen met de test hebben we een batchbestand op een controllersysteem gebruikt waarmee het bestand run.txt naar alle systemen werd gekopieerd. Nadat het bestand run.txt naar alle testsystemen was gekopieerd, werd de SPECjbb2005-benchmark gestart door de batchbestanden. Door SPECjbb2005 op deze wijze te starten verkregen we de zekerheid dat de clients binnen één seconde na elkaar werden gestart.


16

Bijlage A – Configuratiegegevens voor behuizing Afbeelding 17 biedt gedetailleerde configuratiegegevens voor de behuizingen in alfabetische volgorde. Behuizing Algemene afmetingen Hoogte (inch) Breedte (inch) Diepte (inch) U-formaat in serverrack Aantal blades Voedingen Totaalaantal Vermogen per voeding Koelventilatoren Totaalaantal Afmetingen (H x B) per stuk Spanning Amp

Dell PowerEdge M600

HP BladeSystem cClass


17,5 19 30,5 10 16

17,5 19 31,0 10 16

15,75 19 28,0 9 14

6 2.360

6 2.250

2 2.900

9 3,5 x 3 12 volt 7 amp

10 3,5 x 3 12 volt 16,5 amp

2 ventilatoren 4,5 x 11,5 200-240 volt 5,5 amp

Formatted Table

Afbeelding 17: gedetailleerde configuratiegegevens voor de behuizingen.


17

Bijlage B – Configuratiegegevens voor bladesysteem Afbeelding 18 biedt gedetailleerde configuratiegegevens voor de bladeserversystemen in alfabetische volgorde. Servers Algemene processorinstellingen Aantal processorpakketten Aantal kernen per processorpakket Aantal hardwarethreads per kern Energiebeheerbeleid voor systeem CPU Leverancier Naam Stepping Sockettype Frequentie van kern (GHz) Frequentie van frontsidebus (MHz) L1-cache L2-cache

hankelijk Leverancier en modelnummer Modelnummer van moederbord Chipset van moederbord Revisienummer van moederbord BIOS-naam en versie BIOS-instellingen

Chipset INF driver Geheugenmodule(s) Leverancier en modelnummer Type Snelheid (MHz) Snelheid in huidig systeem (MHz) Timing/latentie (tCL-tRCDiRP-tRASmin) Afmetingen Aantal RAM-modules Chipordening


Dell PowerEdge M600


2 4

2 4

2 4

1

1

1

Altijd aan

Altijd aan

Altijd aan

Intel Quad-Core Intel Xeonprocessor E5345 B LGA 771 2,33 GHz 1.333 MHz

Intel Quad-Core Intel Xeonprocessor E5345 7 LGA 771 2,33 GHz 1.333 MHz

Intel Quad-Core Intel Xeonprocessor E5345 7 LGA 771 2,33 GHz 1.333 MHz

32 KB + 32 KB (per kern) 2 x 4 MB (elke 4 MB gedeeld door twee kernen)



Dell PowerEdge M600

HP ProLiant BL460c

BladeCenter HS21

Dell 0MY736

HP 435458-B21

IBM 8853C2U

Intel 5000P X31

Intel 5000P 91

Intel 5000P B1

Dell 0.2.11 Uitgeschakelde Hardware Prefetcher en Adjacent Cache Line Prefetcher Intel 7.4.1005

HP I15 12/26/2006 Uitgeschakelde Hardware Prefetcher en Adjacent Cache Line Prefetcher HP 2.1.8

IBM 1.07 10/26/2007 Uitgeschakelde Hardware Prefetcher en Adjacent Cache Line Prefetcher Intel 7.4.1005

Samsung M395T2953EZ4-CE65 PC2-5300 667 MHz 667 MHz

Micron MT18HTF12872FDY PC2-5300 667 MHz 667 MHz

Hynix HYMP512F72CP8D2-Y5 PC2-5300 667 MHz 667 MHz

5-5-5-15

5-5-5-15

5-5-5-15

4 GB (4 x 1 GB) 4 Dubbelzijdig




18

Servers Harde schijf Leverancier en modelnummer Aantal schijven in systeem Grootte Buffergrootte TPM Type Controller Stuurprogramma van controller Besturingssysteem Naam

Buildnummer Service Pack Datum Microsoft Windowsupdate Bestandssysteem Kernel Taal Microsoft DirectX-versie Grafische oplossingen Leverancier en modelnummer Chipset BIOS-versie Type Geheugengrootte Resolutie Driver Netwerkkaart/subsysteem Leverancier en modelnummer Type Driver Optisch station Leverancier en modelnummer USB-poorten Aantal Type

Dell PowerEdge M600



Fujitsu may2073rc

Seagate St973402SS

IBM 26K5777

2 73 GB 16 MB 10.000 SAS Dell SAS 6/iR Integrated Blades-controller Dell 1.24.4.0

2 72 GB 16 MB 10.000 SAS Smart Array E200Icontroller HP 6.6.0.64

2 73,4 GB 8 MB 10.000 SAS LSI-adapter, SAS 3000serie LSI 1.21.28.0

Microsoft Windows Server 2003, Enterprise x64 Edition 3790 SP 2 SP 2 plus updates tot en met 29-11-07 NTFS Op x64-gebaseerde ACPI Multiprocessor-pc Nederlands 9.0c



ATI ES1000

ATI ES1000

ATI ES1000

ATI ES1000 BK-ATI VER008.005.031.000 Geïntegreerd 32 MB 1.024 x 768 ATI 8.240.50.1000



Broadcom BCM5708S NetXtreme II GigE Geïntegreerd Broadcom 3.5.8.0

HP NC373i Multifunction Gigabit Server Adapter Geïntegreerd HP 3.0.5.0

Broadcom BCM5708S NetXtreme II GigE Geïntegreerd Broadcom 3.0.5.0

Geen geïnstalleerd

Geen geïnstalleerd

Geen geïnstalleerd

2

2 (met aangesloten adapter) USB 2.0

2

USB 2.0

USB 2.0

Afbeelding 18: gedetailleerde configuratiegegevens voor de bladeserversystemen.


19

Principled Technologies, Inc.1007 Slater Road, Suite 250Durham, NC 27703www.principledtechnologies.cominfo@ principledtechnologies.com

Principled Technologies is een gedeponeerd handelsmerk van Principled Technologies, Inc. Alle andere productnamen zijn handelsmerken van de respectieve eigenaren NIET-AANSPRAKELIJKHEIDSVERKLARING; BEPERKING VAN AANSPRAKELIJKHEID: PRINCIPLED TECHNOLOGIES, INC. HEEFT REDELIJKE INSPANNINGEN GELEVERD OM ZORG TE DRAGEN VOOR DE NAUWKEURIGHEID EN GELDIGHEID VAN DE TESTS. PRINCIPLED TECHNOLOGIES, INC. BIEDT EVENWEL GEEN UITDRUKKELIJKE DAN WEL GEÏMPLICEERDE GARANTIES MET BETREKKING TOT DE TESTRESULTATEN EN -ANALYSEN EN DE NAUWKEURIGHEID, VOLLEDIGHEID OF KWALITEIT DAARVAN, MET INBEGRIP VAN GEÏMPLICEERDE GARANTIES VOOR DE GESCHIKTHEID VOOR EEN BEPAALD DOEL. ALLE PERSONEN OF RECHTSPERSONEN DIE VERTROUWEN OP DE RESULTATEN VAN DEZE TESTS, DOEN DIT OP HUN EIGEN RISICO EN AANVAARDEN DAT PRINCIPLED TECHNOLOGIES, INC., HAAR WERKNEMERS EN HAAR ONDERAANNEMERS NIET AANSPRAKELIJK ZIJN VOOR CLAIMS MET BETREKKING TOT VERLIES OF SCHADE NAAR AANLEIDING VAN VERMEENDE FOUTEN OF GEBREKEN IN TESTPROCEDURES OF -RESULTATEN. PRINCIPLED TECHNOLOGIES, INC. ZAL IN GEEN GEVAL AANSPRAKELIJK ZIJN VOOR GEVOLG-, INDIRECTE, SPECIALE OF INCIDENTELE OF SCHADE MET BETREKKING TOT DE TESTS, ZELFS ALS PRINCIPLED TECHNOLOGIES, INC. IS GEWEZEN OP DE MOGELIJKHEID VAN DERGELIJKE SCHADE. DE AANSPRAKELIJKHEID VAN PRINCIPLED TECHNOLOGIES, INC. IS IN ELKE SITUATIE BEPERKT TOT HET BEDRAG DAT IS BETAALD IN VERBAND MET DE TESTS DOOR PRINCIPLED TECHNOLOGIES, INC. DE KLANT BESCHIKT ALLEEN OVER DE VERHAALSMOGELIJKHEDEN DIE HIER WORDEN VERMELD.


20

BELANGRIJKSTE CONCLUSIES

Recommend Documents