Összehasonlító tesztek használata a közbeszerzésben
Gacsal József Alelnök IVSZ
Alapvető tudnivalók Mi az összehasonlító tesztelés? – Eljárás a teljesítmény vizsgálatára és mérésére – Referencia pontot ad az összehasonlításhoz
Hogyan vizsgáljuk a teszteket? – Összehasonlítható konfigurációkról van szó? • CPU, memória, merevlemez, OS, BIOS, meghajtók, szoftver • Hatása lesz, ha nem egyezik Irodai • Válasszuk le a tesztelt részt termelékenység
– Mit mérünk? • Sajátos felhasználás? • Különleges teljesítmény? • Megismételhetően dokumentált?
Akku üzemidő 3D grafika Vizuális minőség Media kódolás
– Mit jelent és mit vonhatunk le belőle?
Értsük meg mittojelent eredmény! Benchmarking supportaz tenders 23rd February 2010 2
Ki fejleszti a teszteket ? KONZORCIUMOK (BAPCo*, SYSmark*, MobileMark*& WebMark*, SPEC* CPU2000*) Nyílt forráskódú KÖZÖSSÉG (PovRay*, Lame MP3*) Egy független SZOFTVERGYÁRTÓ (Doom 3*, Unreal Tournament*) Egy CÉG (Veritest*, FutureMark*) EGYÉNEK (SiSoft* Sandra*, Super PI) A konzorcium az iparági tudást használja fel, hogy egészséges vitát generáljon a fejlesztési ciklusban Benchmarking to support tenders 23rd February 2010 3
Tesztelési módszertan és a technikai követelmények kiírása Módszertan – A hatóságnak precízen dokumentálnia kell a teszteket, hogy azok összehasonlíthatóak és megismételhetőek legyenek – A rendszer beállításokat a “Master Image” összehasonlítására kell előírni – A teszteket mindig a szállításra ajánlott konfigurációkon kell elvégezni – Mindig ragaszkodni kell a használt teszt licencében lévő követelményekhez (pld. BAPCo. weboldala) – A kiválasztott konfigurációkat hatóságnak saját magának kell tesztelnie (saját vagy független laborban), hogy igazolják a résztvevők által beadott eredményeket Benchmarking to support tenders 23rd February 2010
4
BAPCo* konzorcium – BAPCo* (Business Applications Performance Corporation) egy non-profit konzorcium, mely objektív teljesítmény összehasonlító teszteket készít és terjeszt, népszerű alkalmazások és iparági szabvány operációs rendszerek alapján. – BAPCo* tagok 2006. februárban
Source: www.bapco.com
Benchmarking to support tenders 23rd February 2010 5
SPEC* konzorcium SPEC tagok 33DLabs * Acer Inc. * Advanced Micro Devices * Apple Computer, Inc. * ATI Research * Azul Systems, Inc. * BEA Systems * Borland * Bull S.A. * CommuniGate Systems * Dell * EMC * Exanet * Fabric7 Systems, Inc. * Freescale Semiconductor, Inc. * Fujitsu Limited * Fujitsu Siemens * Hewlett-Packard * Hitachi Data Systems * Hitachi Ltd. * IBM * Intel * ION Computer Systems * JBoss * Microsoft * Mirapoint * NEC - Japan * Network Appliance * Novell * NVIDIA * Openwave Systems * Oracle * P.A. Semi * Panasas * PathScale * The Portland Group * S3 Graphics Co., Ltd. * SAP AG * SGI * Sun Microsystems * Super Micro Computer, Inc. * Sybase * Symantec Corporation * Unisys * Verisign * Zeus Technology *
SPEC társult tagok California Institute of Technology * Center for Scientific Computing (CSC) * Defence Science and Technology Organisation - Stirling * Dresden University of Technology * Duke University * JAIST * Johns Hopkins University * Kyushu University * Leibniz Rechenzentrum - Germany * National University of Singapore * New South Wales Department of Education and Training * Penn State * Purdue University * Queen's University * Rightmark * Stanford University * Technical University of Darmstadt * Texas A&M University * Tsinghua University * University of Aizu - Japan * University of California - Berkeley * University of Central Florida * University of Illinois - NCSA * University of Maryland * University of Modena * University of Nebraska, Lincoln * University of New Mexico * University of Pavia * University of Stuttgart * University of Texas at Austin * University of Texas at El Paso * University of Tsukuba * University of Waterloo * VA Austin Automation Center *
SPEC támogató tagok EP Network Storage Performance Lab * SuSE Linux AG *
Benchmarking to support tenders 23rd February 2010
6
Forrás: www.spec.org 2006. február
A tesztelő eszközök érzékenysége változik SPEC CPU 2000 – 2008. július 1. után nem használatos WEBMARK 2004 – 2008. július 1. után nem használatos SYSMARK 2004 és 2004 SE – 2008. július 1. után nem használatos
Benchmarking to support tenders 23rd February 2010 7
Trükkök és taktikák Vigyázat… – Idejét múlt vagy már nem támogatott tesztek használata. • VeriTest* Business Winstone* 2004, VeriTest* Multimedia Content Creation Winstone* 2004 • PC World Bench 5.0
– Keverés (pld. geometriai középérték számítás) sok eredmény átlagolása a vezető szerep követeléséhez • Pld. grafikus teljesítményből teljes teljesítményre következtetni
– Konfiguráció elfedése vagy nem alma-alma összehasonlítás a teszt gépeken. Benchmarking to support tenders 23rd February 2010 8
A teszt eredmények hitelességi tényezőinek vizsgálata 1.
Alma-alma konfigurációk?
2.
Ipari szabvány tesztek és/vagy elterjedt alkalmazások használata? Legjobb: Jobb: Jó:
ipari szabvány teszt – független konzorcium (BAPCo* vagy SPEC*1) ipari szabvány teszt – független cég (FutureMark*) elterjedt alkalmazás
3.
A teszt vagy szoftver legújabb verzióját használtuk?
4.
A használt tesz vagy szoftver tükrözi a kívánt felhasználást?
5.
A tesztelt konfigurációk és tesztek teljes dokumentációja rendelkezésre áll, hogy ,egismételhető legyen a teszt?
6.
Szabványos beállításokat használtunk? − Változtattunk bármit, amitől változott (nőtt) a teljesítmény?
7.
A tesztek kiadásakor a legfrisebb meghajtó programokat használtuk?
8.
Egyedi tesztek és szoftver eredményeket kaptunk? − Az eredményeket nem szabad szisztematikusan összegezni, hogy „átfogó” teljesítmény eredményt kapjunk. Ez félrevezető az aktuális eredmények tekintetében és nem szabad felhasználni a tesztek vagy szoftverek kiválasztásához.
9.
Teljes és világos vizuális jelzések vannak a grafikonokon?
Tegyük fel ezeket a kérdéseket, hogytenders hiteles teszteket végezzünk! Benchmarking to support 23rd February 2010 9
Jó gyakorlat bemutatása– német közbeszerzési projekt http://www.itk-beschaffung.de/en/introduction.html
Benchmarking to support tenders 23rd February 2010 10
A projekt alapító tagjai és céljai Alapítók: – – – –
német belügyminisztérium beszerezési hivatala BITKOM (német IVSZ) német hadsereg szövetségi információ kezelési és informatikai hivatala német környezetvédelmi minisztérium
Célok: – Iparági szereplőkel együttműködésben, megbízható és intelligens eszközökkel segíteni a szövetségi, tartományi és önkormányzati beszerzőket az IKT beszerzésekben – Cég vagy márkanevek használata nélkül, minden kötelező jogi előírás figyelembevételével – A fenntartható beszerzés minden nézőpontjának figyelembevételével – Jelenleg csak asztali és notebook számítógépekre – A kiszolgálókkal kapcsolatban már előkészületben Benchmarking to support tenders 23rd February 2010 11
Partnerek
Benchmarking to support tenders 23rd February 2010 12
Letölthető anyagok
Benchmarking to support tenders 23rd February 2010 13
Mit ajánl az iparág?
1. Folyamatos együttműködést 2. Működő modelleket, példákat 3. Az iparág segítségét és munkáját 4. Folyamatos frissülést, lépéstartást a technológia változásaival 5. Szabványosságot, áttekinthetőséget
Benchmarking to support tenders 23rd February 2010 14
