WSCC Amsterdam M

ISE

Performancetest Online Banking Fortis

Amsterdam 30 maart 2005 FBN/ WSCC Amsterdam M. van Vlerken

Introduktie Maarten van Vlerken

Amsterdam, 30 maarti 2005

ISE Performancetesten 2

2

1

Inhoud -

Opdracht voor performancetest online banking gelijktijdigheid / concurrency Infrastructuur Meetpunten Gebruikers scenario Belastingsmodel Testscenario Testdata Script ontwikkeling Draaiboek Uitvoering Resultaten Probleem - oplossing Vervolg test Resultaten Probleem - oplossing Tunning Sessies Conclusie Herhaal testen OLB2 ISE

3

Performancetesten 3

Opdracht Criteria voor het project Aantalen Aantal klanten :

250.000

Aantal login’s/ uur :

4600

Aantal transacties / uur :

4600

Responsetijden: Login : Andere transacties :

15 seconden 7 seconden

Architectuur: Front-end systeem :

België

Back-end systeem :

Nederland

Security systeem :

Nederland


4

2

Opdracht

Gelijktijdigheid / Concurrency

Soorten gelijktijdigheid Gebruikers Transacties

wachttijden (variabel) aantal per tijdseenheid

Server

processor gebruik

Soorten gebruikers Named users

Klanten bestand

Active users Concurrent users

Klanten die de applicatie gebruiken Klanten die tegelijkertijd actief zijn

Gebruiker acties transactie - wachttijd - transactie - wachttijd - transactie - enz

ratio = som transactie tijden/ totale doorloop tijd totale doorloop tijd = som transactie tijden + som wachttijden concurrent users = ratio * aantal gebruikers ISE

5

Performancetesten 5

Infrastructuur Testketen OLB2 in QA Woerden

Brussel

Woerden / Utrecht

Utrecht

IP

http

Mq- message

IP/Sqlnet

http

IPL/lpap

SSL/xml

Mqmessage

Mqmessage LoadRunner

OLB2 IIS applicatie server

WAS server

Log Server

Admin Server

MQ hub BE

MQ hub NL

Security server

Auteur: Afdeling: Versie: Datum:

DEP box

LDAP server

Oracle db

Sprint

M van Vlerken ISE/AM/WSCC Amsterdam 3.0 4 februari 2005


6

3

Meetpunten Apparaat Cliënt / Loadrunner LAN router NL-BE IIS applicatie Webserver (Windows) WAS Server

Technische naam

Actief

Loadrunner

Ja

ConcordHealth

Ja

Health(cpu,mem) Hits per second

Perfmon Loadrunner

Ja

nmon

Ja

fortisnlacc

B. Jacobs J. Parmentier

urs0138q

P. Janssens WebSphere E. Hoedemaekers B. Jacobs J. Parmentier B. Jacobs J. Parmentier G. Clemmen MQ-series A.Vangyseghem E. Guldenmond MQ-series E. den Boer

Health(cpu,mem)

Health(cpu,mem)

nmon

Nee

P. v.d Brink E. den Boer

MAD/Allshare

Health(cpu,mem)

nmon

Ja

P. v.d Brink E. den Boer

Ldap server DB2

Health(cpu,mem)

nmon

Ja

T. Linders E. den Boer

Oracle

Health(cpu,mem)

nmon

Ja

W. van Wijk

IDMS

Health(cpu,mem)

(RS/6000)

S50M1504

General Oracle server Sprint

Hoe te meten

Responsetijd http gegevens Throughput

H. Bak

S50M7202

LDAP server

Wat te meten

nrb0mr11

Admin server MQ hub BE

Security server

Applicati es

M. v.Vlerken

Log server

MQ hub NL

Contact persoon

rs60060p (RS/6000) xwp0a311/ xwp0a313 (RS/6000) xua0a303/ xwp0a507 (RS/6000) xua0a402/ xwp0a602 (RS/6000) xua0a309 (RS/6000) CV16 FBNw2 (Z/OS)

IIS

Health(cpu,mem)

Nee

Health(cpu,mem)

Nee

Health(cpu,mem)

Nee

Nee

ISE

7

Performancetesten 7

Userscenario’s Userscenario

Verdeling

Binnenlandse betaling

70%

Mutatie overzicht

20%

Zoeken van een mutatie

10%

Binnenlandse betaling: 6aanmelden 6kies 6voer

binnenlandse betaling gegevens in

6verstuur

de betaling

6Signing

van de transactie

6afmelden


8

4

Belastingmodel Belastingmodel Performancetest OLB2 650 Piekbelasting 600

Aantal gelijktijdige gebruikers

550 500 450 400 350 Performance test

Load test

300 250 200 150 100 50 0 0:00

0:15

0:30

0:45

1:00

1:15

1:30

1:45

2:00

2:15

2:30

2:45

3:00

3:15

3:30

Tijd as

ISE

9

Performancetesten 9

Testscenario TABEL 7. I NSTELLINGEN TESTSCENARIO “ALGEMEEN”. Instellingen Type LoadRunnerscenario Ramp up/down Think time

Manual – Percentage mode 2 VU / 8 seconden Ja

TABEL 8. S AMENSTELLING TESTSCENARIO “ALGEMEEN” Uit te voeren gebruikersscenario Zoek functie Mutatie overzicht Binnenlandse betaling

% VU 10 20 70

T ABEL 9. U ITVOERINGSSCHEMA PERFORMANCETEST. Testscenario Algemeen

Aantal 10 15 min

VU

25 15 min

50 15 min

100 15 min

200 15 min

300 15min

T ABEL 10. UITVOERINGSSCHEMA LOADTEST . Aantal VU

Testscenario Algemeen

300 1.5 uur


10

5

Testdata Klanten Rekening nummer en kaartnummer

600 x

Klanten in de database

250.000

Rekeningen Mutaties op de rekeningen

voor de zoek functie

Positief saldo

voor betalingen

Simulatie van de Challenge/Response

ISE

11

Performancetesten 11

Testdata - genereren van response code IP

te testen systeem LoadRunner

WebServer Utility

DEP box

http://v1565378. var.nl.fortis.bank/ depweb /DepUtilServletDirect?account=0800255917&card=5989&challenge=08860693


12

6

Script ontwikkelen


13

Script ontwikkelen Aandachtspunten Parameters • rekeningnummer en kaartnummer • huidige datum • variabele datum in het verleden Opvangen variabele data • verschillende formaten van rekeningnummer • hashdata • challenge code / response code • Transferid Genereren van betaal opdracht • Samenstellen XML bericht ISE Performancetesten 14

14

7

Draaiboek 1.1

DINSDAG 20 APRIL Deze dag zal gebruikt worden om de test straat door te testen met de verschillende scripts en om de monitors in te richten. TABEL 13. DRAAIBOEK 20

APRIL

Tijdstip Gehele dag


Aantal VU 1

Gehele dag

Algemeen

10

1.2

Opmerking

WOENSDAG 21 APRIL

TABEL 14. DRAAIBOEK 21

Tijdstip 09:00 – 16.00

1.3

Bemensing Maarten van Vlerken Ester Sloot Maarten van Vlerken Ester Sloot

APRIL


Aantal VU 10, 25, 50, 100, 200, 300

Bemensing Maarten van Vlerken Ester Sloot

Opmerking Performancetest

Bemensing Maarten van Vlerken Ester Sloot Maarten van Vlerken Ester Sloot

Opmerking Loadtest

DONDERDAG 22 APRIL .

TABEL 15. DRAAIBOEK 22

APRIL

Tijdstip 09:30 – 11.00


Aantal VU 300

13:00 – 13.05

Algemeen

600

Piekbelasting


15

Uitvoering


16

8

Uitvoering

ISE

17


Resultaten

Aantal logins Verloop aantal Login_Response

450

400

350

Aantal

300

250 # Ok # Nok 200

150

100

50

0 0

5

10

15

20

25

30

35

40

45

Aantal virtual users


18

9

Resultaten

Responsetijd Verloop Responsetijden Betaal Opdracht

12

Responsetijden in sec

10

8 Max 90% 6

Gem Min

4

2

0 0

2

4

6

8

10

12


ISE

19


Resultaten

Responsetijd

Probleem

Verloop Responsetijd Login_Response 90

80

70

Responsetijd in sec

60 Max

50

90% Gem Min

40

30

20

10

0 0

5

10

15

20

25

30

35

40

45



20

10

Resultaten

Netwerkbelasting

ISE

21


Resultaten

Server belasting: WAS server Verloop CPU Belasting WAS Server

100 90 80

CPU Belasting in %

70 60 User time System time

50 40 30 20 10 0 9:00

9:30

10:00

10:30

11:00

11:30

12:00

12:30

Tijdstip


22

11

9:3 9:3 5 9:4 8:3 6 9:5 7:3 10 6 :06 :3 10 6 :15 :3 10 6 :24 :3 10 6 :33 :3 10 6 :42 :3 10 6 :51 :3 11 6 :00 :3 11 6 :09 :3 11 6 :18 :3 11 6 :27 :3 11 6 :36 :3 11 6 :45 :3 11 6 :54 :3 12 6 :03 : 12 36 :12 : 12 36 :21 : 12 36 :30 : 12 36 :39 12 :36 :48 :3 12 6 :57 :3 13 6 :06 :3 13 6 :15 :3 13 6 :24 :3 13 6 :33 :3 13 6 :42 :3 13 6 :51 :3 14 6 :00 :36

Procent

Resultaten - probleem Server belasting: Security server

100

CPU

90

80

70

60

50 User% Sys% Wait%

40

30

20

10

0

Tijd



23

ISE

Conclusie

Specifiek testen van:

Security server

24

ISE

12

Infrastructuur Testketen OLB2 in QA Woerden

Brussel

Woerden / Utrecht

Utrecht

IP

http

IPL/lpap

http

IP/Sqlnet

SSL/xml

Mq- message

Mqmessage

Mqmessage

LoadRunner

OLB2 IIS applicatie server

WAS server

Log Server

Admin Server

MQ hub BE

MQ hub NL

Security server

DEP box

Auteur: Afdeling: Versie: Datum:

LDAP server

Oracle db

Sprint

M van Vlerken ISE/AM/WSCC Amsterdam 3.0 4 februari 2005

ISE

25


Infrastructuur Specifiek testen van: Security server Infrastructuur

IP/Sqlnet

IP http

IPL/lpap

Woerden

LoadRunner Security server

DEP box

Oracle db

Ldap z-serie ISE


26

13

Gebruikerscenario/Testscenario Specifiek testen van: Security server Userscenario:

Logon_en_Signing

Testscenario:

Logon_en_Signing

Testscenario Logon_en_Signing

Script

Aantal

1 15 min

VU

5 15 min

10 15 min

25 15 min

40 15 min

55 15min

Web/XML


27

Web script zelf maken


28

14

Resultaat

Responsetijden 1750 1700 1650 1600 1550 1500 1450 1400 1350 1300 1250 1200 1150 1100 1050 1000 950 900 850 800 750 700 650 600 550 500 450 400 350 300 250 200 150 100 50 0

25

Responsetijd in sec

20

15

10

5

0 0

10

20

30

40

50

Aantal transacties

Verloop van de responsetijden van OLB_003_SigningTransactie 30

Max 90 Percentiel Gem Min # Ok # Fail # Stop

60

Aantal VU

ISE

29


Resultaat

CPU Total xwp0a507 meetserie 21-01-2005

100

90

80

CPU Belasting in %

70

60

50

40

30

20

10

21:45

21:15 21:30

20:45 21:00

20:00 20:15 20:30

19:15 19:30 19:45

18:45 19:00

18:15 18:30

17:30 17:45 18:00

17:00 17:15

16:15 16:30 16:45

15:45 16:00

15:00 15:15 15:30

14:30 14:45

13:45 14:00 14:15

13:15 13:30

12:30 12:45 13:00

12:00 12:15

11:15 11:30 11:45

10:45 11:00

9:30 9:45

10:00 10:15 10:30

8:45 9:00 9:15

8:15 8:30

7:45 8:00

7:30

0

Tijdstip (hh:mm)


30

15

Resultaat

cpu belasting

Relatie CPU belasting xwp0a507 en LDAP vulling, bij verschillend aantal VU meetsessies 15 VU en 25 VU

100

90

80

CPU belasting in %

70

60

50

40

30

20

10

0 0

50.000

100.000

150.000

200.000

250.000

Aantal klanten in de LDAP Metingen met 15 VU

Metingen met 25 VU

ISE

31


Resultaat

WebSphere metingen Verloop van het JVM gebruik xwp0a507 - Security-Server-Interfaces meetsessie OLBMAD 055 VU, 11-01-2005

80 70

JVM gebruik in MB

60 50 40 30 20 10 0 15:30

15:35

15:40

15:45

15:50

15:55

16:00

Tijdstip (hh:mm) jvmRuntimeModule/totalMemory

jvmRuntimeModule/usedMemory

jvmRuntimeModule/freeMemory

wsp3_olbmad_055vu_1_0.lra


32

16

Problemen / oplossingen

Crypto berekeningen Serialisatie Dep box

-

Crypto kaart Aanpassen van Software

JVM setting

-

Verhogen parameter

LDAP sever Database

-

Aparte server Tuning

ISE

33


Tuning sessies Testscenario:

Script

Logon_en_Signning

VU Duur

75 10 minuten

Aanpassing Onderdeel LDAP Db2 bufferpool size IBMDEFAULTBP: Db2 bufferpool size LDAPBP Db2 NUM_IOCLEANERS Db2 NUM_IOSERVERS

Waarde nulmeting

I

150000 18750 3 6

II

175000 20000

III

185000 22500 6 3 9 6

IV

V

192500 185000 24000 22500

Resultaten Testnummer Aantal VU Tijdsduur (hh:mm:ss) Aantal transacties per uur

1 1 0:20:24

3

4

5 15 0:20:58 0:23:02

2

25 0:24:47

5

6

40 55 0:27:20 0:29:54

7

I

II

55 40 40 0:29:34 0:27:14 0:27:06

III

IV

40 40 0:27:05 0:26:42

OLB_001_Identification

91,2

446,4

1279,0

2045,7

2963,4

3347,2

3344,3

2853,1

2880,4

2875,6

2822,5

OLB_002_Authentication OLB_003_SigningTransactie OLB_004_SigningVerification

91,2 91,2 91,2

446,4 446,4 440,7

1279,0 1279,0 1266,0

2045,7 2045,7 2028,8

2963,4 2961,2 2934,9

3345,2 3345,2 3311,0

3332,1 3332,1 3301,7

2844,3 2844,3 2795,8

2871,6 2869,4 2827,3

2873,4 2871,1 2840,1

2820,2 2773,0 2746,1


34

17

Conclusies De performancetest:

heeft probleem vroegtijdig aangetoond, vóór in produktie name

Belangrijk:

goede invulling van test data

ISE

35


Herhaaltesten van OLB2 Release

User scenarios

2004

Download betalingen MT940 Upload betalingen

2005

Upload Incasso’s Download zoek resultaat

Bekend: infrastructuur , meetpunten, testdata, loadmodel, aanspreekpunten enz. Aanpassen: (Nieuwe) scripts en testscenario. ISE Performancetesten 36

36

18

Herhaaltesten van OLB2

Dus: Kortere doorloop tijd

ISE

37


Einde presentatie


38

19

WSCC Amsterdam M

Recommend Documents