Implementace a využití automatizovaného testování
4.listopadu, 2009 0
Staňková Gabriela Home Credit International a.s.
Struktura prezentace
Představení společnosti Projekt „Automatizace testovaní“ Fáze realizace implementace procesu automatizace Testování – současný stav Popis implementace Zkušenosti s TestDirectorem / QuickTestem Hodnocení implementace automatizovaného testování Vzkaz do budoucna
1
Představení společnosti Společnost Home Credit International a.s. Home Credit International a.s. (dále jen HCI) je součástí skupiny Home Credit Group, která náleží do silné mezinárodní finanční skupiny PPF Home Credit Group je předním poskytovatelem spotřebitelského financování na trzích střední a východní Evropy a střední Asie Home Credit International a.s. je rozdělena na 2 částí: HCI Praha a HCI IT services Brno HCI IT services - poskytuje komplexní podporu IT řešení včetně vývoje a provozování centrálních aplikací, jež jsou pro obchodní činnost společností Home Credit klíčové Home Credit působí v současné době v 8 zemích: Česká republika, Slovensko, Rusko, Ukrajina, Kazachstán, Bělorusko, Vietnam a Čína Hlavní podnikatelskou činností skupiny Home Credit Group je poskytování služeb spotřebitelského financování (tzv. sales finance). Jak se její podnikání rozrůstá, zavádí také postupně skupina Home Credit výběrově pro své zákazníky depozitní služby, v Rusku pak rozvíjí koncept univerzální retailové banky. Sídla firmy HCI IT services – Brno a pobočka Ostrava
2
Představení hlavního produktu HCI IT
IS HOMER Vývoj, analýza, testování a provozování IS HOMER, včetně datových center a komunikačních linek pro všechny finanční Home Credity v jednotlivých zemích IS HOMER je vyvíjený v klonech dle zemí a podobností business strategií počet klonů – 5 (některé země jsou samostatně a tvoří svůj vlastní klon) IS HOMER se skládá ze skupin aplikací: webové aplikace určené především pro pořizování nových smluv a práci s externími partnery (JAVA) Tlustý klient určený pro práci centrál finančních HC (VB6, .Net, Oracle) DWH Účetnictví Podpůrné systémy sloužící jako interface mezi IS HOMER a systémy třetích stran
3
IS HOMER v číslech
Počet klonů 5 (na 8 zemí) Počet řádků zdrojového kodu cca 1.750.000 (VB6, .Net, Java WEB + WS, db) Počet formulářů cca 750 (.Net, VB6) Počet metod (funkce, procedury) cca 72.000 Počet releasů na zemi 4x / 1 rok o velikosti 150 – 850 MD Počet uživatelů IS HOMER – cca 100.000 (zaměstnanci skupiny Home Credit v jednotlivých zemích + obchodní partneři s přístupem na webové aplikace) Celkový počet aktivních klientů 6,6 milionu (počet klientů s kreditní historií 12,5 milionu) – stav ke konci roku 2008
Počet zaměstnaců v HCI IT services (Brno+Ostrava) cca 215
4
Automatizace testovaní – úvodní představení projektu Popis projektu: Implementace nástroje pro automatizované testování Účel projektu: Zvýšení efektivnosti a kvality testování Optimalizace regresního testování Cíl projektu: Pokrytí automatizovanými testy testování hlavních business procesů jako je pořizování smluv a základní práce v dílčích modulech systému Optimalizace průběhu testování na UAT prostředích Definice a implementace základních pracovních postupů pro používání nástrojů automatizovaného testování Délka projektu: 9 měsíců 5
Důvody zahájení projektu
Popis releasového cyklu
Délka interního testování 3 – 4 týdny se skládá z: 2 – 3 týdnů testů na interních testovacích databázích 3 – 4 dnů – retesty na UAT testovacím prostředí Velikost releasů dle vývojových MD: 150 – 850 MD UAT období trvá 3 – 4 týdny, v tomto období: se ze strany HCI v pravidelných servisních oknech 1x denně nasazují opravy v průběhu servisního okna je nutné provést retest systému a opravených chyb, servisní okno trvá 1, 5 hodiny, z čehož 30 – 45 minut probíhá nasazení oprav a 45 – 60 minut probíhá retest systému Nedostatečné testovací kapacity na regresní testy v období „špičky“ testování Nekomplexnost a nesystematičnost realizovaných testů 6
Fáze projektu automatizace / časové rozložení 0. Výběr společnosti (11-12/2007) KOMIX s.r.o. zkušenost s automatizací testování IS ve finančním sektoru komplexnost dodávaných služeb - schopnost realizace projektu od počáteční studie, přes připravení testovacích skriptů až k vytvoření komplexní metodiky zkušenost s nástrojem HP Quality Center 1. Technologický test (KOMIX) (03-04/2008) cíl – ověření použitelnosti SW QuickTest pro automatizaci IS HOMER návrh a plán následných kroků implementace HP Quality Center 2. Realizační fáze projektu (05-07/2008) tvorba testovacích scénářů (HCI) tvorba testovacích skriptů (KOMIX) příprava metodiky (KOMIX) převzetí know-how (skripty) od KOMIX do HCI 3. Roll out automatizace na „všechny“ destinace (03-12/2008) 4. Vyhodnocení (12/2008), optimalizace (2009) 7
1. fáze projektu – technologický test IS HOMER (03-04 / 2008)
CÍL – ověření použitelnosti SW QuickTest pro automatizaci IS HOMER
VSTUPY Testovací scénáře: KZ HOMER – pořízení smlouvy + validace polí na webových formulářích – WEB aplikace (Java) UA HOMER – pořízení smlouvy na POS aplikaci (.Net) UA HOMER – pořízení a schválení smlouvy přes workflow (Visual Basic 6) Testovací prostředí + požadované testovací prostředky: KZ + UA testovací prostředí 4 PC – 1 server + 3 PC 2 test analytici + 2 vývojáři (KOMIX) 4 HCI zaměstnanci VÝSTUPY: Testovací skripty v QTP Technologický test HOMER application s výsledkem: Aplikace vyvíjené v Java a .Net jsou vhodné pro automatizaci Aplikace vyvíjené ve Visual Basicu nejsou vhodné pro automatizaci S ohledem na probíhající převod častí modulu z VB6 aplikací do .NETu a rozložení funkčních částí systému v technologiích JAVA a .Net, bylo rozhoduto, že nástroj QTP je vhodný pro tvorbu automatických testů pro IS HOMER. ZÁVĚR: QC a QTP je určen jako vhodný nástroj pro řízení a tvorbu automatizovaných testů pro IS HOMER. 8
2. Fáze – implementace automatizace (05-07 / 2008) CÍL – vytvoření základní sady testovacích skriptů pro vhodné funkčnosti pro 3 vybrané destinace Základní definice skriptů: 1. Proces pořízení a zpracování smlouvy až do stavu aktivní 2. Validace polí na vstupních formulářích 3. Regresní testy základní funkčnosti všech .Net modulů VSTUPY Testovací scénáře pro RU, UA & KZ HOMER Testovací prostředí + požadované testovací prostředky: RU, UA & KZ HOMER testovací release database 4 PC – 1 server + 3 PC with installation of SW HP Quality Center 3-4 KOMIX test analyst and programmer 1-4 HCI zaměstnanci
VÝSTUPY Testovací skripty pro UA & KZ HOMER Pilotní provoz skriptů v rámci release Proškolení pracovníků HCI (8) Metodika automatizace v rámci HCI
ZÁVĚR
+ Úspěšné ověření procesu automatizace v provozu - Nesplnění plánu – skripty pro RU HOMER nebyly dovyvinuty a odladěny dle plánu => Časová náročnost na tvorbu a údržbu skriptů je větší než s jakou se předpokládalo 9
Použité nástroje - HP Quality Center 10.00 Do verze 8.0 známe pod názvem Mercury TestDirector Komplexní řešení pro řízení automatizovaných testů Webová aplikace na principu Klient – Server Využíváme 4 moduly: Business Components, Test Plan, Test Lab, Defects Quality Centrer využívá na uskladnění potřebných dat filesystem serveru a Oracle db
10
Business Components HP QuickTest Professional 10.00 Nahrávání kroků podle připraveného testovacího scenáře Programovaní v jazyku VBScript Obsahuje pluginy pro podporu rozpoznávání webových, .Net a VB6 aplikací
Doplnitelný modul pro Quality Center Automatizované skriptované komponenty: Nahrávání, úprava a spouštění probíhá v programu QuickTest Professional Primární dělení podle zemí Sekundárně podle technologie aplikace – NET, VB a WEB Finální rozdělení na jednotlivé moduly / části aplikace
11
Test Plan
3 TYPY TESTŮ Procesy: - kompletní proces smlouvy od založení přes kompletaci až po aktivaci Smoke testy: - proklikání záložek, ověření základní funkc. Validace: - ověření validace polí, zobrazení dialogů
Vytvoření jednotlivých testů z komponent, nastavení návaznosti. 2 typy vstupných parametrů: runtime – pro každou iteraci testu možná jiná hodnota fixed – stejná hodnota pro všechny běhy
Rozdělení dle zemí a následně podle typu
12
Test Lab
krajina
release
databáze
Pro novou databázi je nezbytné nastavit runtime parametry Každý den se vytváří nová testovací sada – lehčí dohledání výsledků do minulosti V Execution Flow se nastaví pořadí běhu testů Analýza výsledků pro testy se statusem Failed nebo Not Completed 13
Defects modul a analýza výsledků
Množství informací o chybě závisí od kvality skriptu
Doprogramovaná možnost o pořízení screenshotu
K chybám sa přistupuje z výsledků testů v testovacích plánech nebo z modulu Defects
Modul Defects umožnuje i jednoduché řízení chyb – HCI používá komplexnější nástroj JIRA
Nutně ručně zadávat chyby do JIRA
14
3.Fáze – roll-out na ostatní destinace (09-12 / 2008) CÍL dokončení + tvorba základní sady testovacích skriptů pro vhodné funkčnosti pro 3 vybrané destinace RU, KZ, UA Zapojení pracovníků HCI do tvorby a updatu skriptů, převzetí know-how od kolegů z KOMIXu VSTUP Testovací scénáře pro ostatní destinace CS, SK, CN, VN & BY HOMER Testovací prostředí + požadované testovací prostředky: RU, UA & KZ HOMER testovací release database 6 PC – 1 server + 5 PC with installation of SW HP Quality Center 3-4 KOMIX test analyst and programmer 1-4 HCI zaměstnanci
VÝSTUP Testovací skripty pro BY, RU HOMER Update skriptů pro UA, KZ Pilotní provoz skriptů v rámci release První vytvořené skripty zaměstnanci HCI Metodika automatizace v rámci HCI
ZÁVĚR
+ Úspěšné použití automatizovaného testování na nejkritičtějším klonu RU/BY + Ověření schopnosti převzít know-how od KOMIXu a následně udržovat a vyvíjet skripty nové + realizace větší množiny testů než před automatizací - Nezvládnutí všech naplánovaných aktivit (zjištění nemožnosti přesunu částí skriptů na jiné vyvíjené klony
15
Výstupy z projektu a jejich přínosy a nedostatky VÝSTUPY nastavení procesu automatizovaného testování uvnitř firmy
připravená architektura technického řešení, naparametrizovaný TD sada vytvořených testovacích skriptů připravenost 5 pracovníků HCI pracovat s nástroji HP a skripty vytvářet a spouštět
16
Vývoj pokrytí skripty IS HOMER k 30.10.2009
17
Silné a slabé stránky projektu Automatizace testování
+ SILNÉ STRÁNKY Snížení chybovosti v základní funkčnosti v UAT Jasně definovaný pracovní postup automatizovaných testů v rámci HCI Zrychlení procesu testování ve fázi interního testování a předávání zákazníkovi testovacího prostředí po opravných patchích v průběhu UAT testu - SLABÉ STRÁNKY Vyšší nároky na HR zdroje HCI než se předpokládalo Nedodržování termínů vytýčených v rámci původního projektového plánu 50% úspěšnost zapojení se proškolených lidí do práce s QTP Pořizovací náklady
18
Q and A
