Testen van Datawarehouses en Informa2e Kan het 2x zo snel, 2x zo goedkoop en 2x zo volledig?
Wat verwachten we van DWH testen? 1. 2. 3. 4. 5.
Gestructureerd Bekende afwijkingen Herhaalbaar (regressietesten) Schaalbaar (ondersteunend aan project/release/change/sprint) Volledig (datamodel, datakwaliteit en business rules)
Maar ….
“Tradi2oneel“ data warehouse testen Karakteris)eken: • Niet volledig: geen 100% systeemtest => risk-‐based tes2ng • Ad-‐hoc tes2ng (2jd vs. kwaliteit) • Focus op unit tes2ng (ETL-‐code) • Niet herhaalbaar (handige test-‐tooling ontbreekt!) • Geen samenhang tussen testscripts/testgevallen: “losse sql’s op het netwerk” • Testen is non-‐agile (kort-‐cyclish testen?) • Oplossen van defects i.p.v. voorkomen
“Tradi2oneel“ data warehouse testen Management percep)e datawarehouse testen: • Testen is veel handma2g werk …. dus kostbaar • Projectleiders, informa2e-‐analisten, etl ontwikkelaars zijn toch “mijn oren en ogen”: waarom dan ook nog eens testen? • Testen van een data warehouse is complex, dus wat is de waarde ervan? • Testen mag de project planning /-‐voortgang niet in gevaar brengen • Testen van een data warehouse zou agile moeten zijn, maar kan het geautoma2seerd worden?
Visie op DWH testen Dashboard Rapport
Ontwerp
Bron ontslui2ng
BI Tool
Data Integra2e
Informa2e model
Data Warehouse
DataTes2ng © De DataTes2ng© methode is gebaseerd op de Systeemtest binnen de TMap methode. De DataTes2ng © tool legt testgevallen van bedrijfsprocessen vast, voert de testen uit, legt testresultaten en doorloop2jden vast per testsoort, testonderwerp en tesfjds2p.
DWH Testproces 1
Testbasis
Aanpassen Template Library
Verzamelen metadata
Genereren testscripts
Uitvoeren testscripts
Vastleggen testresultaat
2
3
4
5
6
Testbasis: Bronnen voor metadata • • • • •
Func2oneel ontwerp Mapping sheets Use cases en/of user stories Database dic2onary Datamodellen (bijv. PowerDesigner, Erwin)
Generen testscripts m.b.v. templates
+
templates
80%
Standaard templates
=
metadata
20%
Custom templates
testscripts
Testgevallen
DataTes2ng© Architectuur DataTesting © installatie (server/ lokaal)
Folder structuur
Data Warehouse
TL
SRC
Leesrechten
PRE
STG
DWH
DM
DataTes2ng © GUI
Testproces in DataTes2ng ©
Verzamelen metadata
Genereren testscripts
Uitvoeren testscripts
Vastleggen testresultaat
Bevindingen in een dashboard
Dashboard “Compare testruns” (ROI) Release 1.0: -‐ Testrun: 25 Feb 2011 -‐ Betrouwbaarheid 58%
Release 3.1: -‐ Testrun: 27 Nov 2012 -‐ Betrouwbaarheid 94%
Betrouwbaarheid gestegen met 36,4%
Evalueren bevindingen
ETL-ontwikkelaars
testafdeling
DBA’er
data-steward
DataTesting© consultant Klantgebruikers: GAT/PAT
BICC
Projectmanager/ stuurgroep
Audit/controlling
Business & informatie analisten
Resume: “Tradi2oneel“ data warehouse testen Karakteris)eken: • Niet volledig: geen 100% systeemtest => risk-‐based tes2ng • Ad-‐hoc tes2ng (2jd vs. kwaliteit) • Focus op unit tes2ng (ETL-‐code) • Niet herhaalbaar (handige test-‐tooling?) • Geen samenhang tussen testscripts/testgevallen • Testen is non-‐agile • Oplossen van defects i.p.v. voorkomen
“Tradi2oneel“ data warehouse testen Management percep)e datawarehouse testen: • Testen is veel handma2g werk …. dus kostbaar • Testen van een data warehouse is complex, dus wat is de waarde ervan? • Testen mag de project planning /-‐voortgang niet in gevaar brengen • Testen van een data warehouse zou Agile moeten zijn, maar kan het geautoma2seerd worden?
Zou je daarom niet willen dat ....? 1. Gestructureerd (centrale alles-‐in-‐1 tool, 100% SysteemTest, RegressieTest) 2. Bekende afwijkingen (bevindingen rapportages ) 3. Herhaalbaar (kort cyclisch, testen wordt onderdeel van ontwikkeling) 4. Schaalbaar (ondersteunend aan project, release, change of sprint -‐-‐> klein beginnen, itera2ef uitbouwen) 5. Volledig (diverse testcategorieën voor datamodel, waarden en business rules)
Aanpak & oplossing Kadenza Kadenza zet fundament van het testen van data neer middels … -‐ Aanpak / organisa2e testproces (aanslui2ng bij project/klant architectuur) -‐ Methode (testcategorieën & template library) -‐ Ondersteunende applica2e • In 3 maanden werkende testomgeving voor de data in uw datawarehouse • Goedkoper, vollediger en sneller dan voorheen!!
