U kunt de checklisten ook downloaden op

16 Bijlagen U kunt de checklisten ook downloaden op www.academicservice.nl/downloads.

16.1

Testdossier

Op basis van de werkwijze voor de test is de volgende checklist samengesteld. Door het nalopen en invullen van deze lijst, per testeenheid, wordt automatisch het testproces door lopen en ontstaat het testdossier. Fase voorbereiding Testdossier Projectnaam: Testeenheid:

Intake testbasis Ja

Nee

Zijn de volgende zaken aanwezig? –– Definitieve FO –– Dataflow –– Technische velddefinities –– AO-werkinstructies Lijkt alles volledig genoeg om mee te kunnen werken? –– Definitieve FO –– Dataflow –– Technische velddefinities –– AO-werkinstructies Lijkt alles voldoende duidelijk te zijn? Met andere woorden: is deze documentatie geschikt als testbasis? –– Definitieve FO –– Dataflow –– Technische velddefinities –– AO-werkinstructies

143

acceptatietesten in de praktijk

Verkrijgen inzicht in de plaats van testeenheid in het grote geheel Ja

Nee

–– Roept de testbasis na bestudering vragen op ten aanzien van de rol van het proces in de organisatie? –– Is de context waarin het proces wordt gebruikt helder? –– Zijn de processen die rond het testobject een rol spelen beschikbaar? –– Kunnen de totale procedures uitgevoerd worden? Noteer de ontstane vragen en stem deze vragen af met: a. de Functioneel ontwerper b. de AO-er Vraag: 1. 2. 3. Enzovoort Aangepast

Mondeling toegelicht

Niet opgelost

–– Hoe wordt met de geconstateerde tekortkomingen in de documentatie omgegaan? Noteer hieronder een korte omschrijving waaruit de ‘omgeving’ van het proces blijkt en de rol die het proces in het geheel vervuld Omschrijving procesomgeving:

Verkrijgen inzicht in de bedoelde werking van het proces Ja –– Roept de testbasis na bestudering vragen op ten aanzien van de functionele werking (niet technisch) van het proces? Zo ja, welke vragen? Stem deze vragen af met: a. de Functioneel ontwerper b. de AO-er Vraag: 1. 2. 3. Enzovoort

144

Nee

bijlagen

Aangepast

Mondeling toegelicht

Niet opgelost

–– Hoe wordt met de geconstateerde tekortkomingen in de documentatie omgegaan? Noteer hieronder een korte omschrijving waaruit de ‘omgeving’ van het proces blijkt en de rol die het proces in het geheel vervuld Omschrijving procesomgeving:

Bepalen mogelijke risico’s In dit proces wordt mede bepaald welke kwaliteitsattributen gebruikt dienen te worden. De volgende risico’s (consequenties) worden onderkend bij onbeschikbaarheid van het proces: 1. 2. 3. Enzovoort De volgende risico’s (consequenties) worden onderkend bij onjuiste werking van het proces of de procedure: 1. 2. 3. Enzovoort De volgende risico’s (consequenties) worden onderkend bij niet op tijd verwerken van de invoer: 1. 2. 3. Enzovoort De volgende risico’s (consequenties) worden onderkend bij overige: 1. 2. 3. Enzovoort

Bepalen teststrategie c.q. testaanpak De standaard teststrategie/aanpak voor de beoordeling van de diverse kwaliteitsattributen is: Het proces bekijken aan de hand van testgevallen die ontwikkeld zijn vanuit de werkinstructie. Hierna worden de diverse checklists doorlopen. Op basis van deze checklists wordt het totaalbeeld bepaald. Daar waar wordt afgeweken van deze standaard, wordt dit aangegeven. Hierbij dient te worden aangegeven waarom er wordt afgeweken van de standaard. Een eventuele alternatieve werkwijze dient kort te worden beschreven. 145


Op welke punten wordt afgeweken?

Waarom wordt op deze punten afgeweken?

Welke alternatieve aanpak wordt gebruikt?

Bepalen werkwijze ten aanzien van documentatie en rapportage Ten aanzien van documentatie (testware) en rapportage zijn standaardtemplates aanwezig (waar van deze er één is). Deze templates worden ingevuld of er wordt gekozen voor een andere werkwijze. Indien wordt afgeweken van de standaard: Er wordt afgeweken van standaard X om de volgende reden(en): 1. 2. Enzovoort In plaats hiervan wordt gebruikgemaakt van:

Bepalen detailplanning Op basis van de voorgaande checklists in de bijlagen “Intake testbasis” t/m “Bepalen detail planning” wordt de volgende inschatting gemaakt t.a.v. de benodigde (doorloop)tijd: Zie de stappen in de fasen 16.2 t/m 16.4 … dagen: Opstellen testspecificaties; … dagen: Definiëren uitgangsbestanden; … dagen: Opstellen testdraaiboek; … dagen: Vullen uitgangsbestanden / creëren uitgangssituaties; … dagen: Intake testobject; … dagen: Uitvoeren testdraaiboek; … dagen: Beoordelen testresultaten; … dagen: Evaluatie testobject; … dagen: Conserveren testware; … dagen: Evalueren testproces; … dagen: Opstellen evaluatierapport. … dagen totaal Koppel deze planning terug aan de testleider om te beoordelen of de overall planning moet worden aangepast.

146

bijlagen

16.2

Fase specificatie

Opstellen testspecificaties Stel op basis van testontwerptechnieken logische testgevallen op. Voeg naar eigen inzicht logische testgevallen toe waarvan te verwachten valt dat deze extra toegevoegde waarde zullen hebben. Voeg de opzet van de testonwerptechnieken als bijlage toe. Werk de logische testgevallen uit tot fysieke testgevallen, met de standaard template (zie para graaf 12.3.1). Definiëren uitgangsbestanden Beschrijving algemene uitgangssituatie:

Beschrijf de werkwijze om de uitgangssituatie van een of meerdere logische testgevallen te creëren volgens onderstaande methode: –– Creatiescript 1: Betreft creatie testgeval(len): door middel van applicatie(s) c.q. functie(s) Beschrijving: –– Creatiescript 2: Betreft… enzovoort

Opstellen testdraaiboek Voeg de creatiescripts en testscripts samen tot een uitvoerbaar geheel en geef daarbij aan welke afhankelijkheden er zijn (specifieke volgorde). Daarnaast kan hierbij worden aangegeven wie een en ander gaat uitvoeren en wanneer. Denk ook aan eventuele handmatige acties. Bijvoorbeeld: Volgorde creatiescripts: 1. …<scriptnummer> <wie> <wanneer> 2. …<scriptnummer> <wie> <wanneer> 3. …<scriptnummer> <wie> <wanneer> Handmatige acties: 1. … <wie> <wanneer> 2. … <wie> <wanneer>

147


Volgorde testscripts: 1. …<scriptnummer> <wie> <wanneer> 2. …<scriptnummer> <wie> <wanneer> 3. …<scriptnummer> <wie> <wanneer>

16.3

Fase uitvoering

Vullen uitgangsbestanden/creëren uitgangssituaties Verwerk de creatiescripts uit Definiëren uitgangsbestanden (blz. 147) volgens het draaiboek uit Opstellen testdraaiboek om te komen tot de juiste uitgangssituaties. Stel eventueel de uitgangs situatie veilig. Voor het veiligstellen van de database zal contact gezocht moeten worden met sys teembeheer. NB. Deze kan worden uitgevoerd voordat het testobject is opgeleverd. Intake testobject Loop de checklist intake testobject door om vast te stellen of de opgeleverde delen van het testobject en de infrastructuur zodanig functioneren dat er zinvol getest kan worden. Voeg de checklist intake testobject als bijlage toe. Uitvoeren testdraaiboek Verwerk de testscripts uit Opstellen testspecificaties (blz. 147) volgens het draaiboek uit Opstellen testdraaiboek (blz. 147) om de daadwerkelijke test uit te voeren. Houd hierbij scherp de vooraf gedefinieerde zaken in de gaten om de checklists te kunnen invullen: –– verkrijgen inzicht in de plaats van testeenheid in het grote geheel (blz. 144); –– verkrijgen inzicht in de bedoelde werking van het proces (blz. 144); –– bepalen mogelijke risico’s (blz. 145). Beoordelen testresultaten Doorloop de checklists, waarmee een oordeel ten aanzien van de diverse kwaliteitsattributen wordt opgebouwd. –– Ergonomie –– Degelijkheid Het SC zal hierbij ondersteuning moeten bieden. –– Doelmatigheid De doelmatigheid wordt gemeten aan de hand van een responsetijdenmeting. Bepaal hier alvast of hiervoor richtlijnen of eisen zijn gedefinieerd. –– Zekerheid In de GAT hoeft hierop echter niet expliciet te worden testen. Dit wordt in de FIST al gedaan. Dat testdossier geeft hierover uitsluitsel. –– Doelgerichtheid –– Veranderbaarheid Hiervoor is zowel ondersteuning van SO als van SC nodig. 148

bijlagen

NB. Per vraag moet worden bepaald of deze vraag relevant is voor online, voor batch of voor beide. Voeg de ingevulde checklists aan dit document, als bijlage, toe. Registreren bevindingen Leg alles wat niet klopt, beter kan, mooier kan, efficiënter kan, enzovoort, vast in de hiervoor bestemde bevindingenadministratie. Indien een hertest (na aanpassingen) noodzakelijk is, voer dan alles vanaf Opstellen testspecificaties (blz. 147) opnieuw uit. Let hierbij niet alleen op de uitgevoerde aanpassing, maar let ook op de rest.

16.4 Fase afronding Evaluatie testobject Bespreek de testresultaten en overgebleven bevindingen met de testleider. Geef een oordeel over de diverse kwaliteitsattributen op basis van de ingevulde checklisten uit A.7 Bedreigingen, risico’s en maatregelen (blz. 127). Vergelijk dit oordeel met de in het project gestelde kwaliteitseisen (voor zover aanwezig) en geef de geconstateerde verschillen aan. Stel het vrijgave advies op volgens de afgesproken standaard. Conserveren testware Zorg ervoor dat alle testdocumentatie dusdanig op orde wordt gebracht zodat deze kan worden gear chiveerd. Opzet hierbij is dat de volledige test op basis van deze documentatie herhaald kan worden. Zie voor meer informatie ‘Beheren testware’. Evalueren testproces Geef onderstaand aan wat er (opvallend) goed ging in het testproces. Positieve punten: 1. 2. Enzovoort Geef onderstaand aan wat er (opvallend) slecht ging in het testproces. Negatieve punten: 1. 2. Enzovoort

Opstellen evaluatierapport Verwerk de onder Evaluatie testobject en Conserveren testware gemaakte stukken tot één rapportage. Vat de in Evaluatie testobject gegeven oordelen samen tot een overall kwaliteitsoordeel.

149


16.5

150

Directory structuur

bijlagen

16.6 Decharge Testleider Project: Naam: Datum: Paraaf:

Opmerking:

De testleider geeft hierbij een positief/negatief advies ten aanzien van het in productie nemen van de genoemde processen. Voor een overzicht van de geconstateerde kwaliteiten; zie de conclusie van het testscript(s), die als bijlage is toegevoegd. Door middel van ondertekening van dit formulier verleent aan de decharge voor het <project projectnaam>/proces <procesnaam>. Decharge Namens tekent voor decharge van het project <projectnaam> met het tests cript . Naam: Functie: Plaats: Datum: Paraaf:

Opmerking:

Paraaf tester ATT: Naam: Functie: Plaats: Datum: Paraaf:

Opmerking:

151


16.7

Voortgangformulier

Voortgangformulier NUMMER

PROJECTNAAM

DATUM START TESTVOORBEREIDING

DATUM START TESTSPECIFICATIE

DATUM OPLEVERING BOUW

DATUM START TESTUITVOERING

DATUM START TESTAFRONDING

DATUM DECHARGE

152

bijlagen

16.8 Kwaliteitsattribuut: degelijkheid Checklist – Bedrijfszekerheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is een doelmatig productieschema opgezet met een afgewogen bepaling van de prioriteiten tussen de toepassingen onderling en met de ondersteu nende functies, zoals de back-up procedure? –– Zijn binnen de verwerkingsorganisatie plaatsvervangers beschikbaar en opgeleid? Gebruikersorganisatie –– Zijn binnen de gebruikersorganisatie plaatsvervangers beschikbaar en opgeleid? –– Is binnen de gebruikersorganisatie de beveiliging goed geregeld (zie check list Beveiligbaarheid)? Functionele systeemarchitectuur –– Wordt gebruikgemaakt van wachtwoorden? –– Worden de toegangspogingen gecontroleerd? –– Is de keuze voor deelsystemen beargumenteerd? –– Wordt de invoer gecontroleerd? Opmerking –– Zo nee, waarom niet? Gegevensinfrastructuur

Ja

Nee

N.v.t.

–– Vindt een periodieke geprogrammeerde consistentiecontrole plaats van de database en de gegevensverzamelingen? –– Is de gegevensopslag gedeconcentreerd? –– Zijn de gegevensbestanden versleuteld?

153


Technische systeemarchitectuur

Ja

Nee

N.v.t.

–– Is gebruikgemaakt van geldende (inter)nationale standaards, bijvoorbeeld voor gegevensuitwisseling via netwerken (OSI, TCP/IP) en een standaard programmeertaal die op grote verscheidenheid van apparatuur gecompileerd kan worden? –– Is er ten behoeve van de beveiliging een specifiek pakket aanwezig en in gebruik? –– Zijn de invoer, uitvoer en verwerking apart geïmplementeerd? –– Wordt door middel van de juiste transactiegrootte en roll-back-faciliteiten voor (de) consistentie van gegevens zorggedragen? –– Wordt de gegevensverwerking dubbel uitgevoerd? –– Is de dataverwerking in deeltransacties opgesplitst? –– Kan de operator statusinformatie verschaffen? –– Zijn controleprocessen (‘watchdogs’) aangebracht? –– Zijn de deelsystemen gedeconcentreerd? –– Worden de programmeermodules hergebruikt? –– Wordt gebruikgemaakt van technische handelingen in de interfaces? –– Zijn de algoritmen geoptimaliseerd uit bijvoorbeeld performance overwegingen? –– Wordt de gebruikersinvoer automatisch aangevuld? –– Is de programmatuur geparametriseerd, zijn er bijvoorbeeld speciale parameters? Opmerking Zo ja, waar en welke? Productieomgeving –– Zijn apparatuur, netwerk, pc’s, systeemsoftware en DBMS geselecteerd die op elkaar en op de toepassingen zijn afgestemd? –– Is een tweede set van apparatuur en dergelijke aanwezig waarop (delen van) het informatiesysteem kan (kunnen) uitwijken? –– Zijn bij de selectie van apparatuur en dergelijke leveranciers geselecteerd, waarvan verwacht mag worden dat zij gedurende de gehele levensduur van het informatiesysteem een adequate ondersteuning zullen bieden? –– Heeft een objectieve bepaling plaatsgevonden van de benodigde hoeveel heid verwerkingscapaciteit en opslagcapaciteit die het informatiesysteem (centraal en decentraal nodig heeft om aan alle functionele eisen en kwaliteitseisen te kunnen voldoen? –– Vindt periodiek een diagnose plaats van de apparatuur, het netwerk, en dergelijke?

154

Ja

Nee

N.v.t.

bijlagen

Checklist – Beschikbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Algemeen

Ja

Nee

N.v.t.

Is er inzicht in gegevens zoals: –– Vereiste beschikbaarheid (uitgedrukt in een percentage/SLA)? –– Geplande onderhoudstijden? –– Noodzakelijke beschikbaarheidtijden ten behoeve van gebruikers/ scheduled jobs/polling, en dergelijke? –– Mean time between failures (MTBF)1? –– Gebruikersaantallen/gebruikersintensiteit over de tijd? –– Zijn de risico’s aanvaarbaar als het softwareproduct niet beschikbaar is wanneer het nodig is (denk hierbij aan aantallen mensen die het informa tiesysteem gebruiken/gebruikersfrequentie/onderhoudstijden en impact van niet beschikbaar zijn)? –– Zijn de omgevingsfactoren die de beschikbaarheid beïnvloeden inzichtelijk? –– Is de afhankelijkheid hiervan te verminderen of is de beschikbaarheid als gevolg van de omgevingsfactoren te verbeteren? –– Zo ja, zijn hiervoor maatregelen getroffen (back-up mogelijkheid bijvoor beeld)?

1

gemiddelde tijd tussen falen. Door de MTBF te meten, kan bekeken worden waar het onderhoudsproces geopti maliseerd kan worden door de inzet van betrouwbaardere onderdelen. Ook kan MTBF uitwijzen of een bepaalde onderhoudsstrategie werkt.

155


Checklist – Degradatiemogelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn voorzieningen getroffen, zodat in geval van ernstige storingen of calamiteiten de informatievoorziening zo veel mogelijk in de een of andere vorm kan worden voortgezet? –– Is een vergelijkbare productieomgeving gereserveerd, bijvoorbeeld in een computeruitwijkcentrum, inclusief bijbehorende uitwijkprocedures? –– Zijn handmatige procedures voorbereid die (onderdelen van) de geautomatiseerde informatievoorziening kunnen vervangen? Functionele systeemarchitectuur –– Zijn de functies in samenhang met het bedrijfsprocesmodel gemodelleerd? –– Is de keuze van deelsystemen beargumenteerd? –– Is de informatieverwerking zodanig functioneel gestructureerd dat het mogelijk is de informatieverwerking voort te zetten wanneer bepaalde niet-essentiële onderdelen van het informatiesysteem worden stilgelegd? Technische systeemarchitectuur –– Is de essentiële functionaliteit in aparte modules ondergebracht? –– Zijn de deelsystemen gedeconcentreerd? Gegevensinfrastructuur –– Is de gegevensopslag gedeconcentreerd? –– Is de benadering van de database geoptimaliseerd?

156

bijlagen

Checklist – Herstelbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn binnen de verwerkingsorganisatie plaatsvervangers beschikbaar en opgeleid? Gebruikersorganisatie –– Zijn binnen de gebruikersorganisatie plaatsvervangers beschikbaar en opgeleid? –– Is een verzekering aanwezig die het risico afdekt van schade als gevolg van fouten of onderbrekingen in de informatievoorzieningen? Functionele systeemarchitectuur –– Is de keuze voor deelsystemen beargumenteerd? –– Zijn er utilities beschikbaar voor onvoorziene opvragingen en/of rapportages? Technische systeemarchitectuur –– Zijn controleposten (‘watchdogs’) aangebracht? –– Wordt door middel van de juiste transactiegrootte en roll-back-faciliteiten voor de consistentie van de gegevens zorg gedragen? –– Zijn de deelsystemen gedeconcentreerd? –– Is de essentiële functionaliteit in aparte modules ondergebracht? –– Wordt de gegevensverwerking dubbel uitgevoerd? –– Zijn er automatische uitwijkmogelijkheden ingebouwd? –– Is er een actueel overzicht van alle in gebruik zijnde programmatuur, inclu sief versienummers? –– De herstelbaarheid wordt in belangrijke mate bepaald door de onderhoud baarheid ten aanzien van de technische systeemarchitectuur (zie checklijst wijzigbaarheid)?

157


Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Is er een back-up en recovery systeem bestaande uit procedures en programmatuur voor: –– het periodiek veiligstellen van een samenhangende set kopieën van de gegevens verzamelingen; –– logging van alle transacties vanaf de laatste veiligheidskopieën; –– het eventueel opnieuw uitvoeren van alle gelogde transacties. Gegevensinfrastructuur –– Is de gegevensopslag gedeconcentreerd? –– Zijn utilities beschikbaar voor analyse en reorganisatie van de database? –– Is er een actueel overzicht van alle in gebruik zijnde bestanden? –– Is de benadering van de database geoptimaliseerd? Fysieke beveiligingsmaatregelen –– Worden de back-ups van vitale gegevens op een aparte locatie bewaard in een extra beveiligde omgeving, bij voorkeur buiten het rekencentrum? Productieomgeving –– Is een tweede set van apparatuur en dergelijke aanwezig waarop (delen van) het informatiesysteem kan uitwijken?

Checklist – Robuustheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Functionele systeemarchitectuur –– Zijn de essentiële functies van het informatiesysteem afgeschermd in een apart deelsysteem dat extra is beveiligd? –– Zijn de functies in samenhang met het bedrijfsmodel gemodelleerd? –– Is de informatievoorziening zodanig functioneel gestructureerd dat het mogelijk is de informatieverwerking voort te zetten wanneer bepaalde niet-essentiële onderdelen van het informatiesysteem worden stilgelegd?

158

bijlagen


Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn automatische uitwijkfaciliteiten ingebouwd? –– Zijn Watchdogs (controleprocessen) aangebracht? –– Wordt de gegevensverwerking dubbel uitgevoerd? –– Kan de operator statusinformatie verschaffen? –– Wordt door middel van rollback faciliteiten voor de consistentie van de gegevens zorg gedragen? –– Is de essentiële functionaliteit in aparte modules ondergebracht? Productieomgeving –– Zijn apparatuur, pakketten, netwerk, pc’s en DBMS geselecteerd die op elkaar en op de toepassingen zijn afgestemd? –– Is er een tweede set apparatuur aanwezig waarop (delen van) het Informa tiesysteem kan uitwijken? Verwerkingsorganisatie –– Zijn binnen de verwerkingsorganisatie plaatsvervangers beschikbaar en opgeleid? –– Zijn voorzieningen getroffen zodat in geval van ernstige storingen of calamiteiten de informatievoorziening zo veel mogelijk in een of andere vorm kan worden voortgezet? –– Is er een vergelijkbare productieomgeving beschikbaar? –– Zijn handmatige procedures voorbereid die de geautomatiseerde Informatievoorziening kunnen vervangen? –– Zijn er noodscenario’s gedefinieerd? –– Is er een back-up faciliteit geregeld? Gebruikersorganisatie –– Zijn binnen de gebruikersorganisatie plaatsvervangers beschikbaar en opgeleid?

159


16.9 Kwaliteitsattribuut: doelgerichtheid Checklist – Connectiviteit Koppelbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Functionele systeemarchitectuur

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is gebruikgemaakt van een algemeen referentiemodel? –– Zijn de mogelijke koppelingen duidelijk? –– Is de keuze voor deelsystemen beargumenteerd? –– Is in de documentatie aangegeven welke maatregelen aanwezig zijn om foutieve invoer en handelingen van gebruikers te voorkomen? –– Is in de documentatie beschreven hoe herstel van fouten dient plaats te vinden? –– Is de interactie beschreven voor een gebruiker met het systeem en zijn omgeving? –– Zijn de verantwoordelijkheden en bevoegdheden goed gespecificeerd? –– Is de interactie tussen het systeem en andere systemen voldoende beschreven? Technische systeemarchitectuur –– Is gebruikgemaakt van een standaard machine-interface? –– Zijn kritieke c.q. essentiële functies extra te beveiligen? –– Zijn de systemen gespecificeerd waarmee gegevens worden uitgewisseld? –– Is er een gegeneraliseerd subsysteem (interface) gespecificeerd voor de gegevensinteractie met systemen waarmee gegevens worden uitgewisseld? –– Zijn voor de gegevensinteractie standaards gehanteerd (naamgeving, codering, structuur)? –– Zijn voor de koppeling tussen hardware/infrastructuurcomponenten standaards gehanteerd?

160

bijlagen

Gegevensinfrastructuur

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is er een gespecificeerd logisch gegevensmodel? –– Zijn data afgestemd op een bedrijfsgegevensmodel? –– Is het gegevensmodel genormaliseerd? –– Is het gegevensmodel geparametriseerd? –– Zijn de gegevensbestanden versleuteld? Productieomgeving –– Worden ten behoeve van de interne connectiviteit infrastructuurcompo nenten gebruikt die zijn afgestemd op de reeds aanwezige infrastructuur? –– Is de courante infrastructuur gebruikt?

Checklist – Flexibiliteit In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Technische systeemarchitectuur –– Is het systeem geparametriseerd? –– Worden logicals gebruikt in plaats van harde getallen in code? –– Is de gegevensverwerking gescheiden van de gegevensbenadering? Gegevensinfrastructuur –– Is het gegevensmodel geparametriseerd? –– Is het gegevensmodel genormaliseerd? –– Zijn meerdere zoeksleutels gedefinieerd per entiteit? –– Is er een meta-gegevensmodel aanwezig? Ontwikkelomgeving –– Wordt gebruikgemaakt van 4GL-faciliteiten? –– Kan de gebruikersorganisatie op eenvoudige wijze zelf rapportages definiëren (bijvoorbeeld met een flexibele rapportagetool)?

161


Checklist – Infrastructuur In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Ontwikkelomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn een of meer 3GL of 4GL programmeeromgevingen geselecteerd die geschikt zijn voor de desbetreffende toepassing en die passen bij de verdere infrastructuur? Productieomgeving –– Zijn apparatuur, netwerk, pc’s, systeemsoftware en DBMS geselecteerd die op elkaar en op de toepassingen zijn afgestemd? –– Heeft een objectieve bepaling plaatsgevonden van de benodigde hoeveel heid verwerkingscapaciteit en opslagcapaciteit die het informatiesysteem (centraal en decentraal) nodig heeft om aan alle functionele eisen en kwaliteitseisen te kunnen voldoen?

Checklist – Herbruikbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Functionele systeemarchitectuur –– Is gebruikgemaakt van een algemeen referentiemodel? –– Zijn de functies met een bedrijfsprocesmodel gemodelleerd? –– De herbruikbaarheid wordt mede bepaald door de onderhoudbaarheid van het (deel van het) informatiesysteem (zie checklijst onderhoudbaarheid).

162

bijlagen


Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is gebruikgemaakt van geldende (inter)nationale standaards of bedrijfs standaards, bijvoorbeeld voor gegevensuitwisseling via netwerken (OSI of TCP/IP), applicaties in de IBM-omgeving (SAA) en een standaard programmeertaal die op een grote verscheidenheid van apparatuur gecompileerd kan worden? –– Is de programmatuur geparametriseerd? –– Is de dataverwerking in deelstransacties opgesplitst? –– Is de invoer, verwerking en uitvoer apart geïmplementeerd? –– Zijn eventuele machineafhankelijkheden in aparte modules geïmplemen teerd? –– Zijn I/O-operaties in aparte modules ondergebracht om de gegevens benadering van de gegevensverwerking te scheiden? –– Is gebruikgemaakt van een standaard machine-interface? –– Zijn standaardhandelingen consistent in de interface ingebouwd? –– Zijn programmamodules hergebruikt? –– Zijn de algoritmen geoptimaliseerd? Gegevensinfrastructuur –– Zijn de data afgestemd op een bedrijfsgegevensmodel? –– Is het gegevensmodel geparametriseerd? –– Is de benadering van de database geoptimaliseerd? Productieomgeving –– Is een courante infrastructuur gebruikt?

163


Checklist – Inpasbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Handmatige procedures

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn alle handmatige procedures in voldoende detail beschreven die een relatie met het testobject hebben? –– Zijn de in de handmatige procedures vermelde eisen (SLA’s, en dergelijke) haalbaar/realistisch? –– Worden de handmatige procedures ook daadwerkelijke aangeroepen daar waar het bedrijfsproces dit aangeeft? –– Is rekening gehouden met noodprocedures? Bedrijfsproces –– Is de beschrijving van de Administratieve Organisatie up-to-date? –– Sluit dit proces aan op de al bestaande procedures? –– Sluit dit proces aan op systemen die een relatie vertonen met het bedrijfs proces? –– Zijn de processtappen correct beschreven? –– Zijn de beslispunten correct beschreven? –– Zijn de paden waaruit het bedrijfsproces bestaat correct (en praktisch mogelijk)? –– Wordt op de beschreven plaatsen input van aangrenzende systemen gebruikt? –– Wordt op de beschreven plaatsen output aan aangrenzende systemen aangeboden? –– Is rekening gehouden met afhankelijkheden van andere systemen? –– Is rekening gehouden met afhankelijkheden van andere processen? –– Zijn de beveiligingsaspecten van de procedure beschreven? –– Is onderscheid gemaakt tussen gebruikers- en beheerprocedures?

164

bijlagen

Capaciteit

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is er voldoende personele capaciteit beschikbaar om de werking van het testobject te toetsen? –– Beschikt het betrokken personeel over de benodigde werkinstructies? –– Sluit de responsetijd van het systeem aan bij de eisen die het bedrijfsproces hieraan stelt? –– Is er sprake van wachttijden inclusief limieten (denk aan SLA’s, afspraken met klanten, en dergelijke)?

16.10 Kwaliteitsattribuut: doelmatigheid Checklist – Verwerkingssnelheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Algemeen –– Is de maximale responstijd van het proces acceptabel? –– Is de maximale responstijd van de functie acceptabel? –– Is de maximale responstijd van het scherm acceptabel? –– Is de maximale responstijd van het veld acceptabel? –– Wordt er gewaarschuwd als een operatie lang duurt? –– Zijn er tijdseisen in relatie met belasting van het netwerk? –– Zijn er tijdseisen in relatie met belasting van de gebruikers? –– Zijn de tijdseisen beschreven? –– Kan het aantal transacties/jobs per tijdseenheid worden gemeten? –– Zo ja, is dit acceptabel? Benchmarks –– Zijn de performances van soortgelijke operaties ongeveer even goed?

165


Bottleneck

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is de performance bij gebruik door een gemiddeld aantal mensen acceptabel? –– Is de performance bij gebruik bij 80% van het maximum aantal mensen acceptabel? –– Is de performance bij gebruik bij 95% van het maximum aantal mensen acceptabel? –– Is de performance bij gebruik van een gemiddelde hoeveelheid geheugen acceptabel? –– Is de performancebij gebruik bij 80% van de maximale hoeveelheid geheugen acceptabel? –– Is de performancebij gebruik bij 95% van de maximale hoeveelheid geheugen acceptabel? –– Blijft de performance acceptabel beschouwd vanuit de aangrenzende systemen, apparatuur en dergelijke?

Checklist – Middelenbeslag In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Algemeen –– Is er een tool in het systeem/buiten het systeem om aan te geven waaraan de CPU-tijd gebruikt wordt? –– Is het minimum systeemconfiguratie beschreven? –– Is de systeemarchitectuur beschreven? –– Is er een simulatie uit te voeren, waarmee het aantal transacties kan wor den gemeten per tijdseenheid bij: • gemiddeld systeemgebruik? • extreme belastingen van het systeem? –– Is er een simulatie uit te voeren, waarbij de tijd tussen input en output (op basis van queries/het verwerken van ingevoerde gegevens, en dergelijke) gemeten wordt bij: • gemiddeld systeemgebruik? • extreme belastingen van het systeem?

166

bijlagen

16.11 Kwaliteitsattribuut: ergonomie Checklist – Aantrekkelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Uiterlijk

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Ziet het softwareproduct er aantrekkelijk uit om mee te werken? –– Zijn de gebruikte kleuren van het softwareproduct aantrekkelijk om mee te werken, met andere woorden zijn er ‘vriendelijke’ kleuren gebruikt? –– Is de lay-out van het softwareproduct aantrekkelijk? –– Is de lay-out consequent doorgevoerd? –– Werkt het softwareproduct met plaatjes in plaats van met woorden? –– Wordt gebruikgemaakt van standaarden (bijvoorbeeld huisstijl)? –– Hebben de in het softwareproduct gebruikte schermen een aantrekkelijke opzet? Toegevoegde waarde –– Zorgt het werken met het softwareproduct voor een inspanningsreductie? –– Zorgt het softwareproduct voor het automatiseren van veelvoorkomende handelingen? –– Verschaft het softwareproduct inzicht in het bedrijfsproces?

167


Checklist – Bedieningsgemak In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Schermen/opzet/toetsen/knoppen

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is het schermverloop van het informatiesysteem helder en eenduidig te doorlopen? –– Is het aantal stappen om een scherm te bereiken omgekeerd evenredig met het aantal gemiddelde raadplegingen? –– Wordt gebruikgemaakt van standaarden (bijvoorbeeld de stijlgids user interfaceontwerp, huisstijl)? –– Is de relatie van het informatiesysteem met het bedrijfsproces helder en eenduidig? –– Is de opzet van het schermverloop helder en eenduidig? –– Zijn schermen goed te bedienen in de zin van: • grootte van icons? • grootte en positie van uitklappende vensters? • grootte van selectieboxen? • grootte van pulldown menu’s? • bevestigingen alvorens verder te gaan? • muisgebruik? • toetscombinatiegebruik? • het ongedaan maken van stappen? • overig? Toepasbaarheid Is de bedienbaarheid onafhankelijk van: –– browsertype? –– beeldschermgrootte? –– platform? –– enzovoort?

168

bijlagen

Bedieningstijd

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Kan de bewerking(stijd) van het informatiesysteem beperkt (vereenvoudigd) worden door: –– het gebruik van macro’s (record and playback et cetera)? –– het kopiëren van eerder uitgevoerde acties, zodat slechts enkele aanpas sing bij een nieuw uit te voeren actie hoeven te worden verricht?

Checklist – Begrijpelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Instructies –– Is het overbodig een gebruikershandleiding te raadplegen om het software product in essentie te kunnen begrijpen? –– Is de gebruikershandleiding op heldere en eenduidige wijze beschreven? –– Hoeft de helpfunctie slechts weinig geraadpleegd te worden om het soft wareproduct te kunnen begrijpen? –– Is het taalgebruik duidelijk/helder/eenduidig? –– Zijn de in te vullen gegevens op een begrijpelijke wijze geformuleerd? –– Zijn de helpfunctie en de gebruikershandleiding consistent met elkaar? –– Is het softwareproduct intuïtief inzichtelijk? Algemeen –– Is het schermverloop helder en overzichtelijk? –– Is de schermnavigatie duidelijk en logisch? –– Is de opzet van het informatiesysteem eenvoudig te noemen? –– Spreken handelingen/acties voor zich? –– Is de basisfunctionaliteit in een korte tijd te doorgronden? –– Is er een enquête onder gebruikers uitgevoerd over de begrijpelijkheid? –– Is de relatie van het softwareproduct met het werkproces duidelijk? –– Is inzichtelijk waar acties (resultaten) toe leiden?

169


Checklist – Behulpzaamheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Helpfuncties

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is het op elk scherm mogelijk een helpbestand te benaderen? –– Is er een helpfunctie? –– Zo nee, is hier een geldige verklaring voor? –– Bevat het helpbestand een index? –– Bevat het helpbestand een zoekfunctie? –– Zijn alle velden duidelijk genoeg om zonder helpfunctie in te vullen? –– Zo nee, zijn sommige velden voorzien van een ‘helpklikfunctie’ naast het veld? –– Is de hulptekst duidelijk geformuleerd? –– Biedt de helpfunctie voldoende ondersteuning bij het beantwoorden van ‘normale’ problemen? –– Wordt er in de helptekst ook gebruikgemaakt van voorbeelden/tips ter verduidelijking? Algemeen –– Wordt een gebruiker door middel van validaties geattendeerd op foute invoer, w aarbij bijvoorbeeld de validatieregel/vereiste invoer wordt aangegeven? –– En bij onvolledige invoer? –– Krijgt de gebruiker ook meldingen bij correcte verwerking door het informatiesysteem? Bij in behandelingname, en dergelijke? –– Bevat het informatiesysteem een aanvullende handleiding? –– Verschaft deze handleiding hulp bij het installeren? –– Verschaft deze handleiding hulp bij veel voorkomende problemen? –– Verschaft deze handleiding instructies bij het invullen van schermen?

170

bijlagen

Algemeen

Ja

Nee

N.v.t.

–– Verschaft deze handleiding instructies bij het uitvoeren van acties/functies, en dergelijke? –– Is de handleiding consistent met de helpfunctie? –– Is er een servicedesk aangesteld, belast met de primaire c.q. secundaire ondersteuning van het informatiesysteem? –– Is de relatie met de bedrijfsprocessen helder? –– Wordt gebruikgemaakt van standaarden (bijvoorbeeld de stijlgids user- interfaceontwerp huisstijl Nationale Nederlanden)?

Checklist – Gebruikersvriendelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Wat is het algemene oordeel ten aanzien van de opbouw (lay-out) van de schermen? Onaanvaardbaar Acceptabel met aanpassingswensen Acceptabel Toelichting:

Zijn er schermen die in negatieve zin opvallen? Nee Ja Toelichting:

171


Hoe beoordeelt u het taalgebruik op de diverse schermen? Toelichting:

Hoe beoordeelt u het gebruik van iconen (van toepassing indien een applicatie onder windows draait)? Toelichting:

Zijn de foutboodschappen duidelijk? Ja Nee Toelichting (schermnaam, omschrijving, en dergelijke):

Zijn de helpschermen c.q. helpteksten duidelijk en hoe beoordeelt u het gebruik ervan? Ja Nee Toelichting:

Hoe beoordeelt u het gebruik van een muis (enkelklikken et cetera)? Toelichting:

172

bijlagen

Hoe beoordeelt u de gebruikersdocumentatie? Met andere woorden, in welke mate is de gebruikersdocumentatie daadwerkelijk ondersteunend bij het werken met informatiesystemen? Toelichting:

Hoe beoordeelt u de opstartprocedure van het systeem? Toelichting:

Wat is uw algemene oordeel ten aanzien van de lay-out van de overzichten? Onacceptabel Acceptabel met aanpassingswensen Acceptabel Heeft u met betrekking tot het systeem behoefte aan een grotere mate van standaardisatie ten aanzien van menuschermen, functieschermen, functietoetsen enzovoort? Toelichting:

Hoe beoordeelt u de menustructuur? Is er behoefte aan gebruikersmenu’s? Toelichting:

Is de naamgeving van de functies duidelijk? Toelichting:

173


Hoe beoordeelt u het gebruik van functietoetsen/toetscombinaties? Toelichting:

Bevatten de overzichten de gewenste informatie (zijn er te veel of te weinig details vermeld)? Toelichting:

Hoe beoordeelt u de standaards ten aanzien van kopregels en voetregels? Toelichting:

Hoe beoordeelt u de printfaciliteiten? Toelichting:

Hoe beoordeelt u het tijdsinterval tussen het opstarten van de actie en het verschijnen van statusinformatie op het scherm? Toelichting:

Wat is uw algemene waardering ten aanzien van de gebruikersvriendelijkheid, uitgedrukt in een cijfer van 1 tot 10?

174

bijlagen

Checklist – Instelbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Functionele systeemarchitectuur

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is de programmatuur geparametriseerd? –– Worden logica’s gebruikt in plaats van harde getallen in de code? –– Is de gegevensverwerking gescheiden van de gegevensbenadering? –– Is het mogelijk om (combinaties van) invoerfuncties aan te passen met als doel een werkwijze te veranderen? –– Is het mogelijk om (combinaties van) besturingsfuncties aan te passen met als doel een werkwijze te veranderen? –– Is het mogelijk om (combinaties van) verwerkingsfuncties aan te passen met als doel een werkwijze te veranderen? –– Is het mogelijk om (combinaties van) uitvoerfuncties aan te passen met als doel een werkwijze te veranderen? –– Kunnen de menustructuren worden ingesteld? –– Is het mogelijk om de inhoud van de invoerschermen te veranderen? –– Kan de lay-out van invoerschermen anders worden ingesteld? –– Is het mogelijk om een selectie van uitvoergegevens te maken? –– Is het mogelijk om de lay-out van de uitvoer te veranderen? Gegevensinfrastructuur –– Is het gegevensmodel geparametriseerd? –– Is het gegevensmodel genormaliseerd? –– Is het genormaliseerde gegevensmodel rechtstreeks (zonder veranderingen) geïmplementeerd? –– Zijn meerdere zoeksleutels gedefinieerd per entiteit? –– Is er een ‘meta-gegevensmodel’ aanwezig? –– Wordt gebruikgemaakt van een relationele gegevensstructuur? –– Kunnen er verschillende zoekpaden worden ingesteld?

175


Ontwikkelomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Wordt gebruikgemaakt van 4GL faciliteiten? –– Kan de gebruikersorganisatie op eenvoudige wijze zelf rapportages definiëren?

Checklist – Inzichtelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Algemeen –– Is tijdens de installatie van het softwareproduct inzichtelijk wat de status is: • als de installatie gestopt is? • van de voortgang in % of iets dergelijks? • als de installatie succesvol afgerond is? –– Wordt bij het opslaan van gegevens een voortgang gegeven van het opslag proces? –– Wordt bij het doorlopen van een proces in het softwareproduct aangegeven wat de status van het proces is (bijvoorbeeld stap 3. van de 7 stappen of een tekening van alle schermen waarbij het huidige scherm ge-highlight is)? –– Wordt bij het zoeken (browsen/queries en dergelijke) aangegeven wat de status is? –– Wordt een status gegeven ingeval er niets gevonden kan worden? –– Wordt een status gegeven als er onvoldoende geheugen is? –– Wordt bij uit te voeren acties in het algemeen met een status gewerkt? –– Zijn er acties/stappen in het softwareproduct waar geen status wordt gegeven, maar waarbij dit wel nuttig c.q. noodzakelijk zou zijn?

176

bijlagen

Checklist – Leerbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Algemeen

Ja

Nee

N.v.t.

–– Is de structuur van het informatiesysteem duidelijk? –– Is de functionaliteit van het informatiesysteem duidelijk zonder het informatiesysteem te kennen? –– Kan een nieuwe gebruiker met de basisfunctionaliteit van het informatie systeem leren omgaan zonder gebruikershandleiding/instructies? –– En met de meer specifieke functies van het informatiesysteem? –– Kost het weinig tijd om met het informatiesysteem te leren omgaan? –– Als een gebruikershandleiding nodig is, is hier eenvoudig uit af te leiden hoe de werking van het informatiesysteem is? –– Is de relatie van de handleiding en het systeem duidelijk (schermprintjes en dergelijke)? –– Is er een demonstratie beschikbaar om met het informatiesysteem te leren omgaan? –– Zo ja, kost deze demonstratie een geringe tijd om met het informatie systeem te leren omgaan? –– Kunnen gebruikers ingeval van problemen contact opnemen met de servicedesk? –– Kunnen gebruikers een helpfunctie gebruiken ingeval ze dit nodig hebben? –– Is de helpfunctie consistent met de gebruikershandleiding? –– Wordt er gebruikgemaakt van standaarden (bijvoorbeeld de stijlgids userin terfaceontwerp, huisstijl)? –– Past het systeem binnen de beoogde processen?

177


Checklist – Overzichtelijkheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Schermen

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Bevat elk scherm de functietoetsen die op dat scherm gebruikt kunnen worden? –– Worden algemene functies tekstueel/visueel aangegeven waar ze van toepassing zijn: • Printen? • Opslaan? • Navigeren (verder/terug)? • Annuleren? • Icoontjes? • Et cetera? Opzet –– Bevat het softwareproduct een menustructuur? –– Zo ja, is deze menustructuur helder opgezet? –– Zijn keuzes in een menu ook logisch opgebouwd? –– Wordt gebruikgemaakt van standaarden (bijvoorbeeld de stijlgids user-in terfaceontwerp huisstijl Nationale Nederlanden)? –– Is de opbouw logisch in relatie tot het te ondersteunen proces? –– Kan de gebruiker de overzichtelijkheid van het informatiesysteem verbeteren naar eigen voorkeur? –– Is er een handleiding beschikbaar die overzichten van het informatie systeem bevat?

178

bijlagen

16.12 Kwaliteitsattribuut: veranderbaarheid Checklist – Beheerbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is geanalyseerd of ten behoeve van het nieuwe of gewijzigde informatie systeem aanvullende opleidingen noodzakelijk zijn? –– Is er een adequate procedure in geval van storing? –– Is er een verzekering aanwezig voor de apparatuur en dergelijke? –– Is er een calamiteitenplan aanwezig? Functionele systeemarchitectuur –– Is er een beknopte functionele beschrijving beschikbaar? –– Is de keuze voor deelsystemen beargumenteerd? –– Zijn er richtlijnen voor het beperken van de toegang tot applicaties? Technische systeemarchitectuur –– Worden automatische back-ups vervaardigd? –– Zijn controleprocessen (‘watchdogs’) aangebracht? –– Zijn de invoer, verwerking en uitvoer apart geïmplementeerd? –– Kan de operator statusinformatie verschaffen? –– Wordt door middel van de juiste transactiegrootte en rollbackfaciliteiten voor de consistentie van de gegevens zorggedragen? –– Wordt gebruikgemaakt van een standaard machine interface? –– Zijn de standaardhandelingen consistent in de interface ingebouwd? –– Is er een beschrijving aanwezig van bij installatie noodzakelijke materie applicaties en standaard modules (inclusief versienummers)? –– Is gebruikgemaakt van standaard naamgevingen? –– Kunnen alle (ook niet-logische) functies minimaal één keer worden aangestuurd?

179



Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is er een back-up en recovery systeem bestaande uit procedures en programmatuur voor: • het periodiek veiligstellen van een samenhangende set kopieën van de gegevensverzamelingen? • logging van alle transactie vanaf de laatste veiligheidskopieën het eventueel opnieuw uitvoeren van alle gelogde transacties? –– Is bij het opstellen van de back-up procedure vastgesteld wanneer bestanden/databases veilig gesteld moeten worden en hoelang de desbetreffende back-ups bewaard moeten blijven? –– Is het mogelijk een applicatie opnieuw te starten na een systeemuitval? –– Is het mogelijk een applicatie opnieuw te starten na een applicatiestoring? –– Is een beschrijving aanwezig van de noodzakelijke autorisaties? –– Is er een procedure aanwezig voor het onderhouden van de autorisaties? –– Is er een beveiligingspakket (bijvoorbeeld RACF) aanwezig? –– Zijn er specifieke normen en standaards aanwezig in het kader van invoer, batch verwerking, online verwerking, uitvoer en beveiliging? –– Wordt aan deze specifieke normen en standaards voldaan? –– Vindt registratie, bijvoorbeeld logging, plaats van alle verwerkingen? –– Wordt de gegevensverwerking dubbel uitgevoerd? –– Zijn de deelsystemen gedeconcentreerd? –– Is de programmatuur geparametriseerd? Gegevensinfrastructuur –– Is er documentatie betreffende het datamodel aanwezig en is deze consistent? –– Zijn de gegevensbestanden versleuteld? –– Is de gegevensopslag gedeconcentreerd? Fysieke beveiligingsmaatregelen –– Hebben het bedrijfsterrein en de gebouwen een gecontroleerde toegang? –– Zijn maatregelen genomen inzake het voorkomen, signaleren en opvangen van technische storingen en calamiteiten? –– Worden de back-ups van vitale gegevens op een aparte locatie bewaard in een extra beveiligde omgeving, bij voorkeur buiten het rekencentrum? –– Is het rekencentrum alleen toegankelijk voor het personeel van het reken centrum?

180

bijlagen

Productieomgeving

Ja

Nee

N.v.t.

–– Is er een tweede set van apparatuur en dergelijke aanwezig waarop (delen van) het informatiesysteem kan uitwijken? –– Is er een beschrijving beschikbaar van infrastructurele hardware en soft ware componenten? –– Zijn er specifieke normen en standaards vanuit de verwerkingsorganisatie aanwezig in het kader van zuinigheid, extern geheugen en performance? –– Wordt aan deze specifieke normen en standaards voldaan? –– Is er een productiehandleiding? –– Zijn de volgende elementen aanwezig in de productiehandleiding: • een inleiding met recapitulatie van namen, identificaties en karakteristie ken van de functie van het systeem en de subsystemen; • een schematische voorstelling van de systeemstructuur; • een relatieschema van de runstructuur met per run: het tijdstip, de programma’s, de indicatoren per programma en de tijdschatting; • de gegevens van de contactpersonen (naam, afdeling, telefoonnummer); • per uit te voeren run de volgende gegevens: naam identificatie, karakteristieken, systeemstroomschema en/of subsysteemstroom schema, waarbij de gegevensstromen gerelateerd zijn aan de onderdelen van de configuratie en waaruit de interfaces met de niet tot de run behorende systemen en/of subsystemen blijken; • ontvangst en voorbewerking met daarin beschreven: –– de soort, de bron en het tijdstip van de ontvangst; –– de ontvangsthandelingen en de controles; –– de gegevensconversie, de instructies en de controles; –– de bestemming en de afgiftehandelingen van invoermedia; –– de bestemming en de afgiftehandelingen van de basisdocumenten; • productievoorbereiding met daarin beschreven: –– het tijdschema; –– de beschrijving van de werkprocedure (‘jobstream’); –– de schema’s voor behandeling van verwisselbare geheugens en bewaarinstructies; –– het aanleveren van de invoer;

181


Productieomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

• bedieningsinstructies met daarin beschreven: –– de algemene bedieningsinstructies; –– de bedienings-, controle- en foutmeldingen met de bijbehorende instructies; –– de onderbrekingsmogelijkheden; –– de herstartinstructies bij ongewenste onderbrekingen; • productieafhandeling met daarin beschreven: –– de behandeling van de verwisselbare geheugens; –– de controles en de rapportering; –– de nabewerking; –– de bestemming en de distributie; –– het uiterste aanlevertijdstip; –– Is er een, op basis van het nieuwe of gewijzigde informatiesysteem, aangepaste productieplanning?

Checklist – Installeerbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Documentatie –– Kan het softwareproduct zonder handleiding geïnstalleerd worden? –– Is duidelijk aangegeven welke configuratie-eisen worden gesteld aan de installatie? –– Is deze handleiding beschikbaar? –– Is deze handleiding eenduidig beschreven?

182

bijlagen

Installatieomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is het softwareproduct vrij van specifieke eisen aan de installatieomgeving? –– Is er een standaard installatie-interface beschikbaar? –– Is het softwareproduct in diverse omgevingen te installeren? –– Is duidelijk welke voorbereidingen getroffen moeten worden in de omgeving alvorens aan de installatie te beginnen? Ingebruikname –– Is de tijd benodigd om het softwareproduct te installeren acceptabel te noemen? –– Werkt het softwareproduct volledig na het uitvoeren van de installatie? –– Is de probleemafhandeling beschreven? –– Is er voldoende diskruimte beschikbaar om het softwareproduct te installeren? –– Kan toegang worden verkregen tot het netwerk/tot de server? –– Zijn de benodigde installatiemedia aanwezig? –– Kan de installatie afgebroken worden zonder dat de applicatie vastloopt? –– Zijn de stappen van de installatie duidelijk? –– Is duidelijk wat de benodigde cliënt- en servercomponenten zijn? –– Is ( zijn) de servernaam(namen) bekend? –– Is de voor installatie benodigde netwerkinformatie voorhanden? –– Zijn de licentienummers bekend? –– Kan een nieuwere versie probleemloos een oudere versie overschrijven?

183


Checklist – Onderhoudbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Functionele systeemarchitectuur

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is de keuze voor deelsysteem beargumenteerd? –– Is gebruikgemaakt van een algemeen referentiemodel? –– Zijn de functies in samenhang met een bedrijfsprocesmodel gemodelleerd? –– Is toegankelijke, consistente en actuele functionele documentatie aanwezig? Technische systeemarchitectuur –– Wordt bij het ontwikkelen gebruikgemaakt van standaards? –– Is gebruikgemaakt van geldende (inter)nationale standaards of bedrijfs standaards? –– Zijn de standaardhandleidingen consistent in de interface ingebouwd? –– Zijn controleprocessen (watchdogs) aangebracht? –– Kan de operator statusinformatie verschaffen? –– Is de dataverwerking in deeltransacties opgesplitst? –– Zijn de invoer, verwerking en uitvoer apart geïmplementeerd? –– Zijn de essentiële machineafhankelijkheden in aparte modules ondergebracht? –– Zijn I/O-operaties in aparte modules ondergebracht om de gegevensbena dering van de gegevensverwerking te scheiden? –– Zijn de programma’s doorzichtig en gestructureerd opgezet? –– Is toegankelijke, consistente en actuele technische documentatie aanwezig? Gegevensinfrastructuur –– Is een gegevensmodel aanwezig en is het genormaliseerd? –– Zijn de gegevensbestanden versleuteld? –– Is de benadering van de database geoptimaliseerd?

184

bijlagen

Ontwikkelomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is een geïntegreerde testfaciliteit aanwezig? –– Wordt gebruikgemaakt van 4GL faciliteiten? –– Is er sprake van een geïntegreerde ‘functionele’ ontwikkelomgeving (work bench, CASE-tool, tekstverwerker, en dergelijke)? –– Is er sprake van een geïntegreerde ‘technische’ontwikkelomgeving (DBMS, 4GL)? –– Wordt gebruikgemaakt van een code- of systeemgenerator (ICASE)?

Checklist – Portabiliteit In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Technische systeemarchitectuur –– Is de programmatuur geparametriseerd? –– Is gebruikgemaakt van geldende (inter)nationale standaards of bedrijfs standaards? –– Is gebruikgemaakt van een standaard machine-interface? –– Zijn eventuele machineafhankelijkheden in aparte modules geïmplementeerd? –– Zijn de algoritmen geoptimaliseerd? –– Zijn de diverse deelsystemen gedeconcentreerd? –– Is de gegevensverwerking gescheiden van de gegevensbenadering? Gegevensinfrastructuur –– Is de benadering van de database geoptimaliseerd? Ontwikkelomgeving –– Wordt gebruikgemaakt van 4GL-faciliteiten? –– Zijn courante ontwikkelhulpmiddelen gebruikt? –– Wordt gebruikgemaakt van een courante infrastructuur?

185


Productieomgeving

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is een infrastructuur (apparatuur netwerk en dergelijke) geselecteerd die ‘upwards compatible’ is binnen een bepaalde range? –– Is een courante infrastructuur gebruikt?

Checklist – Testbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Gebruikersorganisatie –– Wordt de vervaardigde testware afgerond en geconserveerd ten behoeve van volgende tests? –– Zijn er ter ondersteuning van het testproces hulpmiddelen voor planning en probleembeheer? Functionele systeemarchitectuur –– Is de keuze voor deelsystemen beargumenteerd? –– Is toegankelijke, consistente en actuele technische documentatie aanwezig? –– Is er sprake van sterke interactie c.q. doorwerking tussen diverse functiona liteiten? Technische systeemarchitectuur –– Wordt bij het ontwikkelen gebruikgemaakt van standaards (bijvoorbeeld standaard schematechnieken, standaards voor gestructureerd programmeren, standaardbenadering van de database, werkbare documentatiestandaards, herkenbare naamgevingsstandaards en standaards voor het gebruik van gebruikersinterfaces)? –– Zijn ‘Watchdogs’ (controleprocessen) aangebracht? –– Kan de operator statusinformatie verschaffen? –– Is de dataverwerking in deeltransacties opgesplitst? –– Zijn de invoer, verwerking en uitvoer apart geïmplementeerd?

186

bijlagen


Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn eventuele machineafhankelijkheden in aparte modules geïmplementeerd? –– Zijn de essentiële functionaliteiten in aparte modules ondergebracht? –– Zijn I/O-operaties in aparte modules ondergebracht om de gegevens benadering van de gegevensverwerking te scheiden? –– Worden programmamodules hergebruikt? –– Zijn de programma’s doorzichtig en gestructureerd opgezet? –– Is toegankelijke, consistente en actuele technische documentatie aanwezig? –– Zijn de deelsystemen gedeconcentreerd? –– Wordt de gegevensverwerking dubbel uitgevoerd? –– Is de programmatuur geparametriseerd? –– Zijn de algoritmen geoptimaliseerd? Gegevensinfrastructuur –– Zijn de gegevensbestanden versleuteld? –– Is de gegevensopslag gedeconcentreerd? –– Is het gegevensmodel geparametriseerd? –– Is de benadering van de database geoptimaliseerd? Ontwikkelomgeving –– Is er een geïntegreerde testfaciliteit aanwezig? –– Wordt gebruikgemaakt van testtools, bijvoorbeeld ten behoeve van ‘record & playback’ en/of testontwerp? –– Is er de mogelijkheid om queries uit te voeren met betrekking tot de gegevensverzamelingen? –– Wordt gebruikgemaakt van 4GL faciliteiten? –– Is er sprake van een aparte testomgeving? –– Is er sprake van een geïntegreerde ‘functionele’ ontwikkelingsomgeving workbench (CASE-tool), tekstverwerker, en dergelijke)? –– Is er sprake van een geïntegreerde ‘technische’ ontwikkelingsomgeving (DBMS, 4GL)? –– Wordt gebruikgemaakt van een code- of systeemgenerator (ICASE)?

187


16.13 Kwaliteitsattribuut: zekerheid Checklist – Controleerbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is een doelmatig productieschema opgezet met een afgewogen bepaling van de prioriteiten tussen de toepassingen onderling en met de ondersteu nende functies, zoals de back-up procedure? –– Zijn binnen de verwerkingsorganisatie plaatsvervangers beschikbaar en opgeleid? Functionele systeemarchitectuur –– Zijn geprogrammeerde controles op de resultaten van de gegevensverwer king aanwezig, zoals controletotalen en vierkantstellingen? –– Worden transacties doorgenummerd met vermelding van de desbetref fende nummers op mutatieverslagen? –– Worden rapportbladzijden doorgenummerd met vermelding van het totaal aantal pagina’s? –– Worden historische gegevens en mutatierecords vastgelegd en bewaard? –– Zijn informatiefuncties aanwezig met betrekking tot de historische gegevens met voldoende selectiemogelijkheden? –– Zijn er mogelijkheden in het kader van een audit trail? –– Wordt ten behoeve van de audit trail bij elke mutatie ook geregistreerd wie hem heeft verricht en met welke functie? Technische systeemarchitectuur –– Zijn er controlefuncties voor de juistheid van de informatie? –– Zijn er controlefuncties voor de volledigheid van de informatie? –– Vindt registratie, bijvoorbeeld logging, plaats van alle bewerkingen? Gegevensinfrastructuur –– Zijn er mogelijkheden voor een (periodieke) controle van de consistentie van de gegevens?

188

bijlagen

Checklist – Beveiligbaarheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Verwerkingsorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is de verwerking van vertrouwelijke gegevens (bijvoorbeeld de salarisrun) in aparte procedures ondergebracht, die alleen door daartoe bevoegde personen mogen worden uitgevoerd? Gebruikersorganisatie –– Is er sprake van een duidelijke scheiding van functies, bevoegdheden en verantwoordelijkheden in de organisatie van de informatievoorziening? –– Is een indeling gemaakt van documenten in een aantal klassen van vertrouwelijkheid? –– Is op basis van deze indeling een beperking (en registratie) van de circulatie van geclassificeerde documenten tot bepaalde functionarissen geregeld? –– Is er een autorisatieprocedure voor belangrijke documenten die de organisatie verlaten? –– Is er sprake van controle achteraf namens de interne accountantsdienst op de uitvoering van de procedures aan de hand van geproduceerde informatie? –– Wordt bij de beveiliging zowel aandacht gegeven aan de schriftelijke als de geautomatiseerd vastgelegde gegevens? –– Wordt bij het verlenen van autorisatie de controletechnische functie scheiding gehandhaafd; wordt autorisatie verstrekt op basis van het ‘need‑to-do’ en ‘need- to-know’ principe? (Sluit de logische toegang aan op de aanwezige Administratieve Organisatie (AO) schema’s?) –– Is functiescheiding aangebracht tussen: • degene die gerechtigd is om functies binnen een informatiesysteem te gebruiken om gegevens te kunnen benaderen en/of te kunnen muteren (eindgebruikers)? • degene die bepaalt welke medewerkers toegang hebben tot welke functies (gegevens) en aan wie verantwoording moet worden afgelegd over de gerealiseerde toegangsmogelijkheden? • degene die verantwoordelijk is voor het daadwerkelijk autoriseren van de medewerkers tot functies (gegevens)?

189


Gebruikersorganisatie

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Wordt bij het verlenen van autorisatie een onderscheid gemaakt tussen het invoeren, het wijzigen, het raadplegen en het verwijderen van gegevens? –– Wordt bij het verstrekken van gegevens aan derden en externe datacommunicatie rekening gehouden met de eisen van logische toegangs beveiliging? –– Is er een specifieke autorisatieprocedure aanwezig voor functionarissen belast met interne controle en/of beveiliging (bijvoorbeeld de systeembeheerder)? –– Is de wijze waarop de logische toegangsbeveiliging is gerealiseerd adequaat beschreven? –– Is er een procedure waarin de diverse acties zijn beschreven die dienen te worden uitgevoerd op basis van de toegangslogging c.q. de rapportage? –– Valt het informatiesysteem onder de Wet bescherming persoonsgegevens? Zo ja, is aan de wettelijke verplichtingen voldaan? Functionele systeemarchitectuur –– Is in de productdocumentatie beschreven wat de mogelijkheden zijn ten aanzien van beveiliging? –– Is hierbij expliciet aangegeven: • wat de strategie, op basis van doelstellingen en bedreigingen, ten aanzien van beveiliging is? • welke beveiligingsfunctionarissen er zijn? • welke procedures ten aanzien van beveiliging moeten worden gevolgd om de functionaliteit optimaal te benutten? Technische systeemarchitectuur –– Worden de mogelijkheden die bestaan om de toegang tot de (systeem) software, teksten en bestanden te beperken zo goed mogelijk benut? –– Zijn binnen de toegangsbeveiliging de functionaliteiten ten behoeve van identificatie, authenticatie, autorisatie, logging en rapportage te onderkennen? –– Kan bij het verlenen van autorisatie onderscheid worden gemaakt tussen verantwoordelijkheden voor invoering, verwerking, correctie en controle? –– Kan bij het verlenen van autorisatie onderscheid worden gemaakt tussen het invoeren, het wijzigen, het raadplegen en het verwijderen van gegevens? –– Wordt bij externe datacommunicatie rekening gehouden met de eisen van (logische) toegangsbeveiliging? –– Worden de wachtwoorden door de gebruikers zelf onderhouden en is de gebruiker zelf verantwoordelijk voor het gebruik van zijn user-id en wacht woord?

190

bijlagen


Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is er een (technische) procedure aanwezig die ervoor zorgt dat wachtwoor den periodiek worden gewijzigd? –– Heeft het wachtwoord een minimale lengte van zes tekens en is het moge lijk voor de samenstelling van het wachtwoord gebruik te maken van alle op het toetsenbord aanwezige tekens? –– Is er sprake van een maximaal aantal mogelijke pogingen om in te loggen? –– Vindt de invoer en eventueel de uitvoer (vastlegging) van wachtwoorden op een dusdanige wijze plaats dat daaruit geen herkenning voor derden kan plaatsvinden? –– Wordt de toegangsbeveiliging niet doorbroken door het gebruik van query-talen? –– Worden door middel van logging de onjuiste pogingen tot het gebruik geregistreerd? –– Wordt overschrijding van het maximaal aantal onjuiste pogingen tot gebruik gevolgd door blokkade? –– Zijn maatregelen genomen die ervoor zorgen dat de periode waarin de terminal vrij toegankelijk is wordt beperkt (bijvoorbeeld automatische ‘log-off’)? –– Is er ten behoeve van de beveiliging een specifiek pakket aanwezig en in gebruik? –– Wordt het geheugen na gebruik leeggemaakt? –– Zijn de deelsystemen gedeconcentreerd? –– Wordt de gegevensverwerking dubbel uitgevoerd? Gegevensinfrastructuur –– Zijn de gegevensbestanden versleuteld? –– Worden de gegevens die over het netwerk worden verstuurd versleuteld? –– Is de gegevensopslag gedeconcentreerd? –– Fysieke beveiligingsmaatregelen? –– Hebben het bedrijfsterrein en de gebouwen een gecontroleerde toegang? –– Is het rekencentrum alleen toegankelijk voor het personeel van het reken centrum? Productieomgeving –– Wordt ten behoeve van de testomgeving en de productieomgeving gebruik gemaakt van een verschillende identificatie (user-id) en authenticatie?

191


Checklist – Juistheid In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Schermverloop

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Zijn de veldlengtes correct geformuleerd? –– Zijn de velddefinities correct? –– Zijn de velden compleet? –– Zijn de velden consistent? –– Zijn de velden consequent? –– Zijn de functietoetsen correct? –– Wordt er een boodschap gegenereerd in geval van onjuist relatiegebruik tussen: • velden? • schermen? • velden en databases? • databases? • overig? –– Verschijnen de juiste schermen op grond van de ingevoerde gegevens? –– Worden resultaten van acties correct verwerkt (ontvangstbevestigingen/ afwijzingen, en dergelijke)? Verwerking –– Is er functionele scheiding tussen datavergaring en ‑verwerking? –– Zijn geprogrammeerde controles op resultaten van gegevensverwerking aanwezig, zoals controletotalen en vierkantstellingen?

192

bijlagen

Overzichten

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Worden er logfiles gegenereerd? –– Zo ja, bevatten de logfiles de juiste informatie? –– Bevatten databases de juiste informatie bij invoer en mutaties? –– Worden er overzichten gegenereerd? –– Zo ja, bevatten deze overzichten correcte informatie wat betreft: • grafieken? • formuleresultaten? • voorwaarden? • et cetera? Instellingen –– Worden instellingen in het informatiesysteem correct verwerkt, zoals: • Aan/Uit? • Ja/Nee? • Printervoorkeur? • Verder? –– Zijn combinaties van systeeminstellingen van belang voor een correcte verwerking? –– Zijn combinaties van velden van belang voor een correcte verwerking?

193


16.14 Checklist Quality Assurance In te vullen door testteam Project: Behandeld door: Datum: Documentnummer: Controlepunt

Meer info

Is er een mastertestplan aanwezig en is dit plan afgestemd met ten minste de volgende betrokke nen: Opdrachtgever, Ontwerper, ATT.

Zie Handleiding mastertestplan (blz. 91)

Is de verdeling FIST/GAT/PAT conform afspraak.

Zie FIST (blz. 16) en Inpasbaarheid testen (blz.17)

Let hierbij vooral op of de GAT niet te veel gericht is op het testen van de functionaliteit.

Zijn de acceptatietesters in de fase ‘maken FDO/ werkinstructies’ reeds begonnen met het maken van GAT-testgevallen Worden de afgesproken kengetallen bijgehouden en gerapporteerd?

Zie Metrics (blz. 18)

Worden de bevindingen op de afgesproken wijze geregistreerd?

Zie Bevindingenprocedure (blz. 42)

Steekproef: zonder problemen moet op ieder moment het aantal openstaande problemen per testeenheid en per ernstcategorie te achterhalen zijn.

Is er een bevindingenoverleg waarin periodiek de geconstateerde bevindingen met Ontw/FO/AO worden doorgenomen Wordt de FIST aangesproken op haar verantwoorde lijkheid Met andere woorden: worden fouten die in de FIST gevonden hadden moeten worden teruggekoppeld naar de FIST, doet de FIST daar ook iets mee?

Worden de gemaakte uren op de afgesproken wijze geregistreerd?

Zie Tijdsverantwoording (blz. 34)

Wordt er een werkmap op de afgesproken wijze bijgehouden?

Zie Aanmaken werkmap (blz. 64)

Is er een detailplanning aanwezig en wordt deze daadwerkelijk gebruikt voor het beheersen van de testwerkzaamheden? Zijn de testgevallen gebaseerd op de werkinstructies? Wordt bij het specificeren van testgevallen gebruik gemaakt van de EVT?

194

Zie EVT in relaties testsoorten Testonwerptechnieken (blz. 23).

Check

bijlagen

Controlepunt

Meer info

Check

Wordt bij de fysieke testgevallen objectief beschre ven wat het verwachte resultaat is van de test? Worden testgevallen toegevoegd op basis van Error Guessing? Wordt aandacht besteed aan de proces cyclus test? Wordt aandacht besteed aan de kwaliteitsattributen?

Zie Kwaliteitsattributen (blz. 20)

Zijn de afgevinkte checklists in de werkmap terug te vinden? Worden binnen het testteam interne reviews uitgevoerd; worden de opmerkingen naar aanleiding van deze reviews op papier gezet en wordt er vervolgens iets mee gedaan?

Zie Review testset (blz. 70)

Wordt periodiek gerapporteerd volgens het afge sproken model?

Zie Rapportage ‘Voortgang en kwali teit’ (blz. 62)

Wordt bij het afronden van de test een evaluatie rapport opgesteld?

Zie Eindrapport (blz. 75)

Wordt de testware opgeleverd aan de beheerder van de testware, zodat toekomstig hergebruik mogelijk is? Zijn de draaiboeken en dergelijke voor een buiten staander duidelijk genoeg?

Met andere woorden kunnen – zonder tussenkomst van een van de leden van het testteam – enkele testgevallen zonder noemenswaardige problemen worden uitgevoerd?

Is de testware toegankelijk?

Staan geen belangrijke zaken in persoonlijke directories of op de C: schijf?

Kan antwoord gegeven worden op vragen als ‘Wat is de doorlooptijd van de testspecificatie, uitvoering van Apllicatie/proces x, hoeveel uren zijn besteed aan testuitvoering van Apllicatie/proces y’, enzo voort?

Zie Metrics (blz. 18)

Wordt een objectieve uitspraak gedaan omtrent de kwaliteit van de geteste producten in termen van aantal geconstateerde problemen, gemiddelde hersteltijd, indeling van problemen in ernst categorieën, en dergelijke? Is informatie beschikbaar over de kwaliteit van het testproces?

Met welke testactiviteiten ontdekt met hoeveel fouten, worden fouten eerder in het traject gevonden, wordt gemeten hoeveel problemen er in productie zijn met gedechargeerde producten en dergelijke?

Zijn afwijkingen van de standaard bewuste beslissin gen en is dat voldoende in de testplannen afgestemd?

195


16.15 Checklist – Intake testobject In te vullen door leverancier Applicatie: Versie: Programma: Versie: Ontwikkelteam: Opleverdatum: Opgeleverd aan: In te vullen door testteam Behandeld door: Datum: Documentnummer: Status:

Geaccepteerd/In behandeling/Verlopen

Oplevering –– Is er een releasenotes? –– Is er een installatiehandleiding? –– Is er een RFC? –– Heeft de installatiehandleiding de juiste versie en status? –– Heeft de applicatie dezelfde versie als beschreven in de releasenote/RFC? –– Hebben de DLL’s dezelfde versie als beschreven in de releasenote/RFC? –– Zijn er AO-werkinstructies aanwezig? –– Zijn de bestanden aanwezig? –– Hoort de applicatie bij de bestaande database? –– Is de applicatie door meerdere gebruikers tegelijk te gebruiken? –– Is er een ST1-Testrapportage

1

196

ST = SysteemTest

Ja

Nee

N.v.t.

Opmerking

bijlagen

Omgevingseisen

Ja

Nee

N.v.t.

Opmerking

N.v.t.

Zo ja, welke/ waar?

–– Moet er gebruikgemaakt worden van een internet browser? (Zo ja, welke? (IE6, IE7, andere)) –– Is een installatie van Java vereist? –– (Zo ja, welke versie?) –– Is een installatie van Microsoft Silverlight nodig? –– (Zo ja, welke versie?) –– Wordt de applicatie als batch gedraaid? –– Is een koppeling met Oracle vereist? –– Is er een koppeling met SQL Server vereist? –– Is een koppeling met Navision vereist? –– Is een koppeling met VTA vereist? –– Is een koppeling met BizTalk vereist? Omschrijving –– Voor welke besturingsysteem is de applicatie geschreven? (Windows XP/Vista/Windows 7/Citrix/andere) –– Onder welke versie (Service Pack) is de applicatie ontwik keld? –– Welke zaken zijn er nog meer nodig voor het gebruik van de applicatie? DLL

Ja

Nee

–– Worden er DLL’s in de installatie folder geplaatst? –– Worden er DLL’s in de Windows folder geplaatst? –– Worden er DLL’s op andere plekken geplaatst? –– Moeten DLL’s verwijderd of overschreven worden? –– Moeten de DLL’s geregistreerd worden door/voor de gebruiker?

197


Installatie

Ja

Nee

N.v.t.

Opmerking

–– Waar staat de te installeren software? –– Zijn er speciale (extra) autorisaties nodig voor het installe ren? (zo ja, welke?) –– Wordt er een melding gegeven wanneer de installatie gereed is? –– Moeten applicaties/services gestopt/afgesloten worden tijdens de installatie? (Zo ja, welke?) –– Moet de vorige versie eerst verwijderd worden? –– Is de software een update op een bestaand programma? Omschrijving –– Waar wordt de applicatie geïnstalleerd? (Server/Citrix/ desktop/enzovoort) Opstarten

Ja

Nee

N.v.t.

Opmerking

Ja

Nee

N.v.t.

Opmerking

–– Wordt de applicatie via een URL opgestart? (Zo ja welke?) –– Wordt er een opstarticoon opgeleverd? –– Moet het startmenu aangepast worden? –– Wordt de applicatie met parameters gestart? (Zo ja welke?) –– Is het zichtbaar dat de applicatie werkt? (Zo ja hoe?) –– Moet de software vanaf een andere omgeving gestart worden? (Zo ja welke?) Autorisatie –– Is er een beheerder bepaald voor de applicatie? –– Moeten er gebruikers bekendgemaakt worden in de appli catie? –– Moeten autorisaties geregeld worden voor het gebruik van de applicatie? (Zo ja, welke?) –– Moet er extra rechten uitgedeeld worden op netwerk shares? (Zo ja, welke?)

198

bijlagen

16.16 Checklist – Intake functioneel ontwerp In te vullen door het testteam Intake functioneel ontwerp Functienaam: Versie FO: Tester: Datum: Algemeen

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Staat het versienummer en de datum van de laatste wijziging op het voor blad en in de voettekst? –– Is de revisie historie tabel bijgewerkt? –– Is de inhoudsopgave consequent en consistent met de inhoud? –– Is een logisch datamodel aanwezig? –– Is er een korte beschrijving van de applicatie? –– Is er een korte beschrijving van (het doel van) de functie? –– Zijn er specificaties gegeven voor benodigde hardware, software, rand- en communicatieapparatuur? –– Is de positie van de functies binnen de applicatie beschreven? –– Zijn de interfaces gespecificeerd? Datamodel –– Is er een entiteitrelatie diagram aanwezig? –– Is per relatie de soort (n-m, optioneel) beschreven? –– Zijn per entiteit de attributen beschreven met vermelding van de sleutel gegevens? –– Zijn de attributen gedefinieerd (lengte, type, waarden, et cetera)? –– Zijn de relaties tussen de ERD’s van de verschillende functies b eschreven?

199


Functiestructuur

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

Ja

Nee

N.v.t.

–– Is een verdeling van de functies in subfuncties aangegeven en zijn deze beschreven? –– Zijn de triggers beschreven? –– Zijn er procesflowdiagrammen en procesbeschrijvingen aanwezig van de functies? –– Is van elke invoer de bron vermeld en beschreven? –– Is van elke uitvoer de bestemming vermeld en beschreven? –– Is er een beschrijving van (de samenstelling van) de interface en de fysieke realisatie (voorbeeld) –– Is er een beschrijving van de functie met betrekking tot condities van uitvoering, frequentie, handmatig of geautomatiseerd, batch of online –– Zijn de maatregelen beschreven genomen voor de juistheid van de gegevens zoals: • validaties van de invoer (verbandcontroles, referentiële controles). • dubbele invoer. • doornummeren van transacties en rapportages. –– Is er een beschrijving van meldingen, waarschuwingen en foutboodschap pen en hun trigger? Schermverloop –– Zijn er schermverloopschema’s aanwezig? –– Zijn de geldende richtlijnen en standaards die voor de schermen gelden beschreven? –– Is beschreven welke velden in een scherm voorkomen? –– Zijn de veldeigenschappen beschreven? –– Is de scherm in- en uitvoer beschreven? –– Is de navigatie tussen de schermen beschreven? –– Is een beschrijving van de scherm printlay-out aanwezig? Specificaties –– Zijn de voor de applicatie gestelde kwaliteitseisen beschreven? –– Zijn de kwaliteitseisen meetbaar en bruikbaar als acceptatie-eisen? –– Zijn er performance eisen beschreven?

200

U kunt de checklisten ook downloaden op

Recommend Documents