VERBETERING CONTROLEERBAARHEID VAN GEAUTOMATISEERDE PROCESSEN
Controleerbaarheid en kwaliteit van event logs
D Dit artikel is geschreven naar aanleiding van mijn artikel dat in de IT-Auditor nummer 3, jaargang
2012 is verschenen [HAAS12]. Toen heb ik vooral
de lessons learned uit mijn praktijkervaring beschreven en de aandachtspunten en moeilijkheden bij de toepassing van de process miningtechniek1 in
kaart gebracht. De conclusie was dat er een paar belangrijke obstakels zijn bij het toepassen van
process mining: de vaak matige kwaliteit van de beschikbare data, de moeite die het kost om de
juiste data te selecteren en de kosten die gemoeid zijn met het construeren van event logs vanuit de bron systemen die geschikt zijn voor analyse. MARIA HAASNOOTBEZVERHAYA
Een van de mogelijke oplossingen voor de genoemde obstakels bij process mining is om tijdens de analyse- en ontwerpfase van de implementatie van een bedrijfsproces in een systeem na te denken over de toepassing van process mining. Als de registratie van data op een zorgvuldige manier wordt ingericht en uitgevoerd, produceert het systeem event logs van hoge kwaliteit en kunnen proceseigenaren en auditors bedrijfsprocessen en -systemen (eventueel continu) controleren en analyseren. In dit artikel wil ik deze oplossing verder uitwerken en het belang van de samenwerking van process miningdeskundigen en het implementatieteam benadrukken om tot een betere inrichting van de event log te komen. Ik ga ook in op een aantal voor geautomatiseerde processen belangrijke onderwerpen die sterk met elkaar samenhangen, namelijk: kwaliteit en controleerbaarheid van processen en de life cycle en auditing van de event logs. De hoofdvraag in dit artikel is: ‘Hoe kan de kwaliteit van de event logs van het systeem verbeterd worden?’ Deze vraag is belangrijk omdat een goed ingerichte event log de controleerbaarheid van geautomatiseerde (bedrijfs)processen ook kan verbeteren. Ik wil door middel van dit artikel aandacht voor deze onderwerpen
18
vragen bij proceseigenaren, hoger management en IT-auditors. KWALITEITSMODELLEN Allereerst wil ik het onderwerp ‘kwaliteit’ en ‘controleerbaarheid’ kort toelichten. Bij de implementatie van informatiesystemen worden verschillende modellen gehanteerd om de kwaliteit van de systemen, processen en informatiestromen te waarborgen. Een van deze modellen is het IPS-model. Zie figuur 1. IPS staat voor Informatie, Processen en Systemen. Het IPS-model biedt een 360 graden perspectief op alle mogelijke succesfactoren (en faalfactoren) van de informatievoorziening. Het model wordt gehanteerd bij het definiëren van eisen en bij de (acceptatie)testen. Analisten en ontwerpers gebruiken het model om tot volledige eisen en een compleet ontwerp te komen. Testers gebruiken het model voor risicoanalyses en om de opgeleverde (tussen)producten te controleren. CONTROLEERBAARHEID Opvallend is dat men in de literatuur weinig aandacht besteedt aan de controleerbaarheid van informatiesystemen en -processen in vergelijking met de andere kwaliteitsaspecten zoals die in het IPS-model zijn beschreven. Dit komt doordat niet alle stakeholders zich bewust zijn van het belang van controleerbaarheid of van de mogelijkheden om contro-
de IT-Auditor nummer 2 | 2013
,7$XGLWRUBBLQGG
30
leerbaarheid te concretiseren en technisch te realiseren. Ook worden systemen vaak als een standaardpakket geïmplementeerd en daarna wordt nog veel maatwerk ingebouwd en toegevoegd, waarbij controleerbaarheid in het ontwerp van het maatwerk niet (of in beperkte mate) wordt meegenomen. Wat is nu ‘controleerbaarheid’ en waarom is controleerbaarheid zo belangrijk voor de bedrijfsprocessen? Controleerbaarheid heeft verschillende synoniemen en verwante begrippen: ‘traceerbaarheid’, ‘meetbaarheid’, ‘auditability’, ‘herleidbaarheid’. Controleerbaarheid wordt in de literatuur beschreven vanuit drie perspectieven: procesperspectief, systeemperspectief en informatieperspectief. Hieronder beschrijf ik de drie perspectieven in het kort: Procesperspectief In het POQ-proceskwaliteitsmodel is controleerbaarheid een onderdeel 2 van het aspect ‘Bestuurbaarheid’. De definitie van controleerbaarheid vanuit het perspectief van dit proceskwaliteitsmodel is: ‘Controleerbaarheid is de mate waarin het proces en de invoergegevens controleerbaar en meetbaar zijn voor derden, zoals ITauditors en beveiligingsdeskundigen.’
Figuur 1: IPS-kwaliteitsmodel [SMAR08]
Het IDQ model is een model voor de kwaliteit van Informatie en Data. Dit model is met name geschikt voor de beoordeling van gegevensverzamelingen. Typische voorbeelden: datawarehouses, CRM-systemen, managementinformatiesystemen (MIS), ERP-systemen en virtuele marktplaatsen.
Het POQ-model (Process and Organization Quality) voor kwaliteit van processen in organisaties omvat alle kwaliteitsaspecten van geautomatiseerde en niet-geautomatiseerde processen in organisaties. Dit model is met name geschikt voor de beoordeling van procesinrichting.
Systeemperspectief In het ISO 9126-model wordt controleerbaarheid genoemd als onderdeel van het aspect ‘Functionaliteit’.3 Definitie van controleerbaarheid in dit model is: ‘Controleerbaarheid is de mate waarin herkomst en correcte verwerking van data door het systeem op verschillende momenten in de verwerking gecontroleerd kan worden.’
van de event logs ten behoeve van process mining vormen deze aspecten van controleerbaarheid het referentiekader. In andere woorden als het aspect ‘controleerbaarheid’ goed in het systeem en in het geautomatiseerde proces is aangebracht, is het systeem en het proces geen ‘black box’ meer; het wordt inzichtelijk voor de belanghebbenden zoals proceseigenaren, data analisten en auditors.
Informatieperspectief Volgens het IDQ-informatiekwaliteitsmodel is controleerbaarheid de mate waarin de informatie geschikt is voor controle. Figuur 2 toont deze aspecten van controleerbaarheid in detail en in de paragraaf over auditing
EVENT LOG TEN BEHOEVE VAN PROCESS MINING Proces miningtechnieken zijn bijzonder goed geschikt om processen te controleren. Bij deze technieken speelt een event log4, die informatie en data over de geautomatiseerde
Het ISO 9126 model is het model voor Software- en Systeemkwaliteit. Bij dit model ligt de nadruk op de softwarematige kant en niet op de meer fysieke eigenschappen.
processen bijhoudt, een essentiële rol. Maar zoals ik eerder in de aanleiding heb genoemd, als de event log van onvoldoende kwaliteit is, is geautomatiseerde analyse met proces mining niet mogelijk en is er onvoldoende inzicht te krijgen in de werking van het proces. Vaak constateert men slechte kwaliteit van de event log pas achteraf als het proces (en systeem) reeds geïmplementeerd is. In dat geval kost het veel tijd en geld om aanpassingen nog door te voeren. Hierbij rijst de vraag : Hoe kan het anders? In de volgende paragraaf wil ik het proces vanaf de ontwikkeling en de implementatie tot de nazorg van de event logs langslopen en aangeven welke verbeteringen mogelijk zijn.
de IT-Auditor nummer 2 | 2013
,7$XGLWRUBBLQGG
19 30
Figuur 2: Aspecten van contoleerbaarheid in het IDQ-model
LIFE CYCLE VAN DE EVENT LOGS In principe loopt de ontwikkeling en implementatie van een event log gelijk op met de implementatie van een informatiesysteem. Ik ga deze implementatiestappen van de event log langslopen en aangeven op welke manier (en door wie) de kwaliteit van de event log het beste gewaarborgd kan worden. Vooronderzoek- en eisenanalysefase In deze fase kijkt men naar de eisen aan de event log die voortvloeien uit de eisen met betrekking tot controleerbaarheid die aan het systeem (en proces) worden gesteld. Bepaald wordt hoe met het aspect ‘controleerbaarheid van het proces’ moet worden omgegaan en de eisen
20
aan het event log met betrekking tot de controleerbaarheid worden vastgelegd. Een process miningadviseur kan in deze fase adviseren over de mogelijkheden van process miningtechnieken met betrekking tot de controleerbaarheid en de voorwaarden die men moet stellen aan de event log. Om de kwaliteit van het proces door middel van de event log te kunnen controleren, kan men de kwaliteitsaspecten van het POQ-model in de eisenanalyse meenemen. Ontwerp In deze fase bepaalt men hóe de event log in het systeem moet werken. De eisen uit de vooronderzoeksfase bepalen welke data in de event log wordt opgeslagen. Vervolgens wordt het ontwerp van de event log gemaakt. In deze fase kan een process mining-
adviseur aangeven hoe de event log moet worden opgezet om deze geschikt te maken voor proces mining en te laten voldoen aan de eisen van de verschillende belanghebbenden. Het is bijzonder belangrijk om het ontwerp goed te documenteren om in de latere fasen gemakkelijk inzicht te krijgen in de opzet van de event log. De IT-auditors kunnen het uiteindelijke ontwerp van de event log beoordelen waarbij ze vaststellen hoe de eisen met betrekking tot beheersbaarheid en controleerbaarheid van het proces vertaald zijn. Dit kan onnodige aanpassingen in het systeem in een later stadium voorkomen. Bouw en testen Nadat de event log in het systeem volgens de specificaties wordt
de IT-Auditor nummer 2 | 2013
,7$XGLWRUBBLQGG
30
gebouwd, wordt de event log getest op de functionele en niet functionele specificaties. In de testomgeving kan een process miningadviseur de event log testen door de toepassing van process miningtechnieken en nagaan of de belangrijkste kwaliteitsaspecten van het geautomatiseerde proces controleerbaar zijn en of de event log conform het ontwerp is opgezet. Als bepaalde aanpassingen nodig zijn is het eenvoudiger en minder kostbaar om deze door te voeren voordat het systeem ‘live’ gaat. Implementatie , nazorg en latere aanpassingen Wanneer de event log geïmplementeerd is, is de nazorgfase van toepassing. Het is essentieel dat men bij wijzigingen (bijvoorbeeld in de vorm van maatwerk of RFC) ook kijkt naar de impact op de event log. Hier blijkt ook het belang van goede documentatie van het ontwerp en de opzet van de event log. Alle wijzigingen in het systeem en in het proces moeten correct in de event log worden meegenomen. Anders geeft de event log niet de werkelijke werking van het systeem (of proces) weer en is het proces niet controleerbaar. AUDITING VAN EVENT LOG IT-auditors zouden de event log in samenwerking met de process miningadviseurs kunnen beoordelen op de kwaliteit van de informatie die de event log weergeeft. Dit kan in de testfase van de implementatie van de event log, maar dit kan ook periodiek na de implementatie om de zekerheid te geven dat de processen nog steeds controleerbaar zijn. Men kan deze audit uitvoeren in het kader van een audit naar de kwaliteit van de geautomatiseerde processen, waar controleerbaarheid een van de kwaliteitsaspecten is, als een aparte audit of als advies over de kwaliteit van de event logs. Ik stel voor om voor dit type audit het referentiekader in tabel 1 te gebruiken.
Kwaliteitsaspect
Toelichting
Structuur
Beoordeling van de structuur van de event log vanuit process mining perspectief. Nagaan of de event log de juiste structuur heeft en het formaat van de velden juist is. Bijvoorbeeld of de datum en tijdstip bij elk activiteit aanwezig zijn.
Eenduidigheid
Beoordeling of alle kolommen van de event log eenduidig gedefinieerd zijn en of activiteiten in het proces een eenduidige betekenis hebben. Bijvoorbeeld, het verschil tussen de activiteiten zoals ‘Factuur verwerkt’ en ‘Factuur behandeld’ moet duidelijk gedefinieerd zijn.
Uniciteit
Beoordeling of de event log geen overbodige, verouderde of dubbele data bevat. Bijvoorbeeld, dubbele opname van de gegevens, zoals ‘Start datum’ en ‘Begin datum’.
Zelfverklarendheid
Beoordeling of de metagegevens van de event log goed gedocumenteerd zijn en de beschrijving van betekenis van de eventueel in codes gelogde gegevens beschikbaar is. Bijvoorbeeld, als velden de naam ‘HDRid’ of ‘IKnr’ hebben of de activiteiten namen hebben zoals ‘101’, ‘102’ moet ook de betekenis van deze namen gedocumenteerd en beschikbaar zijn.
Traceerbaarheid
Beoordeling of de informatie uit de event log herleid kan worden tot de bron, de locatie en het moment van ontstaan. Bijvoorbeeld, als de resultaten uit de process mining analyse van de event log in het systeem gecheckt moeten worden, kunnen deze makkelijk gevonden worden.
Beveiliging
Beoordeling of de toegang tot de event log beperkt is en de event log goed beveiligd is.
Capacitieit en opslag
Beoordeling of de event log in het reguliere back up systeem is meegenomen en welke maximale periode wordt gelogd en bewaard.
Change management
Beoordeling of de wijzigingen in de event log worden bijgehouden en hoe de wijzigingen in het proces in de event log meegenomen worden.
Consistentie
Beoordeling of de schrijfwijze consistent is. Bijvoorbeeld, als de event log verschillende typen datum heeft moeten deze allemaal hetzelfde formaat hebben. Of bijvoorbeeld, het mag niet zo zijn dat een activiteit in de event log wordt geschreven als ‘creditnota geboekt’ maar ook als ‘credit nota geboekt’ (met een spatie).
Betrouwbaarheid
Beoordeling of de event log inhoudelijk juist en volledig is. Bijvoorbeeld, of alle processtappen en events juist en volledig geregistreerd zijn en of de data in de event log ongewijzigd is.
Tabel 1: Het referentiekader voor een audit naar de kwaliteit van de event log
Het referentiekader in tabel 1 is gebaseerd op de kwaliteitsaspecten van het IDQ-model (zie figuur 2) en de informatiebeveiligingsaspecten. SAMENVATTING EN CONCLUSIE Vanuit het oogpunt van kwaliteit van een bedrijfsproces is het van belang dat een bedrijfsproces na de implementatie controleerbaar is. In dit artikel is een oplossing aangeboden om de controleerbaarheid van geautomatiseerde bedrijfsprocessen te verbeteren door middel van een goed ingerichte event log. Uit praktijkervaring met de toepassing van process mining voor de analyse van geautomatiseerde processen blijkt dat de event logs vaak van onvoldoende kwaliteit zijn, dat niet alle belangrijke data gelogd is, de data van slechte kwaliteit
is, of dat er geen documentatie van de opzet van de event log aanwezig is. Om de kwaliteit van de event logs te verbeteren, is een mogelijke oplossing om over de inrichting van event logs ten behoeve van process mining na te denken in de beginfase van de implementatie van een bedrijfsproces in een systeem, namelijk in de analyseen ontwerpfase. In de testfase moet men testen of de event log conform de specificaties is gebouwd. In de nazorgfase moeten eventuele wijzigingen van het proces ook aangebracht worden in de event log. De samenwerking van een process miningadviseur met het implementatieteam is heel wenselijk om de event logs goed te ontwikkelen. IT-auditors kunnen ook een belangrijke bijdrage leveren door de event logs periodiek te beoordelen en te bepalen of de
de IT-Auditor nummer 2 | 2013
,7$XGLWRUBBLQGG
21 30
event log aan de kwaliteitsnormen voldoet. Deze kwaliteitsnormen zijn in een referentiemodel uitgewerkt dat gebaseerd is op het IDQ-informatiekwaliteitsmodel. Event logs van hoge kwaliteit zijn van essentieel belang voor de controleerbaarheid van (bedrijfs)processen. Om deze hoge kwaliteit te bereiken en te handhaven, is samenwerking tussen de verschillende disciplines op dit gebied zoals implementatieteam,
testers, proceseigenaren, process mining adviseurs en IT-auditors belangrijk, zelfs noodzakelijk. ■ Noten 1 Process mining is een methode om bedrijfsprocessen in en rond een informatiesysteem op te sporen en te analyseren met behulp van de event log die het informatiesysteem produceert. 2 Bestuurbaarheid is de mate waarin het proces transparant, meetbaar en bestuurbaar is en mogelijkheden biedt tot tracering en controle door derden.
3 Functionaliteit is de mate waarin het informatiesysteem functioneel correct is. 4 Onder event log versta ik in het artikel de event logs die geschikt zijn voor de analyse van de geautomatiseerde bedrijfsprocessen met process mining. Literatuur [HAAS12] Haasnoot-Bezverhaya, M., Lessons learned bij toepassing van process mining, in: de IT-Auditor, nr. 3, 2012. [FLOR01] Florijn, G. en D. Greefhorst, Softwareproductkwaliteit, in: Informatie, nr.1, 2001. [SMAR08] http://www.smartest.nl/verdieping/ kwaliteitsmodellen.
Drs. M. (Maria) Haasnoot-Bezverhaya EMITA RE is sinds 2008 werkzaam bij de Departementale Auditdienst (DAD) van het Ministerie van Infrastructuur en Milieu (per 1 mei 2012 onderdeel van de nieuw gevormde Auditdienst Rijk –ADR). Haar interesse gaat vooral uit naar process mining, softwarekwaliteit, IT-Governance en projectmanagement.
Overige literatuur Florijn, G. en D. Greefhorst, Softwareproductkwaliteit , in: Informatie, nr.1, 2001.
maakt je de onmisbare schakel tussen strategie en human capital cap pital VOOR EEN GRATIS ABONNEMENT: besteleenvakblad.nl/penoactueel
Als HR-professional lees je in P&Oactueell alles ll over h human capital, development, meetbaar HR en wet®elgeving. P&Oactueel is betrokken, praktisch, inspirerend en analytisch.
22
de IT-Auditor nummer 2 | 2013
,7$XGLWRUBBLQGG
30
