De rol van data-analyse bij het beoordelen van informatie-integriteit

De rol van data-analyse bij het beoordelen van informatie-integriteit Benaderd vanuit het perspectief van de IT-auditor bij de ondersteuning van de financiële audit Teamnummer:

926

Studenten:

drs. F.J. Boerkamp (1689916) IT-auditor Ernst & Young [email protected] +31 6 2908 4740 ir. S. P. Soerjoesing (1690019) IT-auditor Ernst & Young [email protected] +31 6 2908 4100

Begeleider vanuit opleiding

dr. J. Hulstijn Docent Vrije Universiteit Amsterdam

Begeleider vanuit Ernst & Young

drs. M.M.J.M. Welters RE RA Partner Ernst & Young Accountants LLP

Expertpanel

drs. A.T.J. Buffing RE RA Director Ernst & Young Accountants LLP drs. S.J. Hartjes RE RA Partner Ernst & Young Accountants LLP drs. R.M.J. Christiaanse RA Docent VU Amsterdam en NIVRA-Nyenrode

Aantal pagina’s

74

De rol van data analyse bij het beoordelen van informatie integriteit

INHOUDSOPGAVE 1 1.1 1.2 1.3

Inleiding Relevantie Doelstelling Onderzoeksvragen 1.3.1 Centrale onderzoeksvraag 1.3.2 Deelvragen 1.4 Aanpak en reikwijdte van het onderzoek 1.5 Leeswijzer

3 6 7 8 8 8 8 9

2 2.1 2.2 2.3 2.4

Informatie-integriteit Definities Informatiearchitectuur ITGI model Data-integriteit 2.4.1 Relationele model 2.5 Integriteitsmodellen 2.5.1 Sandhu & Jajodia en Ammann & Jajodia 2.5.2 Clark & Wilson en Integrity research study group 2.6 Beschouwing theorie 2.6.1 Beschouwing literatuur 2.6.2 Witte vlakken analyse IT General Controls 2.6.3 Bepalen van informatie-integriteit met behulp van data-analyse

11 11 12 13 16 17 18 18 19 22 22 22 24

3

Toepassingen van data-analyse voor het beoordelen van informatie-integriteit

27

4 4.1 4.2 4.3 4.4 4.5

Conclusies Conclusie Stappenplan voor informatieanalyse met data-analyse tools Risicofactoren voor informatie-integriteit Terugkoppeling experts Toekomst van data-analyse bij de financiële audit

35 35 36 38 41 42

Bijlage 1: Literatuurverwijzingen

44

Bijlage 2: Beschrijving IT General controls

47

Bijlage 3: Informatie controle

51

Bijlage 4: Beschrijvingen casussen

54

Definitief, 27 november 2009

2


1

Inleiding

Binnen de jaarcontrole stelt de IT auditor met behulp van ‘IT General Controls’ en ‘application controls’ vast of informatie uit systemen juist, volledig en tijdig is. In strikte zin kan men dit beschouwen als de interne betrouwbaarheid van informatie. De externe betrouwbaarheid van informatie wordt hier niet door de IT auditor expliciet vastgesteld. Men zou kunnen stellen dat de accountant veelal de externe betrouwbaarheid van informatie bepaalt. Maar in welke mate is een accountant in staat om de externe betrouwbaarheid van informatie vast te stellen in een complexe omgeving met ketens van verschillende informatie systemen? Prof. Dr. Theo Bemelmans [Bemelmans, 2004] constateert in zijn afscheidsrede aan de TU Eindhoven een gebrek aan kennis en kunde bij het beheer van een grote hoeveelheid aan informatiesystemen. Hiermee onderschrijft hij het belang van een goede architectuur en beheer van informatiesystemen. Wij gaan er vanuit dat een goede architectuur en adequaat stelsel beheersprocessen bijdragen aan de externe betrouwbaarheid van informatie. De externe betrouwbaarheid van informatie kan vanuit het oogpunt van de IT auditor worden samengebracht tot het concept van informatie-integriteit. Het IT Governance Institute (gelieerd aan ISACA) definieert het concept van informatie-integriteit als volgt: ‘Information integrity is synonymous with its representational faithfulness. Representational faithfulness is exhibited when information is: ▪ Complete (within limits established by agreement, policy or regulation) ▪ Current/timely (within limits established by agreement, policy or regulation) ▪ Accurate/correct (within limits established by agreement, policy or regulation) ▪ Valid/authorized (in accordance with policies, standards and business rules established by top management and the board, and applicable laws and regulations established by regulatory agencies or legislative bodies)’ [ITGI, 2004, “Managing Enterprise Information Integrity”, pag. 3]

Voor ons onderzoek onderkennen wij twee typen gebruikers van informatie, te weten: (1) de externe gebruikers van informatie en (2) de interne gebruikers van informatie. Externe gebruikers van informatie Het maatschappelijke verkeer is een voorbeeld van een externe gebruiker. Voordat interne informatie van een organisatie naar buiten kan zal zij door een derde partij gevalideerd moeten worden. Dit betreffen veelal de zogenaamde financiële auditors en IT auditors. De IT auditor is in staat om data-integriteit van een set gegevens vast te stellen. Bij het vaststellen van data-integriteit wordt er voornamelijk gekeken naar de preventieve maatregelen die de mogelijkheden tot het ingrijpen in (productie)gegevens beperken zoals IT General Controls en application controls. Het omvat echter veelal een momentopname, over een bepaalde periode, die een uitspraak doen over de beheersing van data.


3


Dit geeft echter geen uitsluitsel over het al dan niet kunnen bouwen op de informatie die de informatiesystemen bevatten. Hiervoor verricht de financiële auditor gegevensgerichte en procesgerichte controles om de externe betrouwbaarheid van informatie te bepalen. De IT auditor kan op zijn beurt de gegevensgerichte controle van de accountant ondersteunen met data-analyse met behulp van analytische tools, zoals ACL of IDEA [Bensink, 2006]. Al kan de vraag hier gesteld worden of data-analyse enkel het domein is van de IT auditor. Hier zullen wij later op terugkomen. Vanuit onze praktijk nemen wij echter waar dat het gebruik van data-analyse bij de financiële audit veelal beperkt is. Het domein van data-analyse lijkt zich voornamelijk te richten op de zogenaamde bijzondere opdrachten, waarbij data-analyse wordt ingezet als zelfstandig onderzoek, zoals het toetsen van rekenregels bij bijvoorbeeld conversies of implementaties van nieuwe applicaties, en niet om de controle van de jaarrekening te ondersteunen. In enkele gevallen wordt data-analyse wel (pro-)actief gebruikt, zoals bij Continuous Control Monitoring. [ITGI, 2006] Met de komst van de International Standard on Auditing 240 [IFAC, 2007] is het gebruik van data-analyse binnen de financiële audit toegenomen. Het doel van deze analyse is om eventueel management fraude te detecteren door ondermeer het analyseren van grootboekregels (‘journal entries’). Dit betreft analyses waarbij vooraf, door middel van een risicoanalyse, verwachtingen worden opgesteld van de opbouw van het grootboek, welke vervolgens worden getoetst. Interne gebruikers van informatie Prof. Dr. Jan Dietz [Dietz, 2004] schetst in zijn artikel ‘de oberstrategie – hoe lang nog?’ het beeld van de manager als die van een ‘knoppendraaier’, die geen uitgebreide kennis heeft van de interne werking van het systeem, maar wel stuurt op verwachtingen en werkelijke uitkomsten van de output van een proces. Informatiesystemen worden dus door de beleidsmakers in dit beeld benaderd als een ‘black-box’. Echter, als processen ingrijpend veranderd moeten worden omdat de complexiteit van de organisatie en haar omgeving toeneemt, verdiend een ‘white-box’ benadering, waarbij management ook stuurt op kennis van de interne werking van het proces, de voorkeur. Ons uitgangspunt is dat het gebrek aan kennis op management en / of het functionele niveau (in de lijnorganisatie) directe gevolgen kan hebben voor het waarborgen van informatie-integriteit op basis waarvan beslissingen worden genomen met directe effecten hebben op de financiële resultaten van een onderneming of de operationele verantwoordelijken die voortvloeien vanuit de doelstelling van de organisatie. Om de kloof tussen gebruikers van gegevens en de beheerder van gegevens te overbruggen ziet men vaak de rol van de informatiemanager binnen een organisatie terugkomen. Het doel van informatie management is om waarde te kunnen ontlenen aan informatie. Dit staat gelijk aan relevant, bruikbaar en betrouwbaar. Informatie management dient tevens zowel reactief als proactief te zijn. De informatiemanager zou verantwoordelijk moeten zijn voor het detecteren en


4


remediëren van inbreuken op informatie-integriteit. Het ITGI signaleert echter dat dit laatste te weinig gedaan wordt [ITGI, 2004]. Hoewel managers veelal het ‘white-box’ model niet gebruiken, is het tot op heden op grote schaal niet tot problemen gekomen. De verklaring die Prof. Dr. Jan Dietz hiervoor geeft is dat het uitvoerende personeel tot op heden flexibel genoeg is gebleken de ‘black-box’ directieven van management om te zetten naar ‘white-box’ aanpassingen. Maar in de gevallen dat de flexibiliteit niet toereikend is, is juist de communicatie met het management een belangrijke randvoorwaarde bij de ontwikkeling van informatiesystemen [Smildiger, 2005]. Prof. Dr. Jan Dietz [Dietz, 2004] stelt tevens dat dit vermogen van uitvoerend personeel om flexibel om te gaan met de ‘black-box’ directieven van management de afgelopen jaren kleiner is geworden. De oorzaak hiervan is de toenemende complexiteit van informatie(systemen), gezien vanuit afhankelijkheid, kwetsbaarheid en gebrek aan transparantie. Maar het management wil ook in dit scenario voldoende zekerheid hebben over de (externe) betrouwbaarheid van informatie. In onze ervaring zijn dit bijvoorbeeld opdrachten waarbij wij als externe IT auditor een data-analyse uitvoeren binnen conversie / migratie trajecten om zekerheid te verschaffen aan het management. Wat voor gevolgen zal dit hebben voor het vermogen van management om (financiële) verantwoording af te leggen? Eigenlijk is het de vraag hoe de communicatie en samenwerking tussen de wereld van de gebruiker en de wereld van de techniek verbeterd kan worden om de kwaliteit van financiële en operationele verantwoording te waarborgen. Externe gebruikers van informatie

Financial audit

Interne gebruikers van informatie

Financial auditor

Financiële kennis Gegevensgerichte audit Kwaliteit

versus

architectuur en

proces audit en data-

beheersprocessen

Beheerders van data

analyse IT audit

IT auditor

Concept van Informatie integriteit

Informatie management

Controle op de externe betrouwbaarheid van informatie

IT kennis

Figuur 1: Speelveld van het concept informatie-integriteit

Onze veronderstelling is dat data-analyse in complexe omgevingen of met complexe data het domein is van de IT auditor. Het vereist kennis van IT systemen en IT processen om deze complexiteit goed te kunnen doorzien en beheersen. Een randvoorwaarde is dat de IT auditor en


5


de financiële auditor goed communiceren over de vraagstukken die spelen die aan de dataanalyse ten grondslag liggen. Deze verstandhouding komt tot uiting in figuur 1. Om effectief te communiceren moet men dezelfde uitgangspunten en hetzelfde begrippenkader hanteren rondom een aantal centrale concepten. Een van basis concepten die een rol speelt tussen de financiële audit en de IT audit is informatie-integriteit.

1.1

Relevantie

Binnen grote bedrijven zien wij vaak een keten van informatiesystemen waarmee data verwerkt wordt tot informatie. Aan het einde van de keten wordt veelal de informatie vanuit verschillende bronnen opgenomen in een financieel jaarverslag. Een vraag die hier gesteld kan worden is hoe de informatie-integriteit gewaarborgd en gecontroleerd wordt over de systemen heen. Want uiteindelijk dient het jaarverslag gebaseerd te zijn op voldoende integere en volledige gegevens. Niet alleen het vakgebied van financiële accounting is gebaat bij de betrouwbaarheid van informatie. Ook het vakgebied van managementaccounting heeft hier baat bij. Op basis van informatie neemt management besluiten die een invloed hebben op de financiële toestand van de organisatie. De relaties tussen de AO en de verschillende vakgebieden is weergegeven in figuur 2. Uit de voorafgaande paragraaf stellen wij dat data analyse de IT auditor kan helpen om op basis van gegevens van (meerdere) informatiesystemen de mate van informatie-integriteit te analyseren. Met data analyse kan geautomatiseerd grote hoeveelheden data verwerkt worden met behulp van vooraf ontwikkelde gedefinieerde verwerkingsslagen (scripts). De accountant controleert, vanuit zijn attestfunctie, de kwaliteitsaspecten van juistheid, volledigheid en tijdigheid van een financieel jaarverslag. Zijn doel is om de externe betrouwbaarheid van het jaarverslag vast te stellen. Hiermee is de relatie naar het begrip informatie-integriteit dan ook gelegd. Het concept informatie-integriteit heeft ook als doel de betrouwbaarheid van informatie te meten, of de mate waarin kan worden gesteund op de informatie om besluiten te nemen en verantwoording af te leggen.


6


Administratieve organisatie en bedrijfsadministraties

Informatie

Management

Informatie

Juridisch kader

Juridisch kader

Financial accounting

accounting

Figuur 2: Overzicht van het gebruik van informatie binnen het brede accounting vakgebied [Epe en Koetzier, 1999, pagina 15]

De bedrijfsadministratie vervult een registrerende rol binnen de administratieve organisatie (AO). [Christiaanse en Van Praat, 2005] De administratieve organisatie is het in goede banen geleiden van informatie stromen. [Epe en Koetzier, 1999] Informatie-integriteit betreft hier de wisselwerking van de bedrijfsadministratie en de AO en de mate waarin informatie betrouwbaar kan worden geacht. Het verschil tussen de “getrouwe weergave” van de accountant (bijvoorbeeld bij een jaarrekening) en het concept informatie-integriteit is dat de jaarcontrole van een accountant een product (het financiële jaarverslag van het management) als object van onderzoek heeft. Het object van onderzoek van informatie-integriteit is een audit naar de keten van informatie systemen en de processen om integriteit ervan te waarborgen. Informatie-integriteit is binnen dit kader wel een voorwaarde voor een “getrouwe weergave”.

1.2

Doelstelling

Het doel van dit onderzoek is om te bepalen welke factoren een positieve en / of negatieve bijdrage leveren aan de integriteit van informatie en hoe zij door middel van data-analyse beoordeeld kunnen worden. De geïdentificeerde factoren vormen de input voor een risicoanalyse die een auditor zal uitvoeren binnen zijn of haar onderzoek. De risicoanalyse vormt de basis voor de uit te voeren werkzaamheden door de (interne of externe) auditor. Data-analyse wordt veelal verbonden met het beoordelen van de integriteit van data. Ons uitgangspunt is dat data-analyse ook een rol kan spelen bij de risicoanalyse (van de financiële audit) die de basis vormt voor het toetsen van de externe betrouwbaarheid van informatie. De doelgroep bestaat (primair) uit: • IT Auditors; • interne en externe financiële auditors; • IT en informatie-managers; • controllers, CIO’s en CFO’s.


7


1.3

Onderzoeksvragen

1.3.1 Centrale onderzoeksvraag Op basis van het bovenstaande komen wij tot de volgende centrale onderzoeksvraag: Onderzoeksvraag Op welke wijze kan, met data-analyse, informatieketen worden beoordeeld?

integriteit

van

informatie

binnen

een

1.3.2 Deelvragen Om de centrale onderzoeksvraag te beantwoorden hebben wij de volgende deelvragen geïdentificeerd: • wat wordt verstaan onder informatie-integriteit?; • welke theoretische principes maken deel uit van het concept ‘informatie-integriteit’?; • hoe kan data-analyse een bijdrage leveren aan de verbetering van de integriteit van informatie?; • welke factoren veroorzaken het ontbreken en / of het bestaan van informatie-integriteit?; • hoe kan het concept van informatie-integriteit een aanvulling zijn van het instrumentarium van de IT auditor?

1.4

Aanpak en reikwijdte van het onderzoek

Het onderzoek is gebaseerd op de analyse van dossiers voor het verzamelen van data. Voorafgaand aan de analyse van de casussen is een literatuuronderzoek verricht om de casusbeschrijvingen voor het onderzoek meetbaar te maken. Een theoretisch kader maakt het mogelijk casussen beter te beschrijven en te analyseren. Om de relevantie met het IT-audit vakgebied te borgen, hebben wij steeds rekening gehouden met drie facetten namelijk de inrichtingsaspecten, de kwaliteitsaspecten en de beheersingsaspecten. De kwaliteitsaspecten beschrijven de doelstelling van een onderzoek. De inrichtingsaspecten beschrijven de invulling van bedrijfsprocessen en IT-middelen voor het verwezenlijken van bedrijfsdoelstellingen en de strategie. Tot slot beschrijven de beheersingsaspecten de mate waarin beheersmaatregelen aanwezig zijn op tactisch- en operationeel niveau om de bedrijfsdoelstellingen te verwezenlijken. Oriënterende interviews en literatuur onderzoek Uit ons literatuuronderzoek blijkt dat er niet één dominante of allesomvattende theorie is van het concept ‘informatie-integriteit’. Om toch te weten te komen welke elementen van de tijdens de literatuurstudie geïdentificeerde theorieën voor de praktijk de meeste waarde hebben is gekozen voor een casusstudie methodiek met een ‘toepassingsgericht karakter’ [Van Engeldorp en


8


Gastelaars, 1998]. Met een casusstudie kan naar onze mening de diversiteit aan gegevens die wij nodig hebben verwerkt worden. Op basis van de verzamelde literatuur hebben wij relevante casussen geselecteerd en uitgewerkt. De casussen zijn gebaseerd op dossiers van opdrachten waar wij aan hebben meegewerkt voor en/of tijdens dit onderzoek. Uitbreiden en aanpassen literatuur Wij hebben ons beperkt tot het analyseren van vijf casussen. Het betreft casussen waarbij wij als IT auditor onderzoek hebben gedaan naar de externe betrouwbaarheid van informatie. De gebruikte casussen zijn geselecteerd op de sector waarin het onderzoek heeft plaatsgevonden en op de doelstelling van het onderzoek. Op basis van de casussen zijn additionele relevante literatuur verwijzingen opgenomen op basis van de praktische toepassingen. Confronteren theorie en praktijk en samenstellen eindconclusie Door de waarnemingen vanuit de casussen te confronteren met de theorie hebben wij conclusies geformuleerd voor wat betreft de rol van data-analyse bij het bepalen van informatie-integriteit. De aanpak van het onderzoek heeft als doel antwoorden te formuleren voor de deelvragen. Dit is uitgevoerd door de waarnemingen die wij uit de casusstudies hebben verkregen te aggregeren en vervolgens af te zetten tegen de concepten die zijn genoemd in het literatuuronderzoek. Het is ook mogelijk dat wij concepten in de praktijk terugzien, maar niet in het literatuuronderzoek. Validatie van eindconclusie Om de eindconclusie te kunnen valideren hebben wij deze voorgelegd aan een panel van experts, geselecteerd op basis van kennis van de materie, het vakgebied en de vaktechnische achtergronden. Op basis van deze voorwaarden hebben wij bewerkstelligd dat de uiteindelijke resultaten van dit onderzoek ook als valide kunnen worden beschouwd. Voor het valideren van de conclusies hebben wij gesprekken gehouden met een drietal materiedeskundigen. De kenmerken van de materiedeskundigen zijn: • ruime kennis en ervaring op het vakgebied van IT audit; • ruime kennis op het vakgebied van accountancy; • ervaring met data kwaliteit / data-analyse onderzoeken.

1.5

Leeswijzer

Het rapport is verder als volgt opgebouwd; in hoofdstuk 2 worden de definities van informatieintegriteit en daaraan gerelateerde concepten uitgewerkt waarna relevante theorie is beschreven. Hoofdstuk 2 wordt afgesloten met een analyse van de IT General Controls ten opzichte van de (beschreven) theorie en de rol die data-analyse kan vervullen bij het afdekken van de hiaten. In hoofdstuk 3 is beschreven hoe data-analyse is toegepast in een 5-tal casussen. Deze casussen zijn afkomstig uit de praktijk van de auditors. Tenslotte is in hoofdstuk 4 concluderend antwoord gegeven op de vraag op welke wijze en wanneer met data-analyse integriteit van informatie binnen een informatieketen kan worden beoordeeld. Behandeling onderzoeksproblematiek


9


In paragraaf 4.2 is getracht een antwoord te geven op de hoofdvraag van het onderzoek door een stappenplan weer te geven waarbij op basis van data-analyse(tools) een informatieanalyse kan worden uitgevoerd. Dit stappen plan is eerst uit de theorie geabstraheerd en beschreven in paragraaf 2.6 en vervolgens gelegd naast een aantal casussen zoals beschreven in hoofdstuk 3. Voor de deelvragen is eerst gekeken naar wat wordt verstaan onder informatie-integriteit in paragraaf 1.1 waarna dit nader is uitgewerkt op basis van verschillende theorieën in hoofdstuk 2. In paragraaf 4.3 behandelen wij een overzicht van positieve en negatieve factoren die van invloed kunnen zijn op informatie-integriteit. In paragraaf 4.4 behandelen wij een mogelijke toepassing van het concept van informatieintegriteit als aanvulling voor het instrumentarium van de IT auditor. Voor de lezer zal het soms lastig zijn om de verschillende concepten en theorieën een plaats te geven en relaties daartussen te leggen. Figuur 3 geeft de hiërarchie weer zoals wij deze impliciet gehanteerd én uitgewerkt hebben in dit onderzoek. Kennis Interpretatie van informatie

Informatie-integriteit Betrouwbaarheid Relevantie Bruikbaarheid

Systeemintegriteit Logical Access Change Management Data-integriteit Referentiële integriteit Attribuut integriteit Entiteit integriteit

Figuur 3: Grafische weergave van de conceptuele kapstok van het onderzoek


10


2

Informatie-integriteit

Dit hoofdstuk vormt de basis van ons onderzoek waarin de integriteitmodellen zijn geïnventariseerd om te komen tot een verzameling van randvoorwaarden waaraan dient te worden voldaan voor het borgen van de informatie-integriteit. Hoewel de technische mogelijkheden tot het verwerken van gegevens in informatiesystemen steeds verder toenemen en daarmee ook de hoeveelheden data, is er steeds meer behoefte om op een hoger niveau deze data te aggregeren en te structureren. Voor bedrijfsmatige toepassing van informatiesystemen is het van belang om de data zodanig te structureren dat het informatie wordt. Hierbij is informatie data die kan worden gebruikt om een beslissing te nemen. Mensen zijn inherent niet efficiënt om grote hoeveelheden data te analyseren. Data kan het beste in gestructureerde vorm worden aangeboden zodat zij door mensen in kennis en eventueel wijsheid kan worden omgezet [Ackoff, 1989]. Hierbij gaan wij impliciet vanuit dat, op basis van kennis en wijsheid, acties en correcties worden ondernomen door verschillende partijen. Naarmate er meer sturing en verantwoording wordt gegeven aan de bedrijfsprocessen met behulp van deze informatie zal ook de behoefte naar de integriteit van deze gegevens toenemen. Voor de financiële audit kan de betrouwbaarheid van informatie beoordeeld te worden vanuit het concept ‘informatiecontrole’ [Starreveld et al., 2002]. Het concept ‘informatiecontrole’ is verder in detail beschreven in bijlage 3. Om de informatie-integriteit te waarborgen dienen beheersmaatregelen te worden ingebed in het informatiesysteem vanuit de bedrijfsbehoefte. Om deze beheersmaatregelen te kunnen toetsen zal op een 3-tal niveaus toetsing dienen plaats te vinden: (1) kwaliteitsvlak, (2) architectuurvlak en (3) beheersingsvlak. [Van Praat, 2008] Voor een adequate informatie-integriteit is het van belang om invulling te geven aan de architectuur, de kwaliteitsaspecten en de beheersing van de realisatie.

2.1

Definities

Binnen het vakgebied van IT auditing wordt de term integriteit vaak op verschillende manieren gebruikt, Voor het onderzoek is gebruik gemaakt van de volgende definities: Definitie ‘integriteit’ Integriteit. De mate waarin het object (d.w.z. in deze situatie: ICT-dienst of ICTmiddel) in overeenstemming is met de afgebeelde werkelijkheid. [NOREA, 2007]


11


Definitie ‘data-integriteit’ De mate waarin het object (gegevens en informatie-, technische- en processystemen) in overeenstemming is met de afgebeelde werkelijkheid. Wederom onderverdeeld in drie deelaspecten: 'volledigheid' (de mate van zekerheid dat het object volledig aanwezig is), 'nauwkeurigheid' (overeenstemming van het aggregatieniveau van de presentatie met de werkelijkheid) en 'waarborging' (de vraag of de correcte werking van de IT-processen is gewaarborgd). [Prof. M.E. van Biene-Hershey, 1997]

In het kader van dit onderzoek omvat informatie-integriteit de geïnterpreteerde betekenis, zoals afgebeeld in alle deelobjecten, welke wordt afgeleid van de data. Integriteit is dan te definiëren als het waarborgen dat gegevens niet ongecontroleerd worden gewijzigd of verloren gaan. Voor het waarborgen van de integriteit worden in een controle de IT General Controls getoetst. Op basis van ons onderzoek trachten wij aan te geven dat het waarborgen op basis van de IT General Controls niet toereikend is om informatie-integriteit te waarborgen zoals gedefinieerd in hoofdstuk 1. Data-analyse Data-analyse zoals toegepast in het kader van een onderzoek is het gericht vergelijken van gegevens gebaseerd op toetsingsregels die zijn afgeleid vanuit de betekenis en beslissingsprocessen die worden toegepast op de brongegevens van de systemen. Indien data-analyse binnen een (financiële) audit wordt gebruikt, dient er aan een aantal vereisten te voldaan. In onze praktijk worden een aantal uitgangspunten gebruikt. Ten eerste zal onafhankelijk van de gebruikersorganisatie analyses dienen te worden verricht. De (IT) auditor zal idealiter de gegevens zelf verwerken om de analyses uit te voeren. Bij het verwerken van deze gegevens is het van belang dat de aangeleverde brongegevens niet bewerkbaar zijn. Daarbij moeten vaak grote hoeveelheden aan gegevens verwerkt worden. Tevens dienen de handelingen en bewerkingen van de auditor die ten grondslag liggen aan het uiteindelijke oordeel vastgelegd te worden. Met behulp van applicaties als ACL en IDEA kan de auditor aan bovenstaande eisen voldoen, doordat deze applicaties de auditor de mogelijkheden beiden om definities van berekeningen op te stellen, waarna gegevens zonder aanpassingen kunnen worden geanalyseerd. De applicaties zijn met het specifieke doel van het uitvoeren van de data-analyse in gedachten ontwikkeld. Andere end-user applicaties, zoals Access of Excel, kunnen de auditor met gestelde randvoorwaarden niet of in mindere mate ondersteunen.

2.2

Informatiearchitectuur

Om de informatie-integriteitsmodellen doelmatig te kunnen inzetten kan een (informatie)architectuur worden vastgelegd. Een architectuur bezit 5 algemene kenmerken. Ruud Smildiger heeft in zijn artikel “Een audit op informatiearchitectuur: waar te beginnen” [Smildiger, 2005] deze kenmerken uitgewerkt voor de informatiearchitectuur. De uitwerking van de kenmerken van een informatiearchitectuur zijn opgenomen in tabel 1.


12


Tabel 1: Kenmerken van een (informatie)architectuur [Smildiger, 2005] Kenmerk Beschrijving Structuur Een informatiearchitectuur betreft het ontwerp van een informatiehuishouding. Deze beschrijft ondermeer: • de componenten van de informatiehuishouding; • functie van de verschillende componenten; • hoe componenten bijdragen aan de bedrijfsdoelstellingen; • de samenhang van de verschillende componenten. Kwaliteit Een informatiearchitectuur is een instrument voor het beheersen van de kwaliteit van een informatiehuishouden door de beheersing af te stemmen op bedrijfsdoelstellingen. Visie Het management dient een visie te hebben op de rol van de informatievoorziening en hoe deze haar bijdrage levert aan operationele activiteiten en de bedrijfsresultaten. Concreet kan dit worden gevangen in een informatiebeleid. Resultaat Bij het ontwerpen van een informatiearchitectuur dienen alle betrokkenen tijdig te worden betrokken om draagvlak te creëren en het eindresultaat te borgen. Richting Een informatiearchitectuur is een instrument tussen de strategische wensen en de technische uitvoerbaarheid ervan.

2.3

ITGI model

Beheersing van informatie-integriteit dient op verschillende vlakken te worden uitgevoerd. In 2004 heeft het IT Governance Institute (ITGI, verbonden aan ISACA) een onderzoeksrapport gepubliceerd getiteld “Managing Enterprise Information Integrity”. [ITGI, 2004] Hierin wordt een raamwerk voorgesteld voor informatie-integriteit welke de volgende doeleinden kan faciliteren: • richtlijnen verschaffen voor management risicoanalyses; • implementaties van beheersingsmaatregelen; • het verschaffen van zekerheid van informatie-integriteit aspecten. Definitie analyse Om het concept van informatie-integriteit goed af te bakenen heeft men naast een definitieanalyse ook concepten die dicht tegen informatie-integriteit liggen hier tegen afgezet. Informatie-integriteit versus informatiekwaliteit Informatie-integriteit is een kleiner begrip dan informatiekwaliteit. Informatie-integriteit stelt echter wel de randvoorwaarden voor de mate van informatiekwaliteit. Het rapport geeft verder geen duidelijke uitleg over het verschil tussen de twee begrippen. Impliciet geeft het onderzoeksrapport aan dat de relatieve kosten en meeropbrengsten tussen verschillende informatie bronnen niet wordt meegenomen in de definitie van informatie-integriteit, maar wel in die van informatiekwaliteit. Voor de integriteit zijn betrouwbaarheid, relevantie en bruikbaarheid een wegingsfactor, bij informatiekwaliteit spelen de baten/lasten en de kosten/opbrengsten overwegingen een rol.


13


De kwaliteit van de informatie is een determinant voor de kwaliteit van de besluitvorming. De kwaliteit van de informatie-integriteit is een determinant voor de kwaliteit van de informatie. Met andere woorden, de mate van informatie-integriteit is beter meetbaar dan informatiekwaliteit. Informatie-integriteit versus data-integriteit Data vormt de bouwsteen voor informatie. Data-integriteit is relatief goed af te dwingen door o.a. de referentiële integriteit van data te beoordelen (zoals een ‘relation violation’ rapport) of de bandbreedte waaraan waarden van informatie elementen dienen te voldoen (zoals een ‘constraint violation’ rapport). Het concept van data-integriteit behelst niet de subjectieve interpretatie van een gebruiker en de resulterende besluitvorming. Informatie-integriteit versus systeemintegriteit Informatie-integriteit is afhankelijk van de integriteit van de systemen waar de data is opgeslagen. De mate van systeemintegriteit de maximale mate van informatie-integriteit. Systeemintegriteit is relatief goed meetbaar. Dit betreft het testen van zogenaamde ‘relation & constraint violations’ binnen het data model van een informatiesysteem. Beschrijving van ITGI model Het ITGI model onderkent drie dimensies waarmee de mate van informatie-integriteit gemeten kan worden, te weten: • relevantie; • bruikbaarheid; • betrouwbaarheid. Met deze driedeling kan worden verondersteld dat informatie-integriteit (in zekere mate, omdat er sprake kan zijn voor subjectiviteit) meetbaar is. Deze definitie geeft een leidraad naar het ‘wat’ beoordeeld moet worden om de mate van informatie-integriteit te kunnen beoordelen. Een interessante stelling in het rapport is dat de betrouwbaarheid van informatie beter meetbaar is dan de andere twee concepten. Dit zou de voorkeur van financiële auditors verklaren om enkel een uitspraak te doen over de betrouwbaarheid van informatie en niet over de mate van informatieintegriteit. Centraal in het raamwerk is de definitie van informatie-integriteit, te weten waarheidsgetrouwe weergave van de werkelijkheid (‘representational faithfullness’). Om de vraag te beantwoorden ‘hoe’ informatie-integriteit beoordeeld kan worden maakt het ITGI raamwerk onderscheid in (1) de kern attributen van informatie-integriteit en (2) de randvoorwaarden van de kern attributen. In de tabellen 2 en 3 zijn de kernattributen en randvoorwaarden verder toegelicht. Tabel 2: Kern attributen van informatie-integriteit Kern attribuut Omschrijving ■ Juistheid Informatie dient juiste weergave te zijn van het gebeurde. ■ Volledigheid Informatie dient een volledig beeld te geven van de processen en activiteiten van het bedrijf. ■ Tijdigheid Informatie dient op het juiste tijdstip beschikbaar te zijn. ■ Validiteit Informatie dient te voldoen aan business rules, geautoriseerd, onweerlegbaar en uniek (niet dubbel).


14


Tabel 3: Randvoorwaarden van informatie-integriteit Randvoorwaarde Omschrijving ■ Beveiliging Fysieke en logische toegangsbeveiliging om bewust of onbewust, ongeautoriseerde mutaties aan gegevens te voorkomen. ■ Beschikbaarheid Informatie dient beschikbaar te zijn voor gebruikers en dient zodanig ■ Toegankelijkheid toegankelijk te zijn dat zij die informatie kunnen gebruiken. ■ Begrijpelijkheid Informatie dient begrijpelijk te zijn. ■ Resolutie Informatie dient op het juiste niveau geaggregeerd of gespecificeerd ■ Aggregatie te zijn. ■ Consistentie Meetstabiliteit van gegevens waarborgt dat de presentatie van de ■ Vergelijkbaarheid gegevens overeenkomt met de daadwerkelijke inhoud van gegevens. ■ Afhankelijkheid De afhankelijkheden van informatie dient voor de gebruiker bekend ■ Voorspelbaarheid te zijn. Hiermee zal de voorspelbaarheid van informatie toenemen. ■ Controleerbaarheid De informatie dient door gebruikers en derden controleerbaar te zijn en de output reproduceerbaar. ■ Geloofwaardigheid Van informatie behoort bekend te zijn welke karakteristieken zij ■ Zekerheid vertoont. Hiermee kunnen gebruikers de mate van informatieintegriteit schatten en deze meenemen in het besluitvormingsproces. ■ Bruikbaarheid De gebruiker dient de geleverde informatie als bruikbaar te ervaren. ■ Stuurbaarheid De mate waarin processen gestuurd kunnen worden door het terugkoppelen van informatie.

Voorspelbaarheid

Volledigheid / Tijdigheid Controleerbaarheid

Stuurbaarheid

Resolutie / Aggregatie

Relevantie

Geloofwaardigheid / Zekerheid

Juistheid

Betrouwbaarheid Beveiliging

Validiteit

Bruikbaarheid Bruikbaarheid

Begrijpelijkheid

Consistentie / Vergelijkbaarheid

Toegankelijkheid / Beschikbaarheid

Afhankelijkheid

Figuur 4: Relaties tussen de randvoorwaarden en de drie kernconcepten van informatieintegriteit [ITGI, 2004, “Managing Enterprise Information Integrity”]


15


In figuur 4 zijn de relaties tussen de dimensies, kern attributen, de randvoorwaarden van informatie-integriteit weergegeven. Niet alle randvoorwaarden hoeven invloed uit te oefenen op alle kernattributen. Een volledige mapping is opgenomen in het rapport van ITGI. Het belang van informatie-integriteit dient als waarde in de cultuur van de organisatie te worden opgenomen. Hiermee zal het bewustzijn van informatie-integriteit toenemen [English, 1999], er dienen echter nog wel maatregelen voor beheersing te worden genomen om het bewustzijn te kunnen beoordelen. Dit vergt naast de zachte maatregelen zoals evaluatie-enquêtes in ieder geval ook een gerichte beoordelen van de manier waarop de gegevens worden opgeslagen. Verantwoordelijkheden dienen binnen de organisatie belegd te worden. Data-eigenaren dienen te worden aangewezen, bij voorkeur door toekenning van verantwoordelijkheid voor de data van begin tot eind. Een mogelijkheid om dit te kunnen bewerkstelligen is door gebruik te maken van architectuur principes. De structuur van data dient te zijn opgenomen in een data definitie. Onder een datadefinitie wordt ondermeer verstaan formaat, inhoud, wijze van verzamelen, bronnen, flow, entiteiten, relaties, attributen, kardinaliteit en oplossingen voor het verhelpen van ambiguïteit. Dit wordt ondermeer onderschreven in het Cobit raamwerk door de noodzaak van een informatiearchitectuur in de voorbereidingsfase (Plan and Organise 2.1: Information Architecture Model) door het identificeren van een informatiearchitectuur model [ITGI, 2007].

2.4

Data-integriteit

Het fundament voor informatie-integriteit ligt in het efficiënt opslaan, verwerken en beheren van data. Voor de opslag van data wordt vooral gebruik gemaakt van databases. Om gegevens op technisch vlak te beheren kan gebruik worden gemaakt van een DBMS. Met het DBMS kan de structuur en gewenste consistentie van gegevens worden opgeslagen in datadefinities. Op het procedurele vlak kunnen de IT General Controls worden ingeregeld, om het beheer van het DBMS (de data definities) én de inhoud (en daarmee inherent de betekenis) van data te waarborgen. Er bestaan drie typen van data-integriteit, te weten: (1) relationele integriteit, (2) attribuut integriteit en (3) entiteit integriteit. [Van Praat en Suerink, 2004] Het eerste type betreft de integriteit van relaties tussen data elementen. Het tweede type betreft de integriteit van een gegeven van aan attribuut. Het derde type betreft de integriteit van verschillende data elementen binnen hetzelfde record. Het meest gebruikte database principe is gebaseerd op het relationele model [Ullman, 1980]. Het relationele model biedt mogelijkheden om op systeemniveau(database) integriteit van bedrijfskritische gegevens onafhankelijk van de applicatie, vast te leggen. In de meeste moderne DBMS systemen is het relationele model inherent verwerkt. Dat wil zeggen dat de betekenis van de data in een database (door het DBMS) al kan worden afgedwongen. Door gebruik te maken van het relationele model wordt het mogelijk om informatie-integriteit te waarborgen.


16


2.4.1 Relationele model Een conceptueel model, ook wel datamodel, is een beschrijving van de logische structuur van een database. In het conceptueel model worden objecttypen met attributen gedefinieerd. Op grond van de wijze waarop de gegevens worden gestructureerd, kunnen datamodellen worden ingedeeld in een bepaald type. Het meest bekende datamodel is het relationele datamodel [ter Bekke, 1993]. In het relationele model worden begrippen uit de relationele algebra toepast om grote hoeveelheden gegevens gestructureerd te kunnen opslaan en op te vragen. Het relationele model is een datamodel dat is opgebouwd volgens de regels van de relationele algebra, een geheel van transformatieregels. Dit maakt het ondermeer mogelijk om de uitkomst van een bevraging te kunnen voorspellen door het gebruik van elementaire algebraïsche operaties voor verzamelingen zoals de vereniging, de doorsnede en het verschil. Het model maakt het mogelijk om deze transacties om te vormen naar voorgedefinieerde ‘manipulaties’ op tabellen (merge, join, etc) waardoor de inhoud van deze tabellen altijd zal voldoen aan betekenisstructuur (in databasetermen de semantiek). Het relationele model is de vertaling van het conceptueel gegevensmodel naar een ‘entityrelationship’ diagram (ook wel ERD genoemd). Voor een efficiënte vertaling maakt men gebruik van normalisatieregels. Het relationele model veronderstelt de volgende regels: • entiteit integriteit: geen enkele primaire sleutel kan een NULL-waarde hebben, hierdoor wordt unieke identificatie van informatie gewaarborgd. Verwijzingen naar unieke informatie wordt gerealiseerd door middel van verwijzingen met behulp van secundaire sleutels (foreign keys). Om dit af te dwingen wordt in het DBMS automatisch een unieke primaire sleutel gegenereerd ter identificatie; • referentiële integriteit in een relationele database zorgt ervoor dat de consistentie tussen de tabellen binnen die database wordt gewaarborgd. Om de consistentie mogelijk te maken, dient er altijd een primaire sleutel in een tabel te zijn, welke het gegeven in de database uniek kan identificeren als naar dit gegeven in een andere tabel wordt verwezen. Het DBMS waarborgt de consistentie, dit houdt ondermeer in dat indien na afloop van een beoogde transactie niet aan de voorwaarden voor referentiele integriteit wordt voldaan, dat de transactie door het DBMS niet wordt uitgevoerd. Data-integriteit in het relationele model heeft betrekking op gegevenstoestanden en toestandsovergangen in een database. Om de data-integriteit te waarborgen wordt naast de bestaande integriteiteisen gebruik gemaakt van beperkingsregels (constraints). Daarmee is dataintegriteit gedefinieerd als bescherming van de database tegen onjuiste handelingen van geautoriseerde gebruikers. In dit kader wordt daarom in plaats van integriteit ook wel gesproken van semantische integriteit [Ter Bekke, 1984]. In het bijzonder de beperkingsregels kunnen ervoor zorgen dat er betekenisvolle verzamelingen van gegevens tot stand komen, indien dit in lijn is met de bedrijfsregels, spreekt men ook wel van informatie. De verzameling van alle beperkingsregels worden vastgelegd in het semantische model [Grefen en Apers, 1993].


17


2.5

2.5.1

Integriteitsmodellen

Sandhu & Jajodia en Ammann & Jajodia

Sandhu en Jajodia [1997] onderkennen negen principes van data-integriteit. Deze principes hebben zij gedestilleerd vanuit eigen literatuuronderzoek. Aan deze principes hebben zij voorbeelden gekoppeld om te laten zien welke mechanismen op het DBMS niveau beschikbaar zijn om integriteit te waarborgen. Door deze mapping ontstaat er een concreet beeld van de uitwerking in het model. De principes zijn in tabel 4 opgenomen. Tabel 4: Overzicht van principes en DBMS mechanismen [Sandhu en Jajodia, 1997] Principe Omschrijving Goed gevormde Gebruikers zouden niet in staat moeten zijn om direct op de transacties database mutaties door te voeren, in plaats daarvan zouden procedures beschikbaar moeten zijn welke een vast patroon van transacties volgen. Geauthenticeerde Alleen geauthenticeerde en geautoriseerde gebruikers kunnen gebruikers mutaties aan gegevens doorvoeren. ‘Least privilege’ Applicaties en gebruikers hebben enkel die autorisaties die noodzakelijk zijn voor het uitvoeren van een taak. Functiescheiding Gebruikers zouden niet in staat moeten zijn om een transactie cyclus (beschikken, bewaren, controleren, registreren en uitvoeren) individueel uit te voeren. Reconstructie van Om het verloop van de toestand van een transactie te kunnen gebeurtenissen onderzoeken dient informatie beschikbaar te zijn over het verloop van de transactie en de betrokkenen. Delegatie van Leidinggevenden dienen in staat te zijn om het proces en de autoriteit bijbehorende autorisaties op een juiste wijze in te richten zodat de applicatie het proces effectief en efficiënt kan ondersteunen. Controle met De gegevens in de database dienen periodiek met de externe werkelijkheid werkelijkheid te worden vergeleken. Beschikbaarheid Integriteit heeft een tijdsgebonden element. Als een set van gegevens niet tijdig kan worden bijgewerkt, kan niet gesteld worden dat deze set van gegevens een betrouwbare weergave betreft van de werkelijkheid. Bruikbaarheid Het gebruik en beheer van een applicatie dient de gebruiker te ondersteunen in het verbeteren van de bruikbaarheid ervan: • Standaardwaarden; • Intuïtieve user interfaces; • Monitoring faciliteiten; • Aansluiting tussen proces en applicatie.

Amman & Jajodia stellen in hun artikel ‘rethinking integrity’ [Amman en Jajodia, 1997] dat systeem ontwikkeling en systeem analyse rekening moeten houden met het feit dat gegevens nooit volledig integer zullen zijn`, ook niet na detectie en correctie van het niet-integere gegeven. De vraag is echter wanneer dit een probleem vormt. Met andere woorden; verschillende maten


18


van integriteit hebben verschillende kosten en baten. Het artikel richt zich primair op het ontwikkelen van gedistribueerde databases. Met behulp van risicoanalyse kan men verschillende scenario’s ontwikkelen waarin de gevolgen van verlies van integriteit kan benoemen. Ammann & Jajodia stellen dat een organisatie er voor kan kiezen dat gegevens, die niet als essentieel worden beschouwd, niet in alle gevallen integriteit hoeven te bezitten. Organisaties zullen daarom keuzes moeten maken in de doelstellingen van de beheersmaatregelen en de middelen die zij daarvoor beschikbaar stellen . De onderneming zal een trade-off maken tussen (ondermeer) de volgende doelstellingen: • mate van integriteit van data; • prestatie en / of snelheid; • zelfstandigheid; • beschikbaarheid; • vertrouwelijkheid. De gebruikersorganisatie en ontwerpers van systemen dienen methoden te bedenken om nietintegere transacties te herstellen. Bij het herstellen van gegevens mag er geen informatie verloren wat betreft verantwoording of audit trail. Ook het markeren (‘damage markers’) van niet integere transacties of het berekenen van de mate van integriteit kan de organisatie helpen om de mate van integriteit van de gegevens te beheersen.

2.5.2 Clark & Wilson en Integrity research study group In [Clark en Wilson, 1987] is geschreven over de uitgangspunten binnen een beleid voor informatiebeveiliging c.q. informatie-integriteit tussen verschillende beheersomgevingen. Het Clark & Wilson model gaat initieel uit van twee basis omgevingen: • omgevingen waar de mate van integriteit van gegevens belangrijker is dan openbaarmaking (juistheid van de registratie) om fouten en fraude te voorkomen. Hierbij wordt gebruik gemaakt van functiescheiding en dubbele registraties (om aansluitingen mogelijk te maken, zoals dubbel boekhouden en subadministraties); • omgevingen waar vertrouwelijkheid een belangrijker aspect is dan de mate van integriteit (geheimhouding van de registratie). Voor elke omgeving zijn andere beheersmaatregelen nodig; de keuze en de toepasselijkheid hiervan kunnen worden bepaald op basis van een risicoanalyse. Clark & Wilson beschrijven een eigen model voor het beheersen van integriteit. Binnen dit model definiëren zij regels waaraan een omgeving dient te voldoen. De objecten en regels zijn opgenomen in figuur 5. Het model bestaat uit certificering regels (Certification; C) en naleving regels (Enforcement; E).


19


C1: IVP validates CDI state

E3: Users are authenticated E2: Users authorized for TP C3: Suitable separation of duty

C2: TP preserves valid state

System state

System state UDI

CDI

Information verification procedure

CDI

LOG CDI

CDI

Transformation procedure

CDI

LOG CDI

E4: Authorization lists changed only by security officer

C5: TP validates UDI

C4: TP writes to log

E1: CDIs changed only by authorized TP

Figuur 5: Grafische weergave van het Clark & Wilson model [Abrams et al, 1993]

In figuur 5 is een grafische weergave van de werking het model van Clark & Wilson. In de figuur zijn een aantal objecten opgenomen die de systeem stadia aangeven, te weten: • Constrained Data Item (CDI): Een set van gegevens die moet voldoen aan een set van integriteiteisen. De eisen worden door de organisatie opgesteld; • Unconstrained Data Item (UDI); een set van gegevens die niet aan integriteiteisen hoeft te voldoen; • Information Verification Procedures (IVP); een procedure of programma om de validiteit van de toestand van een CDI te certificeren; • Transformation Procedure (TP): een procedure of programma om de toestand van een CDI te wijzigen of een validatie van een UDI, zodanig dat een nieuwe gevalideerde CDI ontstaat. Ten eerste is er aan de linkerkant (met een geel kader) een set van CDI’s van waar de integriteit gecontroleerd wordt door de IVP (eveneens aan de linkerkant). In het geval de inhoud van een set van CDI’s gewijzigd wordt, wordt een TP aangeroepen. De TP garandeert dat de nieuwe invoer of andere wijziging voldoet aan gestelde eisen aan de CDI waarop de transformatie (zoals een UDI of een verwijdering van gegevens) betrekking heeft. Voordat de TP mag ingrijpen zal het systeem moeten afdwingen dat de gebruiker geautoriseerd is om de bewerking te starten in zowel technische (de applicatie dwingt af dat gebruikers zich identificeren en authenticeren en dat zij de beschikking krijgen over de juiste autorisaties) als in


20


functionele zin (de autorisaties in het systeem waarborgen de organisatorische functiescheiding). Tevens mogen de autorisaties in het systeem alleen door bevoegde gebruikers gewijzigd worden. Als een TP heeft ingegrepen op de staat van de set van CDI’s dienen de wijzigingen en de metainformatie ervan (zoals welke gebruikers de TP heeft gestart) weggeschreven te worden naar een logbestand, welke weer te beschouwen is als een CDI. Met de spelregels die Clark & Wilson hebben beschreven is het mogelijk om de integriteit van een set van CDI’s te waarborgen door de levensduur van gegevens er van uitgaande dat geautoriseerde gebruikers de juiste handelingen verrichten. In [Abrams et al, 1993] wordt een uitbreiding voorgesteld op het Clark & Wilson model om de bruikbaarheid te vergroten en tekortkomingen in het model te adresseren. In tabel 5 zijn de uitbreidingen van Abrams et al nader toegelicht. Tabel 5: Tekortkomingen model Clark & Wilson [Abrams et al, 1993] Tekortkoming Oplossing Hoe moet het beheer van de koppeling van Organisatorische scheiding tussen rollen en autorisaties naar gebruikers toe functionarissen die verantwoordelijk zijn voor worden ingericht en het beheer van rollen autorisatiebeheer en inrichting van naar autorisaties? rollenstructuur. Met andere woorden, op het systeem zouden geen superusers mogen voorkomen. Hoe moet de certificatie van de Gebruik van een non-primaire en primaire functiescheiding in de organisatie naar de CDI’s en ‘enabling sequences of TP’s’. Een bestaande combinaties van gebruikers, rollen non-primaire CDI betreft de werkelijke en autorisaties worden ingericht? wijziging. De primaire CDI kan alleen de nonprimaire CDI af- of goedkeuren. Feitelijk betreft dit het principe van secundaire functiescheiding. De certificatie van de juistheid en Log functionaliteit van het applicatie niveau volledigheid van het log (C4) is onderdeel naar het ‘kernel’ of operating system niveau van het certificatieproces van TP. Hiermee is verschuiven. Hiermee kunnen wijzigingen de juistheid en volledigheid van het log door beheerders van informatiesystemen afhankelijk van de minst betrouwbare TP. gecontroleerd worden door beheerders van het netwerk. De externe consistentie van een CDI wordt Het concept van een CDI naar buiten binnen het Clark & Wilson model niet verschuiven naar bijvoorbeeld meerdere expliciet behandeld. applicaties en / of verwerkingsapparatuur.

Voornamelijk de vierde tekortkoming die Abrams et al onderkennen, sluit aan bij het concept van informatie-integriteit. In de meeste organisaties zal het proces van de informatievoorziening worden ondersteund door meerdere systemen. Hierbij zullen de waarborgen voor informatieintegriteit door de gehele keten moeten worden geborgd. In een keten van informatiesystemen is de samenhang van de systemen en de deeluitvoering van de dataverwerking onvoldoende integraal te analyseren als CDI waardoor een risico wordt gelopen dat de informatie-integriteit onvoldoende is gewaarborgd.


21


2.6

Beschouwing theorie

Op basis van de onderzochte literatuur komen wij tot de conclusie dat de reguliere aanpak van de IT auditor voor de jaarrekeningcontrole, gebaseerd op de toetsing van IT General Controls (zie bijlage 2), zich niet specifiek richt op informatie-integriteit. In het bijzonder bij grote hoeveelheden data, complexe opslag methoden of complexe informatie architecturen zal die aanpak dan ook niet toereikend zijn. Om hier een illustratie van te geven wordt in de volgende paragraaf aangegeven waar de hiaten zich bevinden bij het op de huidige manier beoordelen van de integriteit. Daarna bespreken een manier om de genoemde hiaten zodanig te incorporeren in een data-analyse zodat informatie-integriteit alsnog kan worden beoordeeld.

2.6.1 Beschouwing literatuur In de voorgaande paragrafen is een aantal relevante theorieën behandeld. Voor informatieintegriteit biedt een informatiearchitectuur handvatten voor beoordelingen. Uit het ITGI model vloeien aanknopingspunten voort voor de techniek en de mogelijkheden om die te integreren voor het waarborgen van de informatie-integriteit. Daarna is een aantal basisbegrippen uitgewerkt welke zijn gerelateerd aan het relationele model en de integriteitmodellen. Bij het uitvoeren van beoordelingen naar informatie-integriteit is bij de aanwezigheid van een architectuur, deze het uitgangspunt voor: • het opstellen van integriteiteisen van informatie; eisen waaraan informatie moet voldoen. • het afleiden van randvoorwaarden voor de beoordeling van informatie-integriteit; Informatie zal niet buiten het architectuurdomein worden gevonden; • het identificeren van kritische informatie: De bedrijfskritische informatie vorm het hart van de architectuur. Naast een informatiearchitectuur zijn er ook andere elementen die een rol spelen in het ITGI model waarin een aantal randvoorwaarden genoemd die van belang zijn om de informatieintegriteit te kunnen borgen. In de gangbare aanpak van een financiële audit wordt voor de borging van de betrouwbare werking van een informatiesysteem gesteund op de IT General Controls, de application en / of system controls. In het ITGI model is er echter een aantal randvoorwaarden waar de reguliere audit niet op is gericht bij het verschaffen van een redelijke mate van zekerheid over de betrouwbare werking van informatiesystemen. Het gemis van periodieke beoordeling van de niet getoetste randvoorwaarden kan dus een risico vormen voor de informatie-integriteit en daarmee ook voor de informatie ten behoeve van de bedrijfsvoering.

2.6.2 Witte vlakken analyse IT General Controls In tabel 6 zijn de in hoofdstuk 2 behandelde integriteitmodellen afgezet tegen het ITGI model welke als uitgangspunt dient. Door de aanpak voor de beoordeling van de werkzaamheden van de IT auditor in het kader van de jaarrekeningcontrole af te zetten tegen de theoretische integriteitmodellen wordt duidelijk dat de controle aanpak gebaseerd op het beoordelen van de IT General Controls elementen zal missen voor het beoordelen van de informatie-integriteit. Deze


22


elementen zijn in het grijs weergegeven in tabel 6 In de witte vlakken zijn die elementen weergegeven die door de modellen worden afgedekt. Tabel 6: Witte vlakken analyse IT General Controls met controles per theorie ITGI model

ITGC model

Beveiliging

Logische Toegangsbeveiliging

Jajodhia model

Clark & Wilson model

Geauthenticeerde gebruikers

Autoriseren gebruikers bij

‘Least privilege’

Transformation Procedures en Information Verification procedures

Beschikbaarheid

Continuïteit en Calamiteiten

Toegankelijkheid

beheer

Consistentie

Change management

Beschikbaarheid

Goed gevormde transacties

Gebruik van gevalideerde Transformation Procedures

(systeem)

(TP) en Information Verfication Procedures (IVP) Zie noot 1

Controle Unconstrained Data Items (UDI)

Zie noot 3

Controle met werkelijkheid

Information Verification Procedures (IVP)

Vergelijkbaarheid

Zie noot 1

Controleerbaarheid

Logging en audit trail

Definiëren van Constrained Data Items (CDI) Reconstructie van

Bijhouden LOG als een CDI

gebeurtenissen Geloofwaardigheid

Functiescheiding

Functiescheiding

Functiescheiding Onafhankelijke LOG t.o.v. informatiesysteem

Zekerheid

Logische Toegangsbeveiliging

Delegatie van autoriteit

Wijzigingen autorisaties alleen door daartoe bevoegde gebruikers

Afhankelijkheid

Zie noot 3

Keten afhankelijke CDI Definiëren van Constrained Data Items (CDI)

Bruikbaarheid

Zie noot 2

Begrijpelijkheid

Zie noot 2

Stuurbaarheid

Zie noot 2

Voorspelbaarheid

Zie noot 2

Resolutie

Zie noot 2

Aggregatie

Zie noot 2

Kleur

Bruikbaarheid

Betekenis ITGI dimensie betrouwbaarheid ITGI dimensie bruikbaarheid ITGI dimensie relevantie ITGI randvoorwaarden worden niet afgedekt Dekt ITGI randvoorwaarde volledig af


23


Noot 1: ITGC’s omvatten geen application controls of IT Dependent Manual Controls. Het controleren van UDIs valt samen met application controls voor invoercontrole. De controle van IT dependent manual controls is gelijk met het vergelijken van rapportages met een CDI wat betreft volledigheid en juistheid. Noot 2: IT General Controls zijn onderdeel van een financiële audit. De ITGI concepten van begrijpelijkheid, voorspelbaarheid, resolutie en aggregatie worden impliciet in het kader van de financiële audit ook meegenomen. Noot 3: Met data-analyse is het mogelijk om de consistentie van informatie binnen een keten van CDI’s te valideren. Vanuit het model van Clark & Wilson is data-analyse te beschouwen als een ketenbrede IVP.

Op basis van de in tabel 6 weergegeven grijze vlakken zal de controle gebaseerd op de IT General Controls niet toereikend zijn om informatie-integriteit te beoordelen. Voor deze onderdelen kan data-analyse een uitkomst bieden door specifiek op deze onderdelen de controle in te richten. De aanpak hiervoor wordt in de volgende paragraag beschreven. De hier beschreven aanpak richt zich op de toegevoegde waarde van data-analyse bij het bepalen van informatieintegriteit, ervan uitgaande dat de huidige methoden toereikend zijn voor die onderdelen die met de witte vlakken worden aangeduid. De aanpak gaat niet in op het inzetten van data-analyse bij het optimaliseren van het beoordelen van de IT General Controls, zoals Logische toegangsbeveiliging en change management.

2.6.3 Bepalen van informatie-integriteit met behulp van data-analyse Uit de voorgaande paragrafen blijkt onder andere dat, voor de beheersing van informatieintegriteit, een specifieke inrichting van de techniek nodig is om bepaalde integriteiteisen (constraints) te kunnen definieren en implementeren. De informatieanalyse die de basis vormt voor deze definities kan geautomatiseerd worden gecontroleerd. Om bedrijfsprocessen te kunnen aansturen (ex ante) of te controleren (ex post) met behulp van data-analyse, is het van belang dat de data betrouwbaar is. Dit is een randvoorwaarde waaraan dient te worden voldaan om informatie-integriteit te kunnen waarborgen én meten. Gebrek aan kennis om daarnaast de regels voor informatie-integriteit vooraf te kunnen bepalen leidt ertoe dat er specifiek onderzoek moet worden gedaan naar deelgebieden die een specifiek bedrijfsproces raken. Voor het uitvoeren van een adequate data-analyse ter beoordeling van de informatie-integriteit komen wij tot de volgende aandachtspunten: 1 welke informatie kritisch is voor het besluitvorming- en / of verantwoordingsproces; 2 de herkomst van gegevens en aan welke integriteitregels gegevens dienen te voldoen om bruikbare informatie op te leveren; 3 welke systemen en processen de bron zijn van de gegevens en hoe de gegevens verder stromen binnen de organisatie; 4 welke waarborgen IT General Controls en andere technische en / of procedurele beheersingsmaatregelen bieden (zie ook bijlage 2); 5 hoe niet-integere gegevens gecorrigeerd worden bij detectie. Bovenstaande punten zijn in de casussen behandeld volgens het onderstaande schema (zie figuur 6) welke begint bij de definitie van de doelstelling van het onderzoek. Deze doelstelling is vaak gedreven vanuit het falen van of gebrek aan een beheersingsmaatregel. Vanuit de doelstelling


24


worden alle relevante onderdelen van het onderzoek geïdentificeerd gevolgd door een risicoanalyse. Hier wordt bepaald welke randvoorwaarden in het onderzoek worden geraakt. Daarna wordt bepaald waar en welke gegevens vandaan komen en hoe die bijdragen tot de centrale doelstelling. Voor de geselecteerde systemen worden de IT General Controls getoetst waarna een impact analyse wordt uitgevoerd om te bepalen of de IT General Controls toetsing van invloed is op de betrouwbaarheid van de gegevens. De toetsingsregels worden samengesteld op basis van interviews en vastlegging van de business rules en informatie registratie uitgangspunten. Daarna wordt door middel van geautomatiseerde aansluiting de data getoetst aan de toetsingsregels. Afhankelijk van de doelstelling van het onderzoek kan een correctie cyclus op de gegevens worden uitgevoerd voor hertoetsing. In enkele gevallen houdt het proces hier op. In enkele gevallen hebben de analyses een continu karakter waarbij er maatregelen worden genomen om de geconstateerde verschillen in de toekomst te voorkomen. Definieer doelstelling

Corrigeer tekortkomingen

Bepaal Informatielandschap

Toets informatie integriteit d.m.v. data-analyse

Bepaal impact en vervolgstappen

Risicoanalyse

Bepaal normen en toetsingsregels

Toets informatie integriteit IT General Controls

Eindrapportage (met mogelijke input voor het verbeteren stelsel van beheersingsmaatregelen)

Figuur 6: Onderzoeksaanpak data-analyse Ernst & Young Information Management and Analytical Services

De kwaliteit van de ITGC heeft invloed op de kwaliteit van de data-analyse en de zekerheid die daaruit ontleend kan worden. Vanuit de risicoanalyse en het bepalen van de normen kan men twee kanten op de stand controleren (data-analyse, enkel naar het verleden gericht) of ITGC (ook toekomst gericht (slechts in beperkte mate omdat de toekomstige werking van ITGC niet kan worden vastgesteld, maar wel de opzet). De toepassing van de data-analyse is afhankelijk van het karakter van het onderzoek. Dit is veelal afhankelijk van het verantwoordingsmoment en de helderheid van de toetsingsregels. Hoewel naar de kosteneffecten geen onderzoek is gedaan, blijkt uit de praktijk dat bij grote volumes aan data waarbij het uitvoeren van een berekening aan het eind van het proces niet efficiënt kan worden uitgevoerd, er vaak wordt gekozen voor een cyclische tussentijdse berekening. Op basis hiervan is afgeleid dat de kosten voor herstel achteraf hoog kunnen zijn.


25

Opmerking: Ik zou deze samen nemen: detectief, en als er iets mis is, correctief Overigens is nog helemaal niet duidelijk wat voor ‘correctieve’ maatregelen hier bedoeld zijn.


Wees concreet.

Voor de aansturing en controle van bedrijfsprocessen biedt data-analyse mogelijkheden om detectief, preventief of correctief te handelen. In deze paragraaf wordt de standaard aanpak voor het inrichten van de data-analyse beschreven welke als uitgangspunt wordt gebruikt in de casussen. Tabel 7: Karaktertypen van data-analyse Karakter Verantwoordingsmoment Preventief Cyclisch Detectief Eenmalig vooraf Correctief Eenmalig achteraf

Toetsingsregels Eenduidig (bekend) Afleidbaar (bekend) Niet eenduidig.

Kosten herstel Hoog Midden Laag

Bij de detectieve toetsing zijn de kosten op het niveau midden geschat omdat het wel kan worden uitgevoerd maar correctief handelen niet triviaal is. Hier is het veelal zaak om te weten waar de fouten in het systeem zich bevinden om op termijn fouten te kunnen oplossen.


26


3

Toepassingen van data-analyse voor het beoordelen van informatieintegriteit

In dit hoofdstuk worden de casussen, die wij hebben gebruikt om aan de onderzoeksvraag en doelstelling te kunnen beantwoorden, uiteengezet. Op basis van de karakterisering zoals geformuleerd in paragraaf 2.6.3, hebben wij een selectie gemaakt van verschillende casussen. Wij hebben gekozen om 5 casussen te beschrijven om voldoende aansluiting te vinden voor ons onderzoek. Hierbij hebben wij ons tot doel gesteld om minimaal één casus per categorie te beschrijven. In de onderstaande tabel is het speelveld van de beschreven casussen uiteengezet. De beschreven casussen zijn geanonimiseerd.

1 2

Nederlands Diploma Instituut Nederlands Diploma Instituut

3

Algemene Inkoop en Distributie Onderneming Algemene Inkoop en Distributie Onderneming Algemene Communicatie Onderneming

4 5

Conversie registratie Transformatie type gegeven Aansluiting secundaire registratie Implementatie systeem Bepalen juistheid factuur

Detectief

Preventief

Tabel 8: Overzicht karakteristiek data-analyse en omschrijving gebruikte casussen Casus nr. Organisatie Opdracht

Correctief

In dit hoofdstuk hebben we een globale beschrijving opgenomen met de resultaten van het onderzoek zelf en de ‘lessons learned’ (opgenomen onder de kop ‘resultaten casusstudie’) door de casus te belichten tegen het onderwerp en theoretisch kader van dit referaat. De detailbeschrijvingen zijn opgenomen in de bijlage 4. Voor wat betreft de beschrijving van de casussen kan worden aangenomen dat de IT General Controls voor beschreven processen en applicaties toereikend zijn. In de ‘lessons learned’ van de casussen maken wij een koppeling met het randvoorwaarden uit het ITGI model. Tabel 8 geeft een overzicht van de beschreven casussen.

■ ■ ■ ■ ■

De gebruikte casussen betreffen in totaal drie verschillende ondernemingen actief op verschillende markten. Bij het selecteren van deze casussen hebben wij rekening gehouden met het karakter van het onderzoek dat heeft plaatsgevonden. Met de bovengenoemde selectie hebben wij getracht een goede verhouding te vinden tussen breedte en diepte van de gebruikte praktijkvoorbeelden binnen de beperkte tijd waarbinnen het onderzoek heeft plaatsgevonden.


27


Casus 1 – Nederlands Diploma Instituut: Diploma registratie Inleiding Het Nederlands Diploma Instituut (hierna: NDI) is belast met het beoordelen van vaardigheden door middel van toetsing en het uitreiken van een diploma, indien de kandidaat de vaardigheden inderdaad bezit, zoals blijkt uit het examen. Door middel van strategisch inzet van automatisering zijn er ontwikkelingen uitgevoerd voor het verbeteren van de processen voor reservering, betaling, examinering en resultaatverwerking. De architectuur van de Informatievoorziening is gebaseerd op een service georiënteerde architectuur, welke voorheen bestond uit gescheiden applicaties met vaak individuele databases. Door de vernieuwing van de IT architectuur, was conversie van de gegevens noodzakelijk waarbij juistheid en volledigheid dienden te worden geborgd. Beschrijving onderzoek Het NDI heeft als gevolg van een vernieuwing van de IT architectuur een conversie uitgevoerd van gegevens. De oude gegevens zijn opgeslagen in diverse bronsystemen welke zijn overgebracht naar een nieuwe opslagstructuur. In deze casus is het van belang dat de procesinformatie die in de verschillende bronsystemen aanwezig is, ook in het doelsysteem voorkomt. In het kader van de informatie-integriteit betekent dit dat er waarborgen dienen te worden opgezet die eerst de data-integriteit (juiste en volledige overdracht) garanderen. Vervolgens is op basis van de conversieregels de interpretatie van de data voor en na conversie vergeleken. De moeilijkheidsgraad wordt hier bepaald doordat de gegevens in verschillende bronsystemen staan geregistreerd. Resultaten onderzoek Wij hebben de IAD geadviseerd hoe het proces van de conversie gecontroleerd kan worden en beoordeeld en de wijze waarop het ontwikkelde analyse model daarin kan bijdragen. Tijdens de uitvoering van de data-analyse bleek dat niet alle scripts waren uit ontwikkeld conform het conversieplan. De voornaamste reden hiervoor was dat men een bepaalde mate van onzekerheid al had aanvaard en daarvoor een drempelwaarde was gedefinieerd. Tijdens (proef)toetsing bleek de drempelwaarde van afwijkende elementen ruim boven de acceptabele grens was. Hiervoor zijn de scripts aangepast. Daarnaast bleek dat er records uit de brontabellen niet werden geconverteerd als gevolg van datatype conversie tussen bron en doelsysteem. Doordat de conversie op basis van exportbestanden plaatsvond is geconstateerd dat er verkeerde examenresultaten werden weergegeven na conversie. Dit is in de scripts gecorrigeerd en op nieuw uitgevoerd. Tot slot bleek dat niet alle examinatoren in het personeelsbestand waren opgenomen. Dit was het gevolg van een onjuiste registratie in het bronsysteem. Resultaten casusstudie Positieve factoren Uit ons onderzoek afgelegd tegen de theorie en de bevindingen vanuit de resultaten van de casus blijkt dat het gebruik van meerdere registraties binnen de organisatie mogelijkheden bood om aansluitingen te maken die over meerdere registraties heen gaan om zodoende de juistheid vast te stellen [ITGI: Begrijpelijkheid, Vergelijkbaarheid]. Het ontwerp gebaseerd om de ‘nieuwe’


28


informatiearchitectuur heeft hierin bijgedragen doordat deze een goede weergave geeft van de richting waarin registraties gegevens overdragen en zodoende welke registraties leidend (als bron gelden) zijn. Door het toepassen van de informatiearchitectuur welke als blauwdruk geldt voor alle ontwikkeling en de samenhang met de functionele eisen die ten grondslag lagen hieraan, is informatie-integriteit inherent ingebed in de systemen. [ITGI: Consistentie] Door de betrokkenheid van alle proceseigenaren konden specifieke marges worden gedefinieerd voor de fouten die werden geconstateerd; op basis hiervan konden functionele aanpassingstrajecten worden uitgestippeld. Om vervuiling in de nieuwe situatie te beperken is er een herdefinitie opgesteld om informatie uniek te kunnen identificeren. [ITGI: Geloofwaardigheid, Zekerheid] Negatieve factoren Uit ons onderzoek zijn ook een aantal negatieve factoren naar voren gekomen namelijk dat de complexe samenhang van de systemen dusdanig van invloed op de informatie-integriteit omdat de informatie resultaat is uit verschillende deelsystemen en als zodanig er geen invloed kan worden uitgeoefend op de volgorde waarin gegevens tijdig in de centrale registraties staan om te kunnen worden gebruikt door andere deelsystemen; NAW gegevens worden eenmalig geregistreerd en vervolgens door alle systemen hergebruikt, waardoor deze foutloos moet zijn om geen vervuiling te krijgen in andere systemen [ITGI: Beschikbaarheid, Resolutie, Aggregatie]. Doordat tijdens de conversie fouten werden ontdekt werden scripts aangepast, deze aanpassing werd niet uitvoerig (regressie) getest wat leidt tot onjuistheden op andere gebieden tijdens de conversie. [ITGI: Controleerbaarheid, Voorspelbaarheid] Een aantal bronsystemen waren erg oud en niet gedocumenteerd waardoor de vastlegging van informatie niet goed kan worden afgeleid [ITGI: Begrijpelijkheid]. Hoewel proceseigenaren betrokken zijn bij het proces zijn de functionele acceptanten geen procesdeskundigen, testen zijn uitgevoerd op gebruikersniveau waarbij de dekkingsgraad van de testen niet het gehele proces beslaat [ITGI: Zekerheid, Controleerbaarheid]. Tot slot bleek dat hoewel er een herdefinitie heeft plaatsgevonden voor het uniek definiëren van informatie dat men, daar waar de techniek het niet toeliet, informatie dubbel heeft opgeslagen; dit zal na verloop van tijd leiden tot een asynchrone dubbele registratie omdat het doel van elke registratie anders is en de koppeling niet is gedefinieerd [ITGI: Consistentie].

Casus 2 – Nederlands Diploma Instituut: Overzetten financiële gegevens Inleiding Het Nederlands Diploma Instituut is belast met het beoordelen van vaardigheden door middel van toetsing en het uitreiken van een diploma, indien de kandidaat de vaardigheden inderdaad bezit, zoals blijkt uit het examen. Door middel van strategisch inzet van automatisering zijn er ontwikkelingen uitgevoerd voor het verbeteren van de processen voor reservering, betaling, examinering en resultaatverwerking. De architectuur van de Informatievoorziening is gebaseerd op een service georiënteerde architectuur, welke voorheen bestond uit gescheiden applicaties met vaak individuele databases. Door de vernieuwing van de IT architectuur, was conversie van de gegevens noodzakelijk waarbij juistheid en volledigheid dienden te worden geborgd.


29


Beschrijving onderzoek Het NDI heeft als gevolg van een vernieuwing van de IT architectuur, een conversie uitgevoerd van gegevens. De oude gegevens zijn opgeslagen in diverse bronsystemen welke zijn overgebracht naar een nieuwe opslag structuur. Voor de financiële gegevens is hier een koppeling vanuit de processystemen, welke de financiële processen moet voeden voor een juiste facturatie. Deze casus betreft het waarborgen van informatie-integriteit bij conversie van financiële gegevens met behulp van data-analyse waarin onder andere de boekingsgang (de omzetting van operationele / logistieke informatie naar financiële informatie) wordt gereconstrueerd. Resultaten onderzoek In tegenstelling tot de vorige casus ging het hier om geldbedragen waarvoor in de elektronische boekhouding een aantal afwijkingen zijn geconstateerd. Hiervoor heeft het NDI besloten om een saldo controle uit te voeren. Uit deze controle bleken de standen in bron en doel systeem gelijk te zijn. Daarnaast zijn er afwijkingen geconstateerd welke niet in de financiële gegevens waren opgevallen. Het bleek dat niet alle bankrekeningnummers de 11-proef konden doorstaan omdat de bronapplicatie geen invoercontrole uitvoerde op de bankrekeningnummers. Een groot aantal cliënten van het NDI hadden hetzelfde vestigingsadres. Dit stond als zodanig verkeerd geregistreerd in het bron systeem. Bij aansluiting met het personeelssysteem bleek ook hier dat niet alle examinatoren in het personeelsbestand waren opgenomen. Op basis van de bevindingen zijn een aantal acties gedefinieerd om de gegevens na de conversie te schonen. Hiervoor is een additionele data-analyse uitgevoerd om de schoning van data te toetsen. Resultaten casusstudie Positieve factoren Uit ons onderzoek afgelegd tegen de theorie en de bevindingen vanuit de resultaten van de casus blijkt dat de onafhankelijke beoordeling van de juistheid en de volledigheid van de informatie ertoe heeft geleid dat de informatie-integriteit is geborgd voor en na de conversie gelijk waren. In tegenstelling tot de vorige casus waar gegevens vaak persoonsgegevens betreffen, is het in het geval van geldsbedragen goed mogelijk om bedragen per post te sommeren om een inhoudelijke verificatie uit te voeren [ITGI: Controleerbaarheid, Voorspelbaarheid, Vergelijkbaarheid]. Negatieve factoren Tijdens ons onderzoek bleek dat geconstateerde afwijkingen zijn opgelost door handmatige boekingen na te lopen op basis van afwijkingslijsten en deze te corrigeren; dit is een zeer intensieve gebeurtenis waar veel medewerkers van de financiële afdeling bij betrokken zijn geweest. Er is bewust voor gekozen om de boekingen in de bron te corrigeren en de conversie opnieuw te draaien. Daarnaast is het zo dat het schonen van financiële gegevens inhoudt dat boekingen worden heringedeeld waardoor een één-op-één vergelijking met het oude systeem niet meer mogelijk is op het moment dat de correctieve handelingen worden opgestart. [ITGI: Zekerheid, Afhankelijkheid]


30


Casus 3 - Algemeen Inkoop en Distributie Onderneming: Aansluiting secundaire registratie Inleiding De onderneming Algemeen Inkoop en Distributie Onderneming (hierna: AIDO) is te kenmerken als een handelsonderneming. Zij heeft een aantal grote distributiecentra in Nederland waar vanuit geleverd wordt naar klanten. Van oudsher bestaat de organisatie voor het primaire proces uit twee delen, te weten: (1) de inkoop en logistieke organisatie en (2) de verkooporganisatie. Voor deze casus richten wij ons enkel op de inkoop en logistieke organisatie. Beschrijving onderzoek De organisatie AIDO heeft twee applicaties die gebruik maken van gegevens van dezelfde logistieke bron. Eén applicatie heeft een rol bij de afhandeling van facturen van de leverancier. De andere applicatie registreert inkopen, waarna deze informatie gebruikt wordt om financiële afhandeling van de voorwaarden van inkoopcontracten te reguleren. Deze casus betreft het waarborgen van informatie-integriteit door met behulp van data-analyse de consistentie van informatie tussen twee informatiesystemen te toetsen. Maandelijks wordt preventief een aansluiting gemaakt tussen beide systemen om de mate van informatie integriteit te meten. De werking van beide applicaties heefteen een duidelijke invloed op de financiële resultaten van de onderneming. Resultaten onderzoek Het onderzoek heeft de volgende resultaten behaald: • meer vertrouwen binnen de organisatie dat er geen relevante verschillen zijn tussen beide registraties en meer inzicht in de verschillen die zijn waargenomen; • de oorzaak van verschillen tussen beide registraties sneller bepaald kon worden; • bestaande verschillen verder verkleind konden worden; • verbetering in de logica van registratie van de afdeling inkoop. Resultaten casusstudie Positieve factoren Binnen de organisatie worden meerdere registraties gebruikt voor het registreren en verwerken van logistieke transacties. Eén daarvan, een specifieke applicatie voor het beoordelen van leveranciers, staat buiten het operationele proces. De logistieke gegevens worden ook opgeslagen in een datawarehouse. [ITGI: Vergelijkbaarheid] Om de gegevens tussen de verschillende data stores te verspreiden wordt er gebruik gemaakt van een ‘information broker’ om de registraties te synchroniseren. [ITGI: Consistentie, Controleerbaarheid] Indien een registratie niet beschikbaar was heeft dit geen gevolgen voor de beschikbaarheid van andere registraties. [ITGI: Afhankelijkheid] Zoveel mogelijk wordt er gebruik gemaakt van één unieke bron van gegevens, zoals logistieke en prijsgegevens. [ITGI: Consistentie] Bij het verspreiden van gegevens door de information broker wordt gebruik gemaakt van batch-gewijze verwerking, welke als overzichtelijk wordt ervaren. [ITGI: Begrijpelijkheid, Voorspelbaarheid]


31


De proceseigenaar van het proces inkoop heeft behoefte aan zekerheid dat de registratie van de afdeling inkoop integer is. Hiervoor zijn periodieke (preventieve) controles uitgevoerd tussen de registratie van inkoop en de factuurregistratie. [ITGI: Geloofwaardigheid] Binnen de inkoopregistratie is sprake van een strenge functiescheiding. Medewerkers van de afdeling inkoop hadden enkel toegang tot de gegevens waartoe zij verantwoordelijkheid dragen. [ITGI: Beveiliging, Geloofwaardigheid, Zekerheid] In het geval een medewerker een wijziging moet aanbrengen in de registratie, gebeurt dit via een formulier van de front-end module van de inkoopregistratie. [ITGI: Consistentie] Negatieve factoren Het informatielandschap is door de tijd heen op een evolutionaire wijze ontstaan. De voornaamste drijfveer voor het ontwikkelen van informatiesystemen is de noodzaak van de op dat gewenste of nodige functionaliteit. Aan het informatielandschap ligt geen expliciete informatiearchitectuur aan ten grondslag. [ITGI: Vergelijkbaarheid] AIDO kent een eilandencultuur tussen de afdelingen inkoop, logistiek en administratie. De kennis van de processen van een andere afdeling is daarom beperkt. [ITGI: Afhankelijkheid] Tevens is de aandacht voor data- en informatie-integriteit binnen de organisatie beperkt. Zo wordt er weinig aandacht gegeven aan uitvallijsten van interfaces of verwerkingsverslagen van applicaties en de opvolging van problemen daaruit volgend. [ITGI: Consistentie, Controleerbaarheid]

Casus 4 - Algemene Inkoop en Distributie Onderneming: Implementatie systeem Inleiding De onderneming Algemeen Inkoop en Distributie Onderneming (hierna: AIDO) is te kenmerken als een handelsonderneming. Zij heeft een aantal grote distributiecentra in Nederland waar vanuit geleverd wordt naar klanten. Van oudsher bestaat de organisatie voor het primaire proces uit twee delen, te weten: (1) de inkoop en logistieke organisatie en (2) de verkooporganisatie. Voor deze casus richten wij ons enkel op de inkoop en logistieke organisatie. Onderzoek De organisatie AIDO besluit om een ‘legacy’ applicatie (Applicatie A) te vervangen door een moderne variant (Applicatie B). De betreffende legacy applicatie is verantwoordelijk voor het transformeren van informatie (ondermeer: ontvangst op distributiecentrum, ontvangst en goedkeuring van factuur) naar financiële informatie voor de financiële administratie. Deze casus betreft het construeren van informatie-integriteit door met behulp van data-analyse de outputgegevens van de nieuwe applicatie te valideren aan de hand van vooraf opgestelde business rules. Resultaten onderzoek Het onderzoek dat wij hebben uitgevoerd heeft geleid tot de volgende resultaten: • aanvullende zekerheid dat Applicatie B op een beheerste wijze in productie genomen; • een grotere stem voor de afdeling Administratie bij de acceptatie van applicatie B; • verschillende tekortkomingen met gevolgen voor de volledige, juiste en tijdige registratie van financiële feiten voor de financiële administratie zijn voor het in productie nemen geïdentificeerd en bij het project team neergelegd;


32


•

een vervolgonderzoek naar de koppeling van de logistieke processen en transacties met de financiële boekingsgangen. Naar aanleiding van dit eerste onderzoek is gebleken dat op de afdeling Administratie er weinig kennis was van de vertaling van logistieke gebeurtenissen naar de wijze waarop dit werd verwerkt in de administratie. Hieruit blijkt dat om informatie-integriteit aan te tonen er ook onderzoek gedaan dient te worden naar de samenhang en werking van procedures en de koppeling van deze procedures naar het systeem toe.

Resultaten casusstudie Positieve factoren Tijdens het ontwerpen van applicatie B zijn zowel functionele als technische ontwerpen gemaakt van de verschillende modulen van de applicatie. De kwaliteit van deze ontwerpen zijn door ons als goed ervaren. [ITGI: Voorspelbaarheid] In de opzet van applicatie B is rekening gehouden met het verwerken van gladde en niet-gladde gevallen. [ITGI: Afhankelijkheid] Tevens is de werking van applicatie B te beïnvloeden door het wijzigen van stuurgegevens in tegenstelling tot ‘hard-coded’ de werking van de applicatie vast te leggen. [ITGI: Begrijpelijkheid] Specifieke gedeelten van de werking van applicatie B zijn door ons getest. Met andere woorden, de werking van de applicatie is door een externe partij beoordeeld. [ITGI: Geloofwaardigheid, Zekerheid] Negatieve factoren Binnen AIDO werden zéér veel legacy applicaties gebruikt (welke draaide op legacy apparatuur) waarvan de kennis, wat betreft de structuur, werking en beheer, zowel impliciet als expliciet heel beperkt was binnen de IT organisatie. [ITGI: Toegankelijkheid, Begrijpelijkheid] In de oude situatie waren er een hoop losse informatiesystemen die gegevens aanleverden aan de financiële applicatie. [ITGI: Consistentie] De overstap van de legacy applicatie naar de nieuwe applicatie was onomkeerbaar. De mogelijkheden om terug te vallen op de legacy applicaties, in het geval dat de nieuw ontwikkelde applicatie niet voldeed, waren niet aanwezig. [ITGI: Afhankelijkheid] Ook is gebleken dat bij een crash van de nieuwe applicatie zeer veel resources nodig waren om de integriteit van de informatie te herstellen. [ITGI: Consistentie] De afdelingen die van elkaar afhankelijk zijn voor informatie en gegevens staan op een grote afstand. Binnen AIDO ligt veel nadruk op het logistieke proces. Binnen de organisatie was de werking van de rol van informatie management onvoldoende aanwezig. [ITGI: Afhankelijkheid, Voorspelbaarheid]


33


Casus 5 - Algemene Communicatie Onderneming: Bepalen juistheid factuur Inleiding De algemene communicatie onderneming (hierna: ACO) is een leverancier van communicatie diensten. Op de markt waarin ACO opereert is een aantal spelers actief, die als zeer concurrerend zijn te kenmerken. De markt is gereguleerd en wordt gecontroleerd door een toezichthouder. De organisatie verkoopt meerdere diensten op de markt. Onderzoek De organisatie ACO levert diensten binnen de communicatiebranche. In deze markt is sprake van een streng toezicht op de marktwerking. Een factor van deze marktwerking is de kosten die uiteindelijk worden toegerekend aan de klant. Uit eigen onderzoek van ACO blijkt dat de berekening van de factuur niet altijd juist is. Echter is ACO niet in staat om met haar kennis en middelen (detailgegevens van facturen worden niet historisch bewaard) een goede berekening en onderbouwing te geven van de grootte van de totale fout met betrekking tot alle relevante facturen. Het ontbreken van toegankelijke historische gegevens heeft hieraan bijgedragen. Deze casus betreft het herberekenen van facturen om de juistheid van het gefactureerde bedrag te bepalen. Door het herberekenen van de daadwerkelijke factuur kan de informatie-integriteit ervan geconstrueerd worden. Resultaten onderzoek Het onderzoek heeft geleid tot de volgende resultaten: • de wijze van herberekening door middel van data mining is zeer bewerkbaar. • indien historische gegevens in een ‘plattere’ vorm beschikbaar waren geweest het besef dat er minder inspanning nodig zal zijn om de uitgevoerde analyse te verrichten; • een proactieve houding van ACO naar de toezichthouder wat betreft het naleven van de regels voor een goede marktwerking. Resultaten casusstudie Positieve factoren De bestanden die wij gebruikt hebben voor de herberekening waren over een zéér lange periode beschikbaar. [ITGI: Beschikbaarheid] Negatieve factoren De gegevens die we gebruikt hebben voor de herberekening waren slecht toegankelijk voor herberekening. Dit betroffen print files van facturen zoals deze door de print straat verwerkt zijn. Tevens waren het zulke grote hoeveelheden aan gegevens dat het verwerken hiervan veel tijd vereist. [ITGI: Toegankelijkheid] Daarbij was de layout van de facturen een aantal malen in de onderzoeksperiode gewijzigd. De organisatie kon ons niet aangeven welke en hoeveel ‘typen’ facturen er in totaal bestonden. [ITGI: Voorspelbaarheid] Tevens waren gedurende het onderzoek er veel discussies over de wijze waarop de spelregels van de marktwerking vertaald moesten worden naar concrete spelregels. [ITGI: Begrijpelijkheid]


34


4

Conclusies

In dit rapport hebben wij getracht inzichtelijk te maken hoe, met behulp van data-analyse, een bijdrage kan geleverd worden bij het beoordelen van de informatie-integriteit. Hiervoor hebben wij gebruik gemaakt van theoretische beschrijvingen om een aantal principes van informatieintegriteit te kunnen afleiden (hoofdstuk 2). Deze hebben we verwerkt in een aanpak (paragraaf 2.6) welke we hebben toegepast op een aantal casussen (hoofdstuk 3) waarin data-analyse is gebruikt om vast te stellen dat deze aanpak voldoet om factoren te identificeren voor het beoordelen van informatie-integriteit. Dit hoofdstuk beschrijft de conclusies ten aanzien van de aanpak. Hier worden de antwoorden op de vragen van het onderzoek geformuleerd.

4.1

Conclusie

De centrale vraag van dit onderzoek is op welke wijze integriteit van informatie, met ‘dataanalyse’ tools, zoals ACL en IDEA, binnen een informatie keten kan beoordelen. Met andere woorden: kunnen wij ook spreken van ‘informatieanalyse’ tools? In de beschreven casussen zijn voorbeelden gegeven van de wijzen waarop wij de integriteit van informatie binnen een informatieketen hebben beoordeeld met data-analyse tools. Dit heeft geresulteerd in het stappenplan welke is samengevat in paragraaf 4.2. Het onderscheid dat wij maken tussen ‘data-analyse’ en ‘informatieanalyse’, is dat data-analyse weinig interpretatie nodig heeft. Bijvoorbeeld: een interface tussen twee systemen is wél of niet volledig en juist ten opzichte van een gegeven specificatie. Daarom zal het beoordelen van functionele of technische documentatie niet nodig zijn om de betekenis van de gegevens te bepalen. Bij informatieanalyse heeft de IT auditor meer (ex ante) inzichten in de werking van het proces en de onderliggende informatiesystemen nodig. Op basis van de onderzochte literatuur komen wij tot de conclusie dat de reguliere aanpak van de IT auditor voor de jaarrekeningcontrole, gebaseerd op de toetsing van IT General Controls (zie bijlage 2), zich niet specifiek richt op informatie-integriteit. Bij de jaarrekeningcontrole wordt er naast de IT General Controls ook gekeken naar operational- en usercontrols. In het bijzonder bij grote hoeveelheden data, complexe opslag methoden of complexe informatie architecturen zal die aanpak dan ook niet toereikend zijn. Nader beschouwd in het kader van het ITGI model is er vooral een hiaat te herkennen op het gebied van vergelijkbaarheid, afhankelijkheid en consistentie. Op basis van de integriteitmodellen hebben wij aangegeven waar er eventuele hiaten zullen optreden in een ‘witte vlakken’ analyse (paragraaf 2.6). Om de betrouwbaarheid van de informatie te kunnen beoordelen, zal aanvullend werk dienen te worden verricht. Hiervoor zullen de regels voor het tot stand komen van informatie in de systemen dienen te worden geverifieerd. Indien een organisatie, bij het tot stand komen van databases, gebruik zou maken van een juiste toepassing van semantische regels en deze deel laat uitmaken van het wijzigingsbeheer, dan zou in theorie de informatie-integriteit zijn geborgd.


35


Dit is echter eerder uitzondering dan regel vooral als er keuzes worden gemaakt waarbij de informatie-integriteit een ondergeschikte rol speelt. Dit valt sterk samen met de flexibiliteit van het uitvoerende personeel zoals aangegeven in de inleiding. Anderzijds laat de theorie zien dat er meerdere facetten zijn die ook in die combinatie niet toereikend zouden worden afgedekt. Indien semantische regels deel uitmaken van een applicatie en de waarborgen daarvan ook deel uitmaken van de verwerking binnen de applicatie zonder daar beperkingen voor op te nemen in de database, dan is de betekenis en de informatie-integriteit afhankelijk van de applicaties en niet van de technische beheersing van de database. De koppeling vanuit de bestudeerde theorie naar informatiearchitectuur is slechts rudimentair beschreven. Nader onderzoek zou hierbij noodzakelijk zijn om nadere invulling te geven aan de schematische weergave zoals weergegeven in tabel 6. Verder wordt in de theorie geen nadere invulling gegeven aan de praktische toepassing van de theorie waarbij een toetsing van informatie-integriteit ook de volledige lading van architectuur, beheersing en kwaliteit zou kunnen afdekken. Op basis van de dossierstudies gebruikt in de casussen blijkt dat door middel van data analyse goed mogelijk is om deze hiaten op te vangen. Door toepassing van data-analyse zal de IT auditor ten behoeve van de jaarrekening efficiënter tot een oordeel kunnen komen. In situaties waarbij gegevensgerichte beoordeling van de processen, op basis van een steekproefsgewijze aanpak niet toereikend is, kan met behulp data-analyse een oordeel worden gevormd over de werking. Een voorbeeld hiervan is een financiële instelling met meerdere informatiesystemen én miljarden transacties per jaar. Hierbij gaat het niet alleen om aantallen, maar vooral om de mate waarin analyse op geaggregeerd niveau zinvol kan plaatsvinden. Dit is wel te doen bij bijvoorbeeld spaargelden (relatief weinig volatiliteit), maar niet bij treasury transacties of derivaten (met relatief veel volatiteit). Op basis van de onderzochte casussen hebben wij een aantal positieve en negatieve risicofactoren voor de informatie-integriteit in paragraaf 4.3 samengevat. Deze risicofactoren kunnen worden gebruikt als leidraad voor het identificeren van risico’s bij het toepassen van het gedefinieerde stappenplan. In het kader van ons onderzoek hebben wij de mate van invloed van het risico niet nader onderzocht.

4.2

Stappenplan voor informatieanalyse met data-analyse tools

Een onderzoek dat informatieanalyse als middel gebruikt zal de volgende stappen (minimaal) moeten bevatten: Vaststellen van de rol van informatie binnen het bredere verantwoordingproces van management Met de gebruiker van de informatie zal vastgesteld moeten worden wat de rol is van de betreffende informatie in het verantwoordingsproces. 1


36


2 Beschrijven van de functionele en technische informatiestromen Voor het beschrijven van de functionele en technische informatiestroom dient functionele of technische documentatie als ondersteunend materiaal gebruikt te worden. Voor validatie van de functionele beschrijvingen zal door middel van directe afstemming met gebruikers van informatie én beheerders van gegevens een verificatie dienen uit te voeren. Een persoon in de vorm van een informatie manager kan de doorlooptijd van dit proces verkorten. Bekwaamheid en ervaring met de materie is dan een minimale vereiste. 3 Opstellen en valideren analyse model en integriteiteisen Met de opdrachtgever zal afgestemd moeten worden welke analyses uitgevoerd worden om de integriteit van informatie te kunnen beoordelen. Per analyse zal tevens ook overeenstemming bereikt moeten worden over de specifieke rekenregels. Zowel de IT auditor als de gebruiker van informatie kunnen in dit proces verschillende analyses aandragen om de integriteit van informatie te beoordelen. Bij het totstandkomen van de rekenregels zullen functionele gebruikers, technische specialisten en de IT auditor betrokken zijn. De functionele eisen worden opgesteld door de gebruikers, deze worden doorvertaald door de technische specialisten in technische eisen. De IT auditor is verantwoordelijk voor het verifiëren van de juiste vertaling van functionele naar technische eisen. Deze zullen de basis vormen voor het opstellen van het analysemodel. De IT auditor dient ook transparantie te geven in het gevolgde proces zodat de vertaling van eisen naar het analysemodel kan worden gevalideerd. Aanvullend kan de IT auditor voorbeelden van analyses aandragen bij de gebruiker om te helpen bij het bedenken van mogelijke analyses. De gebruiker zal voldoende inzicht aan de IT auditor moeten geven in het proces en de onderliggende assumpties van het proces. 4 Opstellen verwachtingen uitkomst analyses, uitval en afval Met de gebruikers van informatie zal overeenstemming bereikt moeten worden over de verwachtingen van de uitkomsten van de analyses. Dit uit zich in een zogenaamde ‘soll’-situatie en de mate van integriteit die minimaal aangetoond dient te worden waarmee de doelstelling van de data-analyse behaald kan worden. De minimale eis wordt over het algemeen bepaald door dat gedeelte van de informatie welke noodzakelijk is. Ook de verwachtingen van de te verwachten afval en uitval dienen expliciet te worden gemaakt. Wat zijn in dit kader de zogenaamde gladde gevallen en de niet-gladde gevallen? In het geval van informatieanalyses met een correctief karakter en in mindere mate informatieanalyses met een preventief karakter zal men in de regel minder fouten verwachten dan bij informatieanalyses met een detectief karakter. 5 Uitvoeren van onderzoek door middel van data-analyse tools Als het kader van het onderzoek duidelijk is vastgesteld kunnen de gegevens worden opgevraagd en de analyses, op basis van de vastgestelde rekenregels, uitgevoerd worden. Hiervoor kunnen data-analyse tools zoals ACL of IDEA gebruikt worden. De IT auditor is verantwoordelijk voor het verkrijgen van de juiste data om de analyse zo goed mogelijk te kunnen uitvoeren. Hierbij


37


dient te worden opgemerkt dat de gegevens zo dicht mogelijk bij de bron, meestal de database, worden gehaald. 6

Beoordelen volledigheid en juistheid van de transformatie van de informatie en beoordelen afval en uitval van informatie Op basis van de vooraf bepaalde verwachtingen kunnen de uitkomsten van de analyse beoordeeld worden. Ook de geconstateerde uitval dient als afzonderlijk element beoordeeld te worden. Zowel de functionele (verwacht) als technische (onverwacht) uitval zal beoordeeld moeten worden. 7 Samenstellen van eindoordeel informatie-integriteit en decharge rapport Bij het vormen van een oordeel wordt op basis van de in stap 2 geformuleerde eisen voor de integriteit van informatie. Hierbij wordt integriteit van informatie gezien als de randvoorwaarden die door het management worden gesteld aan informatie voor het nemen van besluiten. Door het integraal beoordelen van de volledigheid en juistheid van de informatie kan een oordeel gegeven worden over de integriteit van de informatie. Het resultaat van de integrale beoordeling zal een ratio aangeven in welke mate de vastgelegde informatie voldoet aan de eisen zoals geformuleerd in stap 2. Het resultaat van deze beoordeling zal vervolgens worden gebruikt om te bepalen of de hoger gelegen beheersdoelstelling in voldoende mate behaald is. Dit oordeel zal veelal in samenspraak met de klant (dit kan zowel de financiële auditor als de eigenaar van het informatiesysteem zijn) bepaald worden.

4.3

Risicofactoren voor informatie-integriteit

De doelstelling van dit onderzoek is om tot een set van factoren te komen die een positieve en / of negatieve bijdrage leveren aan de integriteit van informatie. Deze factoren kunnen vervolgens op hun beurt gebruikt worden als input voor een risicoanalyse. Vervolgens is deze risicoanalyse de basis voor het beoordelen van de betrouwbaarheid van informatie. Met behulp van deze factoren kunnen bij de risicoanalyse de benodigde werkzaamheden bepaald worden om tot een oordeel te komen van de externe betrouwbaarheid van informatie. Met andere woorden; wanneer kan informatieanalyse met behulp van data-analyse de efficiëntie en effectiviteit van de audit ten goede komen? Het doel van dit onderzoek is om te bepalen welke factoren een positieve en / of negatieve bijdrage leveren aan de integriteit van informatie en hoe zij door middel van data-analyse beoordeeld kunnen worden. Aan de hand van elke behandelde casussen hebben wij deze factoren benoemd. De lijst van factoren is per definitie niet uitputtend, mede door het beperkte aantal casussen en beschikbare tijd van het onderzoek. Een negatieve factor is ook te (her)schrijven als een positieve factor en omgekeerd. Tabel 9 geeft een overzicht van de positieve en negatieve factoren per randvoorwaarde.


38


Tabel 9: Overzicht van positieve en negatieve factoren per ITGI randvoorwaarde Randvoorwaarde

Positieve factoren

■ Beveiliging

■ Kwalitatief goede functiescheiding en

Negatieve factoren

logische toegangsbeveiliging binnen informatiesysteem en database. ■ Beschikbaarheid

■ Gebruik van meerdere registraties binnen

■ Geen periodieke validatie van

■ Toegankelijkheid

de organisatie.

informatie.

■ Lange retentie van gegevens (in casu de

■ Gebruik van legacy informatie systemen

facturen die van meerdere jaren opgevraagd

waarvan de beschikbare (impliciete en

konden worden).

expliciete) kennis binnen de organisatie beperkt is. ■ Slechte toegankelijkheid van gegevens die (direct) gebruikt kunnen worden voor het maken van herberekeningen (b.v. met SQL).

■ Begrijpelijkheid

■ Gegevens worden door middel van batches

■ Gebruik van legacy informatie systemen

verspreid en verwerkt.

waarvan de beschikbare (impliciete en

■ Aanwezigheid van functionele en technische

expliciete) kennis binnen de organisatie

ontwerpen van (de nieuwe) applicatie.

beperkt is. ■ Onvoldoende kennis van processen van andere afdelingen. ■ Bepaling van juistheid informatie tijdrovend wegens complexiteit rekenregels en oordeel toezichthouder.

■ Resolutie

■ Output van systeem is te beïnvloeden met

■ Geen periodieke validatie van

■ Aggregatie

stuurgegevens.

informatie. ■ Onvoldoende normaliseren van gegevens. ■ Groot aantal aanleverende systemen.

■ Consistentie

■ Duidelijke richtlijnen voor

■ Financiële gegevens zijn te sommeren

■ Vergelijkbaarheid

informatiearchitectuur.

voor inhoudelijke verificatie.


■ Bestaand informatielandschap is

de organisatie.

evolutionair ontstaan en gedreven door

■ Systemen maken gebruik van de dezelfde

noodzaak van de functionaliteit. Er ligt

brongegevens.

geen expliciete informatiearchitectuur aan

■ Mogelijkheid tot het maken van correcties

ten grondslag.

via een daarvoor bedoelde module in applicatie

■ Het herstellen van integriteit van

en bijbehorende rapportagemogelijkheden.

informatie vereist veel resources.


39


Randvoorwaarde

Positieve factoren

Negatieve factoren

■ Afhankelijkheid


■ Complexe samenhang van systemen.

■ Voorspelbaarheid

de organisatie.

■ Aanpassen tijdens de conversie.

■ De werking c.q. beschikbaarheid van de

■ Onafhankelijke beoordeling volledigheid

primaire registratie heeft geen invloed op de

en juistheid informatie.

werking of beschikbaarheid van de secundaire

■ Het schonen van financiële gegevens

registratie.

houdt in dat boekingen dienen te worden

■ Onafhankelijke beoordeling volledigheid en

heringedeeld.

juistheid informatie.

■ Inzicht in uitvallijsten van de interfaces door de (functionele) gebruiker van informatie onvoldoende. ■ Grote afstand en onafhankelijkheid tussen afdelingen. Weinig begrip en besef van de processen en belangen van de andere partij / afdeling. ■ De organisatie beschikt niet over een verbindende schakel tussen de gebruikers van informatie én de beheerders van gegevens. ■ Grote hoeveelheden aan data die ten grondslag liggen aan de facturen.

■ Controleerbaarheid

■ Bij het aanleveren van gegevens van

■ Complexe samenhang van systemen.

applicaties wordt een ‘information broker’

■ Aanpassen tijdens de conversie.

gebruikt die de stand en mutaties van de gegevens van de ontvangende applicatie registreert. ■ Geloofwaardigheid

■ Ontwikkeling van het systeem is gebaseerd

■ Functionele acceptanten zijn geen

■ Zekerheid

op informatie-integriteit waarborgen

procesdeskundigen.

■ Betrokkenheid van alle technische

■ Het herstellen van integriteit van

deskundigen.

informatie vereist veel resources.

■ Voordefiniëren van acceptatie foutmarges. ■ Het herdefiniëren van unieke identificatie van informatie. ■ Actieve houding wat betreft beoordelen van informatie-integriteit. ■ Bruikbaarheid

■ Systemen maken gebruik van de dezelfde brongegevens. ■ Onderkennen van gladde en niet-gladde (logistieke) transacties en de gemaakte keuzes in de financiële processen.

■ Stuurbaarheid

■ Veel wijzigingen in informatiestructuur in korte tijd.


40


4.4

Terugkoppeling experts

De in het onderzoek gebruikte uitgangspunten, onderzoeksaanpak en eindconclusie hebben wij voorgelegd aan een panel van experts. Het panel van experts is geselecteerd op basis van kennis van de materie, het vakgebied en de vaktechnische achtergronden. In deze paragraaf zijn hun meningen en bedenkingen verwerkt. Reikwijdte van het onderzoek Zoals de ondertitel van dit referaat al aangeeft, hebben wij als primair kader voor het onderzoek de financiële audit gebruikt. De conclusies van het onderzoek hoeven zich echter niet te beperken tot enkel het kader van de financiële audit. De resultaten én conclusies van dit onderzoek kunnen ook betrekking hebben op de operational audit of de logistieke audit. De focus op de financiële audit is vooral ingegeven door de praktijk waar wij mee in aanraking komen, waardoor de lezer de indruk kan krijgen dat enkel de financiële audit geraakt wordt door dit onderzoek. Deze is in onze praktijk alleen de meest voorkomende vorm. Hierdoor is sturing op financiële verslaglegging voor ons de voornaamste verschijningsvorm waarin de data-analyse toepasbaar is. In andere sectoren zoals de farmaceutische industrie of de petrochemische industrie, zal het belang van de financiële verantwoording een ondergeschikte rol spelen ten opzichte van andere verantwoordingsaspecten zoals productkwaliteit, procescontrole of milieubelasting. In deze industrieën is kwaliteitsborging zodanig ingericht dat de nauwkeurigheid van metingen en onderzoeksresultaten een prominente rol zal spelen in het proces van de betreffende verantwoording. Hiermee wordt duidelijk dat data-analyse een grotere toegevoegde waarde kan hebben in optimalisatieprocessen binnen een bedrijf dan wordt geïmpliceerd door het kader van dit onderzoek. Theoretisch kader Definitie De definitie van informatie-integriteit van het ITGI is niet helder vanwege het uitgangspunt dat informatie-integriteit wordt gelijk gesteld met representational faithfulness. Hierdoor lijkt het erop dat informatie-integriteit gelijk staat aan een getrouwe weergave. Volgens de definitie wordt de validiteit in overeenstemming gebracht met business rules established by top management, waarvoor geldt dat de business rules zijn gedefinieerd om besluiten te kunnen nemen. Hierdoor kan de zogenaamde ‘decision usefullnes approach’ een nuttige toevoeging zijn aan de ITGI definitie. Model Het model dat ITGI naar voren brengt in haar rapport ‘Managing Enterprise Information Integrity’ is ontwikkeld vanuit praktijkervaringen van de verschillende auteurs. De conceptuele consistentie van het model is niet sterk. De gedefinieerde randvoorwaarden vertonen onderling veel overlap en de onderlinge verhoudingen tussen de randvoorwaarden en kern attributen komt slecht naar voren. Tevens zijn de dimensies (betrouwbaarheid, relevantie en bruikbaarheid) niet eenduidig. Als informatie relevant is, is het tegelijkertijd ook bruikbaar. Om de bruikbaarheid van


41


het model te vergroten zou de conceptuele consistentie beter uitgewerkt moeten worden. Een mogelijke oorzaak van het gebrek aan consistentie is het bijeenbrengen van verschillende theorieën zonder de onderliggende filosofie erbij te betrekken. Een aspect dat niet is meegenomen in het theoretische kader is het fenomeen dat de mate van integriteit afneemt naarmate de tijd vordert. Dit zou een goede conceptuele aanvulling zijn op het ITGI model. Ontwikkelingen vakgebied Het vakgebied van Information Management en Data analytics staat niet stil. De afgelopen jaren is er veel aandacht op het vakgebied voor concepten zoals data-mining, fuzzy logic, Continuous Control Monitoring of real-time data-evaluation en de ontwikkeling van de praktische toepassing van deze concepten. Deze ontwikkelingen zijn onderbelicht en qua concepten verder dan de doelen die wij trachten te bereiken met onze data-analyse aanpak. Het onderzoek heeft plaatsgevonden vanuit het perspectief van de praktische toepassing van dataanalyse. Hierdoor zijn twee punten uit het oog verloren gegaan: • de grotere wereld van in ontwikkelingzijnde methoden en technieken; • de organisatorische kennis. Dit komt vooral naar voren doordat de praktische toepassing zich richt op resultaten en daarmee voorbij gaat aan de procesmatige inzet van data-analyse, zelfs op gebieden die de IT-auditor ook raken zoals data-analyse gedreven controles van logische toegangsbeveiliging en wijzigingsbeheer. In de praktische toepassing van data-analyse is een koppeling gemaakt met transactievolumes om de analyse te kunnen uitvoeren, dit is echter ondergeschikt aan de transparantie en voorspelbaarheid welke in belangrijke mate ook is gekoppeld aan organisatorische kennis. Zonder transparantie en voorspelbaarheid binnen de processen zal elke analyse zijn doel mislopen. Conclusie Op basis van de terugkoppeling is duidelijk dat de wereld van data-analyse breder is dan het perspectief zoals deze door ons gebruikt is in dit onderzoek. De IT-auditor kan, met behulp van data-analyse, zijn toegevoegde waarde ook leveren bij operational audits of logistieke audits. De IT-auditor heeft immers zowel affiniteit en kennis van IT als ervaring met het beschrijven, opstellen en toetsen van beheersingsmaatregelen binnen verschillende soorten processen.

4.5

Toekomst van data-analyse bij de financiële audit

In de inleiding hebben wij de ontwikkeling waargenomen dat het zogenaamde ‘journal entry analysis’ een verplicht onderdeel is geworden van een financiële audit vanuit de ISA240 richtlijn. De hedendaagse boekhoudingen bevatten zulke grote aantallen boekingen dat er aanvullende zekerheid nodig is dat het management de waarde van de onderneming onjuist heeft beïnvloedt.


42


De boekhouding is de basis van het jaarverslag dat het management opstelt. De mate waarin onderzoek naar gegevens wenselijk is hangt af van de mate van transparantie van de verwerkingsprocessen (voorspelbaarheid). Als wij de ontwikkeling van het analyseren van journaalposten gaan extrapoleren komen wij tot de conclusie dat voor een financiële audit, bij de aanwezigheid van een aantal factoren, het middel van een data-analyse wel gebruikt moet worden om op een efficiënte wijze tot een onderbouwd oordeel te komen. Dit is in het bijzonder van belang indien niet meer kan worden volstaan met deelwaarnemingen of indien traditionele beoordelingen niet efficiënt kunnen worden uitgevoerd. Hiervoor is het nodig dat voor een risicoanalyse van een financiële audit de factoren bekend dienen te zijn die het gebruik van een data-analyse c.q. informatie-analyse noodzakelijk maken. Na de risicoanalyse zullen ook de juiste vragen opgesteld dienen te worden die een data-analyse dient te beantwoorden. Dit vereist dat de financiële auditor en de IT auditor dezelfde taal spreken en kennis hebben van een gemeenschappelijke set van theoretische concepten. Binnen het accountancy vakgebied is een goede samenwerking tussen de financiële auditor en de IT auditor van cruciaal belang. De samenwerking blijkt in de praktijk een lastige omdat een sterk verschillende invalshoek/benadering wordt gehanteerd. De financiële auditor beoordeelt de externe betrouwbaarheid van informatie, bijvoorbeeld een jaarverslag van het management. In een omgeving met meerdere informatiesystemen zal de accountant / financiële auditor meer werkzaamheden moeten verrichten om de betrouwbaarheid in voldoende mate te kunnen vaststellen. Een IT-audit invalhoek, waarbij de nadruk ligt op IT General Controls, biedt geen directe borging van informatie-integriteit, maar creëert slechts een randvoorwaarde voor het constant functioneren van een applicatie. In de meeste gevallen speelt daarnaast de menselijke factor een grote rol, die nauwelijks volledig door informatiesystemen / application controls kan worden opgevangen (er zijn bijvoorbeeld altijd toleranties bij het signaleren van mogelijk onjuiste invoer van data). Een groot voordeel van data analyse is dat het direct gericht is op de uitkomsten van het proces, waarbij enerzijds impliciet de beheersingsmaatregelen worden getoetst, maar tevens de mogelijkheid aanwezig is om opvallende ontwikkelingen gericht nader te onderzoeken. Een goede samenwerking tussen beide gebieden en inhoudelijke kennis van de werkzaamheden van de ander is een essentiële voorwaarde voor het juist bepalen van de externe betrouwbaarheid van informatie. Het concept van informatie-integriteit zou de IT auditor kunnen gebruiken om een brug te slaan tussen beide vakgebieden.


43

Bijlage 1 De rol van data analyse bij het beoordelen van informatie integriteit

BIJLAGE 1: LITERATUURVERWIJZINGEN

[Abrams et al, 1993] M.D. Abrams, E.G. Amoroso, L.J. LaPadula, T.F. Lunt en J.G. Williams, “Report of an Integrity Research Study Group”, Computers and Security, Vol. 12, 1993, pp. 679 – 689, 1993 [Ackoff, 1989] R.L. Ackoff, "From Data to Wisdom", Journal of Applied Systems Analysis, Volume 16, 1989 [Amman en Jajodia, 1997]

P. Ammann en S. Jajodia, “Rethinking Integrity”, 1997

[Bacharach, 1989] P. Bacharach, “Organizational Theories: Some Criteria for Evaluation”, Academy of Management Review, Vol. 14, No. 4, pp. 496 – 515, 1989 [Bae et al, 2003] B. Bae, R. Epps en S. Gwathmey, “Internal control issues: The case of Changes to Information Processes”, Information Systems Control Journal, Vol. 4, 2003 [Bemelmans, 2004] Th. Bemelmans, “Informeren en communiceren. Afscheidscollege uitgesproken op 19 maart 2004 aan de Technische Universiteit Eindhoven”, http://alexandria.tue.nl/extra2/redes/bemelmans2004.pdf, 2004 [Bensink, 2006] M. Bensink, “Bestandsanalyse in combinatie met Business Intelligence: een verkenning op internet”, De EDP-Auditor, nummer 3, 2006 [ter Bekke, 1993] J.H. ter Bekke, Database ontwerp, 3e druk, Kluwer Bedrijfswetenschappen, Deventer, 1993 [Biene-Hershey, 1997] Prof. M.E. van Biene-Hershey, “IT audit verdringt EDP audit”, http://www.computable.nl/artikel/ict_topics/ictbranche/1306962/2379258/itaudit-verdringtedpaudit.html, 1997 [Clark en Wilson, 1987] D.D. Clark en D.R. Wilson, “A comparison of Commercial and Military Computer Security Policies”, 1987 [Christiaanse en Van Praat, 2005] R. Christiaanse en J. van Praat, Inrichten en beheersen van organisaties, Thiememeulenhoff, ISBN 9006950696, 2005 [Dietz, 2004] J.L.G. Dietz, “De oberstrategie - hoe lang nog?”, In T Valstar & M van Genuchten (Eds.), 50 Jaar informatiesystemen 1978-2028. deel 1, Liber amicorum voor Theo Bemelmans (pp. 109-118), Eindhoven: Eindhoven University of Technologie, 2004 [English, 1999] L.P. English, Improving Data Warehouse and Business Information Quality: Methods for Reducing Costs and Increasing Profits, John Wiley & Sons Inc., USA, 1999


44


[Van Engeldorp en Gastelaars, 1998] Ph. van Engeldorp en Gastelaars, “Theorievorming en methoden van onderzoek binnen de sociale wetenschappen”, Servicepost bv, Nieuwerkerk a/d IJssel, 1998 [Epe en Koetzier, 1999] 1999

P. Epe en W. Koetzier, “Jaarverslaggeving”, Wolters Noordhoff,

[Grefen en Apers, 1993] P.W.P.J. Grefen en P.M.G. Apers, Integrity control in relational database systems - an overview. Data and knowledge engineering, 10 (2). pp. 187-223. ISSN 0169023, 1993 [IFAC, 2007] “The auditor’s responsibilities relating to fraud in an audit of financial statements (redrafted)”, International Federation of Accountants, 2007, http://www.ifac.org/Members/Source_Files/Auditing_Related_Services/2007_Handbook/2007_A 305_ISA_240_(Redrafted).pdf [ITGI, 2004] “Managing Enterprise Information Integrity: Security, Control and Audit Issues”, IT Governance Institute, ISBN 1-893209-63-6, 2004 [ITGI, 2006], “Comments and recommendations to the Securities and Exchange Commission (SEC) Concept Release Concerning Management’s Reports on Internal Control over Financial Reporting”, ”, IT Governance Institute, http://www.itgi.org/AMTemplate.cfm?Section=Right_Hand_News_Spotlight&Template=/Conte ntManagement/ContentDisplay.cfm&ContentFileID=11882, 2004 [ITGI, 2007] “Cobit 4.1: Framework Control Objectives Management Guidelines Maturity Models”, IT Governance Institute, ISBN 1-933284-72-2, 2007 [NOREA, 2007] “Studierapport: Normen voor de beheersing van uitbestede ICTbeheerprocessen”, NOREA, 2007, http://www.norea.nl/Sites/Files/0000021661_NoreaPvIBhandreiking.pdf [Sandhu en Jajodia, 1998] R. Sandhu en S. Jajodia, “Integrity in Database management Systems”, Computers and security, Vol. 10, No. 5, pp. 414 – 427 [Sayana, 2002A] S.A. Sayana, IT Audit basics, the IS Audit process, http://www.isaca.org/Template.cfm?Section=Home&Template=/ContentManagement/ContentDi splay.cfm&ContentID=11223, 2002 [Sayana, 2002B] S.A. Sayana, IT Audit basics, Auditing General and Application Controls, http://www.isaca.org/Template.cfm?Section=Home&CONTENTID=17103&TEMPLATE=/Cont entManagement/ContentDisplay.cfm, 2002 [Schneider et al, 1993] S.C. Schneider en R. Angelmar, “Cognition in organizational analysis: Who’s minding the store?”, Organization Studies, Vol. 14, No. 3, pp. 347 – 374, 1993


45


[Starreveld et al, 2002] R.W. Starreveld, O.C. Van Leeuwen en H. van Nimwegen, “Bestuurlijke informatievoorziening deel 1: Algemene Grondslagen”, vijfde editie, 2002 [Smildiger, 2005] R. Smildiger, “Een audit op informatiearchitectuur: waar te beginnen?”, De EDP-Auditor, nummer 2, 2005 [Ullman, 1980] J.D. Ullman, Principles of Database Systems. Computer Science Press, Rockville MD, 1980 [Van Praat en Suerink, 2004] Stam, ISBN 9044007599, 2004

J. van Praat en H. Suerink, Inleiding EDP-auditing, ten Hagen

[Van Praat, 2008] College handouts Postdoctorale opleiding IT-auditing, de GA-Kubus, Vrije Universiteit 2008-2009 [Webwereld, 2005] Interview met Chris Date, Webwereld, http://www.computable.nl/artikel/ict_topics/netwerken/1396335/1276932/databaseexpert-chrisdate-kennis-relationeel-model-dramatisch.html, 1-4-2005


46


BIJLAGE 2: BESCHRIJVING IT GENERAL CONTROLS

De IT auditor kan de betrouwbaarheid van gegevens vaststellen door het beoordelen van de ‘IT General Controls’ (ITGC’s) en ‘application controls’. Het accountantskantoor Ernst & Young hanteert ook een vierde concept binnen dit kader, te weten het concept van ‘IT dependant manual controls’. De concepten zijn te beschouwen als basisbegrippen binnen het IT audit vakgebied. Voor de volledigheid van het literatuuronderzoek zijn de concepten hieronder kort uitgewerkt. IT General Controls ITGC’s betreffen de beheersingsmaatregelen met betrekking tot de verschillende gebieden van de IT omgeving van een organisatie. In tabel 10 zijn de verschillende typen beheersingsmaatregelen met een korte beschrijving opgenomen. Tabel 10: Typen beheersmaatregelen Type beheersmaatregel

Omschrijving

Control omgeving

Welke toon zet het management? Hoe gaan zij om met hun voorbeeldfunctie

wat

betreft

functiescheiding

en

informatiebeveiliging? Change management

Het proces waarmee veranderingen aan informatiesystemen en processen wordt beheerst. De auditor stelt vast dat het change management

proces

de

betrouwbaarheid

van

gegevens

voldoende waarborgt. Hierbij kan gedacht worden aan het testen van wijzigingen en het opstellen van functionele en technische ontwerpen. Logische toegangsbeveiliging

Vaststellen

dat

de

autorisaties

van

informatiesystemen

consistent met de functiescheiding binnen de organisatie en vaststellen of de applicatie naar de ingestelde autorisaties gedraagt. Tevens dient vastgesteld te worden of het proces van de logische toegangsbeveiliging de identificatie en authenticatie waarborgt van de gebruikers. Fysieke

toegangsbeveiliging

en

beveiligingsbeleid Inrichting van informatiesystemen

Vaststellen of de fysieke toegang tot apparatuur en gegevens voldoende is gewaarborgd. Vaststellen

of

de

parameters

en

stuurgegevens

van

informatiesystemen voldoende waarborging bieden voor de betrouwbaarheid van informatie. Gebruikersondersteuning en incident

Het ondersteunen van de gebruikers in de IT omgeving. Als zij

management

op een goede wijze worden ondersteund zullen zij minder de stimulans om hebben om ‘om het systeem heen’ te werken.


47


Type beheersmaatregel Continuïteit en calamiteitenplan

Omschrijving Waarborgen dat de continuïteit van de IT omgeving is gewaarborgd. Dit ondermeer betreffen maatregelen voor backup & recovery of een calamiteitenplan.

Applicatie ontwikkeling

Vaststellen of de beheersmaatregelen rondom de ontwikkeling van applicaties in voldoende mate de goede werking van informatiesystemen waarborgt.

Application controls Application controls zijn beheersmaatregelen binnen informatiesystemen die ondermeer betrouwbaarheid van de invoer en verwerking van gegevens waarborgen. De volgende application controls worden onderkend: • controles ten behoeve van juistheid, volledigheid en tijdigheid; • controles ten behoeve van validiteit en plausibiliteit van gegevens; • controles ten behoeve van identificatie en authenticatie; • controles ten behoeve van het verwerken van gegevens van aanleverende systemen. IT dependent manual controls IT dependent manual controls betreffen controles waarbij de gebruiker met behulp van het systeem invoer controleert. Een voorbeeld hiervan zijn de rapportages die het informatiesysteem genereert waarmee de gebruiker zijn of haar controles kan uitvoeren. De IT auditor stelt vast of de rapportages de gegevens volledig en juist weergeven. Binnen de audit methodologie van Ernst & Young wordt een onderscheid gemaakt tussen rapportages uit een niet-complexe en complexere omgevingen. De werkzaamheden die verricht moeten worden om de betrouwbaarheid vast te stellen van een complexe rapportage zijn beduidend uitgebreider dan die van de niet complexe omgeving. De complexiteit van een rapportage wordt in dit kader bepaald of het maatwerk betreft, het aantal bewerkingen op de gegevens, de mogelijkheden om de gegevens aan te sluiten met andere registraties en het aantal informatiesystemen binnen dit proces. User controls User controls zijn de controles die door gebruikers worden uitgevoerd om de betrouwbaarheid van gegevens vast te stellen. Het stelsel van user controls wordt zowel door de IT auditor als de financiële auditor beoordeeld. Onder user controls wordt ook concept van ‘end-user computing’ en / of ‘spreadsheet computing’ verstaan. Opvallend aan de bovenstaande uitwerking is dat het concept van informatie-integriteit niet expliciet wordt benoemd. application controls betreffen meer beheersingsmaatregelen op het gebied van data-integriteit en / of interne integriteit. De externe betrouwbaarheid van informatie tussen meerdere informatiesystemen speelt binnen dit kader een onderbelichte rol.


48


Application & IT User controls

Significante processen

dependent manual controls

Segregation of

IT General Controls

Duties

Figuur 7: Relatie tussen beheersmaatregelen

de

significante

processen

en

het

stelsel

van

interne

De betrouwbaarheid van significante processen wordt beïnvloed door de ‘user controls’ en de application controls. De twee zijn op hun beurt weer afhankelijk van de functiescheiding en de IT General Controls. In figuur 7 wordt de onderliggende afhankelijkheden van de controle van een proces weergegeven. Door middel van een risicoanalyse wordt bepaald welke processen als significant gekenmerkt worden en welke controls getest zullen worden om tot een efficiënte audit te komen. De centrale boodschap van het bovenstaande is dat het een afweging blijft van wat de auditor controleert om tot een oordeel te komen. Complexiteit van de omgeving die onderzocht wordt en unieke kenmerken van de bedrijfstak zijn binnen deze afweging een belangrijke factor.


49


BIJLAGE 3: INFORMATIE CONTROLE

Starreveld, Van Leeuwen en Nimwegen [Starreveld et al, 2002, pag 449] onderkennen niet expliciet het begrip van informatie-integriteit. Wel onderkennen zij het concept ‘informatiecontrole’ waarmee zij de betrouwbaarheid van informatie welke geproduceerd wordt door een informatieverzorgingsysteem kunnen beoordelen. De auteurs geven te kennen dat het begrip ‘informatieverzorgingsysteem’ ook mag worden vervangen door het begrip ‘informatiesysteem’ en / of ‘administratie’. Figuur 8 geeft een overzicht van het concept van informatiecontrole en de daarbij onderliggende concepten die daarvan deel van uitmaken. Toetsing van ex ante gegevens

Omspannende verbandcontroles Onderlinge

Accuratesse

samenhang van

controle

informatie controle Complexe en

maatregelen

minder duidelijke waardekringloop

Duplicering

Figuur 8: Schematische weergave van het concept informatie controle [Starreveld et al, 2002]

Omspannende verbandcontroles Voor het controleren van materiële verbanden onderkennen de auteurs een tweetal methoden, te weten: • de wet van samenhang van toestand en gebeuren (ook wel bekend als de BETA formule); • de wet van het rationele verband tussen opgeofferde en verkregen zaken. Op het moment dat deze materiële verbanden voldoende aangetoond zijn, kan gesteld worden dat de gegevens betrouwbaar c.q. integer zijn. Dit impliceert overigens dat er geen storende invloeden zijn binnen de informatiehuishouding waarmee de gestelde verbanden mee komen te vervallen. Met andere woorden de nauwkeurigheid van de gebruikte / gecontroleerde grootheden


51


zal van invloed zijn op de nauwkeurigheid van beide wetten. In het geval dat er gegevens gegroepeerd worden (lees: verarming van gegevens) zal de nauwkeurigheid van de informatie afnemen en dat tegelijkertijd trends (lees: verrijking van gegevens) zichtbaar worden. Om het informatieverzorgingsysteem te beoordelen dienen de volgende controles te worden uitgevoerd: • de materiële verbanden door de geproduceerde informatie worden bevestigd; • de kwantitatieve gegevens die bij het aantonen van deze verbanden zijn gebruikt, overeenkomen met de werkelijk plaatsgevonden gebeurtenissen en de werkelijke ontstane toestanden. Complexe en minder duidelijke waardekringloop Bij deze huishoudingen ontbreken er één of meerde ‘harde omzettingsnormen’. Wat betreft het beoordelen van de betrouwbaarheid van een informatiesysteem dient beoordeeld (in samenwerking met de klant) te worden hoe ‘hard’ de omzettingsnormen beschouwd kunnen worden. Toetsing van ex ante gegevens Starreveld, Van Leeuwen en Nimwegen onderkennen de volgende methoden om ex ante gegevens te toetsen: • prognoses; • plannen; • voorcalculaties; • normen; • budgetten. Voor het toetsen van gegevens c.q. informatie dienen deze ook betrouwbaar te zijn wil men tot een goede toetsing komen. Bij het beoordelen van de betrouwbaarheid c.q. de integriteit van informatie zal de auditor een analytisch model ontwikkelen. Dit model zal ook gevalideerd moeten worden voordat het model gebruikt kan worden om een uitspraak te doen over de betrouwbaarheid van een informatiesysteem. Hierbij kan ondermeer gedacht worden aan: • narekenen en volgen van individuele transacties door het systeem; • narekenen en volgen van een selecte set van transacties door het systeem; • de uitgangspunten van het analytische model valideren bij de klant (bijvoorbeeld: hoe nauwkeurig zijn de grootheden en / of omzettingfactoren) • het analytische model valideren en accorderen bij de eigenaren van het systeem; • het uitvoeren van een proefconversie c.q. proefaansluiting en de resultaten bespreken met de eigenaar van het informatiesysteem. Duplicering Om de betrouwbaarheid van een informatiesysteem te waarborgen kan gebruik gemaakt worden van duplicering van informatie. Dit houdt in dat informatie op één of meerdere plekken binnen de organisatie wordt geregistreerd en / of verwerkt. Door de verschillende registraties en / of systemen met elkaar te vergelijken kan een uitspraak gedaan worden over de betrouwbaarheid


52


Indien de auditor wordt gevraagd een model te bouwen om de betrouwbaarheid van een informatiesysteem te testen, kan men spreken van duplicering van informatie. Accuratesse controle Een informatiesysteem is afhankelijk van de kwaliteit van de invoer. Bij handmatige invoer is bekend dat er menselijke fouten gemaakt kunnen worden. Hierbij kan worden gedacht aan dat waarden in de verkeerde velden wordt ingevoerd of dat waarden verkeerd worden overgenomen. Om de resultaten van een analytisch model (wat betreft informatie-integriteit) juist te interpreteren dient een auditor een goed begrip te hebben van het proces van de informatie verwerking. Het risico bestaat dat een auditor terecht of onterecht een analytisch model verwerpt of accepteert. De volgende vragen gesteld worden om inzicht te krijgen in het proces: • op welke plaatsen worden er gegevens handmatig of automatisch verwerkt?; • welke handelingen en / of berekeningen vinden plaats binnen het proces?; • welke invoercontroles zijn er aanwezig binnen het proces?; • welke controles vinden er plaats binnen het proces?; • hoe wordt er omgegaan met technische en functionele uitval binnen het proces?. Op basis van dit inzicht dienen de gebruikte gegevens onderzocht te worden op mogelijke invoerfouten.


53


BIJLAGE 4: BESCHRIJVINGEN CASUSSEN

Nederlands Diploma Instituut: Diploma registratie Relevantie informatie-integriteit In deze casus is het van belang dat de procesinformatie die in de verschillende bron systemen aanwezig was, ook in het doel systeem voorkomt. In het kader van de informatie-integriteit betekent dit dat er waarborgen dienen te worden opgezet die eerst de data-integriteit (juiste en volledige overdracht) garanderen. Vervolgens zal op basis van de conversieregels de interpretatie van de data voor en na conversie worden vergeleken. De moeilijkheidsgraad wordt hier bepaald doordat de gegevens in verschillende bron systemen staan geregistreerd, bij het combineren van gegevens zijn hierbij eerst de database technische koppelingen gecombineerd (combineren van tabellen en herdefinitie van primary en foreign keys). Daarna wordt de bron informatie vergeleken met de ontstane informatie.

Situatiebeschrijving Het Nederlands Diploma Instituut is belast met het beoordelen van vaardigheden door middel van toetsing en het uitreiken van een diploma, indien de kandidaat de vaardigheden inderdaad bezit, zoals blijkt uit het examen. Door middel van strategisch inzet van automatisering zijn er ontwikkelingen uitgevoerd voor het verbeteren van de processen voor reservering, betaling, examinering en resultaatverwerking. De architectuur van de Informatievoorziening is gebaseerd op een service georiënteerde architectuur, welke voorheen bestond uit gescheiden applicaties met vaak individuele databases. Door de vernieuwing van de IT architectuur, was conversie van de gegevens noodzakelijk waarbij juistheid en volledigheid dienden te worden geborgd. De overgang van de oude naar de nieuwe situatie is figuur 9 weergegeven.


54


Stamgegevens

Stamgegevens Voorbewerking, schoning en

Aanvragen

verrijking van

Aanvragen

data op basis van

Nieuw Systeem

scripts gelezen Examens

vanuit

Examens

verschillende bronsystemen Diploma’s

Brongegevens in verschillende systemen

Diploma’s

Tussentabellen van de conversie scripts

Doelsysteem

Figuur 9: Overzicht migratie gegevens

Al bij de ontwikkeling van het geïntegreerde systeem is rekening gehouden met ontwikkeling van conversieprogrammatuur. Een belangrijk probleem in dit traject was de vervuiling van gegevens die de database bevatte. Hiervoor zijn zowel schonings- als aanvullingsscripts ontwikkeld waarvoor rapportages werden gegenereerd met totaal tellingen. Deze voorzien echter niet in de juistheid van de gegevens. De Interne Accountantsdienst (IAD) zou op basis van voorgedefinieerde rapportages, de eigenaar adviseren in het accepteren van de conversie resultaten. Hierbij heeft de IAD aangegeven data-analyses te willen laten uitvoeren. Wij hebben ten behoeve van de analyse van de juistheid de voorgedefinieerde rapportages beoordeeld op de dekkingsgraad van de gegevens die in de systemen zijn geraakt. Wij hebben een analysemodel opgesteld voor de controle van de conversie van de gegevenssets van de aanvragen, examens en resultaten. Het door ons opgestelde analysemodel voorzag in de juistheids- en volledigheidsanalyse van de examens met daarbij opgenomen het eindresultaat.

Doelstelling van onderzoek Het onderzoek voor deze organisatie was gericht op het uitvoeren van controlewerkzaamheden met behulp van integrale data-analyse om de juistheid en volledigheid van de conversie vast te stellen waarvoor een analyse model diende te worden ontwikkeld. De te converteren gegevens bestonden uit stamgegevens en procesgegevens. Voor de conversie waren er ruim 500 conversiescripts ontwikkeld, waarvan 40 een 100% correcte conversie dienden te ondergaan. Dit besluit is gevormd door de functionele eigenaren van de omgeving. Het betrof immers de belangrijkste gegevenssets waarin de volgende informatie wordt opgeslagen: • aanvragen / reserveringen;


55


• • •

examens; resultaten; diploma’s.

Aanpak van onderzoek Voor het uitvoeren van het onderzoek hebben wij de volgende stappen uitgevoerd: • bestuderen van beschikbare documentatie en de conversiescripts; • interviews met betrokkenen; • ontwikkelen van analysemodel op basis van conversie strategie; • uitvoeren van data-analyse Door het houden van de interviews in combinatie met de bestudeerde documentatie en conversiescripts hebben wij ons een beeld gevormd van de conversie met nadruk op die gegevens die in het conversie proces een mutatie ondergaan. De mutaties zijn opgedeeld in: • schoning van gegevens met het conditioneel weglaten van gegevens; • aanvullen van gegevens met het conditioneel invullen of vervangen van gegevens; • het aggregeren van gegevens. Het analyse model was door ons opgesteld op basis van de door ons opgedane kennis in de voorgaande stappen. Het model was gebaseerd op het beoordelen van de te converteren bestanden, waarbij er een tweeledige toetsing plaatsvindt eerst om vast te stellen dat de voorbewerking, de schoning en de verrijking in overeenkomst met de regels die in de conversie plannen zijn beschreven is uitgevoerd. Op basis van deze regels die in natuurlijke taal zijn beschreven is een analysemodel opgesteld die de gegevens uit de bron tabellen doorvertaald naar de tabellen in het nieuwe systeem. In het analyse model wordt de vertaling naar de tussen tabel gesimuleerd, waarna toetsingsregels worden opgesteld in de data-analyse programma. Tijdens de executie van de conversie wordt op basis van een geprogrammeerde logica de brongegevens omgezet naar gegevens die voldoen aan de eisen van het nieuwe informatiesysteem. Hierna wordt met data-analyse uitgevoerd om vast te stellen dat de gegevens conform de gestelde conversieregels zijn omgezet. Voor de juistheid is in het model een opdeling gemaakt tussen stamgegevens en procesgegevens (aanvragen, examens, diploma’s). Bij de stamgegevens houdt de juistheidcontrole in dat de tabeldefinities voor de gegevens van bron en doel systeem worden vergeleken op lengte en datatype om vast te stellen dat de bron gegevens in het doel systeem kunnen worden opgeslagen zonder technische beperkingen. Daarnaast wordt met technische hulpmiddelen een integrale vergelijking gemaakt tussen gegevens in de bron met de gegevens in het doel systeem. Voor de procesgegevens zijn naast de basis controles conform de stamgegevens controle additionele handelingen verricht. Bij de procesgegevens is het namelijk van belang dat de informatie die uit de gegevens wordt afgeleid correct moet zijn. Hiervoor zijn de opzet en het bestaan van het proces om de


56


conversiescripts te creëren nagelopen om vast te stellen welke gegevens deel uitmaken van het proces. Daarna is vast gesteld uit welke bron de gegevens afkomstig zijn. Om de waarde van de informatie in het nieuwe systeem te behouden is vastgesteld dat de gegevens conform het functionele ontwerp in de juiste tabellen terecht komen. Daarna zijn de scripts verwerkt in het controle model van de technische hulpmiddelen. Doordat het al bekend is op basis van welke regels gegevens geschoond of verrijkt worden kan de data-analyse aangeven om welke hoeveelheden het gaat en of de gegevens voldoen aan de gestelde samenhangeisen. De samenhangeisen zijn de eisen van de informatie-integriteit. De toetsing richt zich dan op basis vragen zal het aantal geregistreerde kandidaten voor en na conversie, het aantal reservering voor en na conversie, het aantal geslaagde kandidaten versus uitgegeven diploma’s voor en na conversie en tot slot een aansluiting per kandidaat die een examen aflegt versus het aantal afgelegde examens. Per te converteren bestand de volgende controletotalen te worden bijgehouden: • totaal aantal records oude bestand; • totaal aantal records niet te converteren gegevens; • totaal aantal records over te zetten gegevens; • totaal aantal records nieuw bestand in nieuwe applicatie. Deze controletotalen worden met elkaar vergeleken zodanig dat de totalen uit het oude bestand minus de niet te converteren gegevens gelijk is aan de aantallen in het over te zetten bestand. De aantallen van de over te zetten gegevens worden vergeleken met de totalen in de nieuwe applicatie. Deze dienen gelijk te zijn aan elkaar.

Resultaten van onderzoek Wij hebben de IAD geadviseerd hoe het proces van de conversie gecontroleerd kan worden en beoordeeld en hoe het ontwikkelde analyse model daarin bijdraagt. Tijdens de uitvoering van de data-analyse bleek dat niet alle scripts waren uit ontwikkeld conform het conversieplan. De voornaamste reden hiervoor was dat men een bepaalde mate van onzekerheid reeds had aanvaard en daarvoor een drempelwaarde was gedefinieerd. Tijdens (proef)toetsing bleek de drempelwaarde van afwijkende elementen ruim boven de acceptabele grens was. Hiervoor zijn de scripts aangepast. Daarnaast bleek dat er records uit de brontabellen niet werden geconverteerd als gevolg van datatype conversie tussen bron en doelsysteem. Doordat de conversie op basis van exportbestanden plaatsvond is geconstateerd dat er verkeerde examenresultaten werden weergegeven na conversie. Dit is in de scripts gecorrigeerd en op nieuw uitgevoerd. Tot slot bleek dat niet alle examinatoren in het personeelsbestand waren opgenomen. Dit was het gevolg van een onjuiste registratie in het bronsysteem.


57


Nederlands Diploma Instituut: Omzetten financiële gegevens Relevantie informatie-integriteit In deze casus is het van belang dat de financiële informatie die in het bron systeem aanwezig zijn, ook in het doel systeem zijn overgenomen. In het kader van de informatie-integriteit betekent dit dat er waarborgen dienen te worden opgezet die eerst de data-integriteit (juiste en volledige overdracht) garanderen om vervolgens op basis van de conversieregels de interpretatie van de data voor en na conversie te vergelijken. Door deze werkwijze is de externe betrouwbaarheid c.q. informatie-integriteit van de informatie beoordeeld.

Situatiebeschrijving Het Nederlands Diploma Instituut is belast met het beoordelen van vaardigheden door middel van toetsing en het uitreiken van een diploma, indien de kandidaat de vaardigheden inderdaad bezit, zoals blijkt uit het examen. Door middel van strategisch inzet van automatisering zijn er ontwikkelingen uitgevoerd voor het verbeteren van de processen voor reservering, betaling, examinering en resultaatverwerking. De architectuur van de Informatievoorziening is gebaseerd op een service georiënteerde architectuur, welke voorheen bestond uit gescheiden applicaties met vaak individuele databases. Door de vernieuwing van de IT architectuur, was conversie van de gegevens noodzakelijk waarbij juistheid en volledigheid dienden te worden geborgd.

Doelstelling van onderzoek Het onderzoek had als doelstelling de juiste en volledige conversie van de financiële gegevens vanuit het bron systeem naar het doelsysteem. Het onderzoek heeft zich daarbij gericht op het betrouwbaar (juist en volledig) overbrengen van de bron gegevens naar het doelsysteem met behoud van de drie financiële registraties (financiële grootboek, debiteurenregistratie en crediteurenregistratie).

Aanpak van onderzoek Om het doel te bereiken is eerst een analyse model opgezet gebaseerd op voorgedefinieerde modellen (scripts voor data overdracht) voor aanwezige data in systemen, waarbij informatie wordt afgeleid om regels te definiëren voor het beoordelen van succesvolle conversie. Deze regels zijn afgeleid uit de financiële boekingsregels zoals die in de applicaties zijn vastgelegd. De vergeleken elementen betroffen verder op basis van de geregistreerde gegevens de onderdelen zoals weergegeven tabel 11.


58


Tabel 11: Omschrijving van verschillende typen transacties Type transactie Omschrijving Opbrengstboekingen Ieder afgenomen examenblok dient tot een tijdige verantwoording te leiden van de hieraan gekoppelde opbrengsten. Aansluiting rekening courant

Geplande en afgenomen praktijkexamens dienen volledig te worden verwerkt in het Rekening Courant Systeem.

Automatische afboeking RC

Van het rekening courant systeem dient één dag voor examen datum geautomatiseerd het juiste bedrag te worden afgeboekt.

Verschillen met Rekening courant

Eventuele verschillen tussen bron het bron registratie systeem voor financiële gegevens en het rekening courant systeem dienen zichtbaar te worden gemaakt en gedocumenteerd afgewerkt.

Internet transacties

Er dient te worden gewaarborgd dat alle Internet transacties tot een opbrengstboeking leiden.

Salarisadministratie

Mutaties in de salarisadministratie worden juist, tijdig en volledig verwerkt.

Nadat is vastgesteld dat de informatie volgens de scripts juist en volledig is overgeheveld is een analyse uitgevoerd waarbij de financiële boekingsgang in beide systemen met elkaar is vergeleken. In tegenstelling tot de vorige casus waarbij de nadruk ligt op totalen van data items: en de procesinformatie (diploma, examens en reserveringen), gaat het hier om financiële verbanden die in tact moeten blijven. Van de in de bovenstaande tabel genoemde gegevens zijn alle gegevens integraal gecontroleerd door na te gaan hoe ieder onderdeel geregistreerd staat in het bron systeem en in het doel systeem. Binnen de definities van de data-analyse zijn een aantal basis principes gedefinieerd zoals toetsing van bankrekeningnummers, veldlengtes, geboortedatums. Deze waarschijnlijkheidscontroles worden als onderdeel van stamgegevens controles getoetst. Aanvullend hebben wij de standen uit het oude systeem vergeleken met de standen in het nieuwe systeem om de totaalbedragen zijn beoordeeld en daarmee de financiële integriteit van de registratie ook is geborgd.

Resultaat van onderzoek In tegenstelling tot de vorige casus ging het hier om geldbedragen waarvoor in de elektronische boekhouding een aantal afwijkingen zijn geconstateerd. Hiervoor heeft het NDI besloten om een saldo controle uit te voeren. Uit deze controle bleken de standen in bron en doel systeem gelijk te zijn. Daarnaast zijn er afwijkingen geconstateerd welke niet in de financiële gegevens waren opgevallen. Het bleek dat niet alle bankrekeningnummers de 11-proef konden doorstaan omdat


59


de bronapplicatie geen invoercontrole uitvoerde op de bankrekeningnummers. Een groot aantal cliënten van het NDI hadden hetzelfde vestigingsadres. Dit stond als zodanig verkeerd geregistreerd in het bron systeem. Bij aansluiting met het personeelssysteem bleek ook hier dat niet alle examinatoren in het personeelsbestand waren opgenomen. Op basis van de bevindingen zijn een aantal acties gedefinieerd om de gegevens na de conversie te schonen. Hiervoor is een additionele data-analyse uitgevoerd om de schoning te toetsen.


60


Algemene Inkoop en Distributie Onderneming: Preventieve controle betrouwbaarheid secundaire registratie De hieronder beschreven casussen van de Algemene Inkoop en Distributie Onderneming (hierna: AIDO) is geanonimiseerd.

Casusbeschrijving AIDO is te kenmerken als een handelsonderneming. Zij heeft een aantal grote distributiecentra in Nederland waar vanuit geleverd wordt naar klanten. Van oudsher bestaat de organisatie voor het primaire proces uit twee delen, te weten: (1) de inkoop en logistieke organisatie en (2) de verkooporganisatie. Voor deze casus richten wij ons enkel op de inkoop en logistieke organisatie. De organisatie van AIDO is (ondermeer) onder te verdelen in: • afdeling logistiek die verantwoordelijk is voor het ontvangen en uitleveren van goederen in een distributiecentrum; • afdeling administratie die verantwoordelijk is voor de financiële afhandeling van de inkooporder en de ontvangst van de goederen; • afdeling contractbeheer is verantwoordelijk voor het onderhouden en afwikkelen van inkoopcontracten. Dit houdt ondermeer in dat geregistreerd moet worden welke aantallen en inkoopwaarden zijn afgenomen bij elke individuele leverancier; • afdeling prijsbeheer is verantwoordelijk voor het bijhouden van de stamgegevens van de gevoerde artikelen. Dit houdt ondermeer in dat de juiste prijs aan het juiste artikel per leverancier gekoppeld dient te worden. De logistieke organisatie levert gegevens van de fysieke ontvangsten aan afdeling administratie en afdeling inkoop. Afdeling prijsbeheer levert aan de afdeling administratie en afdeling inkoop de prijzen van de artikelen. Door middel van het combineren van aantallen en prijzen kan de totale inkoopwaarde berekend worden. Beide afdelingen hebben de beschikking over hun eigen registratie waarin zij de ontvangsten van goederen op het distributiecentrum van leveranciers bijhouden. Met andere woorden, voor het registreren van de ontvangsten van goederen worden twee verschillende logica’s (applicaties) gebruikt om de inkoopwaarde te berekenen. Met andere woorden, de betekenis van de gegevens in beide applicaties dient gelijk te zijn. Door de afdeling administratie wordt, bij binnenkomst van de factuur, de berekende factuur vergeleken met de werkelijke factuur. De geconstateerde verschillen worden vervolgens doorgezet naar de registratie van de afdeling inkoop. De afdeling inkoop controleert de stand van hun registratie in hoofdlijnen (bijvoorbeeld per leverancier per periode) met de registratie van afdeling administratie.


61


De IT architectuur van deze organisatie kenmerkt zich door het gebruik van vele verschillende applicaties binnen de verschillende processen en het gebruik van ‘middleware’ om gegevens tussen applicaties beschikbaar te maken. Veel applicaties zijn intern ontwikkeld met uitzondering van het systeem voor ‘warehousemanagement’ en de applicatie voor het beheren van de stamgegevens van de artikelen. De volledigheid en juistheid van de interfaces wordt door de afdeling IT gewaarborgd door het beoordelen van verwerkingsverslagen en foutrapportages (uitvallijsten). Het informatielandschap is opgenomen in figuur 10. Goederen Leverancier

Logistieke informatie (aantallen)

Logistieke informatie (aantallen) Distributie centrum

Aanvullende gegevens Inkoopregistratie

Prijs informatie

Factuur Financiële registratie

Stamregister

Prijs informatie

producten

Figuur 10: Informatie stroom fysieke en logistieke gegevens

Relevantie informatie-integriteit Het concept informatie-integriteit is relevant voor deze casus door het feit dat beide systemen een grote invloed hebben op de juistheid en volledigheid van de resultaten van de onderneming. Een eerste vraag die gesteld is of de basis van de berekening van de schaduwfacturen in beide systemen goed is. Dit is echter meer een zaak van data-integriteit. Een tweede onderzoeksvraag bij deze opdracht is of de werkelijke facturen aansluiten met de berekende inkoopwaarden in de applicatie waar de inkoopberekeningen plaatsvinden. De factuurgegevens zijn inherent anders qua structuur dan de gegevens die in applicatie zijn geregistreerd op de afdeling inkoop. Zo kunnen meerdere facturen (bijvoorbeeld een reguliere factuur en een correctiefactuur) betrekking hebben op dezelfde levering. Door de gegevens in de applicatie van de afdeling inkoop te vergelijken met de werkelijke facturen krijgt men een beeld van de externe betrouwbaarheid van de gegevens in deze applicatie.


62


Doelstelling van onderzoek AIDO had behoefte aan een aansluiting tussen de registraties van de afdeling administratie en de afdeling inkoop, waarbij op het niveau van de individuele factuur en / of individuele levering een vergelijking kan worden gemaakt. Ten eerste dient de basis van de berekende inkoopwaarde in beginsel gelijk te zijn. Ten tweede was de vraag hoe de geregistreerde inkoopwaarden van de afdeling inkoop zich verhouden tot de geregistreerde facturen van afdeling administratie. De volgende typen fouten werden door onze analyse onderkend: • afwijkende berekende inkoopwaarde; • afwijkende factuurwaarde; • afwijkende geregistreerde aantallen; • sterk fluctuerende eenheidsprijzen. De rapportage van het onderzoek vond plaats in de vorm van een rapport van bevindingen. Het rapport is overlegd aan de accountant als input voor zijn risicoanalyse om de benodigde controlewerkzaamheden te beperken.

Aanpak van onderzoek Het onderzoek richtte zich in feite op de consistentie van data tussen de systemen én de verschillen die daarbij optraden. Verschillen die zijn geconstateerd hadden ondermeer de volgende oorzaken: • afwijkende wijze van verwerking van bepaalde soorten transacties tussen beide registraties; • interfaces die niet volledig de informatie verwerken; • onvolledige verwerking van gegevens door de beide registraties; • onjuiste procedurele verwerking van gegevens door de afdeling administratie waarbij geen noodzaak is om de inkoopfactuur te koppelen met de juiste ontvangst. Met behulp van onze data-analyse tools,. zoals ACL en IDEA, konden wij in relatief korte tijd een prototype maken van een model voor het aansluiten van de gegevens. Tevens konden wij een aansluiting maken op een lager detailniveau dan de organisatie in staat was.

Resultaten van onderzoek Het onderzoek heeft de volgende resultaten behaald: • meer vertrouwen binnen de organisatie dat er geen relevante verschillen zijn tussen beide registraties en meer inzicht in de verschillen die zijn waargenomen; • de oorzaak van verschillen tussen beide registraties sneller bepaald kon worden; • bestaande verschillen verder verkleind konden worden; • verbetering in de logica van registratie van de afdeling inkoop.


63


Gedurende twee jaar hebben wij maandelijks deze analyses voor AIDO verzorgd. Na twee jaar is besloten om de analyses over te dragen aan de organisatie. Binnen de periode van twee jaar hebben wij onze analyses kunnen verfijnen. Er kan gesteld worden dat de analyses ‘volwassen’ geworden. Het werd echter steeds meer duidelijk dat de wij, als externe partij, specifieke operationele kennis ontbraken om de effectiviteit van de analyses verder optimaal te benutten.


64


Algemene Inkoop en Distributie Onderneming: Detectieve controle betrouwbaarheid implementatie factuurcontrole applicatie De hieronder beschreven casussen van de Algemene Inkoop en Distributie Onderneming (hierna: AIDO) is geanonimiseerd. Het betreft dezelfde onderneming als in casus 3.

Casusbeschrijving Voor het verwerken van de facturen, ontvangsten en uitleveringen van goederen in de financiële administratie wordt gebruik gemaakt van applicatie A. Applicatie A zet de logistieke gegevens om in financiële gegevens die verwerkt kunnen worden in de financiële administratie. Tevens worden in applicatie A de facturen van de leverancier gekoppeld met de berekende schaduwfacturen. De volgende (fysieke) stromen worden door applicatie A afgehandeld: • ontvangsten van leveranciers; • retouren aan leveranciers; • uitval, afval en correcties van het distributiecentrum; • mutaties van prijzen van artikelen; • leveringen aan klanten; • retouren van klanten; • ontvangst van factuur van de leverancier. Applicatie A levert financiële gegevens aan drie financiële registraties, te weten: (1) het financiële grootboek, (2) crediteurenregistratie en (3) debiteurenregistratie. Al deze financiële systemen moeten gevoed worden met de juiste informatie van de genoemde fysieke stromen. Het informatielandschap is opgenomen in figuur 11.

Factuur leverancier

Debiteurenregistratie

Logistieke informatie (aantallen) Applicatie A

Financieel grootboek

Klantregister

Artikelinformatie

Crediteurenregistratie

Figuur 11: Informatiestromen van applicatie A


65


Applicatie A draait op een mainframe. Kennis van applicatie A binnen de organisatie is beperkt. De beschikbaarheid van kennis en mensen wat betreft het technisch platform was eveneens beperkt. Tevens was de ondersteuning van de leverancier van de hardware van het mainframe niet meer gegarandeerd. Organisatie Y heeft daarom besloten om de functionaliteit van applicatie A over te zetten naar een nieuwe applicatie B dat op het UNIX platform draait. Voor het ontwikkelen van applicatie B heeft organisatie Y een project organisatie opgezet. De projectleider was afkomstig vanuit de logistieke deel van organisatie. Binnen organisatie Y maakt de logistieke afdeling onderdeel van het primaire proces. De afdeling administratie, welke verantwoordelijk is voor het registeren en verwerken van financiële gegevens, is een ondersteunend proces. De ontwikkeling en implementatie van applicatie B werd verricht door een team van functionele architecten en ontwikkelaars. Een teamlid van het project was full-time verantwoordelijk voor de testwerkzaamheden. Het projectteam was ook verantwoordelijk voor de training van gebruikers, het opstellen van nieuwe rapportages en het opstellen van functionele en technische documentatie. Binnen de gehele IT organisatie was volledige en juiste documentatie van verschillende applicaties en interfaces moeilijk te vinden. Tevens was de kennis van de meer verouderde applicaties niet meer binnen de (IT) organisatie aanwezig. De operationele overgang van applicatie A naar applicatie B was niet onomkeerbaar. Voor prijswijzigingen van de voorraad wordt in applicatie B de standen van de voorraad bijgehouden. Applicatie A en B gebruiken afwijkende (zie hieronder) rekenregels voor het omzetten van logistieke gegevens naar financiële gegevens. Zodra applicatie B de verwerking van logistieke informatie heeft overgenomen, zou applicatie A niet meer in staat zijn om de gegevens integer te verwerken in het geval van een calamiteit. Voor de vertaling van de logistieke gegevens naar financiële gegevens heeft AIDO de keuze gemaakt om de opzet van deze vertaling te wijzigen. Voor applicatie B werd de zogenaamde boekingsmatrix ontwikkeld. In deze matrix was gedefinieerd hoe een logistieke transactie vertaald moest worden naar een financiële transactie. Een voorbeeld van een dergelijk matrix is opgenomen in tabel 12.


66


Tabel 12: Voorbeeld boekingsmatrix voor vertaling logistieke informatie Logistieke

Artikelelement

Grootboekcode

transactiecode Ontvangst in DC

Grootboek

Debet / Credit

omschrijving Bruto inkoopwaarde

300000

Voorraad

Debet

200000

Nog te ontvangen

Credit

facturen Statiegeld

310000

Voorraad

Debet

emballage 200000

Nog te ontvangen

Credit

facturen Herwaardering

300000

Voorraad

Debet

900000

Resultaat

Credit

herwaardering

De oplettende lezer zal opvallen dat de herwaardering van statiegeld niet is gedefinieerd. De organisatie heeft er voor gekozen, omdat de veranderingen in de waarde van het statiegeld per artikel slechts zéér zelden voorkomt, dit handmatig te verwerken in de financiële registratie. De logistieke transactiecode en artikelelement zijn een stuurgegeven en zijn te beschouwen als stuurelementen. Op basis van input van het DC (aantal van een bepaald artikelnummer) worden door middel van stuurgegevens de conversie van logistieke gegevens gereguleerd (gestuurd). De logistieke transactiecode is bijvoorbeeld afkomstig uit het distributiecentrum en het artikelelement uit het artikelregister. Binnen de gehele matrix zijn nog meer stuurgegevens aanwezig zoals klantelement of kostenplaatselement (beiden uit het klantregister) afhankelijk van de stroom voor wat de gegevens gegenereerd wordt. Dit impliceert een juiste inrichting van de verschillende stuurelementen om tot een juiste samenhang van de financiële informatie te komen. Tijdens het onderzoek hebben wij de waarneming gedaan dat er geen (makkelijke) scheiding was te maken tussen automatische boekingen (door applicatie A én B) en handmatige boekingen (door de afdeling administratie). Onze aanbeveling was om direct de grootboeken waarop automatisch werd geboekt door applicatie B te sluiten voor handmatige transacties door de afdeling administratie. Door het scheiden van de automatische en handmatige, kunnen mogelijke fouten in de automatische verwerking van gegevens sneller opgespoord worden en makkelijker herstelt.

Relevantie informatie-integriteit In deze casus kunnen we wederom een data-integriteit component scheiden van de informatieintegriteit component. Applicatie B levert financiële gegevens aan drie verschillende registraties. Het leveren van deze gegevens dient juist, volledig en tijdig te zijn. Dit is echter het domein van data-integriteit De inhoud van deze drie stromen met financiële gegevens dient onderling met elkaar in overeenstemming te zijn. De vraag die tevens aan ons gesteld is, of de vertaling van logistieke


67


informatie naar financiële informatie juist is. Juist deze samenhang en vertaling betreffen het domein van informatie-integriteit. De kernvraag die hier gesteld wordt is of de logistieke transactie een juiste koppeling heeft met een financiële transactie binnen de informatieketen. Zo is bijvoorbeeld in het onderzoek vastgesteld dat enkele logistieke transacties in een distributiecentrum niet werden uitgevoerd conform de richtlijnen. Dit leidde tot een verkeerde vertaling naar een financiële transactie. Het concept informatie-integriteit is hier vooral bruikbaar omdat er sprake is van twee werelden binnen de organisatie, te weten (1) de logistieke wereld en (2) de financiële wereld, waarbij de financiële wereld binnen de onderneming secundair functioneert (volgt) ten opzichte van de logistieke wereld. De externe betrouwbaarheid van informatie is daarmee moeilijker te beheersen dan in organisaties waarin beide werelden meer in evenwicht zijn.

Doelstelling van onderzoek Het onderzoek had de volgende doelstellingen: • waarborging van de implementatie van applicatie B vanuit het oogpunt en belangen (juiste, volledige en tijdige vertaling van logistieke gegevens naar financiële gegevens) van de afdeling Administratie; • onderzoek naar de volledigheid en juistheid van de interface van het logistieke systeem naar applicatie B; • onderzoek naar de volledigheid en juistheid van de interface van applicatie B naar de drie financiële registraties; • onderzoek naar de onderliggende consistentie van de gegevens bestemd voor de drie financiële registraties (financiële grootboek, debiteurenregistratie en crediteurenregistratie).

Aanpak van onderzoek De volgende stappen zijn in het onderzoek gehanteerd: • het identificeren van juiste gegevensstromen die bij de implementatie van applicatie B van belang zijn; • opvragen van gegevens van de relevante gegevensstromen; • inzicht verkrijgen in de opbouw van de verschillende gegevensstromen; • bepalen van de soll-situatie van de boekhoudkundige verhoudingen binnen de gegevensstromen; • aansluiten van de gegevens van de verschillende interfaces; • analyse naar de consistentie van de gegevens om de mate van samenhang te kunnen beoordelen; • analyse naar de boekhoudkundige verhoudingen binnen de gegevens.


68


Resultaten van onderzoek Het onderzoek dat wij hebben uitgevoerd heeft geleid tot de volgende resultaten: • aanvullende zekerheid dat Applicatie B op een beheerste wijze in productie genomen; • een grotere stem voor de afdeling Administratie bij de acceptatie van applicatie B; • verschillende tekortkomingen met gevolgen voor de volledige, juiste en tijdige registratie van financiële feiten voor de financiële administratie zijn voor het in productie nemen geïdentificeerd en bij het project team neergelegd; • een vervolgonderzoek naar de koppeling van de logistieke processen en transacties met de financiële boekingsgangen. Naar aanleiding van dit eerste onderzoek is gebleken dat op de afdeling Administratie er weinig kennis was van de vertaling van logistieke gebeurtenissen naar de wijze waarop dit werd verwerkt in de administratie. Hieruit blijkt dat om informatie-integriteit aan te tonen er ook onderzoek gedaan dient te worden naar de samenhang en werking van procedures en de koppeling van deze procedures naar het systeem toe.


69


Algemene Communicatie Onderneming: Correctieve analyse van facturen De hieronder beschreven casussen van de Algemene Inkoop en Distributie Onderneming (hierna: ACO) is geanonimiseerd.

Relevantie informatie-integriteit In deze casus draait het juist om het gebrek aan data en daarmee data-integriteit. De gegevens van de achterliggende applicaties die leiden tot de factuur zijn niet (voor een langere periode) beschikbaar. Door het inlezen van fysieke facturen kan men enkele informatie elementen van de gegevens die hebben geleid tot de factuur reconstrueren. Op basis van methode is een data set opgebouwd van alle facturen. Door op basis van deze data set een risicoanalyse toe te passen konden verschillende groepen facturen worden geconstrueerd. Deze groepen werden vervolgens apart verwerkt en beoordeeld. De klant heeft zelf in haar systemen deze groepen van klanten nader beoordeeld en uitgezocht. Na de terugkoppeling van de onderzoekswerkzaamheden van de klant zijn de resultaten samengevoegd in een rapportage om een totaal beeld te krijgen van de juiste opbouw van de factuur. Deze rapportage is vervolgens aangeboden aan de toezichthouder. Het concept van informatie-integriteit is in deze casus terug te vinden in het feit dat de factuur de externe waarheid betreft. Wanneer deze factuur mogelijk onjuistheden bevat is de externe betrouwbaarheid hiervan niet aanwezig. In dergelijke situaties zou men vanuit een analytisch oogpunt teruggaan naar de bron. Gegeven het gebrek aan gegevens uit de bron was dit niet mogelijk. Door een combinatie van risicoanalyse en synthese van externe gegevensbronnen is de betrouwbaarheid en nauwkeurigheid berekend van de facturen in de data set.

Casusbeschrijving ACO is een leverancier van communicatie diensten. Op de markt waarin ACO opereert is een aantal spelers actief, die als zeer concurrerend zijn te kenmerken. De markt is gereguleerd en wordt gecontroleerd door een toezichthouder. De organisatie verkoopt meerdere diensten op de markt. Een belangrijk element van de strategie van de onderneming is de prijsstelling van de dienstverlening. De toezichthouder van de markt vereist dat voor de geleverde producten ‘redelijke’ prijzen worden gehanteerd. De prijzen dienen zowel voor de klanten als de concurrenten op de markt redelijk te zijn. Een aantal jaren terug heeft de organisatie een nieuwe dienst in de markt gezet. In figuur 12 is het (versimpelde) proces weergegeven dat wordt gebruikt voor facturering van de geleverde diensten:


70


Registratie verbruik diensten

Verzamelen detailgegevens

Berekenen factuur

Printen factuur

Figuur 12: Informatiestroom factureringsproces

Detailgegevens van de geleverde diensten worden binnen de organisatie beperkt bewaard. Na het verzamelen van de detailgegevens van de verbruiken zijn deze gegevens niet meer beschikbaar. Nadat de detailgegevens verzameld zijn, wordt de uiteindelijke factuur berekend op basis van het klantspecifieke contract en worden de gegevens van de verbruiken verrijkt met stamgegevens (zoals adres van de klant). Nadat de factuur berekend is, wordt de factuur naar de printstraat gestuurd. Bij de printstraat wordt de factuur fysiek geprint en verstuurd. De printstraat betreft een externe partij. Deze externe partij bewaart alle aangeleverde gegevens (print files) voor langere tijd. Deze externe partij kan daarom als relatief onafhankelijk worden beschouwd. De print files zijn vervolgens te gebruiken voor het reconstrueren van de data door deze toegankelijk te maken. Op de factuur worden de totale verbruiken per verbruikscategorie genoemd, alsmede verschillende typen adresgegevens en abonnementgegevens. De analyses zijn uitgevoerd over enkele jaren. In deze jaren is de opbouw van de facturen een aantal maal gewijzigd. Op basis van de factuur was het niet mogelijk om een definitieve uitspraak te doen of een factuur ook daadwerkelijk goed of fout was. Niet alle relevante gegevens voor de herberekening waren feitelijk aanwezig. Het is wel mogelijk om een scheiding te maken tussen de ‘opvallende’ en ‘niet-opvallende’ facturen. Met deze scheiding was het de bedoeling om met een beperkte set van ‘opvallende’ facturen handmatig vast te stellen wat de juiste factuurprijs had moeten zijn.


71


Doelstelling van onderzoek Uit intern onderzoek van ACO is gebleken dat in de eerste jaren in het aanbieden van de dienst het berekenen van de factuur niet alle gevallen juist is verricht. In sommige gevallen was het mogelijk dat er te weinig in rekening is gebracht. Hierdoor was mogelijk de marktwerking in het geding gekomen. Uit een steekproef bleek dat per individuele waren de verschillen beperkt waren, maar dat op macro niveau er mogelijk een relevant verschil zou optreden. De berekening van de factuur was niet juist in het geval er meerdere vestigingen van de klant betrokken waren . In slechts specifieke gevallen mag bij een nevenvestiging een lagere eenheidsprijs worden gehanteerd. De lagere eenheidsprijs werd vaker gebruikt dan waar de klanten destijds contractueel verplicht was om te betalen. ACO was bezorgd dat de toezichthouder maatregelen zou treffen die zeer nadelige gevolgen zou kunnen hebben. Het doel van het onderzoek was om tot een uitspraak te komen voor welk bedrag er te weinig is gefactureerd. Door een extern onderzoeksbureau in te schakelen om dit onderzoek te doen, hoopt ACO de gevolgen van de maatregelen van de toezichthouder te beperken.

Aanpak van onderzoek Het onderzoek heeft zich gericht op het herberekenen van de factuur op basis van de opgenomen verbruiksgegevens en klantgegevens. Op basis van deze herberekening is men in staat geweest om de orde van grootte van het te weinig of te veel gefactureerde bedrag te bepalen. De volgende stappen zijn in het onderzoek gehanteerd: • probleemstelling en de beschrijving van het facturatie proces; • verzamelen van data set; • verwerken van de gegevens in de data set; • valideren van de gegevens van de data set; • verwerken van de gegevens in de data set tot informatie; • valideren van de consistentie van de informatie; • vaststellen rekenregels voor herberekening factuur; • verwerken van de informatie tot onderzoeksresultaten. De volgende factoren hebben bijgedragen aan de (technische) complexiteit van het onderzoek: • de opzet en de resultaten van het onderzoek moest door ACO en de toezichthouder goedgekeurd worden; • de gegevens moesten minimaal teruggaan naar de introductie van de nieuwe dienst; • voor zover mogelijk moesten de gegevens afkomstig zijn van een onafhankelijke bron om de validiteit van het onderzoek te vergroten; • het betreft een zéér grote set aan data dat geanalyseerd diende te worden. Doorlooptijd van het onderzoek en afstemming van de vorm van de deliverables en de tussentijdse resultaten is een zeer grote uitdaging;


72


•

de factuur niet in alle gevallen alle benodigde gegevenselementen om tot een exacte bepaling van de factuurprijs te kunnen komen. Dit leidde tot het definiëren van zogenaamde gladde en niet-gladde gevallen. (Starreveld et al, 1997, pag. 152)

Verzamelen van data set Als basis van de gegevens is er voor gekozen om de daadwerkelijke (digitale) factuur te gebruiken voor de herberekening. Bij de externe partij die de facturen fysiek geprint heeft zijn voor alle betreffende jaren de digitale facturen opgevraagd. Door het gebruik van data mining technieken is het mogelijk om de digitale facturen om te zetten in gestructureerde informatie. Een andere benaming hiervoor is het ‘plat slaan’ van data. Verwerken van de gegevens in de data set Het verwerken van de gegevens van de data set hield in dat enkel de relevante facturen uit de gehele set van gegevens zijn gehaald. Van de printstraat hebben wij alle facturen van ACO gekregen. Het onderzoek spitste zich op echter op één specifieke dienst die gedurende bepaalde tijd is verkocht. Valideren van de gegevens in de data set Het valideren van de gegevens in de data set is uitgevoerd door in de gegevens het aantal facturen en klanten. Deze aantallen zijn vervolgens bevestigd bij organisatie Z. Verwerken van de gegevens in de data set tot informatie Door middel van data mining technieken is de relevante data in de digitale facturen verwerkt tot informatie, dat beschikbaar was in een gestructureerde informatie vorm. Met deze gegevens was het mogelijk om berekeningen uit te voeren. Valideren van de consistentie van de informatie Omdat er data mining technieken zijn toegepast was het valideren van de informatie van groot belang. Binnen de factuur waren er detailgegevens beschikbaar van het verbruik, evenals totalen. Deze gegevens dienen aan te sluiten. Facturen waarop verschillen zijn geconstateerd zijn verder opgelost, zijn aanvullende gegevens voor opgevraagd of buiten de uiteindelijke set van gegevens gehouden. De uiteindelijke uitval was zéér beperkt. Vaststellen rekenregels voor herberekening factuur Op basis van rekenregels wordt bepaald welke facturen als ‘opvallend’ worden gekenmerkt. Het vaststellen van deze rekenregels is in samenwerking met ACO tot stand gekomen. Tevens zijn de uiteindelijke rekenregels ter goedkeuring aan de toezichthouder aangeboden. Verwerken van de informatie tot onderzoeksresultaten Aan ACO hebben wij een lijst van ‘opvallende’ facturen aangeleverd, waarvoor zij een nadere verklaring moesten geven.


73


Resultaten van onderzoek Het onderzoek heeft geleid tot de volgende resultaten: • de wijze van herberekening door middel van data mining is zeer bewerkbaar; • indien historische gegevens in een ‘plattere’ vorm beschikbaar waren geweest het besef dat er minder inspanning nodig zal zijn om de uitgevoerde analyse te verrichten; • een proactieve houding van ACO naar de toezichthouder wat betreft het naleven van de regels voor een goede marktwerking.


74

De rol van data-analyse bij het beoordelen van informatie-integriteit

Recommend Documents