Hoe kan Continuous Controls Monitoring (CCM) het evaluatieproces van beheersingsmaatregelen (interne controls ) ondersteunen?

IT Audit afstudeerscriptie aan de Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) van de Vrije Universiteit Amsterdam

Hoe kan ‘Continuous Controls Monitoring’ (CCM) het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) ondersteunen? Ruiz Lie-Kwie Sven Joosten 31 Maart 2010

1

Titelblad Hoofdvraag:

Opleiding:

Hoe kan ‘Continuous Controls Monitoring’(CCM) het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) ondersteunen? Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) van de Vrije Universiteit Amsterdam Postgraduate IT Audit

Teamnummer:

1024

Auteur 1: Studentnummer: Telefoon: Email:

R.R. Lie-Kwie 1689924 +31(0)6 21252463 [email protected]

Auteur 2: Studentnummer: Telefoon: Email:

S.W.M. Joosten 1788035 +31(0)6 28781634 [email protected]

Datum: Plaats: Versie:

7 april 2010 Amsterdam Definitief

Instelling:

Afstudeerbegeleider VU: Bart van Staveren RE Telefoon: 06 52464164 Email: [email protected]

Afstudeerbegeleider Ernst & Young: Drs. T Buffing RA RE Telefoon: 06 21252186 Email: [email protected] 2

Inhoudsopgave 1. 1.1

Inleiding Aanleiding 1.1.1 Relevantie met IT Audit vakgebied 1.2 Probleemstelling 1.2.1 Doelstelling 1.2.2 Centrale vraagstelling 1.2.3 Deelvragen 1.2.4 Afbakening 1.2.5 Opzet en onderzoeksaanpak 1.2.6 Leeswijzer

6 6 7 8 8 8 8 8 8 9

2. 2.1

Theoretisch kader: ‘Continuous Controls Monitoring’ Definities van ‘Continuous Controls Monitoring’ 2.1.1 Analyse van definities 2.2 ‘Continuous Controls Monitoring’ concepten 2.2.1 Belangrijke aspecten

10 10 11 13 15

3. 3.1 3.2 3.3

19 19 21 22

Control evaluatie principes Aanpak testen werking van controls Rol van CCM Invloed op de mate van zekerheid

4. 4.1

Positionering CCM binnen COSO en CCM binnen COBIT Raakvlakken CCM en COSO 4.1.1 Inleiding COSO framework 4.1.2 Monitoring 4.2 Raakvlakken CCM en COBIT 4.2.1 Monitoring

24 24 24 25 27 29

5. 5.1 5.2 5.3

CCM in de praktijk en het effect op de evaluatie van de interne ‘controls’ Inleiding Uitwerking vragen Algemene conclusie interviews

30 30 31 35

6.

Aandachtsgebieden IT auditor

37

7. 7.1

Conclusies, aanbevelingen en vervolgonderzoek Conclusie

40 40

3

7.2 7.3

Aanbeveling Reflectie

41 41

Geraadpleegde literatuur

43

Bijlage A - CA/CCM drivers

45

Bijalge B - Potentiële gebruikers

46

Bijalge C – Stappenplan implementatie CA

47

Bijalge D – Voorbeeld positionering COSO en COBIT binnen CCM

48

4

Voorwoord De Postgraduate IT Audit opleiding aan de Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) van de Vrije Universiteit Amsterdam heeft als doelstelling het opleiden van studenten om (zelfstandig) onafhankelijke en onpartijdige beoordelingen uit te voeren op operationele systemen en systemen in ontwikkeling. De onderzoeksaspecten betreffen bijvoorbeeld de afgesproken kwaliteitsaspecten (enkele voorbeelden zijn: beschikbaarheid, integriteit en vertrouwelijkheid) van de te automatiseren of geautomatiseerde informatiesystemen, de automatiseringsorganisatie en de technische/organisatorische infrastructuur van de geautomatiseerde gegevensverwerking. De actualiteit van het onderwerp en de toenemende vraag binnen organisaties om aantoonbaar ‘in control’ te zijn hebben ons gemotiveerd en geïnteresseerd om ter afsluiting van deze studie een scriptie te schrijven met als onderzoeksvraag: “Hoe kan ‘Continuous Controls Monitoring’(CCM) het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) ondersteunen?” Voor het uitvoeren van dit onderzoek hebben wij een aantal personen uit het bedrijfsleven geïnterviewd. De discussies en verschillende inzichten waren van toegevoegde waarde om een helder beeld over dit onderwerp te vormen. De onderstaande personen willen wij daarom graag bedanken voor hun kennisdeling en medewerking. • Arie Pronk RE RA CISA CAMS – Head of Group Audit Operations ABN AMRO • Dennis Boersen RE – Manager Group Audit & Risk Services bij EUREKO • Matty Pleumeekers RE – Senior IT-Auditor bij Essent • Remco Smith RE- Manager IT Audit bij Ernst & Young • Steven Hartjes RE RA – Partner bij Ernst & Young • Willem Scheeres RE MBA – Senior Business Development bij Ernst & Young Hiernaast willen wij ook van de gelegenheid gebruik maken om onze afstudeerbegeleider Bart van Staveren en onze bedrijfsbegeleider Ton Buffing te bedanken voor hun kennis, begeleiding en motiverende rol gedurende alle fases van onze scriptie. Gezien het feit dat CCM toepassingen populairder worden, maar in de praktijk nauwelijks of niet worden toegepast hebben de theoretische verkenning en toetsing van de theorie aan de praktijksituatie onze kennis en inzicht in het onderwerp vergroot, waardoor wij ons als volwaardige gesprekspartners op dit gebied kunnen beschouwen.

Getekend op 31 maart 2010 te Amsterdam, Ruiz Lie-Kwie Sven Joosten

5

1.

Inleiding

De scriptie die voor u ligt is een uitwerking van onze visie die gebaseerd is op een literatuur- en veldonderzoek en vormt het sluitstuk van de Postgraduate IT Audit opleiding die wij hebben gevolgd aan de FEWEB van de Vrije Universiteit te Amsterdam. Dit eerste hoofdstuk zal de context van het afstudeeronderzoek verduidelijken. Hierin beschrijven wij de Aanleiding (paragraaf 1.1) en de Probleemstelling (paragraaf 1.2).

1.1

Aanleiding

In onze werkervaring (als IT-Auditor) bij Ernst & Young hebben wij geconstateerd dat men in sommige gevallen met behulp van data-analyse oplossingen een effectievere en efficiëntere audit kan neerzetten. De audit kan effectiever zijn omdat men alle uitzonderingen kan identificeren en over de gehele populatie een oordeel kan geven. De audit kan efficiënter zijn omdat men meerdere beheersingsmaatregelen (interne ‘controls’) met een of meerdere data aanlevering(en) kan toetsen. Daarnaast kan men het evaluatie proces middels data-analyse ‘tools’ automatiseren. In de meeste gevallen kan je ook een oordeel geven over ‘controls’ die niet binnen het normenkader vallen, bijvoorbeeld de kwaliteit van het proces/systeem/data, fraude identificeren, correlaties vinden en voorspellingen maken. In de zoektocht naar een geschikt onderwerp hebben wij ons afgevraagd waarom bedrijven en auditors nauwelijks gebruik maken van deze methoden en technieken. ‘Continuous Controls Monitoring’ heeft volgens ons vele raakvlakken met de data-analyse oplossingen. Naast het bovenstaande zijn er nog vijf belangrijke redenen die ervoor hebben gezorgd dat wij voor dit onderwerp hebben gekozen. Deze redenen worden hieronder kort toegelicht: • Binnen hedendaagse organisaties heerst een toenemende behoefte om bedrijfsprocessen effectief en efficiënt in te richten om gestelde bedrijfsdoelstellingen te behalen. Enkele voorbeelden zijn de implementatie van Electronic Data Interchange (EDI) onder andere in de Transport sector en recent de implementatie van het ‘Single Euro Payments Area’ (SEPA1) in de Financiële sector. Zelfs in de non-profit sector , bijvoorbeeld ziekenhuizen met de implementatie van Diagnosebehandelingcombinatie (DBC2) en het Electronisch patiëntendossier (EPD), zie je dat men middels veranderingsprocessen efficiënter en effectiever wil werken/inrichten om bedrijfsdoelstellingen te realiseren. • Door technologische ontwikkelingen op het gebied van onder andere internet3, ERP4 applicaties, ‘integrated information systems’, netwerken en databases zijn organisaties steeds sneller in staat om bedrijfsprocessen, effectiever en efficiënter in te richten. Door deze ontwikkelingen zijn processen meer gestandaardiseerd in geautomatiseerde omgevingen en zijn er steeds meer ‘controls’ geïmplementeerd die als parameters gezien moeten worden. • Interne en externe nadruk op de evaluatie en beheersing van de interne ‘controls’. Door boekhoudschandalen bij onder andere Enron5 zijn wetten en regelgeving op het gebied van 1

http://www.sepanl.nl/ http://www.minvws.nl/ 3 World Wide Web (www) 4 Enterprise Resource Planning 5 http://www.enron.com/ 2

6

•

•

‘Corporate Governance’ (SOx6, SAS707) aangescherpt. Ook spelen aandeelhouders een belangrijke rol doordat zij hun eisen op het gebied van continue zekerheid, meer transparantie en continue verantwoording opleggen aan het management. De kosten8 om te voldoen aan de aangescherpte wetgeving op het gebied van ‘compliancy’, bijvoorbeeld de ‘Office of Foreign Assets Control’ (OFAC), SOx, Basel II9 en Solvency II10 wetgeving, zijn enorm gestegen. Enkele grote banken hebben hoge boetes opgelegd gekregen, omdat zij sanctiewetgeving overtraden. In een persbericht heeft een topbestuurder het volgende gezegd: "De toezichthouders hebben ons hierop terecht aangesproken. We hebben eerder dit jaar uitgebreide maatregelen getroffen om de tekortkomingen grondig recht te zetten. Het verder verbeteren van onze compliance functie heeft de hoogste prioriteit binnen de bank"11. Daarnaast is de evaluatie van de interne controle een essentieel onderdeel van de jaarrekeningcontrole en jaarlijks besteden de meeste organisaties en accountancy kantoren veel tijd en geld hieraan. Tot op heden hebben auditors de keuze voor een procesmatige- of gegevensgerichte controle aanpak. Wij zijn van mening dat wanneer organisaties gebruik maken van CCM, auditors een effectievere en efficiëntere audit aanpak kunnen neerzetten.

Kortom, door de actualiteit van het onderwerp en onze persoonlijke interesse is besloten om in onze afstudeerscriptie nader in te gaan op ‘Continuous Controls Monitoring’. Het toetsen van controls op continue basis wordt ‘Continuous Controls Monitoring’ genoemd. 1.1.1 Relevantie met IT Audit vakgebied In de jaren tachtig werd het begrip ‘Continuous Audit’ geïntroduceerd in de academische wereld. Hierna werd het begrip ‘Computer Assisted Audit Techniques’ (CAAT’s) veelvuldig gebruikt als onderdeel van de accountantscontrole. De rol van CAAT’s was toen vooral het ondersteunen van de gegevensgerichte elementen van de controle. Door de jaren heen is deze insteek van controle door verscheidene ontwikkelingen veranderd. Tegenwoordig maakt men gebruik van dataanalyse en ‘monitoring tools’ binnen de controle. In de nabije toekomst zal steeds meer gesproken worden over ‘Continuous Controls Monitoring’ en over ‘Continuous Auditing’. Al deze ontwikkelingen binnen het vakgebied hebben gezorgd voor een effectievere en efficiëntere aanpak van de controle. Naast de IT-Auditor bestaat de primaire doelgroep voor deze scriptie onder andere uit: • Auditors, bijvoorbeeld financiële- en operationele auditors • Gebruikers, bijvoorbeeld Controllers, IT-, Proces- en Businessunit managers • Sponsors, bijvoorbeeld Chief Financial Officers (CFO) en Chief Information Officers (CIO)

6

http://www.sarbanes-oxley.com http://www.sas70.com 8 Eye on ICT digitale nieuwsbrief, jaargang 5, nummer 2 februari 2008 9 http://www.bis.org/publ/bcbsca.htm 10 http://www.dnb.nl/openboek/extern/id/nl/vz/40-169553.html 11 http://www.group.abnamro.com/pressroom/pressreleasedetail.cfm?ReleaseID=278325 7

7

1.2

Probleemstelling

1.2.1 Doelstelling De doelstelling van dit onderzoek is om inzichtelijk te maken in de wijze waarop ‘Continuous Controls Monitoring’ kan bijdragen aan een effectievere en efficiëntere evaluatie van interne controles. 1.2.2 Centrale vraagstelling Op basis van het bovenstaande komen wij tot de volgende centrale onderzoeksvraag: “Hoe kan ‘Continuous Controls Monitoring’(CCM) het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) ondersteunen?” 1.2.3 Deelvragen Om de hoofdvraag te kunnen beantwoorden, hebben wij de volgende deelvragen geformuleerd: 1 Wat wordt verstaan onder CCM en welke concepten liggen hieraan ten grondslag? 2 Wat wordt verstaan onder interne ‘control’ evaluatie en welke concepten liggen ten grondslag hieraan? 3 Waar kan men CCM positioneren binnen de frameworks COSO en COBIT? 4 Hoe en wanneer kan CCM een toegevoegde waarde leveren aan de evaluatie van interne ‘controls’? 5 Op welke wijze wordt CCM in de praktijk toegepast en wat is het effect op de evaluatie van de interne ‘controls’? 6 Gegeven de bevindingen, welke rol heeft de IT- auditor ten aanzien het beoordelen van een CCM omgeving? 1.2.4 Afbakening Bij uitvoering van dit onderzoek hebben wij de volgende onderzoeksgrenzen gehanteerd: • Om de verschillen tussen de conventionele- en CCM aanpak expliciet te belichten, richt dit onderzoek zich op organisaties die redelijk veel ervaring hebben op het gebied van interne ‘control’ evaluatie. • Daarnaast wordt in deze scriptie beperkt ingegaan op de risico analyse (risk management) die vooraf aan de ‘control’ evaluatie plaatsvindt. Het aspect risico analyse heeft invloed op de ‘control’ omgeving, maar is te complex om in dit onderzoek uitvoerig erop in te gaan. • Op basis van de literatuur zien wij CCM uitsluitend als een management tool. Dit wil zeggen dat het management verantwoordelijk is voor de toepassing en de beheersing ervan. • Verder beperken wij ons met deze scriptie tot twee frameworks: ‘Committee of Sponsoring Organizations’ (COSO) en ‘Control Objectives for Information and related Technology’ (COBIT). 1.2.5 Opzet en onderzoeksaanpak Het onderzoek bestaat uit een literatuuronderzoek en een veldonderzoek. Bij het literatuuronderzoek gaat het om de begripsbepaling en de (theoretische) modelvorming.

8

In het veldonderzoek hebben wij interviews met interne en externe auditors gehouden om na te gaan hoe CCM het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) kan ondersteunen. Bij de uitvoering van het onderzoek dient onderstaand conceptueel model als basis (zie figuur 1). Hoofdstuk1: aanleiding, probleemstelling inclusief de centrale onderzoeksvraag bijbehorende deelvragen Hoofdstuk 2: CCM concepten Hoofdstuk 3: Control evaluatie principes

Hoofdstuk 4: Positionering van CCM binnen COSO en CCM binnen COBIT Hoofdstuk 5: CCM in de praktijk en het effect op de evaluatie van de interne ‘controls’ Hoofdstuk 6: Perspectief van IT-Auditor Hoofdstuk 7:Conclusies, aanbevelingen en vervolgonderzoek Figuur 1. Conceptueel model bij het onderzoek 1.2.6 Leeswijzer Na een korte toelichting inzake de aanleiding, probleemstelling inclusief de centrale onderzoeksvraag en bijbehorende deelvragen, wordt in hoofdstuk 2 een aantal concepten van CCM beschreven. In hoofdstuk 3 wordt ingegaan op het begrip interne ‘control’ evaluatie en de concepten die hieraan ten grondslag liggen. De positionering van CCM binnen COSO en CCM binnen COBIT wordt in hoofdstuk 4 beschreven. Hoofdstuk 5 gaat in op de toepassing van CCM in de praktijk en het effect op de evaluatie van de interne ‘controls’. In Hoofdstuk 6 gaan we in op de audit-aanpak van een IT-Auditor voor een CCM omgeving (scope). Tot slot geven wij in hoofdstuk 7 onze conclusies weer. Referenties naar literatuur, artikelen en internetsites worden in de tekst dan wel in de voetnoten aangegeven.

9

2.

Theoretisch kader: ‘Continuous Controls Monitoring’

In dit hoofdstuk geven wij antwoord op de eerste deelvraag. Hierin wordt de definitie van CCM uiteen gezet en worden enkele theoretische CCM concepten beschreven.

2.1

Definities van ‘Continuous Controls Monitoring’

De begrippen ‘Continuous Controls Monitoring’, ‘Continuous Assurance’, ‘Continuous Auditing’, ‘Control Monitoring’ en ‘Monitoring’ zijn met elkaar verbonden. Deze begrippen worden in de praktijk vaak door elkaar gebruikt. Om spraakverwarring te voorkomen worden enkele definities hieronder beschreven en worden de raakvlakken toegelicht. Voor de controle op juistheid van de definities hebben wij in ons onderzoek rekening gehouden met de diverse definities die door toezichthouders, interne audit afdelingen, accountancy kantoren, consultancy kantoren en software leveranciers worden gebruikt. Als voorbeeld op de controle op de juiste interpretatie van het begrip ‘Continuous Controls Monitoring’ hebben wij meerdere definities uiteengezet. ‘Continuous Auditing’ (CA) “Providing a continuous or on demand assurance opinion on systems or transactions. A continuous opinion could represent an auditor’s opinion that controls are operating satisfactorily, unless a report is given to the contrary, often referred to as an ‘evergreen’ audit report. An on demand audit opinion could be called for at any time to give an opinion that is not necessarily coterminous with a fiscal year or month-end”12 ‘Continuous Controls Monitoring’ (CCM) “A feedback mechanism, primarily used by management, to ensure that systems operate and transactions are processed as prescribed”13 “Continuous monitoring of controls is a process that management puts in place to ensure that its policies and procedures are adhered to, and that business processes are operating effectively. Continuous monitoring typically involves automated continuous testing of all transactions within a given business process area against a suite of controls rules”14 “Continuous monitoring refers to the process that management puts in place to ensure that the policies, procedures and business processes are operating effectively”15 “Continuous monitoring is an automated process that regularly validates the accuracy and/or validity of transactions to provide ongoing feedback/assurance to management as to the effectiveness of internal controls. The end result of continuous monitoring is to obtain

12

Bron: Information systems control journal, volume 2, 2007 Bron: Information systems control journal, volume 2, 2007 14 www.acl.com 15 www.theiia.org 13

10

information about the performance of a process, system or data, not the insurance of an audit report. As a result, there are key differences”16 ‘Continuous Assurance’ “The collection of audit evidence, by an auditor, on systems and transactions, on a continuous basis through a period. For example, the auditor could extract details of unusually large adjusting journal entries daily for investigation, validate the reasons for the journal and whether it has been approved, and document these findings. The audit ‘file’ of evidence will be built up from these investigations, as will the auditor’s knowledge of what is happening in the business”17 2.1.1 Analyse van definities De samenhang tussen de diverse definities worden hieronder beschreven. Ondanks het feit dat de begrippen in de praktijk door elkaar worden gebruikt, zijn de hoofddoelstellingen: meer transparantie, effectievere en efficiëntere beheersing van risico’s en het kunnen meten van de ‘performance’, gelijk. Zowel ‘Continuous Auditing’ als ‘Continuous Controls Monitoring’ zijn processen die gebeurtenissen (bijvoorbeeld transacties) vergelijken aan de hand van voorgeschreven criteria (normen), afwijkingen constateren en rapporteren. Door de onduidelijkheid over de definities hanteert men in de praktijk ook de meer algemene begrippen ‘Control Monitoring’ en ‘Monitoring’ voor CCM en CA. Verschil ‘Continuous Controls Monitoring’ en ‘Continuous Auditing’ De vier belangrijkste verschillen18 zijn: • “‘Continuous Auditing’ wordt door interne en externe auditors gebruikt als een methode voor het uitvoeren van audits op een meer continue basis, terwijl ‘Continuous Control Monitoring’ door het management wordt gebruikt om de controledoelstellingen te behalen.”19 • De ‘controls’ binnen een CCM omgeving zijn vaker operationele ‘controls’. Bij CA behoren de ‘controls’ bij het auditobject en zijn het meestal ‘key controls’. • De frequentie van testen is bij CCM hoger, meestal ‘real-time’ of per uur/dag/week. In het algemeen geven ‘auditors’ een oordeel over een langere periode. • CCM kan een onderdeel worden van het raamwerk van interne beheersing maar CA niet. CCM oplossingen kan men toepassen als applicatie controles in een systeem waar ze ontbreken. Relatie met ‘Continuous Assurance’ Audit assurance is een uitspraak over de kwaliteit en effectiviteit van controls en de integriteit van de informatie. ‘Continuous Assurance’ is een geïntegreerd proces en hanteert als basis elementen uit zowel ‘Continuous Auditing’ en ‘Continuous Control Monitoring’. Wanneer op het continuous monitoringsproces kan worden gesteund, kunnen auditors het resultaat van ‘Continuous Control Monitoring’ gebruiken om de effectiviteit van het interne controle proces te toetsen. 16

www.isaca.org Information systems control journal, volume 2, 2007 18 2009 CA/CM whitepaper KPMG 19 Scriptie VU Amsterdam: “Continuous monitoring en continuous auditing: continuous solutions?”, J. Jacobs en M. Hoetjes 17

11

“If auditors do their job- verifying controls and risk- and management does their job – develop and monitor controls, and manage risk – the organization will have a higher level of assurance that controls are working, that risks are being managed, and that decision-making information has integrity.”20 Deze raakvlakken tussen de bovenstaande definities worden in onderstaande figuur21 weergegeven:

Figuur 2. Samenhang Continuous Control Monitoring, Continuous Auditing en Continuous Assurance CA en CCM kunnen onafhankelijk van elkaar worden geïmplementeerd. Er is altijd een tegengestelde correlatie tussen de activiteiten die het management moet uitvoeren en de activiteiten die de auditor moet uitvoeren om uiteindelijk het proces meer transparant te maken, het effectiever en efficiënter in te richten, de performance te meten en meer zekerheid te krijgen over het proces. De samenhang wordt in onderstaande figuur22 weergegeven.

20

David A. Richards, CIA, CPA, President, The institute of Internal Auditors, Inc www.theiia.org 22White paper on Continuous Auditing, www.theiia.org 21

12

Management Response

Comprehensive monitoring of internal controls

Little monitoring of controls

Reduced effort

Significant effort / greater resources

Audit Effort

Figuur 3. Samenhang management response en Audit effort bij CCM

2.2

‘Continuous Controls Monitoring’ concepten

In opzet zijn er nauwelijks verschillen tussen CCM en CA concepten. Zowel ‘Continuous Auditing’ als ‘Continuous Control Monitoring’ zijn processen die gebeurtenissen (bijvoorbeeld transacties) vergelijken aan de hand van voorgeschreven criteria (normen), afwijkingen constateren en rapporteren. Hieronder zijn twee concepten aan de hand van algemene voorbeelden uitgewerkt. CCM Concept 123 Het onderstaande model wordt toegelicht aan de hand van een algemeen voorbeeld in een ‘Trading’ omgeving van een bank. In Trading omgevingen zijn de processen/producten complex, de volumes en risico’s zijn hoog en er moet snel worden gehandeld. Hierdoor hebben organisaties ‘monitoring tools’ geïmplementeerd om de processen te bewaken. Op basis van transactie data en ‘business rules’ vinden verschillende analyses plaats. Deze zijn bijvoorbeeld: • controle op functie scheiding • controle op limieten van bedragen en aantallen • aansluitcontrole tussen Front-, Back office en Custodians • statistieken van de hoogte van de posities en de creditrisico’s De reguliere analyses zijn gebaseerd op het interne controle raamwerk van de organisatie. De manager kan met een dashboard een totaal beeld vormen over het proces, eventuele details van transacties inzien en wordt via een ‘alert’ geïnformeerd over afwijkingen. De afwijkingen worden door de manager beoordeeld en hij zorgt ervoor dat de juiste maatregelen worden genomen. Daarnaast kan men op dezelfde of historische data binnen de CCM omgeving ook aanvullende analyses uitvoeren. Deze zijn onder andere de handelaren (werknemers) beoordelen op de kwaliteit van de invoer en het risico profiel van handelaren in kaart brengen, fraude identificeren en knelpunten in het proces identificeren. De manager is uiteindelijk weer verantwoordelijk om de juiste maatregelen te nemen. 23

White paper, Building and Implementing a CCM and Auditing Framework, ACL

13

Figuur 4. Concept 1 CCM en CA CCM Concept 224 Het onderstaande model wordt toegelicht aan de hand van een algemeen voorbeeld in een betaal applicatie van een verzekeraar. In een excasso omgeving zijn de volumes en risico’s hoog en in sommige gevallen moet er snel worden uitgekeerd. Hierdoor hebben organisaties ‘monitoring tools’ geïmplementeerd om de processen te bewaken. Op basis van transactie data en ‘business rules’ vinden verschillende analyses plaats. Deze zijn bijvoorbeeld: • controle op functie scheiding • controle op procuratieregelingen • aansluitcontrole tussen de verschillende administratie • overzicht spoedbetalingen • controle op dubbele facturen • controle op ‘master data’ De reguliere analyses zijn gebaseerd op het interne controle raamwerk van de organisatie. De manager kan met een dashboard een totaal beeld vormen over het proces, eventuele details van transacties inzien en wordt via een ‘alert’ geïnformeerd van afwijkingen. De afwijkingen worden door de manager beoordeeld en hij zorgt ervoor dat de juiste maatregelen worden genomen.

24

Ernst & Young, Continuous Control Concept

14

Figuur 5. Concept 2 CCM en CA Men kan met CCM oplossingen verschillende systemen (met behulp van de data) koppelen en op basis van specifieke ‘business rules’ analyses uitvoeren. Een voorbeeld hiervan is de aansluiting tussen de inkopen, verkopen en grootboek en de medewerkers die op de afdelingen werken. 2.2.1 Belangrijke aspecten Op basis van de twee concepten is hieronder aangegeven wat de belangrijke (deel)aspecten en functionele eisen voor een CCM model zijn hieronder beschreven. 1.Bepalen controls Bepalen van de controls op basis van een geaccepteerde risicocontrole raamwerk (bijvoorbeeld op basis van COSO en COBIT) en informatiebehoefte analyse. In onderstaande figuur25 is aangegeven voor welke typen risico’s CCM geselecteerd kan worden.

25

Ernst & Young, presentatie CCM en Analytics

15

Figuur 6. Positie CCM 2. Bepalen normen De normen (‘business rules’) moeten via het wijzigings-beheerproces (Ontwikkel, test, acceptatie en productie (OTAP)) worden geïmplementeerd. Het definiëren van de normen vergt een andere ‘mind-set’ en in onderstaande figuur26 is dit weergegeven. Een praktijkvoorbeeld is het fiatteren van facturen op basis van functiescheiding (het vier-ogen principe). Bij CCM moet men definiëren dat facturen die niet op basis van functiescheiding worden verwerkt, moeten worden gerapporteerd (uitzonderingen).

Figuur 7. CCM voorbeelden interpretatie van data naar controls

26

Ernst & Young, presentatie CCM en Analytics

16

3.Bepalen van data sets De beschikbaarheid en integriteit waaronder de tijdigheid van de relevante dataset is een aandachtspunt. De organisatie moet in een concrete en eenduidige informatie management raamwerk27 opzetten. De vijf belangrijke aspecten binnen het raamwerk bestaan uit: • ‘Data governance’ structuur Hierin worden de richtlijnen, processen, procedures en standaarden beschreven. • Data kwaliteit Hierin worden de kwaliteitsstandaarden beschreven en worden prestatie-indicatoren opgenomen (‘scorecards’). • ‘Data usage’ In dit deel wordt ingegaan op het gebruik van data binnen de organisatie en op ‘monitoring’ op het gebruik en de effectiviteit van de dienstverlening. • Data management De beschrijving van ‘master data’ en de koppelingen (interfaces) tussen verschillende systemen. Daarnaast moet men aangeven hoe de data kan worden opgehaald (‘data capturing’) • Architecture In dit deel wordt de ‘end-to-end’ stroom van data beschreven. De data opslag, transformaties en rapportages worden ook in dit deel opgenomen. 4. Bepalen van de frequentie van de test Dit aspect hang mede samen met de informatiebehoefte en risico’s. Hoe hoger de risico’s, hoe vaker er zal worden getoetst. 5. Testen/analyseren data Hierbij is het belangrijk dat de performance van het CCM model niet sterk wordt beïnvloed door een grote hoeveelheid data. Tevens speelt de integriteit en vertrouwelijkheid van de data een grote rol bij de analyses. 6. Onderzoeken van fouten/excepties Het is belangrijk om een risico analyse uit te voeren, waarbij men probeert om het totale risico te kwantificeren. Op basis van de risico analyse moet men bepalen welke maatregelen er dienen te worden genomen en of de ‘controls’ en of processen niet moeten worden aangepast (zie figuur 828).

Figuur 8. Relatie tussen ‘controls’ en risico’s

27 28

CFO research services, January 2010 2005 IIA_GTAG, Continuous Auditing:Implications for Assurance, Monitoring, and Risk Assessment

17

7. Identificeren en communiceren (rapporteren) bevindingen aan management Bepalen ‘hoe’ om te gaan met fouten/excepties: Hierbij moet men een classificatie van het risicoprofiel koppelen. 8. Maatregelen treffen Dit betreft ook het (eventueel) aanpassen van het proces of de ’business rules’. Een CCM omgeving moet flexibel zijn. Wijzigingen (bijvoorbeeld datasets, ‘business rules’, rapportages etc.) moeten snel en zonder veel inspanning verwerkt kunnen worden. Met deze aanpak zal CCM niet alleen bijdragen aan efficiency doelstellingen, maar uiteindelijk ook aan de winstgevendheid van de organisatie (zie figuur 929).

Figuur 9. Approva, 2009 Businessgoals CA en CCM

29

Ernst & Young, presentatie CCM en Analytics

18

3.

Control evaluatie principes

In het interne controleraamwerk (algemeen beheersingskader) van organisaties zijn diverse beheersingsmaatregelen geïdentificeerd, die de risico’s waar de bedrijfsvoering aan blootgesteld is mitigeren. Voorbeelden van dergelijke risico’s zijn financiële-, operationele- en compliance risico’s. In dit zogenaamde stelsel van interne beheersingsmaatregelen wordt in de literatuur gesproken over organisatorische -, procedurele - en technische maatregelen. In onderstaande figuur30 zijn de verschillende typen controlemaatregelen (“controls”) schematisch weergegeven.

Type Of Control

Manual

Automated

Prevent

Detect

Objective Of Control Figuur 10. Ernst & Young, Soorten controls Controls kunnen onderverdeeld worden bij hun type – ‘manual’, ‘automated’ of een combinatie van deze twee (‘IT-dependent manual’), of bij hun object – preventie of detectie opsporen van fouten in bijvoorbeeld in de jaarrekening, of het ondersteunen van het functioneren van geautomatiseerde aspecten van zulke controls (IT general controls). We categoriseren controls tussen ‘application controls’, ‘IT-dependent manual controls’, ‘manual controls’ en ‘IT general controls’ (ITGC’s).

3.1

Aanpak testen werking van controls

Bij de traditionele audit komen de auditors slechts een paar keer per jaar langs (zie figuur 1131)bij een organisatie. Hierbij kan het object van onderzoek betrekking hebben op de opzet (uitsluitend ontwerp), bestaan (op een bepaald tijdstip) en/of werking (over een bepaalde periode) van 30 31

Ernst & Young Information systems control journal, volume 2, 2007

19

‘controls’. Aangezien CCM betrekking heeft op de werking van controls hebben wij de testaanpak voor de werking van controls beschreven.

Figuur 11. Effect op controls bij traditionele audit aanpak. Steekproef De statistische steekproef32 is wiskundig en statistisch onderbouwd. Een aantal eisen voor de attributieve steekproef33 waaraan voldaan moet zijn, te weten: - Bepalen van de doelstelling van de audit - Vaststellen van de populatie - Vaststellen van de relevante attributen - Bepalen van de steekproef omvang - Gewenste betrouwbaarheid van de uitspraak - Gewenste tolerantie - Percentage verwachte fouten - Bepalen van de selectiemethode - Uitvoeren van de steekproef - Evalueren van de uitkomst van de steekproef Elk van bovenstaande punten dient onderbouwd te worden. De steekproef is een van de meest betrouwbare methoden om een populatie te beoordelen buiten een volledige controle van de populatie. De werkzaamheden nemen dan ook meer tijd in beslag dan een deelwaarneming.

32

De variabele steekproef is in deze scriptie niet verder uitgewerkt. Voor informatie verwijzen wij graag naar Inleiding EDPauditing, Jan van Praat en Hans Suerink, Hoofdstuk 4.9.3 33 Inleiding EDP-auditing, Jan van Praat en Hans Suerink, 5e druk 1e oplage, november 2004. Hoofdstuk 4.9.3

20

Deelwaarneming Voor een deelwaarneming zijn minder strenge eisen gesteld en wordt een meer “professional judgement” verwacht van de gebruiker. De deelwaarneming wordt uitgevoerd aan de hand van onderstaande tabel. Nature of Controls and Frequency of Performance Meerdere malen per dag Dagelijks34 Wekelijks Maandelijks Elk kwartaal Jaarlijks Application control

ITGC's

Full test of Controls - Minimum Number of Items to Test (Extent of Test of Controls) 25 25 5 2 2 1 Test of one application of each application control for each type of transaction if supported by effective ITGC's (that have been tested); otherwise test 25 Follow guidance above for manual and automated aspects of ITGC's

Limited Test of Controls Minimum Number of Items to Test (Extent of Test of Controls) 10 5 2 1 1 1 Test of one application of each application control for each type of transaction if supported by effective ITGC's (that have been tested); otherwise test 25 Follow guidance above for manual and automated aspects of ITGC's

Tabel 12. aantal samples bij deelwaarneming Bij een deelwaarneming zijn het aantal te trekken posten een stuk kleiner dan bij de statistische steekproef. De betrouwbaarheid ten opzichte van een statistische steekproef is dan ook een stuk kleiner.

3.2

Rol van CCM

CCM is een aanpak waarbij de volledige populatie wordt gecontroleerd en kan worden toegepast voor alle typen controls. Om dit mogelijk te maken moeten vooral de ‘manual’ en ‘IT-dependent manual controls’ geherformuleerd worden. CCM voor ITGC’s Een voorbeeld hiervan is het toekennen van autorisaties in applicaties en de functiescheiding die hiervoor geldt. Zo gauw iemand nieuwe autorisaties krijgt waarbij functiescheiding in het geding komt wordt door CCM een ‘tricker’ in werking gesteld zodat de scheiding van functies niet in het geding komt. Een ander voorbeeld is het gebruik van een ‘account’ met hoge rechten. Deze ‘accounts’ dienen aanwezig te zijn om bij problemen de applicatie weer aan de praat te krijgen. Het is niet de bedoeling dat er dagelijks gewerkt wordt met deze accounts. Wanneer dan een van deze

34

Sommige controls mogen vaker voorkomen maar minder dan dagelijks. Voor deze controls, de te trekken posten is interpolatie van de bovenstaande tabel. Normaal, voor controls die tussen de 50 en 250 keer per jaar voorkomen, is minimaal te trekken posten is 10% van het totaal aantal posten.

21

‘accounts’ inlogt in de applicatie kan een ‘tricker’ in werking gesteld worden zodat gekeken kan worden wat er met het account wordt gedaan en of het via de formele procedure verloopt. CCM voor ‘manual / IT-dependent manual controls’ De bedrijfsprocessen in een geautomatiseerde omgeving worden ondersteund door informatiesystemen, waarbij een steeds groter deel van de interne controlemaatregelen is ondergebracht in die systemen. Niet meer tekenen voor ontvangst van goederen op een papiertje, maar alles gebeurt in het systeem (ERP), is hier een voorbeeld van. Een onderneming kan nog een stap verder gaan. Om na te gaan of de ‘controls’ in het systeem effectief zijn, kan een onderneming gebruik maken van CCM. CCM voor ‘application controls’ Volgens de regelgeving (met name van de PCAOB35 met zijn Auditing Standard no.2 van maart 2004) zijn er enkele methoden om de werking van ‘application controls’ vast te stellen. Enerzijds kan de auditor gebruikmaken van de resultaten van een gebruikerstest. Een nadeel is dat deze vaak geruime tijd geleden is uitgevoerd en moeilijk kan worden achterhaald. Anderzijds kan men de tests opnieuw uitvoeren. Een nadeel is dat hiervoor vaak een testomgeving moet worden ingericht, wat veel tijd en geld kan kosten. Een andere optie kan zijn om de programmacode te laten beoordelen. Een nadeel is dat deze code vaak complex is. In de PCAOB richtlijnen is simulatie/heruitvoering met behulp van data-analyse ook een optie om de werking van ‘application controls’ vast te stellen. CCM maakt gebruik van data-analyse oplossingen en hierbij kan het gebruik van data analyse gezien worden als een ‘dual-purpose’: enerzijds wordt een oordeel verkregen over de werking van de interne controle (bijvoorbeeld door herberekening) en anderzijds wordt tevens een beeld verkregen van de concrete uitkomsten van de controle.

3.3

Invloed op de mate van zekerheid

“Het is praktisch onmogelijk om de mate van zekerheid van een oordeel van een IT Audit te kwantificeren”36. Men maakt een onderscheidt in opdrachten gericht op het verschaffen van een redelijke mate van zekerheid en een beperkte mate van zekerheid. Opdrachten met een redelijke mate van zekerheid zijn situaties waarin de IT-Auditor toereikend bewijsmateriaal heeft verkregen om te kunnen oordelen dat er geen materiële afwijkingen in het proces zijn. Bij opdrachten met een beperkte mate van zekerheid heeft de IT-Auditor niet kunnen vaststellen of er materiële afwijkingen in het proces zijn. De opdrachten met een redelijke mate van zekerheid worden in de accountancy aangeduid met de termen ‘audit’ en controle. De opdrachten met een beperkte mate van zekerheid worden aangeduid met de termen ‘review’ of beoordeling.

35 36

PCAOB: Public Company Accounting Oversight Board Grondslagen IT-auditing, R. Fijneman, E. Lindgreen, P. Veltman

22

De elementen die van invloed zijn op de bepaling van de mate van zekerheid zijn in onderstaande tabel weergegeven. Elementen IT-auditopdracht Beoogde gebruikers

Onderzoeksobject en criteria

Bewijsmateriaal

Invloed op mate van zekerheid De mate van zekerheid moet aansluiten bij de kennis en behoefte van de beoogde gebruikers. Bij een uitgebreide kring van onbekende gebruikers (maatschappelijk verkeer) kan niet worden verwacht dat zij het verschil tussen een redelijke en een beperkte mate van zekerheid doorgronden en/of dat een beperkte mate van zekerheid zonder meer past bij hun behoeften. Naar mate het onderzoeksobject minder eenduidig kan worden gedefinieerd of een toetsing van de kwaliteitsaspecten minder goed mogelijk is, heeft dit invloed op de mate van zekerheid die kan worden verschaft. Bij een onderzoek met een beperkte mate van zekerheid zal waarschijnlijk de omvang van de onderzoekswerkzaamheden minder omvangrijk zijn dan bij een onderzoek met een redelijke mate van zekerheid.

Tabel 13. De mate van zekerheid van de audit Door de toepassing van CCM verandert er niets aan deze tweedeling. Slechts in uitzonderingsgevallen kan de auditor absolute zekerheid verschaffen. Bijvoorbeeld wanneer het bewijsmateriaal volkomen sluitend en betrouwbaar is omdat het object van onderzoek en de te hanteren criteria volkomen eenduidig zijn en het toegepaste onderzoeksproces allesomvattend kan zijn.

23

4.

Positionering CCM binnen COSO en CCM binnen COBIT

Voor het inrichten en onderhouden van algemene IT-beheersmaatregelen zijn verschillende raamwerken en standaarden ontwikkeld. Het algemeen aanvaarde COSO37-model (‘Commitee Of Sponsoring Organization’) voor interne beheersing kan worden gezien als de basis voor al deze raamwerken en om deze reden wordt de positionering van CCM binnen het COSO raamwerk toegelicht. Daarna besteden we aandacht aan COBIT38 (‘Control Objective for Information and related Technology’), een raamwerk voor de beheersing van informatietechnologie. Het COBIT raamwerk is gebaseerd op het COSO raamwerk en is opgesteld door het Amerikaanse ‘IT Governance Institute’. Volgens het IT Governance Institute is het COBIT raamwerk een overkoepelend raamwerk dat de meeste facetten van IT-beheersing raakt.

4.1

Raakvlakken CCM en COSO

4.1.1 Inleiding COSO framework Het COSO raamwerk bestaat uit de onderstaande componenten. • ‘Control Environment’ De beheersomgeving omvat factoren als integriteit, ethische waarden, de competenties van medewerkers, de filosofie van het management, de manier waarop verantwoordelijkheden worden belegd, de manier waarop de organisatie met het personeel omgaat en de houding van het topmanagement. De beheersomgeving bepaalt de toon binnen de organisatie en beïnvloed de manier waarop personen binnen een organisatie over interne beheersing denken. De beheersomgeving vormt de basis voor alle andere componenten van interne beheersing. • ‘Risk Assesment’ Dit component betreft het identificeren en analyseren van de relevante risico’s waaraan de organisatie is blootgesteld en die de doelstellingen van de organisatie in gevaar kunnen brengen. • ‘Control Activites’ Beheersactiviteiten (maatregelen) bestaan onder meer uit beleid, richtlijnen, procedures en geprogrammeerde controles die ervoor zorgen dat de doelstellingen van de organisatie worden gerealiseerd. Beheersingsmaatregelen komen voor op alle niveaus in de organisatie. Voorbeelden zijn tekenbevoegdheden, limieten, autorisaties, controles, beveiligingsmaatregelen en functiescheiding. • ‘Information and Communication’ Het identificeren, vastleggen en verstrekken van relevante informatie is essentieel voor interne beheersing. Interne beheersing moet worden ondersteund door systemen die de organisatie voorzien van informatie over operationele, financiële en op naleving gerichte informatie, evenals informatie over externe gebeurtenissen en activiteiten. Ook de 37 38

www.coso.org www.iasaca.org/cobit/

24

•

communicatie over interne beheersing dient helder en eenduidig te zijn, zodat elke betrokken partij binnen en buiten de organisatie weet wat zijn of haar rol is op het gebied van interne beheersing. ‘Monitoring’ Interne beheersingssystemen dienen te worden bewaakt. ‘Monitoring’ is een proces waarbij de kwaliteit van de interne beheersing over een bepaalde periode wordt gemeten. Hierdoor kunnen wij concluderen dat het ‘monitoring’ component van COSO vele raakvlakken heeft met de definitie van CCM en CA. Het meten van de kwaliteit van de interne beheersing vindt plaats door voortdurende ‘monitoring’, tussentijdse evaluaties of een combinatie van beide. Ernstige tekortkomingen in de interne beheersing dienen daarbij aan de hoogste leiding te worden gerapporteerd.

4.1.2 Monitoring Volgens een rapportage39 van COSO is gebleken dat de evaluatie van de interne controls door het management erg tijdrovend en vaak inefficiënt is. In dit document wordt beschreven dat het management van een organisatie met behulp van ‘monitoring’ het evaluatieproces effectiever en efficiënter kan inrichten. Tot op heden is gebleken dat het management door gebrek aan kennis, nauwelijks gebruik maakt van de belangrijke component van interne beheersing. CCM wordt dus binnen het ‘monitoring’ component van COSO gepositioneerd en heeft raakvlakken met de overige vier componenten. De samenhang en relaties tussen ‘monitoring’ en de overige componenten worden in onderstaande figuur weergegeven.

Figuur 14. Monitoring binnen het proces van interne controle 4.1.2.1 Toegevoegde waarde van monitoring binnen governance processen Monitoring wordt binnen het COSO raamwerk beschreven als een middel dat als doel heeft om ervoor te zorgen dat de werking van controls continu effectief zijn en daarom zullen controls die niet worden bewaakt op den duur niet werken. Volgens de onderzoekers hebben organisaties veel 39

COSO Guidance on Monitoring Internal Control Systems, January 2009

25

baat bij een correcte implementatie van de COSO component ‘Monitoring’. De redenen hiervoor zijn: • Continu identificeren van problemen en het verbeteren van processen. • Waarborgen van data integriteit ten behoeve van juiste informatie bij belangrijke keuzes. • Het tijdig produceren van financiële cijfers. • In staat zijn om gecertificeerd te worden. Kortom, op de lange termijn zal effectieve monitoring organisaties zowel kostenvoordelen als efficiency voordelen brengen. Het belangrijke verschil ten opzichte van de conventionele manier is dat de problemen bij effectieve monitoring op proactieve manier worden geïdentificeerd in plaats van op een reactieve manier. 4.1.2.2 Fundamenten van effectieve monitoring Er zijn twee fundamentele principes40 die van belang zijn voor effectieve monitoring. Enerzijds moeten controls continu (of periodiek) worden geëvalueerd. Anderzijds moeten problemen tijdig worden geïdentificeerd en naar de juiste personen worden gecommuniceerd. De aspecten die van belang zijn bij deze twee fundamenten zijn: • Een goede basis voor ‘monitoring’ inclusief een correcte ‘tone-at-the-top’, effectieve organisatie structuur en een baseline of startpunt. • Ontwikkelen en implementeren van monitoring procedures waarbij de focus ligt op de risicovolle aspecten. • Evalueren en rapporten van uitkomsten inclusief de schadebepaling en de follow acties van geremedieerde controls. 4.1.2.3 Monitoring procedures Organisaties kunnen zelf bepalen welke procedures en instrumenten zij voor monitoring inzetten. In de COSO guidance worden de volgende procedures genoemd: • Periodiek evalueren en testen van control door de interne audit dienst. • Continuous monitoring programma’s. • Data-analyse. • Review van controls. • Self-assesments door het bestuur. • Interview door Audit committee van interne- en externe auditor. • Quality Assurance reviews van de interne audit dienst.

40

Attributes of effective communication and follow-up No system can provide absolute assurance that control failures will not occur, but an effective system should be designed to identify and correct problems before they become material to the organisation’s objectives. Principle 20 (’Reporting Deficiencies’) from COSO’s 2006 Guidance identified three attributes that are consistent with that goal. • Report findings – findings of internal control weaknesses are reported (1) to the individual who owns the process and related controls and who is in a position to take corrective actions and (2) to at least one level of management above the process owner. •Report weaknesses – significant weaknesses are communicated to top management and the board or audit committee. •Correct problems on a timely basis – weaknesses reported from both internal and external sources are considered and timely corrective actions are taken. These attributes reinforce the need for the right people to receive information such that (1) corrective action can be taken and (2) management can provide sufficient oversight to gain an understanding that the corrective action has been taken.

26

De bovenstaande lijst is niet limitatief en door technologische ontwikkelingen en nieuwe technieken zullen monitoring procedures in de toekomst veranderen.

4.2

Raakvlakken CCM en COBIT

COBIT is een raamwerk van een interne controle systeem dat het management handvaten biedt om ervoor te zorgen dat de ICT continue aansluit bij de organisatiedoelstellingen. Het startpunt van COBIT41 is het definiëren of overnemen van de organisatie- en compliancydoelstellingen. Zonder deze input bestaat er geen garantie dat de navolgende stappen een bijdrage zullen leveren aan het behalen van de bedrijfsdoelstellingen. De doelstellingen voor de ICTfunctie worden verder uitgewerkt in vier domeinen (zie onderstaande figuur): • ‘Plan and Organise’ Het definiëren van de ICT-strategie en ICT-architectuur. • ‘Acquire and Implement’ Het vertalen van de ICT-strategie naar het implementeren van ICT-oplossingen. • ‘Deliver and Support’ Gericht op het opleveren en beheren van de geïmplementeerde oplossingen. • ‘Monitor and Evaluate’ Het beoordelen of ICT de gewenste bijdrage levert aan de bedrijfsdoelstellingen.

41

www.iasaca.org/cobit/

27

Figuur 15. COBIT 4.1 raamwerk De vier domeinen staan met elkaar in verbinding en bestrijken het gehele ICT-landschap. Beslissingen die in ‘Plan and Organise’ worden genomen, worden in ‘Acquire and Implement’ geïmplementeerd. In het domein ‘Deliver and Support’ worden de ‘deliverables’ in gebruik genomen door de operationele afdelingen en tegelijkertijd begint het monitoring proces om vast te stellen of de genomen beslissingen datgene opleveren wat de organisatie voor ogen had in de fase ‘Plan and Organise’. Per domein zijn de bijbehorende processen gedefinieerd. De domeinen bestaan uit in totaal vierendertig processen. Eisen zijn gedefinieerd waaraan de output van ICT dient te voldoen. Deze eisen zijn vertaald naar de volgende kwaliteitscriteria: ‘effectivity’, ‘efficiency’, ‘confidentiality’, ‘integrity’, ‘availability’, ‘compliance’ en ‘reliability’. Naast de vier domeinen en kwaliteitscriteria besteedt COBIT ook aandacht aan de te gebruiken resources. COBIT verstaat onder resources: applicaties, informatie, infrastructuur en mensen. COBIT is te gebruiken ongeacht de wijze waarop de infrastructuur tot stand is gekomen. COBIT schrijft niet voor of een organisatie gebruik dient te maken van een ERP-pakket of een legacy systeem.

28

4.2.1 Monitoring Het COBIT raamwerk is gebaseerd op het COSO raamwerk en daarom wordt CCM gepositioneerd binnen het domein ‘monitor and evaluate’ van het COBIT framework. Net als bij COSO is dit domein verbonden met de overige domeinen binnen het COBIT framework. Enkele specifieke monitoring activiteiten binnen het COBIT raamwerk zijn: monitoring van performance management, monitoring van de interne beheersing, compliancy monitoring.

29

5.

CCM in de praktijk en het effect op de evaluatie van de interne ‘controls’

5.1

Inleiding

Voor de toetsing van het theoretische gedeelte van onze scriptie aan de praktijk hebben wij een aantal mensen geïnterviewd. De interviews zijn uitsluitend gebaseerd op kwalitatieve bronnen. De lijst van te interviewen personen moet voldoen aan bepaalde voorwaarden en daarom hebben wij in het selectieproces rekening gehouden met het functieprofiel, ervaring, type organisatie en het aandachtsgebied van de te interviewen personen. Op basis van deze criteria hebben wij voor de geïnterviewde de volgende onderverdeling gemaakt: • IT-Auditors vanaf manager niveau met een data analyse focus, ERP specialisatie en ervaring met CCM of CA • Accountants vanaf manager niveau met een data analyse focus en ervaring met CCM of CA • Operational Auditors vanaf manager niveau met een data analyse focus en CCM of CA ervaring Al deze personen hebben veel evaring met ‘Controls Monitoring’ en auditing in de breedste zin van het woord. Daarnaast hebben twee van de tien geïnterviewden zelf een scriptie geschreven over ‘Continuous Control Monitoring’. Een van de geïnterviewden heeft een onderzoek uitgevoerd naar de verbanden tussen de begrippen CA en CM. De andere heeft een onderzoek uitgevoerd naar de monitoring-technieken die een externe auditor kan toepassen binnen de jaarrekingcontrole. Het is ons niet gelukt om een consultant van een leverancier te interviewen en daardoor hebben wij ervoor gekozen om deel te nemen aan een ‘webcast’ van Approva42 (Leverancier CCM oplossingen). De interviews zijn opgebouwd uit open vragen die in principe dezelfde opbouw hadden. De hoofdlijnen van de vragenlijst bestond uit de onderstaande vragen: 1. Geef uw definitie van CCM? 2. Zou u een praktijkvoorbeeld van CCM willen beschrijven, en hoe? 3. Welke eisen zouden volgens u nodig zijn om CCM te laten slagen en hoe zou de businesscase eruit moeten zien? 4. Kunt u aangeven/uitleggen hoe CCM binnen het COSO raamwerk past? 5. Kunt u aangeven/uitleggen hoe CCM binnen het COBIT raamwerk past? Bij de uitwerking van de vragen geven wij bij elke vraag in het kort eerst onze verwachting die wij op basis van de theorie hebben. Na de uitwerking van de vragen geven wij een korte conclusie op het verschil dan wel overeenkomst tussen onze verwachting en de praktijk.

42

http://www.approva.net/

30

5.2

Uitwerking vragen

Vraag 1: Geef uw definitie van CCM? Verwachting Wij verwachten hier een definitie zoals die in de theorie (hoofdstuk 2) beschreven wordt te krijgen. Praktijk De interviewden waren het met elkaar eens over de principes van het CCM concept. De definities van de geïnterviewden liepen wel uiteen. Elke persoon keek vanuit zijn eigen gezichtspunt naar CCM. Hieronder hebben wij het begrip ‘Continuous Control Monitoring’ opgedeeld in drie delen om de verschillende standpunten te beschrijven. ‘Continuous’ De geïnterviewden waren het niet met elkaar eens over de frequentie van toetsen. De verschillende opvattingen hebben wij in drie groepen ingedeeld. De eerste groep geïnterviewden vind dat het woord “Continuous” meer neigt naar ‘real-time’ toetsen. Het signaal van de afwijking op de norm van de activiteit moet direct naar het management worden gecommuniceerd. De tweede groep geïnterviewden vind een frequentie van zes keer per uur of dagelijks of wekelijks of maandelijks ook reëel onder de definitie van het woord “Continuous”. Hierbij geven ze aan dat de frequentie samenhangt met de risico’s en de toegevoegde waarde binnen het proces. Voor processen met een relatief hoge risico factor is een dagelijkse ‘Monitoring’ (day-to-day) beter omdat de signalen/problemen direct aangepakt kunnen worden. Het overige deel vindt dat het woord “Continuous” samenhangt met de volledigheid van de activiteiten en niet zo zeer met de frequentie van toetsen aan de norm (de controle). Hierbij geven ze aan dat je op ieder willekeurig moment een analyse kan uitvoeren over een vooraf gedefinieerde populatie. Dit is tevens het grote verschil met de conventionele aanpak waarbij men door middel van een steekproef zekerheid probeert te krijgen over een proces. Door CCM toe te passen kan men de foutomvang kwantificeren en kan met behulp van data uit het verleden het proces in de toekomst verbeteren. Control De interpretatie van het begrip ‘Control’ was voor alle geïnterviewden gelijk. De ’Control’ is de norm in het proces waaraan getoetst wordt. Monitoring De interpretatie van het begrip ‘Monitoring’ was voor alle geïnterviewden gelijk. De verantwoordelijkheid en de gebruiker van CCM liggen volgens de geïnterviewden bij de business (manager). Deze groep geeft aan dat het management ervoor moet zorgen dat doelstellingen behaald worden. De toepassing van CCM was echter verschillend. De IT- en Operational auditors plaatsen CCM vooral binnen IT-controle aspecten waaronder security monitoring en

31

functiescheiding, terwijl de Accountants CCM plaatsten binnen niet IT-controle aspecten (dus meer gericht op business doeleinden). Volgens de Accountants leiden de signalen op de ITcontrole objecten vaker tot zogenaamde ‘non-events’, ook wel ‘false-positives’ genoemd. Conclusie Wij hadden vanuit de theorie niet verwacht dat we van elk geïnterviewde persoon een andere definitie zouden krijgen. In het theoretische kader wordt CCM als algemeen goed beschreven en gaat hier niet specifiek in op de gezichtspunten van de verschillende betrokken partijen. Vraag 2: Zou u een praktijkvoorbeeld van CCM willen beschrijven, en hoe? Verwachting Onze verwachting is dat bij de meeste grotere organisaties, denk aan financiële instellingen of multinationals, de fundamenten van CCM zijn ingericht en draaiend zijn. Praktijk Een groot deel van de geïnterviewden heeft geen concreet voorbeeld van CCM bij een onderneming kunnen beschrijven. De geïnterviewden geven vijf belangrijke verklaringen voor het feit dat CCM niet of nauwelijks wordt toegepast. • De eerste verklaring heeft betrekking op de volwassenheid van organisaties. In de meeste organisaties is ‘data governance’ onvoldoende om een volwaardige CCM omgeving te implementeren. De eerste stap hierin zou zijn om een goede ‘DataWareHouse’ (DWH) in te richten. • De tweede verklaring heeft betrekking op het kennisniveau op het gebied van CCM. De ondernemingen weten nog te weinig af van CCM en daardoor is er geen breed draagvlak om CCM toe te passen en te onderhouden. Ondernemingen houden zich bezig met ‘Exceptie management’ en ‘Capiacity management’ en denken te weinig aan risico’s, verbeteringen en hebben geen analytische focus. Een van de geïnterviewden geeft aan dat het belangrijk is om schoolverlaters in dienst te nemen om de ‘mind-set’ in een organisatie te veranderen. • De derde verklaring heeft betrekking op de beschikbaarheid van data. In de meeste gevallen is niet alle data elektronisch aanwezig. Daarnaast zijn er verschillende systemen en dus verschillen (technische) bestandbeschrijvingen en gaat het in de meeste gevallen om heel veel data. • De vierde verklaring heeft betrekking op de flexibiliteit van de ‘CCM tools’. Processen zijn onderhevig aan veranderingen. Een geïnterviewde geeft aan dat het te veel inspanning (geld) kost om de ‘CCM tool’ aan te passen. • De laatste verklaring heeft betrekking op de kennisgebieden (personen) die moeten samenwerken om een CCM omgeving te implementeren. Voorbeeld 1 Zo gaf een geïnterviewde het voorbeeld van een man bij een bank die een ‘monitoring tool’ voor het grootboek had opgezet. Hij bekeek per dag de stromen per bedrijfsonderdeel, per systeem op rekeningniveau en bij onregelmatigheden kon hij identificeren waar de mogelijke problemen zaten en welke mogelijke bronsystemen het proces beïnvloedde. Door de juiste opvolging van correctieve maatregelen en de juiste documentatie had de controller volledige informatie op om

32

de maandcijfers op te stellen en deze te verklaren. In de praktijk zie je dat controllers aan het einde van maand veel moeite hebben om de juiste cijfers te presenteren. Dit heeft alles te maken met het feit dat men geen zicht heeft op de problemen die bijvoorbeeld aan het begin van de maand zijn ontstaan. Volgens de geïnterviewde, die meer dan 20 jaar ervaring heeft met ‘auditing’ en ‘monitoring’, is het toepassen van CCM binnen een Finance/Controlling afdeling een ‘quick’ win. Hierbij geeft hij aan dat het formaliseren van de procedures rondom de implementatie van de CCM omgeving nadelig kunnen zijn (hoge kosten). Voorbeeld 2 Een ander voorbeeld had betrekking op een trading omgeving. De geïnterviewde gaf aan dat CCM wordt toegepast voor verschillende deelprocessen/activiteiten binnen de trading omgeving. Als voorbeeld gaf hij aan dat men voor de transactieverwerking CCM toepast op de controle van de functiescheiding en voor de verwerking van de financiële administratie CCM toepast op de controle van de reconciliatie en de controle op de juistheid van de invoer. Gedurende de dag vindt CCM plaats op de controle van de limieten op het kredietrisico. Op een hoger niveau worden de uitzonderingen samengevoegd in de vorm van een rapportage en vinden na analyse de juiste maatregelen plaats. Door het toepassen van CCM heeft men een applicatieve fout ontdekt en kan men de performance van handelaren meten. Een handelaar (‘trader’) wordt bijgeschoold wanneer hij niet voldoet aan de norm. Voorbeeld 3 Feitelijk hadden alle geïnterviewden ervaring met CA. Een geïnterviewde gaf als voorbeeld van CA aan dat de interne audit middels een analyse tool (ACL) de rechten binnen AS400 en UNIX machines periodiek en integraal beoordeelde. De uitzonderingen worden in het audit-rapport opgenomen en voorgelegd aan het management. Het management neemt vervolgens de juiste maatregelen. Door het toepassen van CCM heeft men de audit-kosten (reizen, tijd voor analyse) enorm verlaagd. Daarnaast kan men het management voorzien van een ‘to-do’ lijst. Conclusie Wij hadden vanuit de theorie niet verwacht dat CCM nog maar zo weinig wordt toegepast. De verklaring wordt zelf door de geïnterviewden gegeven. Vraag 3: Welke eisen zouden volgens u nodig zijn om CCM te laten slagen en hoe zou de ‘businesscase’ eruit moeten zien? Verwachting Wij verwachten hier een antwoord in de trant van efficiënter en effectiever inrichting van controls wat tot gevolg heeft dat de kosten zullen dalen. Praktijk De meeste geïnterviewden geven aan dat het management achter CCM moet staan zodat het een kans van slagen heeft. De CFO of de CIO zijn volgens de geïnterviewden de sponsors en zijn daarom de meest aangewezen personen. Verder dient de organisatie volwassen genoeg te zijn om CCM toe te passen. De meeste geïnterviewden vinden dat de organisaties hier niet aan toe zijn. Zij vinden dat ‘data governance’ eerst van voldoende niveau moet zijn. Om CCM te implementeren moet het project team bestaan uit mensen met verschillende kennisgebieden. De

33

businesscase voor het toepassen van CCM moet eenvoudig, maar concreet zijn en moet niet te veel middelen (geld/tijd/inspanning) kosten. Verder is het van belang om een prototype inclusief een dashboard als eindproduct af te leveren. Tot slot moet interne audit een voortrekker zijn en CCM middels een ‘push’ strategie de business overtuigen. Welke ‘trickers’ zijn aanwezig voor CCM CCM kan toegepast worden voor Business Process Controls, Application Controls en IT General Controls. De meest genoemde voordelen zijn transparantie, betere kwaliteit en efficiency voordelen waaronder kostenbesparing voor de business. De kostenbesparing op de jaarrekeningcontrole was het minst genoemde punt. Het efficiency voordeel bestond uit het feit dat processen aangepast konden worden doordat de zwakke punten van de ‘controls’ door CCM naar voren komen. Andere voordelen zijn: • Analyse op populatie in plaats van een deelwaarneming. • Uitsluiten van problemen. • Geen discussie over bevindingen, concrete evidence. • ‘To do’ lijst voor de manager. • Minder tijd kwijt aan reizen. • Automatiseren, minder handenwerk en over meerdere locaties tegelijk. • Voorspellingen maken. • Vergelijken van controls, bijvoorbeeld tussen afdelingen. • Betere samenwerking met de business. De geïnterviewden geven aan dat het moeilijk is om de voordelen in financiële waarde uit te drukken. In het begin zal men kosten moeten maken en is het onzeker of het project zal slagen. Het is dus belangrijks om een duidelijke keuze voor de implementatie van CCM te maken waarbij men de rekening moet houden met de volgende aspecten: • Risico’s, er zijn meer voordelen te behalen in processen met hoge risico’s • Eisen om te voldoen aan wet- en regelgeving • Aantal audit-uren, er zijn meer voordelen te behalen bij grotere audits • Vergelijkbare processen in verschillende locaties • Hoog geautomatiseerde omgevingen Conclusie Wij hadden vanuit de theorie verwacht dat meer op het kostenaspect gewezen zou worden om CCM toe te passen wat in de praktijk dus niet het geval is. Vraag 4: Kunt u aangeven/uitleggen hoe CCM binnen COSO past? Verwachting Wij verwachten hier dat de geïnterviewde vooral CCM in het ‘Monitoring’ vlak zullen plaatsen waarbij men tevens de relatie met de andere vlakken benadrukt. Praktijk Niet alle geïnterviewden hebben deze vraag beantwoord omdat ze niet zo bekend waren met alle aspecten van COSO. De overgebleven geïnterviewden zien CCM vooral in ‘Control

34

environment’, ‘Risk Assessment’, ‘Monitoring’ en ‘Information & Communication’. Door CCM hierin te plaatsen ontstaat een ronde cirkel. Vanuit het monitoren kunnen weer aanpassingen gemaakt worden in het controle ‘framework’. Conclusie Wij hadden verwacht dat alle geïnterviewde CCM wel in een vlak van COSO zou kunnen plaatsen. Degene die CCM wel in COSO hebben kunnen plaatsen waren volgens onze verwachtingen. Vraag 5: Kunt u aangeven/uitleggen hoe CCM binnen COBIT past? Verwachting Wij verwachten hier dat de geïnterviewde CCM in het ‘Monitor and Evaluate’ vlak zullen plaatsen, waarbij men tevens de relatie met de andere vlakken benadrukt. Praktijk Een aantal geïnterviewden hebben deze vraag niet beantwoord omdat ze niet zo bekend waren met alle aspecten van COBIT. De overgebleven geïnterviewden zien CCM in het ‘Monitor and Evaluate’ vlak van COBIT. Conclusie Wij hadden verwacht dat alle geïnterviewden CCM wel in een vlak van COBIT zou kunnen plaatsen. Degene die CCM wel in COBIT hebben kunnen plaatsen waren volgens onze verwachtingen.

5.3

Algemene conclusie interviews

De principes en CCM concepten die in de verschillende interviews zijn besproken verschillen niet van de theoretische principes en concepten. Er is ook geen discussie over de voordelen van CCM en CA. Echter zijn er verschillende opvattingen over de interpretatie van het woord “Continuous”. Wij hebben opgemerkt dat organisaties CCM nog te weinig toepassen en daardoor zijn de voordelen niet te kwantificeren. Het is dus niet in kosten/tijd uit te drukken wat de voordelen zijn ten opzichte van de conventionele manier van testen of ten opzichte van bijvoorbeeld ‘Benchmarking’. Men is unaniem van mening dat een CCM aanpak veel voordelen heeft. Om de sponsors van CCM te overtuigen moet een prototype inclusief een dashboard als eindproduct het eindproduct in de businesscase worden opgenomen. CA en CCM kunnen onafhankelijk van elkaar worden toegepast. De interne audit afdelingen hebben meer kennis van CA en CCM technieken en kunnen daarom CCM middels een ‘push’ strategie de business overtuigen. In onderstaande tabel hebben wij de voor- en tegenargumenten samengevat. Strenghts • Efficient • Kosten voordeel • Integraal beoordelen • Tijdig fouten identificeren en oplossen

Weaknesses • Flexibiliteit van de interpretaties

35

• Dichterbij het proces Opportunities • Bijdragen aan een effectievere governance structuur • Procesverbeteringen • Bijdragen winstgevendheid

Threats • Hoge implementatie kosten • Onderhoudskosten • Beveiligingsaspecten

Tabel 16. Voor- en tegen argumenten CCM Verder merken wij op dat CA nog in de kinderschoenen staat. In de praktijk zie je dat organisaties de voordelen van het ERP pakket niet maximaal benutten en dat er een verscheidenheid aan applicaties zijn. Er heest een soort eiland cultuur waarbij men voor ieder deelproces een afzonderlijke analyse uitvoert. Wellicht heeft dit deels te maken met het feit dat ‘Monitoring’ systemen vrij duur zijn en minder flexibel zijn dan een handige, betrouwbare en bekende tool als ACL. Dit kan erg inefficiënt zijn omdat de extraction, transportation and loading (ETL) procedure bij iedere analyse van toepassing is. Het zou efficiënter en effectiever zijn als men in een ‘Monitoring’ omgeving meerdere ‘controls’ van het proces kan toetsen. Op basis van de verstrekte antwoorden over de positionering van CCM binnen COSO en COBIT kunnen wij concluderen dat CCM gezien wordt aan een nieuwe manier van toetsen en niet zo zeer op een andere kijk of toevoeging op het proces, risico en controle raamwerk van de organisatie. Men moet op basis van de procesfactoren, risico classificatie en informatie behoeften besluiten om CCM toe te passen.

36

6.

Aandachtsgebieden IT auditor

Op basis van het uitgevoerde literatuur- en praktijkonderzoek concluderen wij dat IT een belangrijke rol speelt bij het monitoren van ‘controls’. Door de grote afhankelijkheid van IT is de IT-Auditor de aangewezen persoon om een oordeel te geven over de opzet, bestaan en werking van de controls voor een CCM omgeving. De werkzaamheden van een IT-Auditor kunnen worden omschreven als het verschaffen van zekerheden en advies over alle soorten IT-objecten binnen een organisatie. IT-objecten zijn in informatiesystemen, onderdelen daarvan, of aan informatiesystemen gerelateerde entiteiten. In dit kader hebben wij IT-objecten vertaald als databases, data, interfaces, business rules en systemen (applicaties). Op grond van opleiding en praktijkervaring beschikt een IT-Auditor over deskundigheid op het gebied van IT, bestuurlijke informatievoorziening en organisatiekunde. Tevens heeft een IT-Auditor kennis van methoden en technieken voor onderzoek, toetsing en risicoafweging. Naast de standaard controle van de algemene IT beheersmaatregelen (IT General Controls) zal de IT-Auditor tijdens de controle op de CCM omgeving moeten vaststellen of de integriteit van de informatie gewaarborgd is. Daarnaast zal de IT-Auditor moeten vaststellen dat de ‘business rules’ juist zijn en dat wijzigingen op de ‘business rules’ via een formeel wijzigingsbeheer procedure lopen. Tenslotte moet de IT-Auditor nagaan of de exceptiemanagement procedure (inclusief de opvolging van ondernomen acties) heeft gewerkt. Vanwege onze veronderstelling dat de ITGC’s een bekend begrip is en dat de lezers redelijk veel ervaring hebben met de controle op de ITGC’s, zullen wij uitsluitend ingaan op het begrip integriteit. Het begrip integriteit wordt in het IT audit vakgebied vaak gebruikt en hangt samen (zie onderstaande figuur43) met andere begrippen waaronder informatie-integriteit, informatiekwaliteit, data-integriteit en datakwaliteit en systeem-integriteit.

43

Scriptie VU Amsterdam: “De rol van data-analyse bij het beoordelen van informatie-integriteit”, drs. F.J. Boerkamp en ir. S.P. Soerjoesing

37

Figuur 17. Samenhang integriteit Integriteit44 is de mate waarin het object (d.w.z. in deze situatie: ICT-dienst of ICT-middel) in overeenstemming is met de afgebeelde werkelijkheid. De laatste jaren speelt data-analyse een belangrijke rol bij de vaststelling van informatie-integriteit. Volgens een onderzoek45 naar de rol van data-analyse bij het beoordelen van informatie-integriteit bestaat het stappenplan voor informatieanalyse met data-analyse tools minimaal uit de zeven aspecten: • Vaststellen van de rol van informatie binnen het bredere verantwoordingproces van het management De auditor zal samen met de gebruiker van de informatie moeten vaststellen wat de rol is van de betreffende informatie binnen het verantwoordingsproces. • Beschrijven van de functionele en technische informatiestromen Beschrijven van functionele of technische documentatie. Deze beschrijvingen moeten afgestemd (gevalideerd) worden met de gebruikers. • Opstellen en valideren analyse model en integriteiteisen De functionele eisen worden opgesteld door de gebruikers, deze worden doorvertaald door de technische specialisten in technische eisen. De analyses moeten afgestemd (gevalideerd) worden met de gebruikers. • Opstellen verwachtingen uitkomst analyses, uitval en afval Het resultaat is een SOLL situatie. • 44 45

Uitvoeren van onderzoek door middel van data-analyse tools

NOREA, 2007 Scriptie VU Amsterdam: “De rol van data-analyse bij het beoordelen van informatie-integriteit”, drs. F.J. Boerkamp en ir. S.P. Soerjoesing

38

Hiervoor kunnen data-analyse tools, bijvoorbeeld ACL, gebruikt worden. • Beoordelen volledigheid en juistheid van de transformatie van de informatie en beoordelen afval en uitval van informatie. Op basis van de SOLL situatie kunnen de uitkomsten van de analyse beoordeeld worden. • Samenstellen van eindoordeel informatie-integriteit en decharge rapport Door het integraal beoordelen van de volledigheid en juistheid van de informatie kan een oordeel gegeven worden over de integriteit van de informatie. Het resultaat van de integrale beoordeling zal een ratio aangeven in welke mate de vastgelegde informatie voldoet aan de eisen zoals geformuleerd in stap 2.

39

7.

Conclusies, aanbevelingen en vervolgonderzoek

7.1

Conclusie

In deze scriptie hebben wij onderzoek gedaan naar toepassing van CCM bij de evaluatie van interne controls. Daarbij hebben wij de volgende onderzoeksvraag gedefinieerd: “Hoe kan Continuous ‘Controls Monitoring’(CCM) het evaluatieproces van beheersingsmaatregelen (interne ‘controls’) ondersteunen?” Een samenvattend antwoord op deze hoofdvraag is dat organisaties met CCM kunnen zorg dragen voor een effectievere naleving van beleid, richtlijnen en procedures. De doelstellingen van CCM sluiten aan bij de doelstellingen van interne controle, namelijk het terugdringen van de interne controle-risico’s binnen een organisatie. CCM werkt zowel preventief als defectief en de kracht van CCM ligt daarin dat zij een directe link kan leggen tussen meerdere beheersingsmaatregelen, transacties en kenmerken van bijvoorbeeld producten, medewerkers en crediteuren. Uiteindelijk is CCM gericht op: • Het terugdringen van interne controle risico’s binnen een organisatie Door integraal de gegevens te beoordelen kan men exact aangeven wat de fouten en risico’s zijn. Het management geeft vervolgens aan welke correcties (correctieve maatregelen) moeten plaatsvinden. CCM stelt de account in staat om een betere risico analyse uit te voeren waardoor de accountant zich kan richten op de afwijkingen. • De controle zo goedkoop mogelijk uit te voeren CCM maakt gebruik van data-analyse oplossingen en hierdoor worden ‘controls’ automatisch getoetst. In CCM omgevingen is de ‘audittrail’ geïntegreerd waardoor de auditor minder inspanning hoeft te verrichten om tot een oordeel te komen. Daarnaast wordt de snelheid waarmee gereageerd kan worden op een incident aanzienlijk verkort. Hierdoor wordt de mogelijkheid om de gevolgen te beperken veel groter en de gevolgenschade minder. Tevens worden klachten voorkomen, dubbel werk wordt uitgespaard en het aantal handmatige controls wordt aanzienlijk teruggebracht. • Het vergroten van het vertrouwen van de (financiële) informatie binnen een organisatie Bevindingen kunnen niet meer worden afgedaan met de opmerking dat er weliswaar een risico is, maar dat deze gevallen zich toch nooit zullen voordoen. De concrete situaties kunnen gegeven worden, zowel in situaties waar het niet goed gaat als in situaties waar het wel goed gaat. • De verbetering van de (financiële) operaties binnen een organisatie, door verlaging van de foutkans en de kans op fraude • De verbetering van de winstgevendheid van een organisatie door betere sturing en terugdringen van operationele fouten • Verbeteren van de communicatie tussen de organisatie en de auditors Het juist spreken over concrete gevallen maakt de communicatie een stuk plezieriger. Daarnaast wordt er meer zekerheid verkregen uit de ‘controls’ die in het primaire proces zijn ingericht en dit zal de kwaliteit van de controle verhogen.

40

Uitdagingen CCM in de praktijk Er wordt al langer gesproken over de CCM en CA. De theorieën en concepten zijn door vooraanstaande instituten uitontwikkeld. Kijken we echter naar de huidige praktijk, dan zien we dat deze concepten nog maar beperkt worden toegepast. In de toekomst zal CCM en CA zeker een dominante rol gaan spelen in de evaluatie van interne beheersmaatregelen. Voor het toepassen van CCM zijn een aantal zaken van belang. Om te beginnen moet men een ‘data governance’ structuur opzetten en een grondige informatiebehoefte analyse uitvoeren. In de ‘data governance’ structuur moet men aandacht besteden aan de inrichting van de data warehouse en de informatie-integriteit. In de informatiebehoefte analyse moet men onderzoeken welke informatie het management nodig heeft om ‘in control’ te zijn over de uitvoerende processen. Feitelijk moet men denken aan de audit-trail van de transacties in de (verschillende) systemen. Daarnaast vraagt CCM en CA om een andere ‘state-of-mind’. Men controleert niet meer of de verantwoordelijke iedere transactie heeft goedgekeurd, maar men controleert of er afwijkingen zijn gesignaleerd in het goedkeuringsproces. De ‘control’ verschuift immers van de onderliggende transacties naar een hoger niveau van het proces. Perspectief van de auditor De mate van zekerheid die een auditor kan geven over het te auditen object hangt af van verschillende factoren. Op basis van CCM heeft een auditor in ieder geval meer bewijsmateriaal om zijn oordeel te bekrachtigen. Interne auditors kunnen een bijdrage leveren aan een bredere implementatie van CCM. Zij kunnen aangeven welke processen effectiever en efficiënter getoetst kunnen worden en kunnen CCM middels een ‘push strategy’ de organisatie binnenkrijgen. Voor de jaarrekeningcontrole zal de accountant gebruik maken van de rapportages uit de CCM omgeving. Deze exceptielijsten zullen belangrijke input zijn voor de risico analyse van de accountant. De accountant zal zich in de controle vooral richten op de afwijkingen en de opvolging die daarop betrekking heeft. De IT-Auditor zal zich gaan richten op de informatieintegriteit en de beheersmaatregelen die betrekking hebben op de CCM omgeving.

7.2

Aanbeveling

Tijdens de uitvoering van dit onderzoek hebben wij vastgesteld dat CCM een veel gehoorde kreet is maar nog weinig concreet wordt toegepast. Enerzijds hebben organisaties te weinig kennis om CCM op te pakken en anderzijds ziet het management de voordelen nog niet in om daadwerkelijk over te gaan op CCM. Wij bevelen aan vervolgonderzoek uit te voeren naar het kwantificeren van de voordelen van CCM zodat het voor het management makkelijker is om een wel afgewogen besluit hierover te nemen.

7.3

Reflectie

Voordat wij zijn gestart met het afstudeeronderzoek, hadden wij reeds als IT-Auditor praktijkervaring opgedaan met data analyse. Terugkijkend op dit afstudeeronderzoek, zijn wij van mening dat wij een diepgaander inzicht hebben gekregen in CCM en hoe de praktijk hier tegenaan kijkt. Deze inzichten zijn toe te schrijven aan het feit dat wij de mogelijkheid hebben

41

gekregen om met verschillende functionarissen van verschillende bedrijven te kunnen spreken. Ook het feit dat wij gedwongen werden meer afstand te nemen van de daadwerkelijk uit te voeren werkzaamheden en expliciete toepassing van theoretische concepten, heeft tot aanvullende inzichten geleid die verder reiken dan de werkzaamheden die wij eerder hadden uitgevoerd. Daarnaast heeft het onderzoek bijgedragen aan de vorming van een breder perspectief dat verder gaat dan uitsluitend het perspectief van een IT-Auditor. In het bijzonder de bedrijfseconomische afwegingen die organisaties nemen bij het besluit om CCM toe te passen. Dit zal ons helpen bij de formulering van bevindingen en aanbevelingen die beter aansluiten bij de verwachtingen van te controleren organisaties en daarmee mogelijk tot een hogere acceptatiegraad zullen leiden.

42

Geraadpleegde literatuur drs. F.J. Boerkamp en ir. S.P. Soerjoesing Scriptie VU Amsterdam: “De rol van data-analyse bij het beoordelen van informatie-integriteit” Mei 2009 R. Christiaanse en J. van Praat Inrichten en beheersen van organisaties ThiemeMeulenhoff, 2005 R. Fijneman, E. Roos, P. Veltman Grondslagen IT-Auditing 1e druk, hoofdstuk 4 R. Fijneman, E. Roos, K Hang Ho IT-auditing en de praktijk 1e druk, 2006 J. Jacobs en M. Hoetjes Scriptie VU Amsterdam: “Continuous monitoring en continuous auditing: continuous solutions?” Juli 2007 NEN-ISO/IEC 27002 (Nederlands) Code voor Informatiebeveiliging, Nederlands Normalisatie Instituut (NEN) Jan van Praat en Hans Suerink Inleiding EDP-auditing, , 5e druk 1e oplage, november 2004 John Verver, Vice President ACL Building and implementing a continuous Controls monitoring and auditing Framework May 2005 COSO Guidance on Monitoring Internal Control Systems, January 2009 Information systems control journal, volume 2, 2007 White paper, Building and Implementing a CCM and Auditing Framework, ACL White paper on Continuous Auditing, www.theiia.org Approva http://www.approva.net/

43

Control Objectives for Information and related Technology http://www.iasaca.org/cobit/ The Committee of Sponsoring Organizations of the Treadway Commision http://www.coso.org NOREA, http://www.norea.nl Wikipedia http://www.wikipedia.org

44

Bijlage A - CA/CCM drivers Belangrijke business factoren voor CA en CCM, verdeeld over drie groepen: • Strategische factoren • Externe factoren • Operationele factoren Organisaties kunnen op basis van dergelijke overzichten hun drijfsferen voor CA en CCM in het businessplan beschrijven.

Bron: 2009 CA/CM whitepaper KPMG

45

Bijalge B - Potentiële gebruikers De aandachtpunten voor de sponsors van CA en CCM (‘C-level’) en potentiële gebruikers zijn in onderstaande tabel weergeven. In het businessplan kan men de evaluatie van de ‘controls’ koppelen aan de wensen en eisen van de sponsors. De management informatie uit de CA /CCM omgeving kan tevens gebruikt worden als bewijsmateriaal voor de sponsor.

Bron: 2009 CA/CM whitepaper KPMG

46

Bijalge C – Stappenplan implementatie CA CCM wordt nauwelijks toegepast en de interne audit afdeling kan dit stimuleren uitgevoerde werkzaamheden met behulp van data analyse (een vorm van CA). Hieronder is een stappenplan voor de implementatie van CA.

Bron: 2005 IIA_GTAG, Continuous Auditing:Implications for Assurance, Monitoring, and Risk Assessment

47

Bijalge D – Voorbeeld positionering COSO en COBIT binnen CCM Men kan CCM binnen het COBIT raamwerk toepassen op de IT gerelateerde aspecten (Non Financial) waaronder: • Operational system controls • Database security controls • Program change controls • Application controls • Access and authorization controls Men kan CCM binnen het COSO raamwerk toepassen op de financiële aspecten (Transactional/Proces level/Financial controls) inclusief de Access and authorization controls.

Bron: 2006, WP_Continuous Monitoring of FIN transactions

48