Afstudeerscriptie: Computer-assisted audit techniques (CAATs)

Afstudeerscriptie: Computer-assisted audit techniques (CAATs)

Afstudeerscriptie Definitieve versie 5 juni 2008 Hugo de Vries, [email protected]; Studentnummer: 9981236 Teamnummer: 831 Vrije Universiteit Amsterdam FEWEB: afdeling IT-Audit

IT Audit VU: Afstudeerscriptie – Hugo de Vries

1

Inhoud Samenvatting

3

Voorwoord

4

Inleiding

4

1.1.

4

Probleemstelling

Theoretisch kader en conceptueel model 1.2. 1.3.

Theoretisch kader Conceptueel model

6 6 11

Praktijkonderzoek

14

1.4. 1.5. 1.6.

14 15 16

Onderzoeksontwerp praktijkonderzoek Verzamelen van gegevens Analyseren van gegevens

Bevindingen

18

1.7.

18

Meer toegevoegde waarde door het gebruik van CAATs

Conclusies en aanbevelingen

21

1.8. 1.9.

21 22

Conclusies Aanbevelingen

Persoonlijke reflectie

23

Literatuur

24

Bijlagen

24

1.10. 1.11. 1.12. 1.13.

24 24 25 26

Vragenlijst interviews Verslag interview IT Auditor (IT en operationele audits) Verslag interview data analyse specialist Verslag interview Financial auditor


2

Samenvatting In dit hoofdstuk zal een samenvatting gegeven worden van de belangrijkste bevindingen en aanbevelingen van het onderzoek. CAATs zijn een middel om de externe jaarrekeningcontrole efficiënter en effectiever uit te voeren omdat door het gebruik van CAATs minder gegevensgerichte analyses en testwerkzaamheden van controls uitgevoerd hoeven te worden. Het succes van het gebruik van CAATs is echter sterk afhankelijk van de manier waarop CAATs door de auditor worden ingezet. Er doet zich in de huidige situatie vaak een aantal problemen voor bij de inzet van CAATs tijdens de jaarrekeningcontrole. Deze problemen worden vaak veroorzaakt door reactief of verplicht gebruik van CAATs: Reactieve inzet van CAATs CAATs worden vaak reactief ingezet tijdens de jaarrekeningcontrole. Dit betekent dat het gebruik van CAATs vaak pas wordt overwogen wanneer de auditor een (geautomatiseerde) controle tegenkomt die handmatig niet goed te testen is. Hierdoor levert de wijze waarop CAATs ingezet worden vaak problemen op, waardoor hoge kosten worden gemaakt voor het testen van een controle. De volgende problemen doen zich voor bij de inzet van CAATs: Data analyse specialisten zijn niet beschikbaar Data van de te auditen organisatie is niet tijdig beschikbaar Verplichte inzet van CAATs CAATs worden vaak alleen ingezet voor werkzaamheden die verplicht zijn vanuit weten regelgeving, dit geldt bijvoorbeeld voor SAS99 procedures. Dit betekent dat het gebruik beperkt is tot een aantal verplichte analyses. In dit geval worden wel veel kosten gemaakt voor het gebruik van CAATs, terwijl de toegevoegde waarde die de auditor eruit haalt beperkt is. De toegevoegde waarde is beperkt, omdat de financiële auditor voor de rest van de jaarrekeningcontrole werkzaamheden weinig zekerheid haalt uit de toegepaste CAATs en omdat weinig gebruik wordt gemaakt van de kennis die is opgedaan bij het toepassen van CAATs. Aanbevelingen Deze problemen kunnen worden voorkomen door het proactief inzetten van CAATs tijdens jaarrekeningcontrole. Dit kan gedaan worden door de inzet van CAATs onderdeel te maken van de audit aanpak en de financiële auditor goed te laten begrijpen welke mogelijkheden het gebruik van CAATs biedt. Als onderdeel van CAATs als onderdeel van de audit aanpak, zijn de volgende zaken van belang: Synergievoordelen. Kosten per analyse minimaliseren door verschillende analyses uit te voeren met het zelfde CAAT model. Vooraf kunnen de initiële kosten worden afgewogen tegen de uit te voeren CAAT analyses, om de verwachte kosten per analyse te bepalen. Tijdens de scoping en planning van de audit een inventarisatie uitvoeren van de toe te passen CAAT methoden. Evalueren welke CAAT methode het beste kunnen worden toegepast voor de uit te voeren analyses. Specialisten tijdig inschakelen. Beschikbaarheid van CAAT specialisten veiligstellen. Organisatie tijdig informeren over het gebruik van CAATs. Waarborgen dat de gevraagde data tijdig door de te auditen organisatie wordt opgeleverd. Coördinatie door IT Auditor. Door de combinatie van kennis en vaardigheden is de IT auditor de ideale partij om als centraal coördinatiepunt te dienen voor het gebruik van CAATs.


3

Voorwoord Deze scriptie is de finale toets van de Postgraduate IT Audit opleiding aan de Vrije Universiteit van Amsterdam. In de scriptie moet een probleem of vraagstuk uit de dagelijkse praktijk op academisch verantwoorde wijze uitgewerkt worden. In het kader van de jaarrekeningcontrole wordt het gebruik van CAATs momenteel gestimuleerd binnen accountantskantoren, mede door de beschikbaarheid van tools die het gebruik van CAATs toegankelijker maken. Ik heb een scriptie geschreven met als onderwerp computer-assisted audit techniques (CAATs) omdat ik van mening ben dat de IT auditor vanuit zijn rol bij de jaarrekeningcontrole, toegevoegde waarde kan bieden bij het gebruik van CAATs. Amsterdam 5 november 2007, Hugo de Vries

Inleiding Bedrijfsprocessen van (middel) grote organisaties zijn momenteel vergaand geautomatiseerd door middel van. IT systemen. Door deze automatisering van processen, is in de externe jaarrekeningcontrole ook veel aandacht gekomen voor deze automatisering. Hierdoor is de rol van de IT auditor in de afgelopen steeds belangrijker geworden tijdens jaarrekeningcontroles. De IT auditor wordt, in het kader van de jaarrekeningcontrole, vaak betrokken bij het beoordelen van opzet, bestaan en werking van (geautomatiseerde) controles in (veelal geautomatiseerde) bedrijfsprocessen. Echter, de betrokkenheid van de IT auditor is vaak beperkt in het gegevensgerichte traject van de jaarrekeningcontrole. In dit traject wordt door de financiële auditor beoordeeld of de jaarrekening een getrouw beeld vormt van de cijfers, die veelal door geautomatiseerde systemen verwerkt worden. Toch zijn er ook in dit traject mogelijkheden voor de IT auditor. De gegevensgerichte werkzaamheden kunnen gedeeltelijk worden geautomatiseerd door het gebruik van computer-assisted audit techniques (CAATs). CAATs worden gebruikt om op een geautomatiseerde manier financiële gegevens uit IT systemen te analyseren. CAATs worden momenteel nog in beperkte mate gebruikt tijdens jaarrekening controles. In dit traject zou de kennis van de IT auditor van toegevoegde waarde kunnen zijn door het toepassen van computer ondersteunde audit technieken tijdens de jaarrekeningcontrole. De actualiteit van het gebruik van CAATs tijdens de externe jaarrekeningcontrole blijkt bijvoorbeeld uit publicaties (De Accountant - mei 2008, p70) waarin CAATs worden benoemd als een van de belangrijkste audit innovaties van de komende jaren.

1.1. Probleemstelling De doelstelling van dit onderzoek is het inventariseren van toegevoegde waarde voor de externe jaarrekeningcontrole door het gebruik van CAATs en aanbevelingen doen om deze toegevoegde waarde volledig te benutten. Om de bovenstaande doelstelling te kunnen behalen is in het onderzoek voor de volgende probleemstelling gekozen: Op welke wijze kan het gebruik van computer ondersteunde audit technieken (CAATs) meer toegevoegde waarde bieden aan de externe jaarrekeningcontrole?


4

Deze probleemstelling is te breed om zelfstandig beantwoord te kunnen worden. Om deze probleemstelling te kunnen oplossen zal een aantal deelvragen behandeld worden: Op welke wijze kunnen CAATs worden ingezet in de jaarrekeningcontrole? Wat is de toegevoegde waarde van het inzetten van CAATs in de jaarrekeningcontrole? Op welke wijze worden CAATs in de praktijk toegepast in de jaarrekeningcontrole? Welke toegevoegde waarde voor de externe jaarrekeningcontrole wordt in de praktijk behaald door het gebruik van CAATs? Deze deelvragen zullen beantwoord worden in de hoofdstukken ‘Theoretisch kader en conceptueel model’ en ‘Praktijkonderzoek’. In het hoofdstuk ‘Bevindingen’ zal de probleemstelling beantwoordt worden op basis van de beantwoorde deelvragen uit de voorgaande twee hoofdstukken. In het hoofdstuk ‘Conclusies en aanbevelingen’ zal een overzicht gegeven worden van de resultaten van dit onderzoek.


5

Theoretisch kader en conceptueel model In dit hoofdstuk zal de theorie met betrekking tot CAATs behandeld worden. De paragraaf ‘Theoretisch kader’ zal in detail ingaan op de theorie achter CAATs. Op basis van de theorie is een conceptueel model ontwikkeld. Dit conceptueel model bevat een aantal oplossingsmogelijkheden voor de probleemstelling. In dit model komen zaken als de randvoorwaarden voor het gebruik en beperkingen van computer ondersteunde audit technieken in de externe jaarrekeningcontrole aan bod.

1.2. Theoretisch kader De basis van het onderzoek wordt gevormd door een literatuurstudie. In deze literatuurstudie zullen de volgende deelvragen beantwoord worden: Op welke wijze kunnen CAATs worden ingezet in de jaarrekeningcontrole? Wat is de toegevoegde waarde van het inzetten van CAATs in de jaarrekeningcontrole? In de onderstaande paragrafen wordt het theoretisch kader van het onderzoek beschreven: 1.2.1 - Achtergrondinformatie, in deze paragraaf worden de verschillende vormen van CAATs besproken. 1.2.2 - Invulling van inzet CAATs tijdens de jaarrekeningcontrole, in deze paragraaf worden de mogelijkheden besproken voor het inzetten van CAATs tijdens de jaarrekeningcontrole. 1.2.3 - Toegevoegde waarde van het inzetten van CAATs tijdens de jaarrekeningcontrole, in deze paragraaf wordt besproken welke voor- en nadelen er zijn voor het gebruik van CAATs tijdens de jaarrekeningcontrole. 1.2.1. Achtergrondinformatie In veel (middel-) grote organisaties worden bedrijfsprocessen vrijwel geheel ondersteund door IT systemen. Deze IT systemen bevatten veel digitale informatie over de organisatie. Auditors maken tijdens hun werkzaamheden veelal gebruik van deze informatie. Bij het uitvoeren van een audit moet een auditor dan ook vaak een oordeel geven over de juistheid, volledigheid en validiteit van de inhoud van rapportages en de data op basis waarvan deze rapportages worden gegenereerd. Er kan gekozen worden om dit handmatig te doen, door de inhoud van rapportages (op steekproefbasis) te vergelijken met brongegevens. Maar het is ook mogelijk om door middel van geautomatiseerde/computergestuurde procedures te controleren of systeeminformatie juist, volledig en valide is. Deze geautomatiseerde procedures worden CAATS genoemd. Computer ondersteunde audit technieken (CAATs) zijn computer programma’s die in het kader van een audit gebruikt worden om data te verwerken. (PricewaterhouseCoopers Audit Guide 2007) Onder computer programma’s worden de volgende zaken gerekend: Kant en klare softwarepakketten. Dit zijn programma’s die er specifiek op zijn gericht om CAAT analyses uit te voeren. Speciaal ontwikkelde programma’s. Dit is programmacode die is geschreven om een specifieke CAAT analyse uit te voeren. Speciaal ontwikkelde programma’s zijn op te delen in twee vormen: o Deze programmacode kan een individueel computerprogramma zijn. Bijvoorbeeld een speciaal ontwikkelt software pakket voor het uitvoeren van CAATs binnen een specifieke organisatie. o Maar deze programmacode kan ook onderdeel zijn van een kant-en-klaar softwarepakket. Bijvoorbeeld queries die gebouwd worden in het database management softwarepakket. CAATs zijn op te delen in vier Information System (IS) CAAT categorieën wanneer CAATs gebruikt worden tijdens een Information System audit (‘Using CAATs to support IS audit. Information systems control journal’, Volume 1, 2003, ISACA, p. 1):


6

Data Analyse Software, software die gebruikt wordt om de data van een applicatie te analyseren, voorbeelden hiervan zijn ACL, Microsoft Excel en Access. Data analyse kan bijvoorbeeld gebruikt worden om de volledigheid van te auditen rapportages te analyseren, door brongegevens met behulp een data analyse applicatie (zoals ACL) aan te sluiten met de rapportage. Netwerk beveiliging en netwerk evaluatie software, software die gebruikt wordt om beveiligingsinstellingen en gebruikersgegevens van een netwerk te beoordelen. Operating System (OS) en Database Management Systeem (DBMS) beveiliging evaluatie software, software die gebruikt wordt om beveiligingsinstellingen en gebruikersgegevens van een OS en DBMS te beoordelen. Software en testen van programmacode, software die gebruikt wordt om de werking van software en de logica van programmacode te beoordelen. Voor alle vier van de bovenstaande IS Audit CAAT categorieën is het mogelijk om gebruik te maken van kant en klare softwarepakketten en om gebruik te maken van speciaal ontwikkelde programma’s. Braun en Davis (Braun, R.L., & Davis, H.E. (2003), ‘Computer-assisted audit tools and techniques: analysis and perspectives’, page 726) definiëren CAATs op de volgende wijze: CAATs zijn tools en technieken die gebruikt worden om de interne logica van een applicatie te analyseren. CAATs zijn tools en technieken die gebruikt worden om data te analyseren om hiermee de logica van een applicatie te analyseren. Volgens dit artikel kunnen CAATs op basis van deze definitie ingedeeld worden in 5 categorieën: CAAT categorieën voor het direct analyseren van de logica van applicaties: o Test data, test data wordt door het systeem verwerkt om te kijken of de verwachte output in lijn is met de werkelijke output. o Geïntegreerde test faciliteit, het integreren van testdata in de live omgeving van het systeem. o Parallelle simulatie, een systeem dat op basis van live data zelfstandig output genereert, deze output kan vervolgens vergeleken worden met de output van het productiesysteem. CAAT categorieën voor indirecte analyse van de logica van applicaties: o Geïntegreerde audit modules, een in de applicatie ingebouwde module die real-time monitoring uitvoert op de data van de applicatie. o Generieke audit software, software die gebruikt kan worden om een dataset te analyseren. Deze software biedt de mogelijkheid om tabellen uit de productiesystemen te importeren, om deze vervolgens te kunnen analyseren met behulp van de analyse faciliteiten die in generieke audit software ingebouwd zijn. In de volgende twee subparagrafen zullen de deelvragen, zoals beschreven in de inleiding, beantwoord worden. 1.2.2. Invulling van inzet CAATs tijdens de jaarrekeningcontrole IT systemen binnen organisaties bevatten veel financiële informatie die gebruikt wordt voor het opstellen van de jaarrekening. Veelal wordt de (financiële) bedrijfsadministratie voor een groot deel bijgehouden in de database van deze IT Systemen. Het doel van de externe jaarrekeningcontrole is om vast te stellen of de jaarrekening die gepubliceerd wordt door een organisatie een getrouw beeld geeft van de werkelijkheid. Om hierover zekerheid te verschaffen moet de auditor zekerheid krijgen over de gegevens die gebruikt worden om deze jaarrekening op te stellen. Tijdens de jaarrekeningcontrole worden grofweg twee methoden gebruikt om deze zekerheid te krijgen over de jaarrekening: Steunen op het interne stelsel van controlemaatregelen wat door de organisatie is ingericht. Gegevensgerichte controle van de gegevens die gebruikt worden om de jaarrekening op te stellen.


7

CAATs kunnen in het kader van de jaarrekeningcontrole voor beide methoden worden ingezet: Bij het testen van (geautomatiseerde) controles. Bij het uitvoeren van gegevensgerichte controles. Hieronder worden de verschillende manieren toegelicht, waarop CAATs ingezet kunnen worden tijdens de jaarrekeningcontrole. CAATs bij het testen van (geautomatiseerde) controles De externe accountant kan er voor kiezen om in het kader van de jaarrekeningcontrole gebruik te gaan maken van het stelsel van interne controlemaatregelen van de organisatie. Wanneer de externe accountant wil steunen op deze controlemaatregelen zullen er testwerkzaamheden uitgevoerd moeten worden om vast te stellen of deze maatregelen in voldoende mate gewerkt hebben tijdens de periode waarover gerapporteerd wordt, hiertoe dient opzet, bestaan en werking van de controles te worden vastgesteld. Bij het vaststellen van de werking van controlemaatregelen kunnen CAATs in de volgende gevallen toegepast worden: Steekproeven. CAATs kunnen bijvoorbeeld gebruikt worden om willekeurig een steekproef te trekken uit een grote populatie. De auditor kan de willekeurige geselecteerde gevallen vervolgens testen. (PricewaterhouseCoopers Audit Guide 2007) Testwerkzaamheden met behulp van data analyse. CAATs kunnen ook worden gebruikt om de werking van (geautomatiseerde) controlemaatregelen te testen. Er kan bijvoorbeeld een data analyse uitgevoerd worden om te controleren of alle in de database opgenomen facturen zijn goedgekeurd door een manager. (PricewaterhouseCoopers Audit Guide 2007) Testwerkzaamheden doormiddel van het uitlezen van instellingen en geautomatiseerd analyseren van deze instellingen. Geautomatiseerde controles kunnen ingesteld zijn in applicaties, databases, besturingsystemen en netwerken. Deze instellingen kunnen op een geautomatiseerde manier worden beoordeeld. Bijvoorbeeld door het op een geautomatiseerde manier analyseren van toegangsrechten tot kritische netwerkschijven. (‘Using CAATs to support IS audit. Information systems control journal’, Volume 1, 2003, ISACA, p. 4) CAATs bij het uitvoeren van gegevensgerichte controles Bij het uitvoeren van gegevensgerichte werkzaamheden voert de auditor testen uit om zekerheid te krijgen over de gegevens die de basis vormen voor de jaarrekening. Deze testen kunnen grofweg ingedeeld worden in twee onderdelen: (PricewaterhouseCoopers Audit Guide 2007) Het doen van analyses om op basis van trends afwijkingen ten opzichte van de norm te identificeren, om afwijkingen in de onderliggende gegevens te identificeren. Hierbij kan bijvoorbeeld gedacht worden aan een trendanalyse die gebruikt wordt om de totale personeelskosten te analyseren. Het uitvoeren van gegevensgerichte controles om zekerheid te krijgen over individuele cijfers. Hierbij kan gedacht worden aan het uitvoeren van een voorraadtelling om de geregistreerde voorraad aan te sluiten met de werkelijke voorraad. Voor beide gegevensgerichte controlemethoden kan gebruik gemaakt worden van CAATs, CAATs kunnen op de volgende manieren toegepast worden. Steekproeven. CAATs kunnen gebruikt worden om transacties te selecteren die gegevensgericht gecontroleerd worden. Met behulp van CAATs is het bijvoorbeeld mogelijk om boekingen of producten te selecteren met een relatief grote impact op de financiële verslaggeving. (PricewaterhouseCoopers Audit Guide 2007) Data analyse. Data in (financiële) systemen kan op een geautomatiseerde manier worden geanalyseerd. Data analyse kan gebruikt worden voor het maken van trendanalyses, maar ook voor het identificeren van afwijkende journaalposten. (PricewaterhouseCoopers Audit Guide 2007) Spreadsheet assurance. In het kader van de jaarrekeningcontrole, kan als onderdeel van gegevensgerichte controles ook gebruik gemaakt van Spreadsheet Assurance. Spreadsheets die kritisch zijn voor de jaarrekening beoordeeld worden om de juistheid en volledigheid van de


8

berekeningen vast te stellen of om vast te stellen dat er geen onregelmatigheden geconstateerd zijn in de spreadsheet (negatieve assurance). Dit kan bijvoorbeeld gedaan worden door een schaduwmodel voor de spreadsheet te ontwikkelen of door de formules te analyseren met behulp van spreadsheet assurance software. (‘Controlling the Subversive Spreadsheet – Risks, Audit and Development Methods’, 2001, p. 1-2) 1.2.3. Toegevoegde waarde van het inzetten van CAATs tijdens de jaarrekeningcontrole In deze paragraaf wordt een uiteenzetting gedaan van de voor- en nadelen van het inzetten van CAATs tijdens de jaarrekeningcontrole. Hiermee zal de probleemstelling ‘Wat is de toegevoegde waarde van het inzetten van CAATs in de jaarrekeningcontrole?’ beantwoord worden. Om de toegevoegde waarde voor het inzetten van CAATs te kunnen bepalen, moeten de voordelen van het gebruik afgezet worden tegen de nadelen. Voordelen van het gebruik van CAATs In het artikel ‘Auditsoftware in de praktijk bij Achmea’ (De EDP auditor 2-2007) wordt een aantal voordelen genoemd van CAATs, het volgende voordeel is van toepassing op de jaarrekeningcontrole: Herhaalbaarheid, als een analyse eenmaal is uitgevoerd, kan deze gemakkelijk herhaald worden. In het kader van de jaarrekeningcontrole kan een CAAT model eenmaal ontwikkeld worden, vervolgens kan dit in toekomstige jaren opnieuw gebruikt worden. CAATs maken het mogelijk om op een efficiënte manier volledige populaties te testen (Braun, R.L., & Davis, H.E. (2003), ‘Computer-assisted audit tools and techniques: analysis and perspectives’, page 726, 729). Uit dit onderzoek blijkt dat de voordelen van het gebruik van CAATs voornamelijk worden beschreven door de volgende twee voordelen: Effectiviteit, doormiddel van CAATs is het mogelijk om geautomatiseerd een gehele populatie te testen. Op deze manier wordt meer zekerheid verkregen dan bij het handmatig testen van een steekproef. CAATs maken het ook mogelijk om een continu audit proces in te richten, waarbij de externe accountant continu zekerheid geeft over financiële gegevens. Tijdens de jaarrekeningcontrole is het mogelijk om met CAATs meer risico’s af te dekken dan tijdens de gebruikelijke jaarrekeningcontrole gedaan kan worden. Efficiëntie, met CAATs is het mogelijk om geautomatiseerde analyses uit te voeren (bijvoorbeeld trend analyses), dit kan efficiënter zijn dan het handmatig uitvoeren van deze analyses. Het hierboven genoemde voordeel van herhaalbaarheid kan als onderdeel van efficiëntie gezien worden. Tijdens de jaarrekeningcontrole kunnen CAATs dus zorgen voor een efficiëntere audit, dezelfde werkzaamheden kunnen met behulp van CAATs worden uitgevoerd tegen lagere audit kosten. Nadelen van het gebruik van CAATs In het artikel ‘Auditsoftware in de praktijk bij Achmea’ (De EDP auditor 2-2007’) wordt ook een nadeel genoemd, wat van toepassing is op het gebruik van CAATs tijdens de jaarrekeningcontrole: Ineffectiviteit, ondeskundige gebruikers kunnen onjuiste resultaten publiceren, wanneer de uitvoerder van CAATs onvoldoende kennis heeft van het gebruikte pakket of van de uit te voeren analyse dan kunnen mogelijk onjuiste resultaten geproduceerd worden met CAATs. Bij ondeskundig gebruik van CAATs zouden tijdens de jaarrekeningcontrole fouten gemaakt kunnen worden met als gevolg dat materiële fouten in de jaarrekening over het hoofd gezien worden. Inefficiëntie, hoge initiële kosten, in het artikel wordt herhaalbaarheid als voordeel genoemd, een nadeel hiervan is dat aan het ontwikkelen van een nieuwe CAAT analyse vaak hoge kosten verbonden zijn. Deze hoge kosten komen vaak tot stand omdat voor computer ondersteunde procedures vaak een model (bijvoorbeeld in ACL of Access) moet worden gebouwd. Het bouwen van dit model is vaak een exercitie waar relatief veel tijd mee gemoeid is. Tijdens de jaarrekeningcontrole zou dit betekenen dat in het eerste jaar van de meer CAAT gerichte audit een hoger audit budget nodig zal zijn dan tijdens de traditionele audit. Uit een ander artikel (Braun, R.L., & Davis, H.E. (2003), ‘Computer-assisted audit tools and


9

techniques: analysis and perspectives’, page 729) blijkt dat dit niet in alle gevallen als een nadeel gezien wordt in het eerste jaar van CAATs gebruik. Voordat CAATs toegepast gaan worden tijdens de jaarrekeningcontrole zou beoordeeld moeten worden of de verwachte voordelen (te behalen efficiëntie en effectiviteit) opwegen tegen de verwachte nadelen (te behalen inefficiëntie en ineffectiviteit).

IT Audit VU: Afstudeerscriptie – Hugo de Vries 10

1.3. Conceptueel model Op basis van de hierboven beschreven literatuur is in deze paragraaf een conceptueel model opgesteld voor het gebruik van de verschillende CAAT categorieën tijdens de jaarrekeningcontrole, om de onderzoeksvraag ‘Op welke wijze kunnen CAATs worden ingezet in de jaarrekeningcontrole?’ te kunnen beantwoorden. Dit conceptueel model is gebaseerd op de genoemde theorie uit de vorige paragraaf.

1.3.1. Methoden voor het gebruik van CAATs Volgens Braun en Davis (Braun, R.L., & Davis, H.E. (2003), ‘Computer-assisted audit tools and techniques: analysis and perspectives’, page 726) kunnen alle CAAT categorieën ingedeeld worden in twee methoden: CAAT categorieën voor het direct en indirect analyseren van de logica van applicaties. Hieronder zal ik alle hierboven genoemde CAAT categorieën indelen binnen deze twee methoden, deze indeling moet een zo volledig mogelijk beeld geven van de manier waarop CAATs kunnen worden ingezet. Directe analyse van applicatie logica Voor de directe analyse van applicatie logica zijn de volgende categorieën te onderkennen, op basis van de IS CAAT categorieën is er een categorie toegevoegd aan deze methode; de controle van systeeminstellingen. Test data, test data wordt door het systeem verwerkt om te kijken of de verwachte output in lijn is met de werkelijke output. Geïntegreerde test faciliteit, het integreren van testdata in de live omgeving van het systeem. Parallelle simulatie, een systeem dat op basis van live data zelfstandig output genereert, deze output kan vervolgens vergeleken worden met de output van het productiesysteem. Onder parallelle simulatie valt bijvoorbeeld software die gebruikt wordt om parallelle simulatie van Excel sheets uit te voeren. Controle van systeeminstellingen, de applicatie logica kan ook worden beoordeeld zonder gebruik te maken van datasets. Door het controleren van systeem instellingen kan de applicatielogica vastgesteld worden. Onder de controle van systeeminstellingen vallen de IS audit CAAT categorieën ‘Netwerk beveiliging en netwerk evaluatie software, OS’ en ‘DBMS beveiliging evaluatie software’, De IS Audit CAAT categorie ‘software en testen van programmacode’ kan toegepast worden volgens alle van de bovenstaande categorieën van directe applicatie logica analyse, omdat deze software rechtstreeks op de omgeving gebruikt wordt voor het analyseren van de applicatie logica. Indirecte analyse van applicatie logica: De volgende CAAT categorieën worden genoemd voor de indirecte analyse van de logica van applicaties. Geïntegreerde audit modules, een in de applicatie ingebouwde module die real-time monitoring uitvoert op de data van de applicatie. Generieke audit software, software die gebruikt kan worden om een dataset te analyseren. Deze software biedt de mogelijkheid om tabellen uit de productiesystemen te importeren, om deze vervolgens te kunnen analyseren met behulp van de analyse faciliteiten die in generieke audit software ingebouwd zijn. Voorbeelden van generieke audit software zijn ACL, Microsoft Access, Excel en tools voor spreadsheet assurance. De IS Audit CAAT categorie ‘Data Analyse Software’ kan toegepast worden volgens alle van de bovenstaande categorieën van indirecte applicatie logica analyse, omdat dit afzonderlijke software is die gebruikt wordt om de data van een applicatie te analyseren.


1.3.2. Gebruik van de CAATs methoden tijdens de jaarrekeningcontrole In deze paragraaf wordt ingegaan op het toepassen van de CAAT methoden binnen de twee onderdelen (testen van controles en gegevensgerichte controle) van de jaarrekeningcontrole. Hieronder wordt het gebruik van de CAAT methoden tijdens de jaarrekeningcontrole toegelicht. Het gebruik van CAATs bij het testen van (geautomatiseerde) controles. De methode voor het direct analyseren van applicatie logica kan toegepast worden voor het testen van geautomatiseerde controles, omdat deze methode het mogelijk maakt om de werking van geprogrammeerde controlemaatregelen te testen. Ook kan deze methode worden gebruikt voor het analyseren van de logica van spreadsheets. Handmatige controles kunnen niet getest worden door het analyseren van applicatie logica. Omdat bij handmatige controles altijd een menselijke handeling plaatsvindt, hierdoor is de uitkomst niet te voorspellen met behulp van applicatie logica. Samengevat kan de directe methode voor het analyseren van applicatie logica tijdens de jaarrekening toegepast worden: Testwerkzaamheden om de werking van geautomatiseerde controles vast te stellen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets.. Voor het testen van geautomatiseerde controles kan ook gebruik gemaakt worden van de indirecte methode voor het analyseren van applicatie logica. Dit kan gedaan worden door een aantal transacties (die representatief zijn voor de populatie) uit de applicatie database, op een geautomatiseerde manier te analyseren om hiermee de werking van een geautomatiseerde controle aan te tonen. Handmatige controles kunnen wel getest worden met de indirecte methode. Met deze methode is het mogelijk om productie data van een applicatie te analyseren, om de werking van handmatige controles aan te tonen. Dit kan alleen wanneer de resultaten van deze handmatige controle zijn opgenomen in de database van de applicatie. Ook deze methode kan worden gebruikt voor het analyseren van de logica van spreadsheets. De indirecte methode voor het analyseren van applicatie logica tijdens de jaarrekeningcontrole (testen van controles) toegepast worden: Steekproeven voor het testen van (geautomatiseerde) controles. Testwerkzaamheden met behulp van data analyse om de werking van (geautomatiseerde) controles vast te stellen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets. Het gebruik van CAATs bij het uitvoeren van gegevensgerichte controles. Bij het uitvoeren van gegevensgerichte controles is het per definitie niet mogelijk om gebruik te maken van de directe methode voor het analyseren van applicatie logica. Omdat bij het uitvoeren van gegevensgerichte controles wordt een uitspraak gedaan over de gegevens door de applicatie (of spreadsheets) zijn gegenereerd tijdens het boek jaar. Bij het uitvoeren van gegevensgerichte controles wordt geen oordeel gegeven over de werking van geautomatiseerde controles. Bij het uitvoeren van gegevensgerichte controle is de methode voor indirecte analyse van applicatie logica wel te gebruiken. Met deze methode kunnen de in de applicatie aanwezige gegevens op een geautomatiseerde manier geanalyseerd worden. Ook de transacties in spreadsheets kunnen met deze methode op een geautomatiseerde manier getest worden. De indirecte methode voor het analyseren van applicatie logica kan tijdens de jaarrekeningcontrole ) toegepast worden: (bij het uitvoeren van gegevensgerichte controles) Steekproeven voor het selecteren van te testen transacties. Testwerkzaamheden met behulp van data analyse om transacties/spreadsheets te testen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets.


In de onderstaande tabel is het conceptueel model samengevat. CAAT methoden en categorieën Directe analyse van applicatie logica Test data Geïntegreerde test faciliteit Parallelle simulatie Controle van systeeminstellingen

Indirecte analyse van applicatie logica Geïntegreerde audit modules Generieke audit software

Testen van (geautomatiseerde) controles Het testen van geautomatiseerde controles Testwerkzaamheden om de werking van geautomatiseerde controles vast te stellen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets. Het testen van handmatige en geautomatiseerde controles Steekproeven voor het testen van (geautomatiseerde) controles. Testwerkzaamheden met behulp van data analyse om de werking van (geautomatiseerde) controles vast te stellen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets.

Uitvoeren van gegevensgerichte controles N.v.t.

Het analyseren van applicatie data. Steekproeven voor het selecteren van te testen transacties. Testwerkzaamheden met behulp van data analyse om transacties/spreadsheets te testen. Spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets

Tabel 1, het gebruik van CAATs tijdens de jaarrekeningcontrole


Praktijkonderzoek Niet alle deelvragen uit de inleiding kunnen beantwoord worden met behulp van het hierboven geschetste theoretisch kader. Door middel van het praktijkonderzoek zal de volgende deelvraag beantwoord worden: Op welke wijze worden CAATs in de praktijk toegepast in de jaarrekeningcontrole? Welke toegevoegde waarde voor de externe jaarrekeningcontrole wordt in de praktijk behaald door het gebruik van CAATs? In het onderzoeksontwerp staat beschreven op welke manier het praktijkonderzoek uitgevoerd gaat worden.

1.4. Onderzoeksontwerp praktijkonderzoek Om een goed beeld te kunnen krijgen van de toegevoegde waarde van CAATs die tijdens de externe jaarrekeningcontrole wordt behaald zal een aantal mensen geïnterviewd die zich bezig houden met het proces van de externe jaarrekeningcontrole. Bij het ontwerp van de steekproef voor het inventariseren van de toegevoegde waarde van CAATs zullen gegevens verzameld worden van auditors die betrokken zijn bij de externe jaarrekeningcontrole. Tijdens de externe jaarrekeningcontrole zijn vaak auditors met verschillende achtergronden betrokken. Deze verschillende auditors zullen afzonderlijk geïnterviewd worden, omdat de visie auditors met verschillende achtergronden kan afwijken. Hierdoor wordt zo veel mogelijk informatie verzameld. De volgende auditors worden geïnterviewd: Financiële auditor IT Auditor (IT en operational audits) Data analyse specialist Het doel van deze interviews is het maken van een overzicht van de toegevoegde waarde die volgens de gebruikers behaald wordt door het gebruik van CAATs tijdens de jaarrekeningcontrole. De manier waarop deze informatie verzameld wordt zal gebaseerd worden op de volgende vier vragen. (Cooper en Schindler, 2003, blz. 358) Welk type gegevens zijn nodig voor het beantwoorden van de management vraag? Welke communicatievorm wordt gebruikt? Worden de vragen gestructureerd, ongestructureerd of een combinatie van deze twee? Zouden de vragen direct moeten zijn of vermomd? Type gegevens Voor het inventariseren van de toegevoegde waarde van CAATs heb ik de volgende informatie nodig: In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole? Welke vormen van CAATs worden in de praktijk toegepast tijdens de jaarrekeningcontrole? Welke voordelen worden er behaald bij het toepassen van CAATs tijdens de jaarrekeningcontrole? Welke nadelen kleven er aan het gebruik van CAATs tijdens de jaarrekeningcontrole? Bij deze vragen is geen sprake van classificatie, omdat dit open vragen zijn waarvoor uitleg benodigd is van de respondent. Bij het verzamelen van informatie over de voor of nadelen van CAATs zal benadrukt worden dat het niet verplicht is voor- of nadelen op te geven wanneer de respondent in de dagelijkse praktijk geen gebruik maakt van CAATs. Omdat het open vragen zijn wil ik afhankelijk van de antwoorden, verder ingaan op bepaalde uitspraken.


Communicatievorm Bij het kiezen van een communicatievorm kan er gekozen worden uit drie interviewmethoden: persoonlijke interviews, telefonische interviews en schriftelijke enquêtes. Als communicatievorm heb ik gekozen voor persoonlijke interviews, hiervoor zal ik van tevoren een afspraak maken met de respondent. Op deze manier is het goed mogelijk om de tijd te nemen voor het interview en om in te gaan op de antwoorden die door de respondenten gegeven worden. Structuur De structuur van het onderzoek zal een open interview zijn. Het zal niet nodig zijn om administratieve of classificatie vragen te stellen, om de respondenten te identificeren en te classificeren, deze informatie heb ik reeds tot mijn beschikking. Eigenlijk zijn alleen de interviewvragen van belang in de interviews. Vervorming Het is ook mogelijk om vragen te vervormen, om de ware bedoeling van een vraag te maskeren. In dit onderzoek acht ik dit niet nodig, omdat het een open interview over het gebruik van CAATs moet worden en de respondenten geen belang hebben bij het achter houden van informatie. Op basis van het bovenstaande onderzoeksontwerp is in bijlage 1.10 een standaard vragenlijst toegevoegd.

1.5. Verzamelen van gegevens De toegevoegde waarde, in de praktijk, voor het gebruik van CAATs, is vastgesteld door het houden van een aantal interviews met auditors die betrokken zijn bij de uitvoer van externe jaarrekeningcontroles. Deze interviews zijn door mij zelf afgenomen, de interviews zijn beknopt vastgelegd in gespreksverslagen. (zie bijlage 1.11, 1.12 en 1.13) Hieronder zijn de belangrijkste bevindingen naar aanleiding van deze interviews op een rij gezet en geanalyseerd: In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole? Uit de interviews is gebleken dat CAATs worden toegepast in de volgende situaties: Gereguleerd gebruik van CAATs, gebruikt voor verplichte (bijvoorbeeld SAS99) werkzaamheden. Reactief gebruik van CAATs, tijdens de werkzaamheden van de jaarrekeningcontrole blijkt dat CAATs toegepast kunnen/moeten worden. Dit is vaak het geval tijdens het gegevensgerichte deel van de jaarrekeningcontrole. Wanneer het Financial audit team tijdens de jaarrekeningcontrole kritische spreadsheets tegenkomt moet bijvoorbeeld een spreadsheet beoordeeld worden. Proactieve inventarisatie van het gebruik van CAATs, tijdens de scoping en planning van jaarrekeningcontrole werkzaamheden. Welke vormen van CAATs worden in de praktijk toegepast tijdens de jaarrekeningcontrole? Uit de interviews is gebleken dat de volgende vormen van CAATs toegepast worden: Spreadsheet Assurance, voor het analyseren van spreadsheets. Account Analyser, voor het uitvoeren van gegevensgerichte controles bij kleinere organisaties. Dit is een applicatie (van de organisatie Unit4Agresso) waarin een aantal standaard jaarrekeningcontrole CAAT analyses zitten ingebouwd. Access/ACL modellen, voor het uitvoeren van gegevensgerichte controles bij grote organisaties. Welke voordelen worden er behaald bij het toepassen van CAATs tijdens de jaarrekeningcontrole? Uit de interviews is gebleken dat CAATs de volgende voordelen bieden: Efficiëntie van de jaarrekeningcontrole. Verhogen van de kwaliteit van de jaarrekeningcontrole. IT Audit VU: Afstudeerscriptie – Hugo de Vries 15

Het uitvoeren van gereguleerde werkzaamheden. Welke nadelen kleven er aan het gebruik van CAATs tijdens de jaarrekeningcontrole? Uit de interviews is gebleken dat aan het gebruik van CAATs de volgende nadelen kleven: De kosten van het (initiële) gebruik van CAATs tijdens de jaarrekeningcontrole zijn hoog. De organisatie wil geen complete database met financiële gegevens afstaan of de organisatie kan/wil niet op korte termijn de benodigde data opleveren. Standaard CAAT tools kunnen niet toegepast worden bij grotere organisaties, omdat deze organisaties vaak grote databases met veel records en transacties gebruiken.. Bij reactief gebruik van CAATs is worden CAATs vaak pas op een laat moment in de audit ingezet, waardoor het moeilijk is om tijdig specialisten in te schakelen.

1.6. Analyseren van gegevens Uit het praktijkonderzoek is gebleken dat CAATs momenteel vooral gebruikt worden voor de indirecte analyse van applicatie logica. Binnen de indirecte analyse van applicatie logica worden CAATs met name gebruikt voor het uitvoeren van gegevengerichte controles. In de tabel op de volgende pagina is een overzicht opgenomen van de huidige toegevoegde waarde van CAATs op basis van het conceptueel model wat in de vorige paragraaf is opgesteld.


CAAT methoden en categorieën Directe analyse van applicatie logica Test data Geïntegreerde test faciliteit Parallelle simulatie Controle van systeeminstellingen


Testen van (geautomatiseerde) controles CAATs worden in beperkte mate gebruikt voor het testen van geautomatiseerde controles. De directe analyse van applicatie logica wordt vooral toegepast bij het analyseren van de logica van spreadsheets. Spreadsheet Assurance wordt regelmatig toegepast, om tijdens de audit meer zekerheid te krijgen over spreadsheet modellen. Het gebruik van Spreadsheet Assurance is in veel gevallen reactief, waardoor het soms moeilijk is om tijdig specialisten in te schakelen.


CAATs worden vaak gebruikt omdat het gebruik verplicht is vanwege regulering. De toegevoegde waarde is in deze gevallen beperkt omdat CAATs alleen gebruikt worden voor de verplichte analyses. In de gevallen waarin proactief gebruik gemaakt wordt van CAATs wordt meer toegevoegde waarde behaald omdat vooraf bepaald kan worden op welke punten van de audit aanpak CAATs ingezet kunnen worden. Hierdoor zijn ook de kosten van CAATs vooraf goed inzichtelijk. Bij reactief gebruik van CAATs is worden CAATs vaak pas op een laat moment in de audit ingezet, waardoor het moeilijk is om tijdig specialisten in te schakelen.

Tabel 2, de huidige toegevoegde waarde van het gebruik van CAATs


Bevindingen In deze paragraaf wordt op basis van het conceptueel model getoetst welke extra toegevoegde waarde CAATs kunnen bieden bij het gebruik voor de jaarrekeningcontrole. Deze analyse zal leiden tot het oplossen van de onderzoeksvraag: Op welke wijze kan het gebruik van computer ondersteunde audit technieken (CAATs) meer toegevoegde waarde bieden aan de externe jaarrekeningcontrole? In het conceptueel model is beschreven welke toegevoegde waarde CAATs kunnen bieden voor de jaarrekeningcontrole. (‘soll’ situatie) In de analyse van het praktijkonderzoek is beschreven welke toegevoegde waarde CAATs momenteel hebben tijdens de jaarrekeningcontrole. (‘ist’ situatie) Om de onderzoeksvraag te kunnen beantwoorden zal worden geanalyseerd wat het verschil is tussen de maximale toegevoegde waarde en de toegevoegde waarde die momenteel in de praktijk wordt behaald tijdens de jaarrekeningcontrole. (het verschil tussen de ‘soll’ en ‘ist’ situatie)

1.7. Meer toegevoegde waarde door het gebruik van CAATs De toegevoegde waarde van het gebruik van CAATs is opgesplitst in de twee onderdelen van de jaarrekeningcontrole, omdat het gebruik van CAATs tijdens deze onderdelen verschillen: Meer toegevoegde waarde bij het testen van (geautomatiseerde) controles Meer toegevoegde waarde bij het uitvoeren van gegevensgerichte controles Meer toegevoegde waarde bij het testen van (geautomatiseerde) controles De volgende CAAT methoden zouden meer toegevoegde waarde kunnen bieden tijdens de jaarrekeningcontrole, omdat is gebleken dat deze methoden momenteel beperkt toegepast worden: Testwerkzaamheden om de werking van geautomatiseerde controles vast te stellen, door middel van directe- of indirecte analyse van applicatie logica. Steekproeven voor het testen van (geautomatiseerde) controles. Verder wordt tijdens de jaarrekeningcontrole wel geregeld gebruik gemaakt van spreadsheet assurance om de werking van spreadsheets vast te stellen of om negatieve assurance te geven over spreadsheets. Uit het praktijkonderzoek is echter gebleken dat werkzaamheden met betrekking tot het testen van geautomatiseerde controles vaak reactief plaatsvinden. Wanneer de auditor tijdens het traject van de jaarrekeningcontrole bijvoorbeeld kritische spreadsheets tegenkomt wordt pas besloten om CAATs toe te passen om deze spreadsheets te analyseren. Extra toegevoegde waarde zou kunnen worden behaald door CAATs proactief in te zetten, tijdens de scoping van de audit werkzaamheden. Op deze manier kan vooraf worden ingeschat welke methode het beste toegepast kan worden tijdens de audit: handmatige controle of CAATs. Dit heeft de volgende voordelen ten opzichte van reactief gebruik van CAATs: Specialisten kunnen tijdig worden ingeschakeld. Tijdens de scoping en planning kan het gebruik van CAATs afgewogen worden tegen het handmatig testen van (geautomatiseerde) controles, om vooraf en inschatting te maken op welke manier de controle het meest efficiënt en effectief uitgevoerd kan worden. Hierdoor kunnen met dezelfde investering vaak meer analyses uitgevoerd worden. De organisatie kan tijdig worden geïnformeerd over het gebruik van CAATs, waardoor de kans groter is dat data van de organisatie beschikbaar is tijdens de controle. Evaluatie van CAAT methoden. Wanneer besloten is om CAATs toe te passen tijdens het testen van (geautomatiseerde) controles kan een analyse worden gedaan om te beoordelen welke CAAT methode het beste kan worden toegepast.


Meer toegevoegde waarde bij het uitvoeren van gegevensgerichte controles De volgende CAAT methode zou meer toegevoegde waarde kunnen bieden tijdens de jaarrekeningcontrole, omdat is gebleken dat deze methoden momenteel beperkt toegepast worden: Steekproeven voor het selecteren van te testen transacties. Uitvoeren van gegevensgerichte analyses (bijvoorbeeld trendanalyses) Herberekening van complexe berekeningen/spreadsheets Het uitvoeren van testwerkzaamheden met behulp van data analyse om transacties/spreadsheets te testen wordt tijdens de jaarrekeningcontrole wel regelmatig toegepast. Echter het gebruik hiervan beperkt zich vaak tot verplicht gebruik, hiervoor worden wel de meeste kosten voor het gebruik van CAATs gemaakt, bijvoorbeeld het opvragen en inlezen van klantbestanden, maar de baten zijn beperkt. Extra toegevoegde waarde zou ook hier behaald kunnen worden door CAATs proactief in te zetten, tijdens de scoping van de audit werkzaamheden: De mogelijke CAAT analyses kan vooraf worden afgewogen tegen de mogelijke van handmatige analyses. Om vooraf een inschatting te maken op welke manier de controle het meest efficiënt en effectief uitgevoerd kan worden. Hierdoor kunnen met dezelfde investering vaak meer analyses uitgevoerd worden. De organisatie kan tijdig worden geïnformeerd over het gebruik van CAATs, waardoor de kans groter is dat data van de organisatie beschikbaar is tijdens de controle. Specialisten kunnen tijdig worden ingeschakeld. Evaluatie van CAAT methoden. wanneer besloten is om CAATs toe te passen voor het uitvoeren van gegevensgerichte controles kan een analyse worden gedaan om te beoordelen welke CAAT methode het beste kan worden toegepast. In de tabel op de volgende pagina is een overzicht opgenomen van de extra toegevoegde waarde die CAATs kunnen bieden, op basis van het conceptueel model wat in het theoretisch kader is opgesteld.


CAAT methoden en categorieën Directe analyse van applicatie logica Test data Geïntegreerde test faciliteit Parallelle simulatie Controle van systeeminstellingen


Testen van (geautomatiseerde) controles Meer efficiëntie en effectiviteit mogelijk door: Inventariseren welke controles ook getest kunnen worden met een CAAT model. Specialisten tijdig inschakelen. Organisatie/klant tijdig informeren over het gebruik van CAATs. Evalueren verschillende CAAT methoden. Meer efficiëntie en effectiviteit mogelijk door: Inventariseren welke controles ook getest kunnen worden met een CAAT model. Specialisten tijdig inschakelen. Organisatie/klant tijdig informeren over het gebruik van CAATs. Evalueren verschillende CAAT methoden.


Meer efficiëntie en effectiviteit mogelijk door: Inventariseren welke analyses ook uitgevoerd kunnen worden met een CAAT model. Specialisten tijdig inschakelen. Organisatie/klant tijdig informeren over het gebruik van CAATs. Evalueren van verschillende CAAT methoden.

Tabel 3, meer toegevoegde waarde door het gebruik van CAATs


Conclusies en aanbevelingen In deze paragraaf zullen de conclusies en aanbevelingen uit dit onderzoek gepresenteerd worden.

1.8. Conclusies Tijdens de jaarrekeningcontrole kunnen CAATs op twee momenten worden toegepast: Voor het testen van (geautomatiseerde) controles. Voor het uitvoeren van gegevengerichte controles. Wanneer CAATs tijdens beide onderdelen van de externe jaarrekeningcontrole worden toegepast kan een de jaarrekeningcontrole in sommige gevallen efficiënter en effectiever worden uitgevoerd. In de praktijk worden CAATs dan ook op beide momenten van de jaarrekeningcontrole toegepast. Echter het gebruik van CAATs is vaak niet pro actief opgenomen in de audit aanpak, hierdoor wordt in de praktijk vaak niet de beoogde efficiëntie en effectiviteit behaald. Gebruik van CAATs voor het testen van (geautomatiseerde) controles Bij het testen van (geautomatiseerde controles) blijkt uit de praktijk blijkt dat CAATs reactief worden ingezet. Tijdens het audit proces wordt ontdekt dat bepaalde controles niet (efficiënt) handmatig getest kunnen worden. Wanneer deze controles toch getest moeten worden om voldoende zekerheid te krijgen, wordt in deze gevallen pas besloten tot het inzetten van CAATs. Dit heeft de volgende gevolgen: Beschikbaarheid specialisten: Door het reactief inzetten van CAATs zijn de benodigde specialisten niet altijd tijdig beschikbaar. Tijdige aanlevering gegevens van de organisatie: Ook komt het voor dat de benodigde data niet tijdig kan worden opgeleverd door de klant van de externe auditor. CAATs zijn niet opgenomen in de audit aanpak: Het reactief inzetten van CAATs heeft als gevolg dat het gebruik niet van tevoren is opgenomen in de audit aanpak. Hierdoor worden niet alle kosten en baten voor het gebruik van CAATs vooraf bepaald, dit kan tot gevolg hebben dat CAATs maar voor het testen van enkele controles toegepast worden, terwijl het model ook efficiënt was geweest om (wanneer CAATs eenmaal gebruikt worden) ook voor het testen andere controles gebruik te maken van CAATs. Het gevolg is dat de verhoogde efficiëntie en effectiviteit van het gebruik van CAATs tijdens de jaarrekeningcontrole niet altijd volledig benut wordt. Gebruik van CAATs voor het uitvoeren van gegevensgerichte controles Bij het uitvoeren van gegevensgerichte controles wordt vaak gebruik gemaakt van CAATs vanuit verplichtingen door weten regelgeving. Dit leidt ertoe dat CAATs vaak gebruikt worden voor een beperkt aantal verplichte analyses. De inzet van CAATs is in deze gevallen vaak wel beter gepland, omdat de verplichte analyses veelal in de audit aanpak worden meegenomen. In deze gevallen worden vaak uitsluitend de verplichte analyses uitgevoerd hiervoor worden relatief veel data analyse kosten gemaakt, terwijl deze investeringen niet worden gebruikt voor het uitvoeren van additionele CAAT analyses. Verder geldt dat de keuze voor een CAAT methode niet altijd vooraf gegaan wordt door een analyse, waardoor soms wordt geconcludeerd dat het toepassen van CAATs niet mogelijk is (bijvoorbeeld, omdat Account Analyser niet toegepast kan worden bij de organisatie). Hierdoor wordt ook tijdens het uitvoeren van gegevensgerichte controles ook vaak geen verhoogde efficiëntie en effectiviteit van het gebruik van CAATs tijdens de jaarrekeningcontrole behaald.


1.9. Aanbevelingen Tijdens de jaarrekeningcontrole zou meer proactief gebruik gemaakt moeten worden. Dit geldt voor het testen van (geautomatiseerde) controles en voor het uitvoeren van gegevensgerichte analyses. Het proactief inzetten van CAATs kan in de praktijk worden uitgevoerd door het gebruik van CAATs te overwegen tijdens de scoping en het opstellen van de aanpak van de externe jaarrekeningcontrole. Bij het opstellen van de audit aanpak zou aan de volgende zaken gedacht moeten worden: Testen van (geautomatiseerde) controles: welke controles kunnen het meest efficiënt en effectief getest worden doormiddel van handmatige testwerkzaamheden en welke kunnen het meest efficiënt en effectief getest worden doormiddel van geautomatiseerde testwerkzaamheden (CAATs). Uitvoeren van gegevensgerichte werkzaamheden: welke gegevengerichte werkzaamheden kunnen het meest efficiënt en effectief uitgevoerd worden doormiddel van handmatige testwerkzaamheden en welke kunnen het meest efficiënt en effectief uitgevoerd worden doormiddel van geautomatiseerde testwerkzaamheden (CAATs). Door tijdens het opstellen van de audit aanpak een inschatting te maken van de manier waarop CAATs het beste kunnen worden toegepast tijdens de jaarrekeningcontrole kunnen meer voordelen (efficiëntie en effectiviteit van de jaarrekeningcontrole) behaald worden: Synergievoordelen. Wanneer tijdens de audit aanpak wordt geëvalueerd in welke gevallen wel/geen gebruik kan worden gemaakt van CAATs, dan kunnen de totale kosten voor het gebruik van CAATs worden afgewogen tegen alle analyses die met behulp van CAATs kunnen worden uitgevoerd. Op deze manier wordt de investering (waar vaak hoge initiële kosten aan verbonden zijn) in CAATs goed afgewogen tegen de voordelen die te behalen zijn met het gebruik van CAATs. Dit kan in de praktijk uitgevoerd worden door een analyse uit te voeren om de initiële kosten die verbonden zijn met CAATs te bepalen, deze kunnen worden afgezet tegen de verschillende CAAT analyeses, om zo inzicht te krijgen in de kosten per analyse. Specialisten tijdig inschakelen. Wanneer specialisten tijdig worden ingeschakeld wordt gewaarborgd dat alle analyses die opgenomen zijn in de scoping ook daadwerkelijk kunnen worden uitgevoerd op het geplande moment. Organisatie tijdig informeren over het gebruik van CAATs. Wanneer de organisatie die onderworpen wordt aan de externe audit tijdig geïnformeerd wordt kan deze zich voorbereiden op het verzoek tot oplevering van data. Tijdens de scoping en planning van de audit inventariseren welke CAAT methoden toegepast kunnen worden. Wanneer CAATs tijdens het opstellen van de audit aanpak worden meegenomen, moet ook een goede inventarisatie plaatsvinden om te bepalen welke CAAT methode ingezet kan worden. Hierdoor wordt een weloverwogen besluit genomen over de te gebruiken CAAT techniek. De financiële auditor is vaak beperkt op de hoogte van CAAT methoden en is vaak alleen bekend met de standaard CAAT tools als Account Analyser. De IT auditor of data analyse kunnen de financiële auditor goed ondersteunen bij het selecteren van een CAAT methode. Coördinatie door IT auditor. De financiële auditor mist vaak kennis op het gebied van data analyse, terwijl de data analyse specialist vaak beperkt op de hoogte is van processen en controls binnen de organisatie. De IT auditor heeft bij de externe jaarrekeningcontrole vaak veel kennis van de processen en controls binnen de organisatie, tevens bezit de IT auditor (basis) kennis op het gebied van data analyse. Door deze combinatie van kennis en vaardigheden is de IT auditor de ideale partij om als centraal coördinatiepunt te dienen voor het gebruik van CAATs.


Persoonlijke reflectie In mijn persoonlijke reflectie geef ik mijn eigen mening over het door mij verrichte onderzoek en de aanbevelingen die hier uit voortkomen. Voorafgaand aan het schrijven van deze scriptie had ik nog beperkte kennis en ervaring met het gebruik van CAATs tijdens de externe jaarrekeningcontrole. Ik heb dit onderwerp vooral gekozen door mijn interesse voor data analyse en werkzaamheden m.b.t. de jaarrekeningcontrole. Tijdens het uitvoeren van het onderzoek naar CAATs heb ik veel geleerd over dit onderwerp, de interviews hebben hierin een grote bijdrage gehad, maar ook het literatuuronderzoek vond ik erg interessant. Verder heb ik tijdens het schrijven ook meerdere malen informeel met collega’s gesproken over het gebruik van CAATs, mijn interesse in het onderwerp nam hierdoor erg toe. Door deze kennis op het gebied van CAATs heb ik mij (tijdens het schrijven van de scriptie) ingezet om het effectieve gebruik van CAATs tijdens de jaarrekeningcontrole te stimuleren. Dit heeft als gevolg dat ik binnenkort zelfs een aantal data analyse cursussen ga geven. Nu is de grote vraag natuurlijk: ‘Maak ik tijdens mijn audits gebruik van de aanbevelingen in dit onderzoek?’ Ik kan deze vraag zeker positief kan beantwoorden. Tijdens alle jaarrekeningcontroles waar dit relevant is, probeer ik het gebruik van CAATs tijdens de planning en scoping te evalueren met mijn financiële audit collega’s. Ook probeer ik mijn collega IT auditors bewust te maken van de mogelijkheden en aandachtspunten van het gebruik van CAATs voor de jaarrekeningcontrole en daarbuiten.

Voor mij heeft het schrijven van deze scriptie dus zeker een leerzame ervaring geweest, de kennis die ik heb opgedaan zal ik in mijn dagelijks werk zeker blijven gebruiken.

Tenslotte wil ik de volgende mensen bedanken voor hun hulp bij het schrijven van deze scriptie: Ivo de Ruijter, Bram van Tiel en Paul Harmzen.

Amsterdam 5 juni 2008, Hugo de Vries


Literatuur Tijdens de literatuurstudie zijn de volgende bronnen geraadpleegd voor het theoretisch kader: PricewaterhouseCoopers Audit Guide (2007), Pricewaterhouse Coopers. Boersen D., van der Maat M., de Haan R. (2007), ‘Auditsoftware in de praktijk bij Achmea’, De EDP auditor 2-2007, ISSN 0929-0583 Anantha Sayana S. (2003), Using CAATs to support IS audit. Information systems control journal, Volume 1, 2003 www.isaca.org Paukowits, F., Paukowits K. (2000), Internal Auditor, April, 2000. Ettema, H., Janssen P., de Swart, J. (2001).‘Controlling the Subversive Spreadsheet – Risks, Audit and Development Methods’ – ‘Proceedings of EuSpRIG 2001 Conference’, ISBN: 1 86166 179 7, European Spreadsheet Risks Interest Group, http://www.eusprig.org Braun, R.L., & Davis, H.E. (2003), ‘Computer-assisted audit tools and techniques: analysis and perspectives’, Managerial Auditing Journal, 18, 725-731. Information Systems Audit and Control Association (n.d.). Use of computer-assisted audit techniques (CAATs). Illinois, United States; ISACA. Retrieved March, 23, 2005, http://www.isaca.org/AMTemplate.cfm?Section=Standards,_Guidelines,_Procedures_for_IS_Aud iting&Template=/ContentManagement/ContentDisplay.cfm&ContentID=18546. Zhao, N. Yen D. C. Chang I-C (2004), ‘Auditing in the e-commerce era’, Information Management & Computer Security Vol. 12 No. 5, 2004. pp. 389-400 De Accountant - Mei 2008, ‘De zes vragen aan Peter Eimers’, van Es, S., p70. Cooper D., Schindler P., Business research methods, eighth edition, 2003, McGraw-Hill Higher Education, ISBN 0-07-249870-6

Bijlagen 1.10. Vragenlijst interviews Vraag In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole?

Antwoord

Welke vormen van CAATs worden in de praktijk toegepast tijdens de jaarrekeningcontrole? Welke voordelen worden er behaald bij het toepassen van CAATs tijdens de jaarrekeningcontrole? Welke nadelen kleven er aan het gebruik van CAATs tijdens de jaarrekeningcontrole?

1.11. Verslag interview IT Auditor (IT en operationele audits) Vraag In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole?

Antwoord Tijdens IT Audit werk van de jaarrekeningcontrole worden vooral (IT gerelateerde)processen beoordeeld.


Welke vormen van CAATs worden in de praktijk toegepast tijdens de jaarrekeningcontrole?

Spreadsheet assurance opdrachten worden wel uitgevoerd in het kader van de jaarrekeningcontrole. Hierbij wordt(in opdracht van de financiële auditors) de manier waarop berekeningen in een spreadsheet gedaan worden geanalyseerd. Verder worden tijdens de interim controle (in het kader van de interim controle) CAATs beoordeeld, die door de klant worden toegepast in de bedrijfsprocessen. Als externe auditor gebruik ik tijdens de jaarrekeningcontrole alleen spreadsheet assurance tools.

Welke voordelen worden er behaald bij het toepassen van CAATs tijdens de jaarrekeningcontrole?

Spreadsheets kunnen met behulp van spreadsheet assurance op een efficiënte manier beoordeeld worden.

Welke nadelen kleven er aan het gebruik van CAATs tijdens de jaarrekeningcontrole?

Vaak is er geen budget/verzoek van de financiële auditors aanwezig om CAATs toe te passen tijdens de jaarrekeningcontrole. Vaak wordt er laat in de audit besloten om CAATs toe te passen (bijvoorbeeld voor een security analyse van een ERP systeem). In deze gevallen is het vaak moeilijk om tijdig gegevens van de klant te ontvangen.

1.12. Verslag interview data analyse specialist Vraag In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole?


Antwoord CAATs worden in de volgende gevallen gebruikt: Proactief. Scoping van jaarrekeningcontrole werkzaamheden. Regulatory. CAATs worden vaak gebruikt voor verplichte (bijvoorbeeld SAS99) werkzaamheden. Grootste deel van het CAAT gebruik is regulatory. Reactief. Tijdens de werkzaamheden van de jaarrekeningcontrole blijkt dat CAATs toegepast kunnen/moeten worden. Dit is vaak het geval tijdens het gegevensgerichte deel van de jaarrekeningcontrole. Tools als Sherlock / Account Analyser worden vaak gebruikt voor kleinere klanten. Deze tools zijn niet altijd geschikt voor grote klanten, met grote databases. Voor grotere klanten kunnen klantspecifieke modellen worden gebouwd in Access of ACL. Deze tools worden op de volgende manieren toegepast: CAATs worden gebruikt om steekproeven te trekken tijdens de interim controle en de




gegevensgerichte controle. CAATs worden ook gebruikt voor reperformance werkzaamheden van processen bij de klant. CAATs worden tenslotte gebruikt voor het maken van aansluitingen. Wanneer CAATs proactief toegepast worden, dan wordt het mogelijk om meer analyses uit te voeren dat de verplichte/reactieve werkzaamheden. Hierdoor kan meer kwaliteit worden geboden, ook wordt een efficiëntere audit mogelijk. CAATs worden niet altijd ten volle benut tijdens de jaarrekeningcontrole. In sommige gevallen worden CAATs alleen gebruikt vanwege de verplichting tot gebruik, hierdoor worden niet altijd alle kwaliteits- en efficiëntievoordelen van CAATs behaald. CAATs worden bij veel jaarrekeningcontroles niet gebruikt door: Beperkte budgetten. Echter de kosten zijn vaak hoger in het eerste jaar omdat dan een model gebouwd moet worden, in de jaren hierna zijn de kosten vaak lager omdat het zelfde model opnieuw gebruikt kan worden. Restricties vanuit de klant. Klanten willen niet altijd hun gehele database met gegevens afstaan. Capaciteit van kant en klare tools (bijvoorbeeld Account Analyser) is beperkt.

1.13. Verslag interview Financial auditor Vraag In hoeverre worden CAATs in de dagelijkse praktijk toegepast tijdens de jaarrekeningcontrole?



Antwoord CAATs worden vaak gebruikt voor SAS99 procedures. Verder wordt in sommige gevallen spreadsheet assurance toegepast om zekerheid te krijgen over het rekenmodel in een spreadsheet. Data analyse voor SAS99 opdrachten. Spreadsheet assurance. Verder heb ik een paar keer bij een klant geprobeerd om gebruik te maken van Account Analyser. Dit is een standaard tool waarmee bepaalde analyses gemaakt kunnen worden in het kader van de jaarrekeningcontrole. Wanneer het werkt, zou deze tool zou volgens collega’s wel gemakkelijk in gebruik moeten zijn. Verplichte (SAS99) analyses kunnen doormiddel van CAATs uitgevoerd worden. Verder is het handig om spreadsheet assurance uit te laten voeren op spreadsheet modellen, om zekerheid te krijgen over de werking van het



model en om te weten te komen of hier geen fouten in zitten. Account Analyser is niet bij iedere klant te gebruiken. Het kost vaak veel budget om CAATs toe te passen, hierdoor worden vaak alleen verplichte analyses uitgevoerd, bijvoorbeeld voor SAS99.


Afstudeerscriptie: Computer-assisted audit techniques (CAATs)

Recommend Documents