Artikel
Auditsoftware onder de loep Het gebruik van auditsoftware in de Nederlandse auditpraktijk Chris Wauters en Gert van der Pijl
D
at de Informatie en Communicatie Technologie (ICT)
gebeuren. Het gebruik van auditsoftware biedt nieuwe
een steeds essentiëlere rol speelt in het functioner-
kansen om het auditwerk nog efficiënter en effectiever
en van de overheid en het bedrijfsleven zal tegenwoordig
uit te voeren.
niemand meer ter discussie stellen. De ICT heeft zich
Dit artikel heeft als doel om auditsoftware expliciet in
ontwikkeld van een volledig ondersteunende technologie
de schijnwerpers te zetten. Het is in het bijzonder inter-
naar een technologie die veelal samenvalt met het pri-
essant voor mensen die meer willen weten over de
maire bedrijfsproces. Hierdoor is de afhankelijkheid van
verschillende soorten auditsoftware en het gebruik van
ICT in de bedrijfsprocessen sterk toegenomen. Ook bin-
auditsoftware binnen het auditvak. Deze bijdrage
nen het auditproces in alle auditdisciplines (bijvoorbeeld
beschrijft als eerste de achtergronden van auditsoft-
financial-, operational- en IT-auditing) krijgt ICT in de
ware en zoomt vervolgens in op de resultaten van een
vorm van auditsoftware een steeds belangrijkere functie.
onderzoek naar het gebruik van auditsoftware in de
De vraag is dan ook niet meer óf auditsoftware moet
Nederlandse auditpraktijk. Het artikel sluit af met een
worden ingezet, maar de vraag is hoé dit moet
slotbeschouwing van de twee auteurs.
Achtergronden van auditsoftware Begripsbepaling
De termen auditsoftware, audittool, Computer Assisted Audit Tool of (CAAT) of ook wel Computer Assisted Audit Technique genoemd, worden veelal gebruikt als verzamelnaam voor alle ICT-middelen die worden ingezet binnen het auditproces. Soms worden deze begrippen ook wel gehanteerd voor specifieke software voor één bepaald auditdoel, zoals het analyseren van databestanden. Dit artikel gaat uit van de eerste – meer algemene – definitie: ir. C. L. Wauters EMEA is
Prof. dr. G. J. van der Pijl RE
recent werkzaam als advi-
is hoogleraar aan de
seur/auditor bij Het
Masteropleiding EDP-
Expertise Centrum (HEC) in
Auditing/IT-auditing van de
Den Haag. Voorheen werkte
Erasmus School of
hij als senior auditor bij de
Accounting & Assurance
Algemene Rekenkamer. Dit
(ESAA).
Auditsoftware is een ICT-hulpmiddel dat gebruikt wordt binnen het auditproces met als doel het auditproces met ICT te ondersteunen en de effectiviteit en efficiency van de auditor te verhogen. Onder ondersteunen, valt onder andere het vereenvoudigen van de werkzaamheden van de auditor en het in kwalitatieve zin verbeteren van het auditproces. Onder de definitie vallen naast de specifiek ontwikkelde auditsoftware ook utilities of standaardpakketten die in eerste instantie voor andere doeleinden zijn ontwikkeld, maar ingezet worden voor een auditdoel [NORE; 97].
artikel is gebaseerd op zijn slotreferaat voor de Masteropleiding EDPAuditing/IT-auditing van de Erasmus Universiteit Accountancy, Auditing en Controlling (EURAC).
Historie auditsoftware Beide auteurs hebben het artikel op persoonlijke titel geschreven.
De auditsoftwaremarkt heeft de laatste decennia zeker niet stilgestaan. Vanaf begin jaren ‘70 werd auditsoftware veelal ingezet binnen mainframe-omgevingen als middel om gegevens te testen [BIEN; 96]. Deze eerste generatie auditsoft-
6 | de EDP-Auditor nummer 2 | 2006
ware voor mainframe-omgevingen was bedoeld om na te gaan of de ‘controls’ binnen de mainframesystemen werkten zoals ze beoogd waren [CODE; 01]. In de loop van de jaren ‘80 kwam er tweede generatie software gericht op het verbeteren van de efficiency en toepassingenmogelijkheden voor de individuele auditor. Met deze software kon informatie uit systemen worden gehaald en worden onderworpen aan nadere analyse. Tegenwoordig is er derde generatie software met als primair doel het verbeteren van de audit-organisatie in zijn geheel [CODE; 01]. Categorieën auditsoftware Zoals aangegeven zijn de toepassingsmogelijkheden van auditsoftware de afgelopen decennia sterk verbeterd. In het algemeen kan worden gezegd dat de auditor de computer voornamelijk inzet als [PRAA; 98]: • hulpmiddel bij de ondersteuning van zijn werk; • hulpmiddel om de gegevens die in geautomatiseerde vorm zijn vastgelegd te kunnen benaderen. In de beginjaren van de auditsoftware was er slechts een zeer beperkt aantal soorten auditsoftware. Door de ontwikkelingen in het auditvak, zoals de op risicoanalyse gebaseerde auditaanpak en de voortschrijdende technologische mogelijkheden zijn er diverse categorieën bijgekomen. In het vervolg van dit artikel worden achtereenvolgende de volgende hoofdcategorieën auditsoftware beschreven: 1. 2. 3. 4.
General Audit Software (GAS); Audit Management Software (AMS); Risicomanagement & -analyse software; Netwerk, besturingssysteem & database assessment software; 5. Elektronische dossiers; 6. Overige auditsoftware.
Audit Management Software
Audit Management Software (AMS) is software die de audit van risicoanalyse, planning, uitvoering tot rapportage volledig ondersteunt. In deze software wordt de auditmethodologie van de organisatie opgenomen. In AMS is vaak de mogelijkheid geïntegreerd tot het gebruik van elektronische dossiers. Daarnaast is het mogelijk om uitgebreide managementinformatie over de audit te geven. In sommige AMS is er tevens de mogelijkheid tot het uitvoeren van de risicoanalyse en opzetten van enige vorm van kennismanagement. Voorbeelden van spelers op deze markt zijn TeamMate van PriceWaterhouseCoopers en Auditors Work Station (AWS) van Ernst & Young . Risicomanagement & -analyse software
De kwaliteit van de interne beheersing van organisaties staat onder andere naar aanleiding van Sarbanes-Oxley en aanverwante regelgeving sterk in de belangstelling. Hierdoor is ook het belang van risicomanagement toegenomen en worden door organisaties vaak risicoanalyses en Control Risk Self Assessments (CSRA’s) uitgevoerd. Er is diverse auditsoftware die de uitvoering van risicoanalyses en Control Risk Self Assessment kan ondersteunen [IIA; 97]. Ook zijn er softwarehulpmiddelen beschikbaar voor de balanced business scorecard en voor business risk models. Producten op deze markt zijn bijvoorbeeld TeamMate van PriceWaterhouseCoopers en AutoAudit van Paisley Consulting . Netwerk, besturingssysteem & database assessment software
Naast deze specifieke soorten auditsoftware gebruiken auditors in hun dagelijks werk ook software voor meer algemene doeleinden, zoals tekstverwerkers, e-mail/agenda software, spreadsheets, presentatie software en flowcharting software. Deze wordt in dit artikel niet nader beschouwd.
Netwerk, besturingssystemen & database assessment software zijn specifieke toepassingen voor de uitvoering van technische IT-audits. Deze software wordt veelal gebruikt door IT-auditors maar ook door systeembeheerders voor het monitoren, controleren en beoordelen van de configuratie van netwerken, besturingssystemen en databases. Veel van dit soort toepassingen hebben rapportagemogelijkheden waarmee uitgebreide rapportages kunnen worden gemaakt van de huidige instellingen. De software van Internet Security Systems is op dit moment één van door auditors meest gebruikte toepassingen op dit gebied.
General Audit Software
Elektronische dossiers
General Audit Software (GAS) is de bekendste en meest gebruikte categorie. GAS wordt vooral gebruikt voor gegevensextractie en –analyse, maar kan bijvoorbeeld ook ingezet worden voor een specifiek doel zoals bijvoorbeeld fraudedetectie. GAS is toepasbaar in diverse soorten audits en wordt vooral in de financial audit gebruikt voor het maken van gegevensextracties, het doen van gegevensanalyses, het koppelen van gegevensbestanden, het genereren van steekproeven en het printen van rapportages. Bekende spelers in de General Audit Software zijn de pakketten ACL (Auditing Command Language) en IDEA (Interactive Data Extraction and Analysis).
Veel audit-organisaties werken tegenwoordig niet meer met papieren dossiers, maar hebben volledig elektronische dossiers. Alle ‘evidence’ van de audit wordt in het digitale dossier opgeslagen, waarna deze eenvoudig ontsluitbaar is. Vaak zitten er in deze software uitgebreide functionaliteiten voor het volledig doorzoeken van de dossiers op zoektermen. Elektronische dossiers zijn vaak onderdeel van Audit Management Software (AMS). Overig
Een aantal soorten software is niet goed te plaatsen in de eerdergenoemde hoofdcategorieën. Voorbeelden van deze soort sofware zijn onder andere:
7 | de EDP-Auditor nummer 2 | 2006
1. Licentie controle sofware;
Specifieke software om toezicht te houden op het gebruik van softwarelicenties. 2. Specifieke software ter beoordeling van controls/ configuratie van ERP-systemen. 3. Simulatie/testsoftware;
Simulatiesoftware of testsoftware is software waarmee simulaties kunnen worden gedaan of delen van een systeem kunnen worden getest op aanwezige fouten. 4. Enquête sofware;
Software voor het digitaal uitzetten en analyseren van enquêtes. Gebruik van auditsoftware Een logische vraag die gesteld kan worden, is: in welke mate wordt er gebruik gemaakt van deze soorten auditsoftware? En welke auditsoftware-fabrikant wordt binnen iedere categorie het meest gebruikt? Het blijkt dat er binnen Nederland weinig tot geen kwantitatief onderzoek is gedaan naar het daadwerkelijke gebruik van auditsoftware. Internationaal wordt er ieder jaar door the Institute of Internal Auditors (IIA) in het vakblad The Internal Auditor een onderzoek gepubliceerd over het gebruik van auditsoftware [IIA; 05]. Vanwege het ontbreken van kwantitatief onderzoek binnen Nederland is door de auteurs een digitale enquête gehouden onder een groep Nederlandse auditors. De resultaten hiervan zijn vergeleken met het internationale onderzoek van de IIA van augustus 2004 [IIA; 04]. Dit beperkte onderzoek geeft een globaal en indicatief beeld van het auditsoftwaregebruik binnen Nederland. De resultaten van dit onderzoek worden in het vervolg van dit artikel nader besproken. Respondenten
In totaal hebben 95 auditors de vragenlijst volledig afgerond (deels ingevoerde vragenlijsten zijn ook verwerkt), waarbij de helft van de respondenten werkzaam is als interne auditor en de helft als externe auditor. Het merendeel (85 procent) van de respondenten werkt in het IT-audit vakgebied en een klein deel is werkzaam als operational auditor (17 procent) of als financial auditor (14 procent) (zie eerste figuur: Beroepsgroep)
Resultaten onderzoek Een deel van de resultaten van het onderzoek is weergegeven in de afzonderlijke diagrammen. Niet alle categorieën auditsoftware zijn binnen het auditvak al volledig ingeburgerd. Zo wordt er bijvoorbeeld nog relatief weinig gebruik gemaakt van specifieke tools voor risicomanagement en -analyse. 57 procent van de auditors geeft zelfs aan deze tools nooit te gebruiken en 35 procent zegt ze een paar keer per maand te hanteren. Ook is het opvallend dat in het hedendaagse digitale tijdperk één op de drie ondervraagde auditors nog géén gebruik maken van de mogelijkheden van digitale dossiers. Op basis van de IIA onderzoeken van de afgelopen jaren kan worden geconstateerd dat het gebruik in de loop van de jaren langzaam toeneemt. De data-analyse en –extractie software en Audit Management Software worden van de verschillende categorieën het meest gebruikt. De Audit Management Software wordt het meest gebruikt voor digitale dossiervorming, maar wordt onder andere ook gebruikt voor risico-analyse, planning, tijd/urenverantwoording, kennisdeling en rapportage. Wat verder opviel, was dat ondanks het bestaan van gespecialiseerde auditsoftware de standaard Office pakketten zoals MS Excel, MS Access en MS Word nog veelvuldig gebruikt worden voor diverse specifieke audittaken. Vooral MS Excel is in diverse segmenten de absolute winnaar, bijvoorbeeld bij de audit management software, de risicomanagement/analyse software en bij de Control Risk Self Assessment software. Conclusies en slotbeschouwing Gebruik van auditsoftware
We concluderen dat de markt voor auditsoftware de laatste jaren niet heeft stilgestaan. Auditsoftware is uitgegroeid van eenvoudig hulpmiddel tot zeer geavanceerde software die de audit van begin tot eind kan ondersteunen. Uit de resultaten van het onderzoek blijkt dat sommige categorieën auditsoftware nog beperkt gebruikt worden. We bevelen daarom aan dat audit-organisaties het auditsoftwaregebruik binnen hun organisatie eens onder de loep te nemen. Een onderzoek naar de (on)mogelijkheden van auditsoftware binnen de organisatie en het inzichtelijk maken van de huidige mate van auditsoftwaregebruik kunnen bijdragen aan een strategische visie op de inzet van ICT binnen het auditproces. Ook kan geanalyseerd worden of de gebruikte auditsoftware wel het beoogde effect heeft gerelateerd aan de doelstellingen die de organisatie bij de invoering er mee had.
Binnen welke beroepsgroep valt u? (meer dan één antwoord mogelijk) 100% 90%
Antwoordmogelijkheid
Aantal
Percentage
IT-auditor
79
85 %
Financial auditor
13
14 %
Operational Auditor
16
17 %
40%
Anders
5
5%
30%
80% 70% 60% 50%
20% 10% 0%
IT-auditor
8 | de EDP-Auditor nummer 2 | 2006
Financial auditor
Operational auditor
Anders
Hoe vaak gebruikt u data-extractie en analyse software?
100% 90%
Antwoordmogelijkheid
80%
Aantal
Percentage
Nooit
27
25 %
60%
Af en toe (paar keer per maand)
52
49 %
50%
Vaak (paar keer per week)
19
18 %
(Bijna) altijd
9
8%
70%
40% 30% 20% 10% 0%
Nooit
Af en toe (paar keer per maand)
Vaak (paar keer per week)
g
Welke data-extractie gebruikt u het meest frequent?
(Bijna) altijd
q
100% 90%
Antwoordmogelijkheid
Aantal
Percentage
80% 70%
MS Acces
8
9%
ACL
18
20 %
50%
IDEA
23
26 %
40%
MS Excel
25
28 %
30%
Intern product namelijk:
7
8%
Anders namelijk:
9
10%
Hoe vaak gebruikt u Audit Management software?
60%
20% 10% 0%
MS Access
ACL
IDEA
MS Excel
Intern product
Anders
100% 90%
Antwoordmogelijkheid
80%
Aantal
Percentage
Nooit
39
39 %
60%
Af en toe (paar keer per maand)
17
17 %
50%
Vaak (paar keer per week)
18
18 %
(Bijna) altijd
27
27 %
70%
40% 30% 20% 10% 0%
Nooit
Af en toe (paar keer per maand)
Vaak (paar keer per week)
g
Welke Audit Management gebruikt u het meest frequent?
(Bijna) altijd
q
100% 90%
Antwoordmogelijkheid
Aantal
Percentage
80% 70%
AWS
5
7%
Audit Leverage
1
1%
Auto Audit
2
3%
40%
MS Excel
20
28 %
30%
Team Mate
4
6%
20%
Intern product namelijk:
25
35 %
Anders namelijk:
15
21 %
60% 50%
10% 0%
AWS
Audit Leverage
Auto Audit
MS Excel
Team Mate
Intern product
Waar gebruikt u Audit Management sofware voor? (meer dan één antwoord mogelijk)
100% 90%
Antwoordmogelijkheid
Aantal
Percentage
80%
1 Risico-analyse
34
49 %
70%
2 Planning
37
54 %
60%
42 %
50%
3 Tijd/urenverantwoording
29
4 Digitale dossiervorming
50
72 %
5 Kennisdeling/kennismangement
32
46 %
6 Rapportage
27
39 %
7 Anders namelijk:
6
9%
4.
1.
2. 3.
5.
6.
40% 30% 20% 10% 0%
9 | de EDP-Auditor nummer 2 | 2006
7.
Anders
Maakt u gebruik van elektronische auditdossiers?
100% 90% 80%
Antwoordmogelijkheid
Aantal
Percentage
Ja
67
68 %
Nee
32
32 %
70% 60% 50% 40% 30% 20% 10% 0%
Hoe vaak gebruikt u risicomanagement/analyse software?
Ja
Nee
100% 90%
Antwoordmogelijkheid
80%
Aantal
Percentage
Nooit
56
57 %
60%
Af en toe (paar keer per maand)
34
35 %
50%
Vaak (paar keer per week)
4
4%
(Bijna) altijd
4
4%
70%
40% 30% 20% 10% 0%
Welke risicomanagement/analyse gebruikt u het meest frequent?
Nooit
Af en toe (paar keer per maand)
Vaak (paar keer per week)
(Bijna) altijd
40% 35%
Antwoordmogelijkheid
Aantal
Percentage
30%
MS Acces
3
6%
25%
Audit Leverage
0
0%
20%
Auto Audit
1
2%
15%
MS Excel
15
32 %
10%
ACL
0
0%
5%
TeamMate
2
4%
0%
MS Word
6
13 %
Intern product namelijk:
11
23 %
Anders namelijk:
9
19 %
Hoe vaak gebruikt u netwerk, besturingssysteem en
MS Audit Access Levarage
Auto Audit
MS Excel
ACL
Team Mate
MS Word
Intern Anders product
100% 90%
database software tools?
80% 70%
Antwoordmogelijkheid
Aantal
Percentage
Nooit
55
50 %
Af en toe (paar keer per maand)
3
33 %
Vaak (paar keer per week)
5
5%
20%
(Bijna) altijd
4
4%
10%
60% 50% 40% 30%
0%
Nooit
Welke netwerk, besturingssysteem en database
Af en toe (paar keer per maand)
Vaak (paar keer per week)
(Bijna) altijd
software tools gebruikt u het meest frequent? Antwoordmogelijkheid
Aantal
Percentage
40%
ISS Internet Scanner
6
14 %
35%
Enterprise security manager
0
0%
30%
Bindview
1
2%
25%
Intrusion security analist
2
5%
20%
Pentasafe
3
7%
15%
Cybercop scanner
0
0%
10%
Oracle tools
6
14 %
5%
Microsoft tools
7
16 %
0%
Intern product namelijk:
10
23 %
Anders namelijk:
9
20 %
ISS Enterprise Bind Intrusion Penta Cybercop Oracle Microsoft Intern Anders Internet security view security safe sanner tools tools product scanner manager analist
10 | de EDP-Auditor nummer 2 | 2006
Door de ontwikkelingen op de auditsoftwaremarkt te volgen kunnen audit-organisaties blijven innoveren in hun geautomatiseerde methoden en technieken. Individuele auditors worden aangespoord om open staan voor de ontwikkelingen in hun eigen vakgebied en deze ontwikkelingen actief te blijven volgen. Op zeer veel audit-toepassingsgebieden is auditsoftware te verkrijgen. Audit-organisaties zullen dan ook weloverwogen keuzes moeten maken welke auditsoftware het beste past bij het gekozen auditdoel. Opvallend is dat het gebruik van elektronische dossiers in 2005 nog niet volledig is ingeburgerd. Ongeveer een derde van alle auditors gaf aan nog niet met digitale dossiers te werken. Een algemene indruk is dat organisaties wel nadenken over digitale dossiers maar toch nog niet allemaal de stap hebben durven zetten. Waarom dit het geval is, is niet nader onderzocht, maar is wel degelijk een interessante vraag. De voordelen van elektronische dossiers lijken groot, maar de overstap is voor veel organisaties blijkbaar erg gecompliceerd. Belangrijk is dat de afweging óf en hoe deze stap wordt genomen zorgvuldig wordt uitgevoerd en auditors zouden dan ook intensief bij deze afweging moeten worden betrokken. De beroepsorganisaties zouden tevens een belangrijke rol kunnen spelen in kennisdeling en -uitwisseling op dit terrein.
zou kunnen worden. Ook heeft specifieke auditsoftware mogelijkheden die met de standaard officetoepassingen überhaupt niet mogelijk zijn. We bevelen audit-organisaties dan ook aan om te evalueren of de standaard officetoepassingen daadwerkelijk voorzien in de behoefte en of met specifieke auditsoftware geen voordelen zijn te behalen in de efficiëntie of effectiviteit van de audit.
Bronnen • [BIEN; 96] IT Auditing: An object oriented approach, Prof. M. van BieneHershey, 1996. • [CODE; 01] CAATTs & other BEASTs, David G. Coderre, 2nd edition, 2001. • [IIA; 97] Automating the Self Assessment Proces, The Internal Auditor, augustus 1997. • [IIA; 04] Get the most out of audit tools, Russell A. Jackson, The Internal Auditor, augustus 2004. • [IIA; 05] Opening the Door, Neil Bakker, The Internal Auditor, augustus 2005. • [NORE; 97] Studierapport nr 2: Een kwaliteitsmodel voor Register EDPauditors, NOREA, 1997. • [PRAA; 98] Inleiding EDP-auditing; Jan van Praat, Hans Suerink, Kluwer BedrijfsInformatie, 1998.
Onderzoek naar (gebruik) auditsoftware
Het vorig punt maakt duidelijk dat auditsoftware erg belangrijk kan zijn voor het vakgebied. Desondanks besteden de auditvakbladen weinig aandacht aan de ontwikkelingen op het gebied van auditsoftware. Het aantal recente Nederlandse publicaties over auditsoftware en het gebruik ervan bleek ronduit teleurstellend. Voor zover wij konden vaststellen is er geen recent kwantitatief onderzoek gedaan naar het gebruik van auditsoftware binnen de Nederlandse auditpraktijk. Een algemene aanbeveling van ons zou dan ook zijn om meer aandacht te schenken aan auditsoftware en een vergelijkbaar onderzoek als het jaarlijkse IIA-onderzoek binnen Nederland periodiek uit te voeren. Dit zou bijvoorbeeld door één van de Nederlandse beroepsorganisaties kunnen worden gedaan. De ontwikkelingen op dit terrein zouden we hiermee actief kunnen monitoren en het gebruik van auditsoftware verder kunnen stimuleren.
Noten 1) Een voorbeeld van 2e generatie auditsoftware is data Analyse en – extractie software 2) Een voorbeeld van 3e generatie auditsoftware is Audit Management Software 3) Flowchartingsoftware is software voor het maken van diverse soorten
Standaard officeprogrammatuur binnen de audit
diagrammen, bijvoorbeeld Data Flow Diagrammen (DFD’s), Entiteit
Een van de meest in het oog springende conclusies uit de onderzoeken was dat standaard officepakketten zoals MS Excel en MS Word veelvuldig worden ingezet voor specifieke audittaken. Men kan zich afvragen of dit ook erg is. Op zich is het gebruik van standaard officetoepassingen voor auditdoeleinden naar onze mening mogelijk, mits de toepassingen voldoende betrouwbaar zijn en voorzien in de behoefte van de auditor. Wel kan worden geconstateerd dat de additionele mogelijkheden van specifieke auditsoftware vergaand zijn, waarmee het werk van de auditor mogelijk versneld en vereenvoudigd
Relatie Diagrams (ERD’s), of organogrammen. 4) Website ACL: http:// www.acl.com 5) Website IDEA: http://www.caseware-idea.com 6) Website PriceWaterhouseCoopers: http://www.pwc.nl 7) Website Ernst & Young: http://www.ey.nl 8) Website Paisley Consulting: http://www.paisleyconsulting.com 9) Website Internet Security Systems: www.iss.net 10) De website van de IIA is te vinden via: http://www.theiia.org 11) Bij deze vraag was het mogelijk om meerdere antwoorden te geven. 12) De inhoud van de tabellen is van links naar rechts weergegeven in de staafdiagrammen.
11 | de EDP-Auditor nummer 2 | 2006