De bril van de IT-auditor Hoe beïnvloedt de bril van de IT-auditor het oordeel?
Auteurs: J. Hoezen (ABN AMRO) K. Jongejans (SNS REAAL)
De bril van de IT-auditor Hoe beïnvloedt de bril van de IT-auditor het oordeel?
Vrije Universiteit Amsterdam Faculteit de Economische Wetenschappen en Bedrijfskunde (FEWEB) Afstudeerrichting: Postgraduate IT auditing opleiding De Boelelaan 1105 1081 HV Amsterdam Begeleider Vrije Universiteit: E. Koning (DNB) Bedrijfsbegeleiders: H. Lameijer (ABN AMRO) P. Poos (SNS REAAL) Auteurs: J. Hoezen (ABN AMRO) K. Jongejans (SNS REAAL)
Samenvatting Thema In deze scriptie maken we onderscheid tussen drie aspecten welke gezamenlijk leiden tot het ‘Oordeel van de auditor’: het normenkader, de bril van de auditor en de vigerende maatregelen rondom het te onderzoeken object. De vigerende maatregelen zijn een gegeven voor de auditor, het normenkader zal door de auditor opgesteld, afgestemd op en afgestemd met de organisatie dienen te worden. Het normenkader en de vigerende maatregelen kunnen zowel regels als principes bevatten. Dwingende maatregelen zien wij als rule based. Dringende maatregelen zien wij als principle based. Beide maatregelen zijn middelen om een hoger doel te bereiken. Motivatie De vigerende maatregelen zouden (in theorie) door de (bril van de) auditor objectief aan de norm getoetst dienen te worden. Dit zou moeten leiden tot een onderbouwd en gedegen oordeel over het onderzoeksobject. De bril van de auditor kan echter vertroebelen indien in het auditproces stappen worden gemist, anders worden geïnterpreteerd of zelfs worden overgeslagen. Belangrijke omgevingsfactoren spelen hierbij een rol. Luistert de auditor voldoende naar zijn omgeving, conformeert hij zich hier ook aan en past hij zijn werkwijze situationeel aan? Interpreteert de auditor de factoren wel juist? We maken hierbij een onderscheid in door ons gedefinieerde vier uiterste typen auditors: de beginner, de concrete auditor welke oog heeft voor regels, de abstracte auditor welke oog heeft voor principes en de situationele auditor welke oog heeft voor beiden, als ook voor zijn omgeving en het hogere doel achter de maatregelen. Conclusie We zullen aantonen in de scriptie dat de significante factoren niet eenduidig door de beroepsgroep gepercipieerd, geïnterpreteerd en uiteindelijk gehanteerd worden. Een exacte relatie naar de vier typen hebben we niet kunnen staven in ons onderzoek. Aanbevelingen We geven in deze scriptie de volgende vragen mee aan de beroepsgroep: • Neemt u omgevingsfactoren voldoende mee bij het bepalen van het normenkader? • Let u op taalgebruik en intenties in voorschriften, normenkaders en referentiekaders, zowel voor wat betreft de regels en principes zelf als in inleidende teksten? • Zijn de definities en verschillen tussen de volgende begrippen voldoende duidelijk? o kwantitatief/kwantitatief/‘professional judgement’ o principe/regel/doel o referentiekader/normenkader • Wordt er voldoende gebruik gemaakt van concrete, op de organisatie toegesneden en met de auditee vooraf afgestemde en geaccordeerde normenkaders en werkprogramma’s? Daarnaast geven we de beroepsorganisatie in deze scriptie het volgende mee: Is er binnen de NOREA (doelstellingen, richtlijnen, vakdiscussies, werkgroepen en dergelijke) voldoende aandacht voor de objectiviteit van de auditor, het innemen van standpunten inzake definities en het vormen en uitdragen van een eenduidig beeld inzake het opstellen, afstemmen en hanteren van een gedegen normenkader? We eindigen deze scriptie met de suggestie om nader onderzoek te doen naar de factoren die een (bepalende) rol spelen bij het bepalen van de bril van de auditor.
Inhoud Voorwoord .............................................................................................................................................. 9 1. Inleiding ......................................................................................................................................... 11 1.1 Doelstelling en Centrale vraagstelling ..................................................................................... 11 1.2 Opbouw scriptie ...................................................................................................................... 12 2. Inhoudelijke oriëntatie ................................................................................................................. 13 2.1 Opvattingen omtrent rule- of principle based normenkaders .................................................. 13 2.2 Opvattingen omtrent rule- of principle based beheersmaatregelen ........................................ 14 2.2.1 Algemeen en high level versus dwingend en gedetailleerd............................................. 14 2.3 Opvattingen omtrent de bril van de auditor ............................................................................. 16 2.3.1 Omgevingsfactoren .......................................................................................................... 16 2.3.2 Wijze van toetsen............................................................................................................. 17 2.3.3 Taalgebruik en interpretatie ............................................................................................. 17 3. Onderzoeksvraag en definiëren begrippen ............................................................................... 18 3.1 Definitieve onderzoeksvraag ................................................................................................... 18 3.2 Definiëring van de centrale begrippen .................................................................................... 18 3.2.1 Basistermen ..................................................................................................................... 18 3.2.2 Begrippen omtrent de bril van de auditor ........................................................................ 20 4. Veronderstelling en hypothesen ................................................................................................ 23 4.1 Veronderstelling ...................................................................................................................... 23 4.1.1 Typen auditors ................................................................................................................. 23 4.1.2 Auditor versus normenkader............................................................................................ 24 4.1.3 Beperkingen typen auditor tijdens oordeelsvorming........................................................ 25 4.2 Hypothesen ............................................................................................................................. 27 5. Opzet en uitvoering van het onderzoek ..................................................................................... 28 5.1 Methodische karakterisering van het onderzoek .................................................................... 28 5.2 Populatie ................................................................................................................................. 28 5.3 Beschrijving en verantwoording van het onderzoeksinstrument ............................................ 28 5.4 Dataverzameling ..................................................................................................................... 30 5.4.1 Enquête ............................................................................................................................ 30 5.4.2 Interview ........................................................................................................................... 30 5.5 Verwerking en preparatie van de gegevens ........................................................................... 31 5.5.1 Interview ........................................................................................................................... 31 5.5.2 Enquête ............................................................................................................................ 31 5.6 Analysebeslissingen................................................................................................................ 32 6. Resultaten ..................................................................................................................................... 33 6.1 Resultaten per variabele ......................................................................................................... 33 6.1.1 Gehoorzamen aan ........................................................................................................... 33 6.1.2 Luisteren naar .................................................................................................................. 34 6.1.3 Mate van abstractie.......................................................................................................... 34 6.1.4 Taalgebruik ...................................................................................................................... 35 6.1.5 Voorkeur .......................................................................................................................... 35 6.2 Resultaten van de hypothese toetsing .................................................................................... 36 7. Conclusie en discussie................................................................................................................ 37 7.1 Beantwoording van de onderzoeksvraag................................................................................ 37 8. Evaluatie, aanbevelingen en suggesties voor verder onderzoek ........................................... 39 8.1 Evaluatie ................................................................................................................................. 39 8.1.1 Productevaluatie .............................................................................................................. 39 8.1.2 Procesevaluatie ............................................................................................................... 39 8.2 Reflectie .................................................................................................................................. 39 8.3 Aanbevelingen ........................................................................................................................ 40 8.4 Suggesties voor verder onderzoek ......................................................................................... 40 Literatuur .............................................................................................................................................. 41 BIJLAGEN............................................................................................................................................. 42 I Case met toelichting................................................................................................................ 43 II Mail die naar respondenten is gestuurd .................................................................................. 61 III Interview .................................................................................................................................. 62 IV Samengesteld interviewverslag .............................................................................................. 63 V Codeerschema ........................................................................................................................ 65 VI SPSS output per variabele ...................................................................................................... 66
Pagina 8 van 75
Voorwoord Deze scriptie is geschreven in het kader van het afstudeertraject van de Postgraduate IT Audit Opleiding aan de Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) van de Vrije Universiteit Amsterdam. Op 24 maart viel de CobiT deel 5 ‘Design Paper Exposure Draft’ op de mat. Samengesteld en met medewerking van onder andere een development team, een taskforce, een knowledge board en een framework committee. Het valt op dat het aantal participanten groot is en een internationaal karakter heeft. Veel Belgen, Australiërs, een handvol Amerikanen en ook één Nederlander hebben meegewerkt. Zal wel lastig afstemmen zijn, dachten wij nog. Als wij het in ons kleine landje al niet eens kunnen worden wat nu een regel en wat nu een principe is, hoe zal dit dan gaan als er zelfs meerdere nationaliteiten (met ieder een eigen cultuur) bij betrokken zijn. Maar gelukkig, het geheel doornemend lijkt er een consistente en doordachte fundering onder de IT Control Objectives neergelegd te worden. Het lijkt zelfs wel alsof ze onze scriptie reeds gelezen en begrepen hebben wanneer wij op de volgende tekst stuiten: “Best practices and standards are useful only if they are adopted and adapted effectively.” Dit is immers waar het in deze scriptie om draait. Het effectief inzetten van op maat gesneden en door de organisatie geadopteerde normen. Dit vereist een goed normenkader. Dit vereist een goed inzicht in de maatregelen welke een organisatie nodig heeft om haar risico’s te mitigeren en kansen te benutten. Dit vereist een auditor die het bovenstaande toepast. Dit vereist bovenal afstemming. In de scriptie die voor u ligt gaan wij in op bovengenoemde gearceerde basisterminologie, bezien vanuit de bril van de auditor. Wat zijn de opvattingen hierover vanuit de theorie en vanuit de beroepsgroep en -organisatie? Wat is ons beeld hierbij? Welke mogelijkheden en uitdagingen liggen er om te komen tot een eenduidig beeld en effectieve auditaanpak waarin zowel regels als principes hun eigen unieke waarde hebben? Het schrijven van deze scriptie hebben wij met veel plezier gedaan. Hoewel de weg naar het eindresultaat ook zijn hobbels kende, kunnen wij terugkijken op een prettige en leerzame periode. Er zijn een aantal mensen aan wie wij dit mede te danken heb. Onze dank gaat daarom uit naar de verschillende personen die bereid zijn geweest om mee te werken aan dit onderzoek in de vorm van het invullen van de casus. De respons op onze casus, heeft een grote bijdrage geleverd aan de uiteindelijke realisatie van de scriptie. Daarnaast willen de vakgenoten die meegewerkt hebben aan de interviews bedanken voor de tijd die zij hebben vrijgemaakt om in een interview hun visie te geven op het scriptieonderwerp. Onze speciale dank gaat uit naar Evert Koning, Hans Lameijer en Piet Poos als scriptiebegeleiders. Jullie ervaringsjaren en wijsheid hebben ons geholpen om te komen tot deze scriptie. Evert bedankt voor je kritische en constructieve houding. Hans en Piet bedankt voor jullie betrokkenheid, steun en jullie waardevolle aanvullingen. Daarnaast gaat onze dank uit naar André de Groot die ons heeft geholpen met de statistische analyse. Het schrijven van een scriptie kost tijd welke vaak ten koste is gegaan van het besteden van tijd met onze partners Raquel en Marty, Daniel, familieleden en vrienden. Onze dank gaat daarom ook uit naar hen voor de ruimte en het begrip die wij hiervoor hebben gekregen. Amsterdam, 25 maart 2010 Judith Hoezen Kees Jongejans Pagina 9 van 75
Pagina 10 van 75
1. Inleiding Al jaren is er binnen de audit wereld een discussie gaande over principle- versus rule based auditing. Voorstanders van beide kampen leggen vol vuur, enthousiasme en fanatisme uit waarom principes dan wel regels beter zijn. Door de één worden principes als niet voldoende uitgewerkte regels beschouwd; principle based wordt dan beschouwd als onvolwassen rule based. Door de ander worden auditors die regels volgen als blinde vinkers (‘soxvinkers’) beschouwd. In onze scriptie willen wij deze discussie een nieuwe dimensie geven. We beschouwen onderstaande 1 als een nieuwe dimensie aangezien hier nog geen onderzoek naar verricht is en wij zien dit dan ook als een onbewandeld pad in het IT-audit vakgebied. We maken onderscheid tussen drie entiteiten welke gezamenlijk leiden tot het ‘Oordeel van de auditor’: A. Het normenkader; B. De bril van de auditor; C. De vigerende maatregelen (controls) rondom het te onderzoeken object. Het normenkader (A) en de vigerende maatregelen (C) kunnen hierbij Rule- of Principle Based zijn. We onderzoeken in hoeverre de bril van de auditor (B), A en C kan verhelderen of vervagen; niet A leidt tot een deskundig oordeel over C, maar B. In hoeverre worden bijvoorbeeld door een auditor (on)bewust regels als principes geïnterpreteerd en principes als regels (en daarmee platgeslagen). Voor ons onderzoek hebben wij ons gericht op de Nederlandse vakgenoten.
1.1
Doelstelling en Centrale vraagstelling
We zullen in deze scriptie proberen aan te tonen dat: • Binnen auditing de discussie over rule- en principle based in grote mate een discussie is waarbij er geen winnaar is, maar dat dit twee kanten van dezelfde medaille zijn. • De feitelijke (grotendeels nog onderbelichte) discussie moet gaan over het situationeel inschatten welke aanpak in een bepaalde situatie het beste aansluit bij de geldende condities. • Er binnen deze discussie wel degelijk een winnaar is, namelijk de ‘situationele auditor’. Waar mogelijk zullen we aanbevelingen doen om de situationele aanpak expliciet op de IT-audit agenda te zetten (zowel binnen de onderwijsinstellingen als binnen bedrijven). Dit zal naar onze mening bijdragen aan een kwalitatief beter eindproduct, waarmee we onze cliënten beter van dienst kunnen zijn. De centrale vraagstelling welke wij in de scriptie onderzoeken is: ‘Welke audit aanpak (bepaling van de uitgangssituatie) leidt in welke situatie tot het beste resultaat?’ Ter ondersteuning van deze vraagstelling hebben wij een aantal subvragen geformuleerd. De eerste drie subvragen vormen het fundament van de huidige discussie over principle- en rule based, de overige vragen geven de nieuwe dimensie aan de discussie. 1. Wat is een Rule-/Principle Based Normenkader? 2. Wat is een Rule-/Principle Based Control? 3. Wat voor type auditor onderkennen wij en wat is de relatie met Rule- en Principle based? 4. Hoe beïnvloedt het type auditor het normenkader en de controls en in hoeverre wordt het resultaat hierdoor beïnvloed? 5. In welke gevallen is welke aanpak geschikt?
1
Tijdens ons literatuur onderzoek hebben wij geen literatuur gevonden van eerder onderzoek naar de bepalende factoren van de bril van de auditor.
Pagina 11 van 75
Om bovenstaande vragen te beantwoorden, hebben we gebruik gemaakt van verschillende onderzoekstechnieken, te weten: • •
1.2
Literatuurstudie (vraag 1 tot en met 3) Empirisch onderzoek, enquête en interviews (vraag 1 tot en met 5)
Opbouw scriptie
De opbouw van de scriptie is al volgt: In hoofdstuk 2 wordt de inhoudelijke oriëntatie besproken, waarna in hoofdstuk 3 de onderzoeksvraag en bijbehorende begrippen aan de orde komen. De veronderstelling en hypothese van ons onderzoek zijn terug te vinden in hoofdstuk 4. In hoofdstuk 5 wordt de opzet en uitvoering van het onderzoek besproken. Aansluitend treft u in hoofdstuk 6 de resultaten van het onderzoek aan, waarna in hoofdstuk 7 enkele conclusies worden getrokken. In hoofdstuk 8 volgen de evaluatie, aanbevelingen en suggesties voor verder onderzoek. Tot slot volgen de bijlagen met hierin onder andere de uitgestuurde enquête.
Pagina 12 van 75
2. Inhoudelijke oriëntatie Voor dit onderzoek hebben wij ons inhoudelijk georiënteerd door middel van een literatuuronderzoek. Dit onderzoek hebben wij uitgevoerd door gebruik te maken van internet en Picarta2. Het doel van dit literatuuronderzoek was om te kijken in hoeverre er al onderzoek is gedaan naar het oordeel van de auditor. Hieronder volgt een uiteenzetting van deze oriëntatie.
2.1
Opvattingen omtrent rule- of principle based normenkaders
“Ongemerkt maken normen deel uit van ons dagelijks leven. Producten moeten veilig zijn, processen zijn bij voorkeur efficiënt, en producten en processen moeten op elkaar aansluiten. Daarom maken producenten, handelaren, inspecteurs, consumentenorganisaties en andere belanghebbenden onderling afspraken. Normen zijn documenten waarin dergelijke afspraken zijn vastgelegd. Zo dragen normen bij aan de veiligheid thuis en op het werk, en aan een gezonde en duurzame samenleving.”, 3 aldus het Nederlands Normalisatie-instituut . Sommige kaders zijn reeds normatief opgesteld. Middels dwingend of dringend taalgebruik wordt beschreven welke afspraken nageleefd moeten4 of zouden moeten5 worden. De organisatie zal zich nog wel dienen te committeren aan de afspraken uit de norm alvorens een auditor gaat toetsen aan deze norm. In het audit proces staat dit bekend als het afstemmen van het normenkader met de opdrachtgever. Vervolgens kan de auditor aan de hand van dit normenkader de opzet toetsen. De normatief opgestelde dwingende afspraken zien wij als rule based. De norm is naleving van de verplichte maatregelen. De normatief opgestelde dringende afspraken zien wij als principle based. De norm is nastreving van de urgente maatregelen. Indien er geen sprake is van naleving kan uitgelegd worden waarom er 6 afgeweken wordt (comply or explain principe) . Referentiekaders zijn minder dwingend van aard en niet normatief. Zij zijn eerder beschrijvend (Cobit, ITIL); geven richtlijnen hoe een maatregel ingeregeld zou kunnen worden (ISO27002 - de code voor informatiebeveiliging7) of doen aanbevelingen (NIST 800-53: Recommended Security Controls for Federal Information Systems). Het referentiekader zal dus eerst normeerbaar gemaakt dienen te worden, toegesneden op de specifieke organisatie8 alvorens een auditor verder kan gaan met de afstemming met de
2
www.picarta.pica.nl: PiCarta is een dienst van OCLC(Ohio College Library Center) waarin kwalitatief hoogwaardige informatie gevonden en aangevraagd kan worden met behulp van een geavanceerde zoekmachine die in een aantal geïntegreerde bestanden zoekt verspreidt over 72000 bibliotheken . 3 www2.nen.nl: ‘wat is een norm’ 4 NEN-ISO/IEC 27001:2005, ISMS; ‘De eisen in deze internationale norm zijn algemeen en bedoeld om van toepassing te zijn voor alle organisaties, ongeacht type, omvang of aard. Het uitsluiten van een of meer van de eisen van hoofdstukken 4, 5, 6, 7, en 8 is niet aanvaardbaar als een organisatie naleving van deze internationale norm wil claimen’. Taalgebruik bij deze eisen is als volgt: ‘De organisatie moet het volgende doen.’ 5 PCAOB Standard nr. 2 in bijvoorbeeld par. 41 Evaluating Management's Assessment Process ‘As part of the understanding and evaluation of management's process, the auditor should obtain an understanding of the results of procedures performed by others. Others include internal audit and third parties working under the direction of management, including other auditors and accounting professionals engaged to perform procedures as a basis for management's assessment.’ 6 NEN-ISO/IEC 27001:2005, ISMS, in relatie tot de appendix welke de beheersmaatregelen bevat: ‘Eventuele uitsluitingen van beheersmaatregelen die nodig worden geacht om aan de aanvaardingscriteria voor risico's te voldoen, moeten worden gerechtvaardigd en bewijs moet worden overlegd dat de daaraan verbonden risico's zijn aanvaard door de verantwoordelijke personen. 7 NEN-ISO/IEC 27002:2007, de code voor informatiebeveiliging: ‘Deze praktijkcode kan worden beschouwd als een uitgangspunt voor het ontwikkelen van richtlijnen die specifiek op de organisatie zijn toegesneden. Mogelijk zijn niet alle beheersmaatregelen en richtlijnen in deze praktijkcode van toepassing. Taalgebruik bij deze adviezen is als volgt: ‘De organisatie behoort het volgende te doen.’ 8 NEN-ISO/IEC 27002:2007: ‘De keuze van de beveiligingbeheersmaatregelen is afhankelijk van de besluiten van de organisatie die zijn gebaseerd op de criteria voor risicoacceptatie, risicobehandeling en de algemene aanpak van risicobeheer die in de organisatie wordt toegepast’
Pagina 13 van 75
opdrachtgever. Hierbij bestaat de keuze de voorbeeldafspraken te vertalen naar regels en/of principes, al naar gelang de wijze waarop de organisatie zich wenst te committeren. Indien de voorgaande belangrijke stap overgeslagen wordt, is er sprake van toetsing van de opzet aan een niet normeerbaar algemeen referentiekader. Een creatieve auditor vult deze norm tijdens de audit zelf in op basis van ‘professional judgement’. Dit zien wij dan niet als principle based normenkader.
2.2
Opvattingen omtrent rule- of principle based beheersmaatregelen
In de literatuur wordt onderscheid gemaakt tussen de principle based en de rule based standaarden. Veel gehoorde opvattingen gaan in op het kennelijke onderscheid tussen de twee: Principles zijn algemeen opgesteld, high level, bevatten abstracte termen welke ‘professional judgement’ vereisen, beschrijven wat er moet gebeuren en laten de concrete invulling open; Rules zijn dwingend, gedetailleerd en meer operationeel van karakter, beschrijven concreet wat en hoe er moet gebeuren en kunnen eenvoudig getoetst worden. 2.2.1 Algemeen en high level versus dwingend en gedetailleerd Een voorbeeld van een dergelijk principe zou kunnen zijn: ‘Er is een adequaat informatie beveiligingsbeleid’; versus een bijbehorende regel: ‘het wachtwoord moet tussen de 6 en 8 karakters lang zijn’.
9
Figuur 2.1: Weergave van de huidige opvattingen over rule- of principle based
In deze bovengenoemde ‘zuivere’ voorbeelden zien wij weinig reden te twijfelen aan het karakter van de maatregelen. Voorstanders ‘claimen’ hun voorkeursdomein en wijzen op de nadelen van de in hun ogen respectievelijk vage, arbitraire principes en uitgekauwde, doelloze vinkregels. Lastiger wordt het als we voorbeeld één enigszins aanpassen naar: ‘De organisatie moet een adequaat informatie beveiligingsbeleid hebben’; of voorbeeld twee aanpassen naar: ‘Het wachtwoord is van adequate lengte’. Zijn dit nu principles of rules en is hier ‘professional judgement’ vereist? Maakt ‘professional judgement’ het dan per definitie een principe? Professional judgement Wij hanteren de term ‘professional judgement’ in deze scriptie als ondersteunend aan de toetsing om een mening te kunnen vormen over de mate van naleving of nastreving van de abstractere termen uit 9
www.vandale.nl. Maatregel is: maat·re·gel de; m -en, -s handeling of ingreep met een bep. doel: ~en nemen (of: treffen).
Pagina 14 van 75
een voorschrift. De uitkomst hiervan dient in het geval van toetsing aan een norm nog wel vergeleken te worden met deze norm, de meetlat. Puur ‘professional judgement’ in deze zin gaat voorbij aan de geldende meetlat, deze bepaalt de ‘judge’ immers zelf, arbitrair. In de huidige opvattingen wordt ‘professional judgement’ veelal (uniek) toegedicht aan principle based voorschriften. Dat dit niet altijd het geval is, illustreren we aan de hand van de volgende twee voorbeelden: Voorbeeld één: principle based voorschrift welke geen ‘professional judgement’ behoeft: Een transportorganisatie heeft als principe ingesteld dat de medewerkers niet te hard zouden mogen rijden. De mate van nastreving van het principe wordt bijgehouden middels het uitlezen van de tachograaf waarmee de vrachtwagens zijn uitgerust en die de snelheid vergelijkt met de toegestane snelheid. Voorbeeld twee: rule based voorschrift welke ‘professional judgement’ behoeft: Een internationale handelsorganisatie heeft als regel dat contracten met buitenlandse klanten tweetalig moeten worden opgesteld, in het Engels en in de moedertaal van de klant(vestiging). De mate van naleving wordt gecontroleerd door auditors met een behoorlijk ontwikkelde talenknobbel. Dit brengt ons tot de volgende aanpassing in de driehoek:
Figuur 2.2: van de aanpassing in de opvattingen over rule- of principle based
Voorbeeld: In bovenstaande figuur zou een Hoger Doel kunnen zijn: ‘Prudent Beheer’ Hiervoor zouden trapsgewijs de volgende principes en regels voor opgesteld worden: Principle: Er is een adequaat Internal Control Framework; Rule: Het interne beheersingskader dient rekening te houden met …; Principle: Er is (als onderdeel van het interne beheersingskader) een adequaat informatie beveiligingsbeleid; Rule: Het informatie beveiligingsbeleid dient ten minste de volgende onderdelen te bevatten …; Principle: De lengte van wachtwoorden is risk based en weloverwogen; Rule: De lengte van de gebruikerswachtwoorden binnen systeem XYZ dient minimaal 8 te zijn. Hierbij zijn sommige voorschriften eenvoudig ‘rule based’ te toetsen door middel van waarnemingen en steekproeven. Andere voorschriften behoeven meer bestudering, interpretatie en kennis.
Pagina 15 van 75
2.3
Opvattingen omtrent de bril van de auditor
Zoals hierboven beschreven wordt in de literatuur onderscheid gemaakt tussen de principle based en de rule based standaarden. Het bijbehorende type auditor wordt aangeduid met respectievelijk de term principle based auditor of rule based auditor. Ook de termen principle oriented, rule oriented en 10 client oriented worden gehanteerd. Ieder met hun eigen beperkingen . Buiten deze benaderingen hebben wij in de literatuur binnen ons vakgebied weinig kunnen vinden over de factoren die de bril van de auditor beïnvloeden. Daarom zijn wij buiten deze literatuur verder gaan zoeken. Onderstaand volgt een samenvatting van onze zoektocht naar deze factoren. Zoals hiervoor aangegeven is de basis gevormd door literatuur uit ons vakgebied aangevuld met andere literatuur en andere documenten. 2.3.1 Omgevingsfactoren Een van de factoren die de bril beïnvloeden zijn de omgevingsfactoren. In het algemeen is dit ook wel bekend als het ‘know your enemy’ principe, waarbij er vanuit wordt gegaan dat het niet alleen belangrijk is om je eigen leger te kennen maar ook het leger van je tegenstander en het gebied waar je de veldslag plaats vind. Pas als je deze beide kent, kun je een goede afweging maken en is de overwinning nabij. Vrij vertaald naar auditing zou je kunnen zeggen dat het niet alleen belangrijk is om je bewust te zijn van je eigen voorkeuren, opvattingen en door jouw geprefereerde referentiekaders, maar ook dat het belangrijk is om je bewust te zijn van de opvattingen, voorkeuren en intenties van de organisatie11. In ‘The black swan’ is te lezen dat onze reacties, onze manier van denken en onze intuïtie afhankelijk zijn van de context waarin zaken worden gepresenteerd12. Hieruit valt eveneens op te maken dat ‘de omgeving’ een belangrijke rol speelt bij de wijze waarop wij reageren of denken. 13
KPMG stelt in ‘Hypegiaphobia (the fear of responsibility)’ , dat de beroepsgroep meer lef moet tonen door de principes van wet- en regelgeving voorop te stellen en waar dit mogelijk is deze wet- en regelgeving met meer judgement te volgen. Zij stellen dat normenkaders, zoals het IFRS, hier uitdrukkelijk de ruimte voor bieden. Daarnaast stelt KPMG dat de accountants het thema meer topdown moeten benaderen. Het bestuur van een onderneming maakt namelijk keuzes ten aanzien van de risico’s die men neemt. KPMG stelt dan ook dat deze keuzes leidend moeten zijn bij het nemen van maatregelen om die risico's te beheersen en dat dit ook voor de accountant geldt.
10
Jamal, K. & Tan, H.T. (2008) ‘Effect of Principles-based versus Rules-based Standards and Auditor Type on Financial Managers’ Reporting Judgments’ p. 17-22 gaat in op de principle en de rule oriented auditor. De principle oriented auditor is relatief stellig in het zekerstellen dat de principes nageleefd worden, zelfs als sommige regels niet nageleefd worden. De rule oriented auditor daarentegen is relatief stellig in het zekerstellen dat de onderliggende regels nageleefd worden, met minder oog voor de onderliggende principes. De client oriented auditor ondersteund de opinie van de client onafhankelijk van het rule of principle based karakter. Deze auditor zet zijn eigen baseline conditie (‘professional judgement’) neer waar het type referentiekader er niet toe doet. 11 Sun Tzu – ‘The art of war’ (+/- 500 v.Chr.) dit deel is bekend als ‘know your enemy’. Een generaal die de kracht van zijn eigen leger kent, maar niet de kracht van zijn vijand heeft maar vijftig procent kans op de overwinning. Wanneer een generaal zowel de kracht van zijn eigen leger als de kracht van zijn vijand kent, maar hij is onbekend met de moeilijkheden van het gebied waar de veldslag plaatsvindt dan worden zijn kansen op de overwinning wederom gehalveerd. Wanneer een generaal zowel de kracht van zijn eigen leger als de kracht van zijn vijand en de moeilijkheden van het terrein kent is hij in staat om zich aan iedere situatie aan te passen. Er wordt dan ook wel gezegd: "when one has a thorough knowledge of both the enemy and oneself, victory is assured. When one has a thorough knowledge of both heaven and earth, victory will be complete". 12 Taleb, N.N. (2007) ‘The black swan’ p. 53 “by domain specific I mean that our reactions, our mode of thinking, our intuitions, depend on the context in which the matter is presented” 13 KPMG (2008) ‘Hypegiaphobia (the fear of responsibility)’ p.41.
Pagina 16 van 75
2.3.2 Wijze van toetsen In het KNDB handboek van november 200914, spel- en wedstrijdreglement, algemene regels staan bijvoorbeeld onderstaand reglementen: 6.2
Slaan is verplicht.
6.3
Meerslag gaat voor: als op verschillende manieren kan worden geslagen, moet de slag waarmee de meeste stukken worden geslagen (waarbij dam en schijf als één stuk gelden; (zie artikel 3.1)) worden uitgevoerd. Als op verschillende manieren een zelfde aantal stukken kan worden geslagen, voert men een slag naar keuze uit, ongeacht of het slaande stuk een dam of een schijf is.
Hoe toetst een auditor bij voorkeur een damwedstrijd? Door te kijken of de regels zuiver worden nageleefd, in grote lijnen worden nagestreefd, door de kwaliteit van de zetten te toetsen, of een combinatie?Allen zijn mogelijk en de wijze van toetsen is een factor die de bril van de auditor en daarmee de zienswijze kan beïnvloeden. Het laatste reglement 6.3 is bijvoorbeeld voor kinderen soms te complex waarbij ze het één en ander versimpelen door de regel te veranderen in: ‘vooruit slaan gaat voor’. Thuis is dit wellicht geoorloofd, maar op een toernooi zal dit vreemd overkomen en hoogstwaarschijnlijk leiden tot diskwalificatie. Middels een kwantitatieve toets kan een auditor bepalen of men zich aan de (al dan niet zuivere) spelregels houdt. Hierbij is ‘professional judgement’ nodig, middels goede kennis van de officiële spelregels en van eventuele lokaal gehanteerde afwijkingen hierop. De kwantitatieve toets zegt dan nog niets over de kwaliteit van een slag (effectiviteit). Dit vraagt een verdere verdieping, ‘professional judgement’ en een kwalitatieve wijze van toetsen. Hier geldt wel dat een kwalitatief goede zet geen waarde heeft indien deze niet allereerst de kwantitatieve toets doorstaat en volgens de geldende regels geoorloofd is. 2.3.3 Taalgebruik en interpretatie Het taalgebruik in een normenkader of referentiekader kan een indicatie zijn voor de beoogde zienswijze. Zie het eerdere onderscheid in hoofdstuk 2.1 tussen dwingende regels (‘De organisatie moet het volgende doen.’) en dringende principes (‘De organisatie behoort het volgende te doen’). Verder noemen we in dit verband de intentie van een normenkader of referentiekader. Deze maakt weliswaar geen onderdeel uit van de regels of principes, maar schetst wel de manier waarop deze gelezen zouden moeten worden. Zo wordt in de ‘OECD Guidelines for the Security of Information Systems and Networks’ een onderscheid gemaakt tussen het hogere doel en de afgeleide middelen, 15 respectievelijk de ‘aims’ en de ‘principles’ Ook in CobiT zien we deze intentieverklaring terug. Hierin 16 wordt deze juist aangeduid als (hoger) principe. NIST vraagt tevens in de inleiding aandacht voor de wijze van interpretatie van de onderliggende ‘recommended security controls’, zij wijzen met klem op het in ogenschouw nemen van de samenhang tussen de richtlijnen ten behoeve van het realiseren van het (bedrijfsspecifieke) hogere doel.17 Taalgebruik en de mate waarin de auditor zich hier aan conformeert is de derde factor die onzes inziens de bril van de auditor beïnvloedt.
14
KNDB handboek (november 2009) p. 8 Artikel 6, het uitvoeren van een damslag. OECD Guidelines for the Security of Information Systems and Networks ‘Towards a Culture of Security’ (2002). Eén van de zes ‘aims’ is: ‘Foster greater confidence among all participants in information systems and networks and the way in which they are provided and used.’. Eén van de negen principles is: ‘Participants should act in a timely and co-operative manner to prevent, detect and respond to security incidents.’ 16 CobiT 4.1 (2007) p. 10 ‘The COBIT framework is based on the following principle: To provide the information that the enterprise requires to achieve its objectives, the enterprise needs to invest in and manage and control IT resources using a structured set of processes to provide the services that deliver the required enterprise information.’ 17 NIST Special Publication 800-53 Revision 2 (2007) p. 1 ‘There are several important questions that should be answered by organizational officials when addressing the security considerations for their information systems: ‘ (…) ‘The answers to these questions are not given in isolation but rather in the context of an effective information security program for the organization that identifies, controls, and mitigates risks to its information and information systems.’ 15
Pagina 17 van 75
3. Onderzoeksvraag en definiëren begrippen In onderstaand hoofdstuk treft u onze onderzoeksvraag en de definiëring van de begrippen aan.
3.1
Definitieve onderzoeksvraag
Op basis van de resultaten die naar voren zijn gekomen uit de inhoudelijke oriëntatie, kan de centrale vraagstelling gespecificeerd worden en kunnen een vijftal subvragen worden afgeleid. De centrale vraagstelling luidt nu als volgt: ‘Welke audit aanpak (bepaling van de uitgangssituatie) leidt in welke situatie tot het beste resultaat?’ Ter ondersteuning van deze centrale vraagstelling zijn de volgende vijf subvragen gedefinieerd. De eerste drie subvragen vormen het fundament van de huidige discussie over principle- en rule based, de overige vragen geven de nieuwe dimensie aan de discussie. Deze vijf subvragen luidden als volgt: • Wat is een rule-/principle based referentiekader? • Wat is een rule-/principle based control? • Wat voor type auditor onderkennen wij en wat is de relatie met Rule- en Principle based? 18 • Hoe beïnvloedt het type auditor het normenkader en de controls en in hoeverre wordt het resultaat hierdoor beïnvloed? • In welke gevallen is welke aanpak geschikt?
3.2
Definiëring van de centrale begrippen
In onze scriptie hanteren wij een aantal basistermen, begrippen en synoniemen. In deze paragraaf treft u onze uitleg aan. 3.2.1
Basistermen
Doelen en Middelen Aan de hand van onderstaande definities zullen de termen ‘principle based’ en ‘rule based’ nader worden toegelicht. Doel19: Aanduidingen voor het hogere (strategische) Principe, de ‘Commanders Intent’20. Hiervoor worden verder in de literatuur de volgende termen gebruikt: Uitgangspunt, Principe, Filosofie, Gebod21. Om op dit niveau invulling te kunnen geven aan bestaans- en werkingscontrole zijn afgeleide Middelen, Regels en Voorschriften nodig.
18
Wij onderscheiden 4 typen Auditors, te weten de: Beginnende Auditor (BA); Concrete Auditor (CA); Abstracte Auditor (AA) en de Situationele Auditor (SA)
19
Cambridge International Dictionary of English (1995): ‘goal: an aim or purpose’ KPMG, Trust rules (2009) Commanders Intent, overgenomen uit 'Leiderschap in de publieke sector: meer dan oneliners' (KPMG 2008). Term uit het Amerikaanse leger. De gedachte er achter is om ook in complexe omgevingen het doel voor ogen te houden en niet te verzanden in mechanistische gedragingen. 20
21
Braithwaite, J. B. (2002) Rules and Principles: A Theory of Legal Certainty. In het artikel wordt aangegeven dat niet specifieke voorschriften in de literatuur vaak principles, standaarden of generieke regels genoemd worden.
Pagina 18 van 75
Middel: Aanduiding voor het geheel aan instrumenten ter realisatie van het gestelde doel. Een middel heeft vrijwel altijd een hoger doel; een middel is dan ook ondersteunend aan en gebaseerd op het hogere doel, het principe (Principle Based met hoofdletters). Een ‘middel zonder doel’ zien wij als een middel waarbij het hogere doel er wel is, maar niet als zodanig herkend wordt. 22 Een geborgd, effectief, efficiënt en betrouwbaar middel bestaat uit de volgende onderdelen : 23 • Afgeleide doelen (principles) en doelvoorschriften (principle based, met kleine letters); 24 • Regels (rules) en middelvoorschriften (rule based). Doelen worden gerealiseerd met behulp van middelen. Middelen zijn Principle Based.
Doelvoorschrift (‘principle based regulation’): Algemeen voorschrift dat aangeeft welke middelen 25 gehanteerd of juist niet gehanteerd zouden kunnen worden om het hogere doel te bereiken . Deze middelen kunnen ook afgeleide, meer gedetailleerde doel- en middelvoorschriften zijn. Doelvoorschriften dienen nagestreefd te worden, de mate waarin dit plaatsvindt, kan door de auditor bepaald worden (kwalitatief). Middelvoorschrift (‘rule based regulation’): Specifiek voorschrift dat aangeeft welke middelen ingezet of juist niet ingezet moeten worden om het hogere doel te bereiken. Deze middelen kunnen ook afgeleide, meer gedetailleerde doel- en middelvoorschriften zijn. Middelvoorschriften dienen nageleefd te worden. De auditor kan dit toetsen (kwantitatief).
Figuur 3.1: Doel en middelen 22
Braithwaite, J. B. (2002) Rules and Principles: A Theory of Legal Certainty. Braithwaite stelt dat voor eenvoudige situaties een rule based aanpak goed werkt terwijl voor complexe situaties Principle based aanpak beter werkt. Daarnaast stelt hij dat niet bindende regels gesteund door bindende principes beter werkt om te reguleren dan principes alleen. 23 Cambridge International Dictionary of English (1995): ‘principle: a basic idea or rule that explains or controls how something happens or works’ 24 Cambridge International Dictionary of English (1995): ‘rule: an accepted principle or instruction that states the way things are or should be done, and tells you what you are allowed or are not allowed to do’ 25 Frederick Schauer. ‘The Convergence of Rules and Standards’, Regulation Policy Program Working Paper RPP-2001-07 (Center for Business and Government, John F. Kennedy School of Government, Harvard University, 2001) (Standards are simply ‘vaguer, less specific rules’).
Pagina 19 van 75
3.2.1.1 Samenhang van de basistermen De zuivere vorm van bovenstaande voorschriften bevat zowel een expliciete link naar het ‘te realiseren’ doel als een expliciete link naar de ‘meer concrete’ middelen. Een voorschrift waarbij deze links ontbreken, kan worden bestempeld als: • •
Vaag of algemeen; bij het ontbreken van nadere concretisering; Zinloos of doelloos; bij het ontbreken van de link naar het doel.
Bij een samengesteld voorschrift wordt niet alleen aangegeven welke middelen gehanteerd zouden kunnen worden (doel), maar worden ook concrete voorbeelden aangedragen (middel)26. Het geheel aan middelen bestaat voor een simpel doel uit één of enkele voorschriften. Bij complexere doelen kan het vrijwel onmogelijk worden alle voorschriften uit te schrijven. Hierbij kunnen afgeleide en samengestelde voorschriften ingezet worden als hulpinstrumenten voor een meer transparante structuur. Ook kan hierbij gekozen worden voor een allesomvattend middelvoorschrift, in de vorm van ‘niets mag tenzij’ of ‘alles mag tenzij’.
Middelen bestaan uit doelvoorschriften en middelvoorschriften Doelvoorschriften zijn principle based Middelvoorschriften zijn rule based 3.2.2 Begrippen omtrent de bril van de auditor We maken onderscheid tussen drie entiteiten welke gezamenlijk leiden tot het ‘Oordeel van de auditor’: A. Het normenkader; B. De bril van de auditor; C. De vigerende maatregelen (controls) rondom het te onderzoeken object. De bril van de auditor: Hiermee wordt bedoeld de wijze waarop een auditor naar een referentiekader, het normenkader (A) en het stelsel van maatregelen (C) kijkt. De bril kan tevens worden aangeduid met de denkwijze van de auditor. Wij onderscheiden bij de bril van de auditor de volgende begrippen (kenmerken/variabelen), welke in de uitgestuurde enquête terugkomen: • Gehoorzamen aan; • Luisteren naar; • Mate van abstractie; • Taalgebruik; • Toetsvorm; • Voorkeur.
26
Nelson, M. (2003). Behavioral Evidence on the Effects of Principles and Rules Based Standards. Bij een samengesteld voorschrift is het van belang om voldoende regels aan te geven zodat er duidelijk gecommuniceerd kan worden en niet teveel regels zodat uitvoerders niet overweldigd raken. Het vergroten van de relatie tussen verschillende regels zal er zorg voor dragen dat de uitvoerders niet overweldigd raken door complexiteit.
Pagina 20 van 75
Gehoorzamen aan en luisteren naar Deze variabelen indiceren in welke mate een auditor rekening houdt met relevante omstandigheden27. Wij onderscheiden luisteren naar en gehoorzamen aan externe wet- en regelgeving, interne organisatie- principes en regels en aan regels vanuit de beroepsorganisatie. Voor het objectief komen tot een gewogen oordeel, dient een auditor idealiter reeds in de verkennende fase na te gaan welke regels en principes van kracht zijn binnen de scope van het onderzoek. Indien dit niet direct leidt tot een helder beeld, zal de auditor verder moeten afstemmen met de organisatie hoe voorschriften geïnterpreteerd of uitgelegd dienen te worden. Met andere woorden: het gaat hier om het, voorafgaand aan de uitvoerende fase van de auditwerkzaamheden, duidelijk krijgen van de geldende maatregelen, de interpretatie van de opsteller en de mate waarin de auditor hier naar luistert en gehoor aan geeft (hiernaar handelt). Deze regels en principes kunnen expliciet of impliciet (middels refereren aan) vastgelegd worden in een audit plan (in het auditdossier, het plan van aanpak, een auditbrief, het normenkader). Luisteren naar geeft weer of een auditor de intentie (en de bepaler) herkent. Gehoorzamen aan geeft weer of een auditor hiernaar handelt. Mate van abstractie Een voorschrift kan bepaald worden als middelvoorschrift dan wel als doelvoorschrift. De bepaling kan situationeel gedaan worden met behulp van bovengenoemde omgevingsfactoren. Indien deze omgevingsfactoren geen uitsluitsel geven kunnen taalgebruik of de eigen voorkeur helpen. De auditor kan ook de opvatting hebben dat abstracte voorschriften als doelvoorschriften en concrete voorschriften als middelvoorschriften dienen te worden geïnterpreteerd (zie hoofdstuk 2 en figuur 2.1.) Een dergelijke auditor kan dan bij het bepalen hoe een voorschrift beoogd is, gemakkelijk voorbijgaan aan de hiervoor genoemde omgevingsfactoren. Voor de abstracte, concrete en beginnende auditor (zie paragraaf 4.1.1. voor de beschrijving van de typen) kan de mate van abstractie gezien worden als een leidende factor in het bepalen van het rule of principle based zijn van een voorschrift. We noemen de mate van abstractie dan ook een ‘valse determinator’. Deze variabele toetst of de auditor mate van abstractie van voorschriften meeneemt in zijn overwegingen en daarmee de bril beïnvloedt. Taalgebruik Het taalgebruik geeft een indicatie hoe de opsteller het voorschrift heeft beoogd. Dwingend taalgebruik is een indicatie dat het gaat om een regel die nageleefd moet worden. Vrijblijvend taalgebruik indiceert dat het om een principe gaat dat nagestreefd kan worden. Deze variabele geeft aan in welke mate de auditor het dwingende of dringende taalgebruik in voorschriften herkent en erkent. In het geval dat er geen omgevingsfactoren bekend zijn, zou de auditor onzes inziens dan ook eerst moeten nagaan welk taalgebruik gehanteerd is. Uit de specifieke tekst of inleiding (zie paragraaf 2.3.3) kan immers worden opgemaakt hoe deze beoogd is. Veelal zijn er echter wel omgevingsfactoren ter beschikking die kunnen helpen bij het interpreteren van het voorschrift. Toetsvorm Een eenvoudige norm kan in principe puur kwantitatief getoetst worden. Een kwalitatieve toets door middel van ‘professional judgement’ kan bepalen in welke mate er aan de norm voldaan wordt. De meeste normen vergen echter een kwantitatieve en kwalitatieve inschatting om te bepalen of er aan de norm wordt voldaan. Hierbij is meestal een bepaalde mate van ervaring noodzakelijk. De auditor zou echter ook alleen ‘professional judgement’ kunnen hanteren. Dit leidt onzes inziens echter niet tot een juiste beantwoording van de vraag: ‘Heeft de organisatie de norm opgevolgd?’ Maar tot de beantwoording van de vraag: ‘In welke mate heeft de organisatie de norm opgevolgd.’ Uiteindelijk zal de auditor dan toch eerst zelf dienen te overwegen of de norm voldoende gevolgd wordt om de vraag met ‘ja’ te kunnen beantwoorden. Hiermee doet de auditor in feite toch een kwantitatieve (‘ja/nee’) uitspraak. Een voorschrift kan kwantitatief, kwalitatief en met een combinatie van beiden getoetst 27
IIA Code of Ethics, objectivity: ‘Internal auditors exhibit the highest level of professional objectivity in gathering, evaluating, and communicating information about the activity or process being examined. Internal auditors make a balanced assessment of all the relevant circumstances and are not unduly influenced by their own interests or by others in forming judgments
Pagina 21 van 75
worden. Aangezien een voorschrift meestal bestaat uit zowel doel- als middelvoorschriften zal de auditor in de meeste gevallen een combinatie van beide moeten gebruiken om een optimaal resultaat te verkrijgen. Toetsvorm is in onze ogen een onafhankelijke variabele aangezien deze variabele los staat van de overige variabelen. Immers wanneer een auditor voorbij gaat aan de omgevingsfactoren en uitgaat van zijn voorkeur wil dit nog niet zeggen dat hij niet in staat is om voor de juiste wijze van toetsen te kiezen. Voorkeur De auditor kan een voorkeur hebben voor regels dan wel principes. De voorkeur van de auditor bepaalt hoe hij een voorschrift wenst te interpreteren en daarmee ook hoe hij een voorschrift wenst te toetsen. Samenvattend zou de auditor idealiter eerst moeten nagaan of er omgevingsfactoren zijn, waaraan hij of zij zich dient te conformeren. Indien dit niet het geval is, zal de auditor aan de hand van het taalgebruik moeten nagaan op welke wijze een maatregel of een norm bedoeld is. Mocht ook dit geen eenduidig antwoord verstrekken, dan kan de auditor uitgaan van zijn voorkeur. Deze variabele bepaalt in welke mate de auditor vast blijft houden aan zijn voorkeur. Samenvatting Samenvattend zou de auditor bij de manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen idealiter eerst dienen na te gaan wat de relevante omgevingsfactoren zijn, waaraan hij of zij zich dient te conformeren. Aanvullend kan de auditor aan de hand van het taalgebruik en voorkeur op basis van kennis en ervaring nagaan op welke wijze een maatregel of een norm bedoeld is. De mate van abstractie zien wij als een valse determinator voor het vaststellen van het rule of principle based zijn van een voorschrift. Toetsvorm is in onze ogen een onafhankelijke variabele aangezien deze variabele los staat van de overige variabelen. Immers wanneer een auditor voorbij gaat aan de omgevingsfactoren en uitgaat van zijn voorkeur wil dit nog niet zeggen dat hij niet in staat is om voor de juiste wijze van toetsen te kiezen. Daarnaast wordt de keuze voor de toetsvorm ook bepaald door de aard van de opdracht.
Pagina 22 van 75
4.
Veronderstelling en hypothesen
Zoals in hoofdstuk 2 aangegeven doet een indeling in twee typen auditors geen recht aan de in de praktijk voorkomende, minder zuivere voorbeelden. Hieronder volgt dan ook een alternatieve beschouwing van de typen auditors welke uiteindelijk resulteert in de door ons gehanteerde hypothesen. 28
Aan de hand van een variant op het ‘four stages of learning’ model zullen wij een alternatieve beschouwing van typen auditors geven. In onderstaande tabel is aangegeven welke fases wij hierbij hanteren. Deze wijkt af van het originele model in die zin dat wij bewust bekwaam als laatste noemen in plaats van onbewust bekwaam. Reden hiervoor is dat in onze ogen voor een adequate inschatting van situationele factoren ‘bewustzijn’ een vereiste is.
Fase van bekwaamheid Onbewust Onbekwaam Bewust Onbekwaam Onbewust Bekwaam Bewust Bekwaam
4.1
Tabel 4.1: Fases van bekwaamheid Verklaring Een persoon is niet in staat zijn taak uit te voeren, maar is zich daar niet bewust van Een persoon is niet in staat zijn taak uit te voeren en is zich daar bewust van Een persoon is in staat zijn taak uit te voeren, maar is zich daar niet bewust van Een persoon is in staat zijn taak uit te voeren en is zich daar bewust van
Veronderstelling
We maken in onze veronderstelling onderscheid tussen drie entiteiten welke gezamenlijk leiden tot het ‘Oordeel van de auditor’: A. Het normenkader; B. De bril van de auditor; C. De vigerende maatregelen (controls) rondom het te onderzoeken object. Het normenkader en de vigerende maatregelen kunnen hierbij Rule- of Principle Based zijn. De bril van de auditor, kan het normenkader en de vigerende maatregelen verhelderen of vervagen. Hierbij leidt de bril van de auditor tot een deskundig oordeel over de vigerende maatregelen. In hoeverre worden bijvoorbeeld door een auditor bewust of onbewust regels als principes geïnterpreteerd en principes als regels (en daarmee platgeslagen). De bril van de auditor kan per auditor verschillen en wordt door ons dan ook beschouwd als een denkwijze. Wij onderscheiden vier denkwijzen waarbij we beseffen dat er auditors zullen zijn die niet in één van deze vier denkwijzen in te delen zijn, maar kenmerken hebben van meerdere denkwijzen. In de volgende paragraaf worden deze denkwijzen nader uiteengezet. 4.1.1 Typen auditors We onderscheiden de volgende vier typen auditors: • De beginnende auditor; • De concrete auditor; • De abstracte auditor; • De situationele auditor. De beginnende auditor: Een beginnende auditor heeft maximaal drie jaar werkervaring. Deze auditor is onbewust bekwaam op het toetsen van middelvoorschriften welke geen ‘professional judgement’ vereisen. Hij is (nog) onbewust onbekwaam op doelvoorschriften. Deze auditor toetst regels zonder het hogere doel in ogenschouw te (kunnen) nemen.
28
Abraham Maslow (1940) ’Four stages of learning’. De 'Four Stages of Learning' theorie, ook wel de 'conscious competence'theorie genoemd, is een theorie die in 1940 door psycholoog Abraham Maslow is vastgelegd. De vier leerstadia geven een beeld van hoe mensen leren. Beginnend bij stap 1, onbewust onbekwaam, naar stap 2 bewust onbekwaam. Van stap 2 naar stap 3, bewust bekwaam en van stap 3 naar stap 4, onbewust bekwaam.
Pagina 23 van 75
De concrete auditor: Een concrete auditor beschouwen wij als bewust bekwaam op het toetsen van duidelijke en concrete middelvoorschriften welke geen ‘professional judgement’ vereisen, maar onbewust onbekwaam op doelvoorschriften en abstractere middelvoorschriften. Hij is in tegenstelling tot de beginnende auditor in staat om doelvoorschriften te toetsen, echter niet vanuit ‘professional 29 judgement’, maar vanuit kwantiteit (afvinken van het bestaan van doelen). Deze auditor toetst objectief of de auditee de norm naleeft (ja/nee). De concrete auditor is nog niet in staat om het hogere doel in ogenschouw te nemen. De abstracte auditor: Een abstracte auditor is bewust bekwaam op het toetsen van doelvoorschriften welke ‘professional judgement’ vereisen, maar onbewust onbekwaam op het toetsen van middelvoorschriften. Hij is in tegenstelling tot de beginnende en de concrete auditor in staat om doelen middelvoorschriften te toetsen vanuit ‘professional judgement’. Hij toetst subjectief in welke mate de auditee de norm nastreeft. De abstracte auditor is nog niet in staat om het hogere doel in ogenschouw te nemen. De situationele auditor: Een situationele auditor is bewust bekwaam op het toetsen van middelvoorschriften en doelvoorschriften en daardoor in staat de samenhang volledig te benutten en te begrijpen. Hij kan doelvoorschriften en middelvoorschriften zowel rule oriented (kwantiteit) als principle oriented (kwalitatief) benaderen en daarmee het volledige spectrum overzien. Deze auditor kan als enige ook de middelvoorschriften kwalitatief beoordelen omdat hij de link kan leggen naar het hogere doel, begrip heeft van het hogere doel en de samenhang kent van de samenhangende middelen (doelvoorschriften en middelvoorschriften). Hij onderzoekt of en in welke mate de auditee de gestelde doelen nastreeft en bijbehorende middelen naleeft door deze te vergelijken met een overeengekomen en samenhangend normenstelsel.
Type Auditor Beginner Concreet Abstract Situationeel
Tabel 4.2: Typen Auditors Middelvoorschrift Doelvoorschrift Onbewust bekwaam Onbewust onbekwaam Bewust bekwaam Onbewust onbekwaam Onbewust onbekwaam Bewust bekwaam Bewust bekwaam Bewust bekwaam
Hogere doel Onbewust onbekwaam Onbewust onbekwaam Onbewust onbekwaam Bewust bekwaam
4.1.2 Auditor versus normenkader De beginnende auditor: Een beginnende auditor zal bij het bepalen van het normenkader uitgaan van zijn voorkeur voor regels. Hij is (nog) niet in staat om het hogere doel in ogenschouw te nemen en daardoor dan ook (nog) niet in staat om zijn eigen referentiekader aan te passen aan de betreffende situatie op een dusdanige wijze dat deze aansluit bij de organisatie. De concrete auditor: Een concrete auditor zal voor het bepalen van het normenkader uitgaan van zijn voorkeur voor regels. Hij is (nog) niet in staat om het hogere doel in ogenschouw te nemen en daardoor dan ook (nog) niet in staat om zijn eigen referentiekader aan te passen aan de betreffende situatie op een dusdanige wijze dat deze aansluit bij de in de organisatie geldende principes.
29
Tschudi, F. (November 15, 2004). Rules, complexity and emotions, pag. 2. Tschudi maakt in dit artikel onderscheid tussen ‘Judgement’ en ‘Structure’ waarbij ‘judgement’ principle oriented en kwalitatief is en ‘structure’ rule oriented en kwantitatief is.
Pagina 24 van 75
De abstracte auditor: Een abstracte auditor zal voor het bepalen van het normenkader uitgaan van zijn voorkeur voor principes. Hij is (nog) niet in staat om het hogere doel in ogenschouw te nemen en daardoor dan ook (nog) niet in staat om zijn referentiekader aan te passen aan de betreffende situatie op een dusdanige wijze dat deze aansluit bij de in de organisatie geldende regels. De situationele auditor: Een situationele auditor zal voor het bepalen van het normenkader niet uitgaan van zijn voorkeur, maar gebruikmaken van de aanwezige omgevingsfactoren. Doordat hij deze omgevingsfactoren herkent en gebruikt, is hij in staat om het hogere doel in ogenschouw te nemen en daardoor dan ook, als enige, in staat om het referentiekader aan te passen aan de betreffende situatie op een dusdanige wijze dat deze naadloos aansluit bij de organisatie. 4.1.3 Beperkingen typen auditor tijdens oordeelsvorming In de navolgende paragrafen worden de beperkingen van de auditor tijdens de oordeelsvorming toegelicht. Dit gebeurt aan de hand van het aangeven van de impact op de bevinding en de impact op de aanbeveling. 4.1.3.1 Type auditor en impact op de bevinding Beginnende en concrete auditor: Het signaleren van de beginnende en de concrete auditor van het ontbreken van voorschriften (kwantitatief) kan hooguit leiden tot een negatief geformuleerde bevinding op het ontbreken van het bestaan: ‘Er is niet geconstateerd dat de middelen voldoen’. Er is immers geen link naar het hogere doel (opzet) of een kwalitatieve inschatting van eventuele compenserende maatregelen (werking). Het signaleren door de beginnende en de concrete auditor van het aanwezig zijn van voorschriften (kwantitatief) kan hooguit leiden tot een dubbel negatief geformuleerde bevinding op het niet ontbreken van het bestaan: ‘Er is niet geconstateerd dat de middelen niet voldoen’. Er is immers geen link naar het hogere doel (opzet) of een kwalitatieve inschatting van eventuele compenserende maatregelen (werking). Abstracte auditor: Het signaleren door de abstracte auditor van het ontbreken van voorschriften (kwantitatief) kan de principiële abstracte auditor doen besluiten reeds in een vroegtijdig stadium te stoppen met het onderzoek. Dit leidt tot een positief geformuleerde bevinding op het ontbreken van de opzet: er is geconstateerd dat er in opzet niet voldaan wordt. Dit zegt nog weinig over de compenserende maatregelen en het restrisico van het samenhangende geheel aan middelen. Een andere mogelijkheid is dat de abstracte auditor op zoek gaat naar compenserende maatregelen en wanneer deze aangetroffen worden, nalaat een positief geformuleerde bevinding te doen op het ontbreken van de opzet. Er wordt immers uiteindelijk aan het principe voldaan. Een derde mogelijkheid is dat de auditor de compenserende doelvoorschriften zoekt en te weinig oog heeft voor compenserende middelvoorschriften. Dit leidt tot een positief geformuleerde bevinding op het ontbreken van de opzet, bestaan of werking: er is geconstateerd dat er niet voldaan wordt. Dit zegt nog te weinig over compenserende middelvoorschriften en het restrisico van het samenhangende geheel aan middelen. Het signaleren door de abstracte auditor van het aanwezig zijn van voorschriften (kwantitatief) kan hem helpen bij zijn verdere onderzoek naar de kwaliteit van het geheel. Met andere woorden de abstracte auditor gebruikt kwantitatieve toetsing als middel om de kwaliteit efficiënter te kunnen toetsen (middels de logische volgorde: eerst toetsen op kwantiteit, daarna pas op kwaliteit, ofwel zonder opzet geen bestaan). De signalering draagt bij aan de uiteindelijk positief geformuleerde bevinding: de aangetroffen middelen zijn elk op zich wel/niet kwalitatief in orde. De abstracte auditor heeft nog wel moeite met het kwalitatief op waarde schatten van middelvoorschriften (bijdragend aan het doel) en het op waarde schatten van het samenhangende geheel. Hij zal de voorkeur geven aan de in zijn ogen betere doelvoorschriften.
Pagina 25 van 75
Situationele auditor: Het signaleren door de situationele auditor van het ontbreken van voorschriften (kwantitatief) kan hem helpen bij zijn verdere onderzoek naar eventuele compenserende maatregelen en de kwaliteit hiervan. Zodoende kan hij een oordeel geven over het geheel en het risico aangeven van het kwantitatief ontbreken of kwalitatief ontoereikend zijn van sommige voorschriften. Hij kan, het restrisico voor het geheel in ogenschouw houdend, een positief geformuleerde bevinding doen: ‘er is geconstateerd dat (specifieke) middelen niet voldoen’. Middels ‘professional judgement’ kan de situationele auditor bij het gedeeltelijk (kwantitatief) ontbreken van de opzet reeds in een vroegtijdig stadium besluiten te stoppen met het onderzoek (de opzet ontbreekt). Het signaleren door de situationele auditor van het aanwezig zijn van voorschriften (kwantitatief) kan hem helpen bij zijn kwalitatieve oordeel over de opzet en de werking, immers zonder het aanwezig zijn van deze kwantitatieve voorschriften kan er geen sprake zijn van kwaliteit. Met andere woorden de situationele auditor gebruikt kwantitatieve toetsing als middel om de kwaliteit efficiënter te kunnen toetsen (middels de logische volgorde: eerst toetsen op kwantiteit, daarna pas op kwaliteit, ofwel zonder opzet geen bestaan). De signalering draagt bij aan de uiteindelijk positief geformuleerde bevinding: ‘de aangetroffen middelen zijn wel/niet kwalitatief (bijdragend aan het doel) in orde’. 4.1.3.2 Type auditor en impact op de aanbeveling Beginnende en concrete auditor: Bij het ontbreken van voorschriften kan een aanbeveling gericht zijn op specifieke naleving, middels implementatie van de gesignaleerde tekortschietende (als zodanig geïnterpreteerde) middelvoorschriften uit het gehanteerde werkprogramma/normenkader. Hierbij wordt dan voorbij gegaan aan het nut (de kwaliteit) van de maatregel. Bij het aanwezig zijn van voorschriften kan er een lichte aanbeveling volgen. Deze aanbeveling kan gericht zijn op het uitvoeren van vervolgonderzoek om meer ‘assurance’ te verkrijgen, op de naleving of op het verder specificeren van de algemene doelvoorschriften (vervangen door middelvoorschriften uit het gehanteerde werkprogramma/normenkader). Abstracte auditor: Bij het ontbreken van voorschriften zal een aanbeveling gericht zijn op het algemene nastreven van het doel, middels het voorschrijven van de gesignaleerde tekortschietende (als zodanig geïnterpreteerde) doelvoorschriften uit het gehanteerde werkprogramma/normenkader. De aanbeveling zal vanwege het algemene, abstracte karakter minder specifiek, SMART30 geformuleerd worden dan een aanbeveling van een beginnende of concrete auditor. Bij het aanwezig zijn van voorschriften kan een lichte aanbeveling gericht zijn op het verder verbeteren van het nastreven van het doel, middels het vervangen van de gesignaleerde aanwezige (doelloze) middelvoorschriften door de doelvoorschriften uit het gehanteerde werkprogramma/normenkader of door het verder optimaliseren van de specifieke doelvoorschriften (maturity level), zonder een duidelijk risico of reden aan te kunnen geven. Situationele auditor: Bij het ontbreken van voorschriften zal een aanbeveling gericht zijn op het algemene nastreven van het doel en specifieke naleving van de samenhangende middelen middels het voorschrijven van op basis van ‘professional judgement’ bepaalde doel- en middelvoorschriften. 31 Hierbij kan de aanbeveling SPROA toegelicht worden en SMART geformuleerd worden, in tegenstelling tot de overige typen auditors, welke zich meer richten op het voorschrijven van de gesignaleerde tekortschietende voorschriften uit het gehanteerde werkprogramma/normenkader. Bij het aanwezig zijn van voorschriften zal de aanbeveling gericht zijn op het verder optimaliseren van het nastreven van het doel en de specifieke naleving van de samenhangende middelen middels het voorschrijven van, op basis van ‘professional judgement’, bepaalde doel- en middelvoorschriften. Hierbij kan de aanbeveling SPROA toegelicht worden en SMART geformuleerd worden en kunnen 30 31
SMART = Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. SPROA = Situatie, Probleem, Risico, Oorzaak en Aanbeveling.
Pagina 26 van 75
naast samenhangende risico’s ook kansen benoemd worden (verhogen effectiviteit, slagvaardigheid). Dit in tegenstelling tot de overige typen auditors die zich beperken tot het meer in lijn proberen te brengen van de organisatie op ‘hun’ model (door aan te bevelen de gesignaleerde aanwezige voorschriften te vervangen door voorschriften uit het gehanteerde werkprogramma/normenkader. Tabel 4.3: Mate van zekerheid en kwaliteit van de aanbeveling van de verschillende typen auditors Type Auditor Mate van Zekerheid en Kwaliteit Mate van Zekerheid en Kwaliteit van de aanbeveling bij het van de aanbeveling bij het ontbreken van voorschriften aanwezig zijn van voorschriften Beginnende auditor Concrete auditor Abstracte auditor +/+ Situationele auditor ++ ++
4.2 Hypothesen Op basis van de door ons in de vorige paragraaf beschreven veronderstelling komen wij tot de volgende hypothese. H1: Het type auditor heeft een relatie met de manier van het vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen van de audit.
Pagina 27 van 75
5. Opzet en uitvoering van het onderzoek In dit hoofdstuk wordt de methode van onderzoek toegelicht.
5.1
Methodische karakterisering van het onderzoek
Middels een toetsingsonderzoek wordt nagegaan of de hieronder beschreven hypothese wordt ondersteund. H1: Het type auditor heeft een relatie met de manier van het vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen van de audit.
5.2
Populatie
Voor ons onderzoek hebben wij ons gericht op IT-auditors die aan één of meerdere van de volgende voorwaarden voldoen: • ingeschreven staan bij de Nederlandse Orde van Register EDP-Auditors (NOREA); • aspirant-lid zijn van NOREA; • een titel hebben als CISA, CISSP, etc.; • docent zijn aan de IT-audit opleiding van de Vrije Universiteit; • student zijn aan de IT-audit opleiding van de Vrije Universiteit. Deze populatie is in zijn geheel meegenomen in het onderzoek. Dit betekent dat er ongeveer 1500 enquêtes verstuurd zijn. Hierop is een respons ontvangen van 243, waarvan na nadere analyse er 169 bruikbaar zijn gebleken. De reden hiervoor is dat een aantal respondenten de enquête maar voor minder dan de helft hadden ingevuld.
5.3
Beschrijving en verantwoording van het onderzoeksinstrument
Aan de hand van een surveyonderzoek en schriftelijke interviews zullen wij de in 5.1 genoemde hypothese toetsen. Het surveyonderzoek geeft ons de mogelijkheid om data te verzamelen onder een grote groep respondenten. De interviews geven ons de gelegenheid om op een aantal elementen dieper in te gaan. Beide onderzoeksmethoden zijn de aangewezen methodes om informatie te krijgen 32 over attitudes, opinies, gevoelens, gedachten of kennis . Voorafgaand aan het onderzoek is aan een select gezelschap gevraagd of zij de vragenlijst bij wijze van proef wilden invullen. Dit heeft ertoe geleidt dat de vragenlijst is aangepast en eventuele onduidelijkheden zijn verwijderd. Daarnaast is de kwaliteit van de vragenlijst vastgesteld door middel van feedback van de vakgenoten waarmee we de interviews hebben gehouden. Aandachtspunt bij het surveyonderzoek is het aantonen van de oorzakelijke verbanden (causaliteit). Dit betreft de volgende verwachte relatie: • Oorzaak: type auditor (op basis van aantal jaren werkervaring en de variabele toetsvorm). • Gevolg: manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en de maatregelen en het beschouwen/interpreteren van de vigerende maatregelen van de audit. Om vast te kunnen stellen dat dezelfde regels en principes anders geïnterpreteerd kunnen worden door een auditor en daarmee de wijze van het verkrijgen van het oordeel beïnvloedt kan worden, is er een case uitgestuurd naar onze doelgroep. Deze case bestaat uit vierentwintig vragen die gebaseerd zijn op zes variabelen. Hieronder zal worden toegelicht welke vragen toebehoren aan welke variabelen.
32
Baarda en de Goede (2006). Basisboek methoden en technieken, pag. 222
Pagina 28 van 75
Gehoorzamen aan en luisteren naar In de case wordt bij de vragen (15, 19, 22 en 23) over ‘luisteren naar’ nagegaan of de auditor herkent wie bepaalt wat de intentie is van het voorschrift. Bij de vragen over ´gehoorzamen aan´ (4, 12, 16 en 24) wordt er nagegaan of de auditor handelt naar de intentie van de bepaler. Eén van de vragen voor ‘luisteren naar’ luidt: ‘Juicht u als auditor deze vrije interpretatie door de auditee toe?’ Voor de variabele ‘gehoorzamen aan’ luidt een vraag: ‘Wat vindt u als auditor bij deze case ‘aan het einde van de dag’ het belangrijkste?’ Wij verwachten bij deze omgevingsvariabelen de volgende relatie aan te treffen: • De beginnende auditor gaat voorbij aan de principle based omgevingsfactoren; • De concrete auditor gaat voorbij aan de principle based omgevingsfactoren; • De abstracte auditor gaat voorbij aan de rule based omgevingsfactoren; • De situationele auditor zal nagaan of er omgevingsfactoren zijn die een rol spelen. Hij zal deze dan ook gebruiken om de wijze van toetsen te bepalen. Mate van abstractie Dit begrip is geoperationaliseerd bij de vragen over ‘mate van abstractie’ (2, 5, 11 en 13). Er wordt bij deze vragen in de case nagegaan of de auditor deze valse determinator meeneemt bij zijn interpretatie. Eén van de vragen luidt: ‘De Gouden regel’, ‘Relevante informatie voor het bedrijfsproces dient in schriftelijke vorm beschikbaar te zijn, te kloppen en vertrouwelijk behandeld te worden’. Is dit een principe of regel?’ Wij verwachten de volgende relatie aan te treffen: • De beginnende auditor gebruikt deze variabele bij zijn interpretatie; • De concrete auditor gebruikt deze variabele bij zijn interpretatie; • De abstracte auditor gebruikt deze variabele bij zijn interpretatie; • De situationele auditor zal nagaan of er omgevingsfactoren zijn die een rol spelen. Indien dit niet het geval zal hij het taalgebruik hanteren als factor om het voorschrift te interpreteren. De mate van abstractie speelt voor hem geen rol bij het interpreteren van het voorschrift. Taalgebruik In de case wordt bij de vragen (1, 6, 7 en 17) over ‘taalgebruik’ nagegaan of de auditor taalgebruik meeneemt bij zijn interpretatie. Eén van de vragen luidt: ’In deze vorm, ‘moeten’ in plaats van ‘behoren’, verandert dit uw antwoord op vraag 6?’ Wij verwachten bij de variabele over taalgebruik de volgende relatie aan te treffen: • De beginnende auditor gaat voorbij aan het gehanteerde taalgebruik en kiest op basis van zijn voorkeur; • De concrete auditor gaat voorbij aan het gehanteerde taalgebruik en kiest op basis van zijn voorkeur; • De abstracte auditor gaat voorbij aan het gehanteerde taalgebruik en kiest op basis van zijn voorkeur; • De situationele auditor zal nagaan of er omgevingsfactoren zijn die een rol spelen. Indien dit niet het geval zal hij het taalgebruik hanteren als factor om het voorschrift te interpreteren.
Pagina 29 van 75
Toetsvorm Bij de vragen (3, 8, 14 en 18) over toetsvorm, vragen we naar de in hun ogen meest geschikte toetsingswijze. Eén van de vragen luidt: ‘Is bovenstaande norm voor u toetsbaar?’ Wij verwachten bij de variabele over toetsvorm de volgende relatie aan te treffen: • De beginnende auditor kiest voor de kwantitatieve wijze van toetsen; • De concrete auditor kiest voor de kwantitatieve wijze van toetsen; • De abstracte auditor kiest voor de toetsen op basis van ‘professional judgement’; • De situationele auditor zal afhankelijk van de situatie kiezen voor de wijze van toetsen die het gewenste resultaat oplevert. Voorkeur In de case wordt bij de vragen (9, 10, 20 en 21) over ‘voorkeur’ gevraagd naar de interpretatie. Eén van de vragen luidt: ‘Stel, de organisatie voldoet totaal niet aan het werkprogramma, maar geeft in de management response aan hieraan te gaan werken. Welk oordeel heeft uw voorkeur?’ Wij verwachten bij de variabele over voorkeur de volgende relatie aan te treffen: • De beginnende auditor gaat uit van zijn voorkeur; • De concrete auditor gaat uit van zijn voorkeur; • De abstracte auditor gaat uit van zijn voorkeur; • De situationele auditor heeft geen voorkeur voor regels of principes.
5.4
Dataverzameling
De wijze van verzamelen van data voor de enquête en voor het interview worden hieronder nader toegelicht. 5.4.1 Enquête Onze enquête is beschikbaar gesteld via een online enquête programma. Dit programma is te benaderen via een website (www.thesistools.nl) waarop de enquête staat gelinkt. Het voordeel van deze methode is dat de respondenten de enquête op elk gewenst moment hebben kunnen invullen. Dit heeft er voor gezorgd dat wij onze eigen beschikbare tijd niet hoefden af te stemmen met de beschikbare tijd van de populatie. Daarnaast had dit als voordeel dat wij de antwoorden niet zelf hoefden in te voeren (met een grotere kans op foutieve invoer) maar dat deze door middel van output in Excel aan ons beschikbaar werd gesteld. Deze Excel was inleesbaar in de analyse tool SPSS. 5.4.2 Interview De interviews zijn gehouden met zes vakgenoten. Voorafgaand aan deze interviews zijn de interview vragen beschikbaar gesteld. Wij hebben er voor gekozen om de interviews af te nemen bij de geïnterviewden in hun eigen werkomgeving. Dit had voor de geïnterviewde als voordeel dat er geen reistijd gemoeid was met het interview zodat hun tijdsinvestering beperkt bleef.
Pagina 30 van 75
5.5
Verwerking en preparatie van de gegevens
De verwerking en preparatie van de gegevens voor de enquête en voor het interview worden hieronder nader toegelicht. 5.5.1 Interview De resultaten van de interviews zijn verwerkt in een samengesteld interviewverslag. Dit heeft als voordeel dat we alle resultaten in één verslag verwerkt zijn en dat de anonimiteit gewaarborgd blijft. Het interviewverslag is terug te vinden in bijlage IV. 5.5.2 Enquête Om de uitkomsten van de enquête te verwerken en te analyseren in SPSS is er een codeerschema opgesteld. Dit codeerschema is terug te vinden in bijlage V. Aan de hand van dit codeerschema zijn de volgende variabelen in SPSS gehercodeerd: • Testvariabelen o Gehoorzamen aan o Luisteren naar o Mate van abstractie o Taalgebruik o Voorkeur • Splitsingsvariabele o Toetsvorm Testvariabelen De uitkomsten van de enquête zijn onderverdeeld in drie mogelijke antwoorden: Ja (hanteert deze variabele), Nee (hanteert deze variabele niet) of Niet in te delen (er is geen overwegende score vast te 33 stellen) . De totaalscore per variabele (zie bijvoorbeeld tabel 6.1) is tot stand gekomen door te tellen welke codering, verdeeld over vier34 vragen, de overhand had. Bij gelijke scores, dus twee keer een ‘Ja’ antwoord of twee keer een ‘Nee’ antwoord, hebben we ervoor gekozen om deze respondenten in groep drie, ‘niet in te delen’, te plaatsen. Splitsingsvariabele Zoals aangegeven in hoofdstuk 3 is de toetsvorm een onafhankelijke variabele aangezien deze variabele geen directe relatie heeft met de overige variabelen. In hoofdstuk 4 geven we aan dat er wel een duidelijke relatie is tussen het type auditor en de wijze van toetsen die de auditor prefereert. De wijze van toetsen is dan ook gehanteerd om de respondenten in te delen in groepen. Hierbij is uitgegaan van de voorkeur voor kwantitatief toetsen van de concrete auditor en de voorkeur voor toetsen op basis van ‘professional judgement’ van de abstracte auditor. De situationele auditor begrijpt het verschil tussen kwalitatieve toets en ‘professional judgement’ en zal voor de combinatie van kwantitatief en ‘professional judgement’ kiezen. Daarnaast is gebruik gemaakt van het aantal jaren werkervaring om de beginnende auditor te definiëren. Hierbij is uitgegaan van een maximum van drie 35 jaar werkervaring. Op basis van de toetsvorm variabele en het aantal jaren werkervaring is het type auditor bepaald per respondent. Eerst is gekeken naar het aantal jaren werkervaring en vervolgens of een respondent bij minimaal drie van de vier vragen kwantitatief, ‘professional judgement’ of een combinatie van toetsen heeft gehanteerd. 33
De testvariabelen zijn omgecodeerd naar 0, 1 en 99 welke respectievelijk staan voor, ‘Nee’, ‘Ja’ en ‘Niet in te delen’. De codering 0, 1 en 99 zijn gekozen aangezien deze bij statistische analyse vaak op deze wijze worden gebruikt. 34 Bij de testvariabele voorkeur hebben wij besloten om vraag 20 niet mee te nemen in ons onderzoek. Dit had als reden dat deze na nadere analyse niet goed in te delen bleek in de codering voor voorkeur (0,1 en 99). Voor deze variabele is de totaalscore tot stand gekomen door te tellen welke codering de overhand had verdeeld over de drie vragen. Dus als twee van de drie met ‘Ja’ beantwoord waren dan kreeg deze respondent als totaalscore, ‘Ja’ . 35
Overeenkomstig het aantal jaren werkervaring wat door NOREA gehanteerd voordat een auditor zich kan laten inschrijven in het register voor EDP auditors.
Pagina 31 van 75
Dit heeft geresulteerd in de volgende verdeling van respondenten ingedeeld naar type auditor:
Type auditor Abstract Beginner Concreet Situationeel Niet in te delen
Tabel 5.1: Aantal respondenten per type auditor Splitsingsfactor Aantal respondenten Toetsvorm ‘professional judgement’ 57 ≤ 3 jaar werkervaring 17 Toetsvorm kwantitatief 18 Combinatie toetsvorm 37 Niet van toepassing 40 Totaal 169
We hebben besloten om de respondenten die niet in te delen vielen niet mee te nemen in onze verdere analyse. De reden hiervoor is dat bij deze respondenten geen duidelijke voorkeur bij de beantwoording van de vragen naar voren kwam. Een mogelijke relatie tussen type auditor en de andere variabelen zou allereerst tot uiting moeten komen bij de ‘zuivere’ types. Daarom is er voor gekozen om de verdere analyse voort te zetten met 129 (van de 169) respondenten.
5.6
Analysebeslissingen
Aangezien er bij onze antwoorden geen sprake is van ‘meer of minder’ 36spreken we ook wel van categorische gegevens oftewel nominale gegevens. Deze gegevens kunnen alleen maar geteld worden, met andere woorden hoeveel van welke categorie. Omdat we gebruik gemaakt hebben van nominale meetwaarden en we graag een uitspraak willen doen over de populatie hebben we gebruik 37 gemaakt van de Chi-kwadraat procedure. Met deze procedure stellen wij vast hoe groot de kans is dat een gevonden verschil op toeval berust. De resultaten van onze analyse staan in het volgende hoofdstuk.
36
Baarda en de Goede (2006). Basisboek methoden en technieken, pag. 186. Er wordt onderscheid gemaakt tussen categorische gegevens en niet categorische gegevens. Onder categorische gegevens valt het nominaal meetniveau. Onder niet categorische gegevens vallen het ordinale, interval- en ratio meetniveau. Bij ordinale gegevens is er sprake van meer of minder, maar de onderlinge verschillen in de categorieën zijn niet in een getal uit te drukken. Bij interval- en ratio is er wel sprake van meer of minder die in getal is uit te drukken. 37 Baarda en de Goede (2006). Basisboek methoden en technieken, pag. 347. Chi-kwadraat toets: Is een statische toets om te berekenen hoe groot de kans is dat een gevonden frequentieverdeling in een kruistabel op toeval berust.
Pagina 32 van 75
6. Resultaten In dit hoofdstuk worden de resultaten van onze statistische analyse nader uiteengezet.
6.1
Resultaten per variabele
In deze paragraaf zullen we de resultaten van onderzoek per variabele beschrijven. Allereerst is er gekeken naar de antwoorden van de respondenten op de vragen die behoren bij de variabele. Per variabele is er gekeken hoeveel respondenten, uitgesplitst naar type auditor, gebruik maken van de variabelen bij de manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen. Daarna is er gekeken of er een relatie is tussen het type auditor en de manier van vaststellen van de uitgangssituatie. Om te kijken of er een relatie is tussen het type auditor en de manier van vaststellen van de uitgangssituatie van de audit dienen we te kijken naar de Chi-kwadraat test om na te gaan of er sprake is van een significant verschil. Er wordt van een significant verschil gesproken als de waarschijnlijkheid dat de verdeling op toeval berust kleiner is dan 5% of 0.05 behorende bij de 38 vrijheidsgraad (degrees of freedom) . 6.1.1 Gehoorzamen aan Van de 129 respondenten zijn er 73 die ‘gehoorzamen aan’ niet gebruiken bij hun manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen en 20 respondenten die wel gebruikmaken van ‘gehoorzamen aan’. Van de 129 respondenten zijn er 36 respondenten die niet in te delen zijn in de ‘Nee’ of ‘Ja’ groep. Deze 36 respondenten antwoorden niet consistent op de 4 vragen die betrekking hebben op de variabele ‘gehoorzamen aan’. De verhouding per type auditor zijn terug te vinden in tabel 6.1.
Type auditor Abstract Concreet Situationeel Beginner TOTAAL
Aantal ‘Nee’ 34 7 24 8 73
Tabel 6.1: Type auditor * Gehoorzamen aan Aantal ‘Ja’ Aantal ‘niet in te delen’ 10 13 3 8 5 8 2 7 20 36
Totaal respondenten 57 18 37 17 129
Chi-kwadraat Uitgaande van de resultaten zoals deze te vinden zijn in bijlage VI kunnen we stellen dat er geen 39 sprake is van een significant verschil . De Chi-kwadraat bij de variabele ‘gehoorzamen aan’ is kleiner dan de kritieke waarde. We kunnen er vanuit gaan dat, als er een relatie is, deze op toeval berust.
38
Baarda en de Goede (2006). Basisboek methoden en technieken, pag.363 en 364 . Vrijheidsgraden: Een waarde die je voor veel toetsingen moet uitrekenen en die min of meer de variatiebreedte aangeeft. Variatiebreedte: Statistische spreidingsmaat; breedte van het gebied op de x-as waarover de score zich uitstrekken. Dit is gelijk aan de hoogste score minus de laagste score. 39 Er is geen sprake van een significant verschil (6,120/df =6p >0.05). Immers bij een vrijheidsgraad van 6, zou er bij een verdeling op toeval kleiner dan 5% een Chi-kwadraat moeten zijn van >12.59. De Chi-kwadraat bij de variabele ‘gehoorzamen aan’ is 6,120.
Pagina 33 van 75
6.1.2 Luisteren naar Van de 129 respondenten zijn er 112 die ‘luisteren naar’ niet gebruiken bij hun manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen. Van de 129 respondenten zijn er 17 respondenten die niet in te delen vallen in de ‘Nee’ of ‘Ja’ groep. Deze 17 respondenten antwoorden niet consistent op de 4 vragen die betrekking hebben op de variabele ‘Luisteren naar’. Niemand van de respondenten beantwoord de vragen met een overtuigend ‘Ja’ antwoord. De verhouding per type auditor zijn terug te vinden in tabel 6.2.
Type auditor Abstract Concreet Situationeel Beginner TOTAAL
Aantal ‘Nee’ 50 17 30 15 112
Tabel 6.2: Type auditor * Luisteren naar Aantal ‘Ja’ Aantal ‘niet in te delen’ 0 7 0 1 0 7 0 2 0 17
Totaal respondenten 57 18 37 17 129
Chi-kwadraat Uitgaande van de resultaten zoals deze te zien zijn in bijlage VI kunnen we stellen dat er geen sprake 40 is van een significant verschil . De Chi-kwadraat bij de variabele ‘luisteren naar’ is kleiner dan de kritieke waarde. We kunnen er vanuit gaan dat, als er een relatie is, deze op toeval berust. 6.1.3 Mate van abstractie Van de 129 respondenten zijn er 14 die ‘mate van abstractie’ niet gebruiken bij hun manier van vaststellen van de uitgangssituatie voor wat betreft het referentiekader en de maatregelen en het beschouwen/interpreteren van de vigerende maatregelen van de audit en 68 respondenten die wel gebruikmaken van ‘mate van abstractie’. Van de 129 respondenten zijn er 47 respondenten die niet in te delen vallen in de ‘Nee’ of ‘Ja’ groep. Deze 47 respondenten antwoorden niet consistent op de 4 vragen die betrekking hebben op de variabele ‘mate van abstractie’. De verhouding per type auditor zijn terug te vinden in tabel 6.3.
Type auditor Abstract Concreet Situationeel Beginner TOTAAL
Aantal ‘Nee’ 6 0 6 2 14
Tabel 6.3: Type auditor * Mate van abstractie Aantal ‘Ja’ Aantal ‘niet in te delen’ 37 14 6 12 17 14 8 7 68 47
Totaal respondenten 57 18 37 17 129
Chi-kwadraat Uitgaande van de resultaten zoals deze te zien zijn in bijlage VI kunnen we stellen dat er sprake is van een significant verschil41. De Chi-kwadraat bij de variabele ‘mate van abstractie’ is groter dan de kritieke waarde. We kunnen er vanuit gaan dat er een relatie is tussen mate van abstractie en type auditor. Als we verder kijken naar de vorm van de relatie, dan lijkt er een relatie te zijn tussen het gebruik van ‘mate van abstractie’ en de abstracte auditor (verwachte aantal ‘Ja’ = 30, aantal gegeven ‘Ja’ = 37). Daarnaast lijkt er een relatie te zijn tussen het niet gebruiken van ‘mate van abstractie’ en de situationele auditor (verwachte aantal ‘Nee’ = 4, aantal gegeven ‘Nee’ = 6) en de beginnende auditor (verwachte aantal ‘Nee’ = 1,8, aantal gegeven ‘Nee’ = 2). Daarnaast kunnen we zien dat bij de concrete auditor (verwachte aantal ‘Niet in te delen’ = 6,6, aantal gegeven ‘Niet in te delen’ = 12), situationele auditor (verwachte aantal ‘Niet in te delen’ = 13,5, aantal gegeven ‘Niet in te delen’ = 14) en beginnende auditor (verwachte aantal ‘Niet in te delen’ = 6,2, aantal gegeven ‘Niet in te delen’ = 40
Er is geen sprake van een significant verschil (2,050/df =3p >0.05). Immers bij een vrijheidsgraad van 3, zou er bij een verdeling op toeval kleiner dan 5% een Chi-kwadraat moeten zijn > 7,81. De Chi-kwadraat bij de variabele ‘luisteren naar’ is 2,050. Dit is kleiner dan de kritieke waarde 7,81. 41 Er is sprake van een significant verschil (13,115/df =6p <0.05). Immers bij een vrijheidsgraad van 6, zou er bij een verdeling op toeval kleiner dan 5% een Chi-kwadraat moeten zijn groter dan 12,59. De Chi-kwadraat bij de variabele ‘mate van abstractie’ is 13,12. Dit is groter dan de kritieke waarde 12,59.
Pagina 34 van 75
12) een relatie lijkt te zijn met ‘Niet in te delen’. Met andere woorden meer auditors uit deze categorieën, dan op basis van toeval verwacht zou worden, geven evenveel ‘Ja’ als ‘Nee’ antwoorden. 6.1.4 Taalgebruik Van de 129 respondenten zijn er 87 die ‘taalgebruik’ niet gebruiken bij hun manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen van de audit en 8 respondenten die wel gebruikmaken van ‘taalgebruik’. Van de 129 respondenten zijn er 34 respondenten die niet in te delen vallen in de ‘Nee’ of ‘Ja’ groep. Deze 34 respondenten antwoorden niet consistent op de 4 vragen die betrekking hebben op de variabele ‘taalgebruik’. De verhouding per type auditor zijn terug te vinden in tabel 6.4.
Type auditor Abstract Concreet Situationeel Beginner TOTAAL
Aantal ‘Nee’ 37 14 27 9 87
Tabel 6.4: Type auditor * Taalgebruik Aantal ‘Ja’ Aantal ‘niet in te delen’ 3 17 1 3 2 8 2 6 8 34
Totaal respondenten 57 18 37 17 129
Chi-kwadraat Uitgaande van de resultaten zoals deze te zien zijn in bijlage VI kunnen we stellen dat er geen sprake is van een significant verschil42. De Chi-kwadraat bij de variabele ‘taalgebruik’’ is kleiner dan de kritieke waarde. We kunnen er vanuit gaan dat, als er een relatie is, deze op toeval berust. 6.1.5 Voorkeur Van de 129 respondenten zijn er 54 die ‘voorkeur’ niet gebruiken bij hun manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen en 75 respondenten die wel gebruikmaken van ‘voorkeur’. Van de 129 respondenten zijn alle respondenten in te delen in de ‘Nee’ of ‘Ja’ groep. Dit heeft als reden dat bij de variabele ‘voorkeur’ is uitgaan van 3 vragen en hierdoor altijd sprake is van meerderheidsantwoord ‘Nee’ of ‘Ja’. De verhouding per type auditor zijn terug te vinden in tabel 6.5.
Type auditor Abstract Concreet Situationeel Beginner TOTAAL
Aantal ‘Nee’ 25 9 14 6 54
Tabel 6.5: Type auditor * Voorkeur Aantal ‘Ja’ Aantal ‘niet in te delen’ 32 0 9 0 23 0 11 0 75 0
Totaal respondenten 57 18 37 17 129
Chi-kwadraat Uitgaande van de resultaten zoals deze te zien zijn in bijlage VI kunnen we stellen dat er geen sprake 43 is van een significant verschil . De Chi-kwadraat bij de variabele ‘Voorkeur’ is kleiner dan de kritieke waarde. We kunnen er vanuit gaan dat, als er een relatie is, deze op toeval berust.
42
Er is geen sprake van een significant verschil (3,748/df =6p >0.05). Immers bij een vrijheidsgraad van 6, zou er bij een verdeling op toeval kleiner dan 5% een Chi-kwadraat moeten zijn 12,59. De Chi-kwadraat bij de variabele ‘taalgebruik’’ is 3,748. Dit is kleiner dan de kritieke waarde 12,59. 43 Er is geen sprake van een significant verschil (1,131/df =3p >0.05). Immers bij een vrijheidsgraad van 3, zou er bij een verdeling op toeval kleiner dan 5% een Chi-kwadraat moeten zijn 7,81. De Chi-kwadraat bij de variabele ‘Voorkeur’ is 1,131. Dit is kleiner dan de kritieke waarde 7,81.
Pagina 35 van 75
6.2
Resultaten van de hypothese toetsing
Bovenstaande in ogenschouw nemende kunnen we stellen dat wij met de door ons gedefinieerde variabelen, bij vier van de vijf variabelen geen relatie hebben kunnen vaststellen tussen het type auditor en de manier van vaststellen van de uitgangssituatie. Bij één van de vijf variabelen, ‘mate van abstractie’, lijkt er wel een relatie te zijn tussen het type auditor en het vaststellen van de uitgangssituatie. Deze relatie lijkt te bestaan tussen het gebruik van ‘mate van abstractie’ en de abstracte auditor. Daarnaast lijkt er een relatie te zijn tussen het niet gebruiken van ‘mate van abstracte’ en de situationele en beginnende auditor. Hierbij moet echter wel als kanttekening geplaatst worden dat dit een minimum aantal respondenten betreft (het aantal ligt weliswaar hoger dan het minimale aantal van 1,84 maar het totale aantal blijft laag). Tevens lijkt er een relatie te zijn tussen de concrete auditor, de situationele auditor en de beginnende auditor en ‘Niet in te delen’. Met andere woorden: meer auditors uit deze categorieën, dan op basis van toeval verwacht zou worden, geven evenveel ‘Ja’ als ‘Nee’ antwoorden. Aangezien we bij vier van de vijf variabelen geen relatie hebben aangetroffen kunnen we de door ons gestelde hypothese: ‘Het type auditor heeft een relatie met de manier van het vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen.’ niet staven.
Pagina 36 van 75
7. Conclusie en discussie Dit hoofdstuk beschrijft de conclusies van het onderzoek. In dit hoofdstuk zal worden aangegeven of de onderzoeksvraag te beantwoorden is met behulp van de verzamelde data. Daarnaast zal worden aangegeven of de hypothese gesteund wordt en wat dit betekent voor de houdbaarheid van de hypothese en de veronderstelling waaruit deze is afgeleid. In ons onderzoek stellen wij dat het ‘Oordeel van de auditor’ wordt gevormd door drie elementen, te weten: A. Het normenkader; B. De bril van de auditor; C. De vigerende maatregelen (controls) rondom het te onderzoeken object. We onderzoeken in hoeverre de bril van de auditor het normenkader en de vigerende maatregelen kan verhelderen of vervagen. In hoeverre worden bijvoorbeeld door een auditor (on)bewust regels als principes geïnterpreteerd en principes als regels (en daarmee platgeslagen). We stellen hierbij de wijze van bepalen van de uitgangssituatie centraal en hebben dit dan ook gebruikt om onze onderzoeksvraag te definiëren. We hebben in deze scriptie proberen aan te tonen dat: • Binnen auditing de discussie over rule- en principle based in grote mate een discussie is waarbij er geen winnaar is, maar dat dit twee kanten van dezelfde medaille zijn. • De feitelijke (grotendeels nog onderbelichte) discussie moet gaan over het situationeel inschatten welke aanpak in een bepaalde situatie het beste aansluit bij de geldende condities. • Er binnen deze discussie wel degelijk een winnaar is, namelijk de ‘situationele auditor’. Waar mogelijk zullen we aanbevelingen doen om de situationele aanpak expliciet op de IT-audit agenda te zetten (zowel binnen de onderwijsinstellingen als binnen bedrijven). Dit zal naar onze mening bijdragen aan een kwalitatief beter eindproduct, waarmee we onze cliënten beter van dienst kunnen zijn.
7.1
Beantwoording van de onderzoeksvraag
De onderzoeksvraag: ‘Welke audit aanpak (bepaling van de uitgangssituatie) leidt in welke situatie tot het beste resultaat?’ kan met behulp van de verzamelde data niet eenduidig beantwoord worden. Aan de ene kant treffen we in het surveyonderzoek bij vier van de vijf variabelen geen statistische relatie aan tussen het type auditor en de manier van vaststellen van de uitgangssituatie. Dit heeft er dan ook in geresulteerd dat we onze hypothese: ‘Het type auditor heeft een relatie met de manier van het vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen.’ niet kunnen staven. Aan de andere kant blijkt uit de interviews en de literatuur dat het type auditor wel degelijk een impact heeft op het resultaat. Alle geïnterviewden stellen namelijk dat de situationele auditor een positieve invloed heeft op de auditee, kwaliteit van de bevinding en de aanbeveling en de acceptatiegraad. Hierbij moeten we als kanttekening opnemen dat de geïnterviewden tevens aangeven dat de meeste auditors in de praktijk vaak een combinatie van meerdere types zijn. Daarnaast komt uit de literatuur naar voren dat het effect van adopteren van het standpunt van de auditor afhankelijk is van het type auditor.44 Ondanks dat we onze initiële hypothese op basis van ons surveyonderzoek niet staven, is onze veronderstelling in onze ogen, rekening houdende met de literatuur en de resultaten van de interviews, nog steeds houdbaar. Rule en principle based zien wij als twee onderdelen van dezelfde medaille, beide zijn middelen (voorschriften) die ingezet worden voor de realisatie van het doel. Weliswaar hebben deze middelen verschillende toepassingsmogelijkheden. We hopen dat we de 44
Jamal, K. & Tan, H.T. (2008) ‘Effect of Principles-based versus Rules-based Standards and Auditor Type on Financial Managers’ Reporting Judgments’ p. 32-34
Pagina 37 van 75
huidige principle versus rule based discussie hiermee dan ook een nieuwe richting hebben gegeven. Namelijk: welke toetsingsvorm is in een bepaald geval het meest effectief. Dit in tegenstelling tot de huidige richting van de discussie, waarbij één van de twee toetsingsvormen, ongeacht de situationeel geldende condities, wordt verdedigd als zijnde beter dan de andere. Dit brengt ons bij de vraag waarom wij geen statistische relatie hebben kunnen vinden voor de hypothese. Het antwoord hierop zou kunnen zijn dat er naast de door ons onderkende variabelen, andere variabelen een (grotere) rol kunnen spelen bij het bepalen van de uitgangssituatie. De geïnterviewden geven hiervoor onder andere aan dat factoren als cultuur, opvoeding, opleiding en commerciële of politieke belangen mee kunnen spelen. Wij zelf gaan hier verder op in, in hoofdstuk 8.2, reflectie.
Pagina 38 van 75
8. Evaluatie, aanbevelingen en suggesties voor verder onderzoek In onderstaand hoofdstuk treft u de product- en procesevaluatie aan. Daarnaast geven we enkele aanbevelingen aan de beroepsgroep en –organisatie en geven we suggesties voor verder onderzoek.
8.1
Evaluatie
De evaluatie bestaat uit een product evaluatie waarbij we de sterke kanten van het onderzoek, maar ook de zwakke punten en beperkingen van het onderzoek naar voren brengen. Bij de procesevaluatie brengen we de leerpunten ten aanzien van het proces waarin het onderzoeksproduct tot stand is gekomen in kaart. 8.1.1 Productevaluatie Als sterk punt noemen wij de vernieuwende elementen die wij hebben toegevoegd aan rule- principle based discussie. Hieronder volgen enkelen meningen van de geïnterviewden: • Tot nu toe werd de rule based versus principle based discussie als een container begrip gezien. In de veronderstelling van Judith en Kees worden de elementen van de discussie uiteen gerafeld, waardoor de veronderstelling vernieuwend wordt. • De veronderstelling is interessant en vernieuwend. Bestaande elementen worden op een nieuwe manier met elkaar in verbinding gebracht. • De veronderstelling geeft de discussie een extra dimensie door aan te geven dat rule en principle based niet zwart/wit is. Als beperking van ons onderzoek noemen wij dat we bij de omgevingsfactoren niet alle bepalende elementen, zoals cultuur en commerciële belangen, hebben voorzien. 8.1.2 Procesevaluatie Aangezien wij allebei weinig ervaring hadden met het opzetten en uitvoeren van kwantitatief onderzoek zijn er een tweetal belangrijke leerpunten: • De tijd die het kost om data te verzamelen hebben we onderschat en de mate van medewerking van de populatie hebben we verkeerd ingeschat. In ons initiële plan hadden wij het verzamelen geraamd op anderhalve maand. In de praktijk bleek dit uit te komen op drie maanden. Dit resulteerde er tevens in dat er later dan voorzien gestart kon worden met de statistische analyse van de data. • De statische analyse zelf kostte eveneens meer tijd en was moeilijker dan verwacht. Uiteindelijk hebben we ervoor gekozen om de hulp in te roepen van een psycholoog die thuis is in methoden en technieken voor onderzoeken en de daarbij behorende statistiek.
8.2
Reflectie
Als gemeld in het vorige hoofdstuk, kunnen we stellen dat wij met de door ons gedefinieerde variabelen, bij vier van de vijf variabelen geen relatie hebben kunnen vaststellen tussen het type auditor en de manier van vaststellen van de uitgangssituatie. Wel is er een opvallende overeenkomst af te leiden tussen de manier van vaststellen van de uitgangssituatie en de totale populatie voor wat betreft vier van de vijf variabelen. We kunnen in de tabellen 6.1, 6.2, 6.4 zien dat de auditors in totaal overwegend in de ‘nee’ categorie scoren. Nader onderzoek zou dan ook uit moeten wijzen of dit geïnterpreteerd kan worden als mogelijke negatieve relatie met de manier van het vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen. Mocht dit uit nader onderzoek blijken dan is dit is echter niet de verwachte (situationele) relatie, waarbij de auditor gehoor geeft aan en luistert naar zijn omgeving, taalgebruik meeneemt in zijn overweging en zich niet laat afleiden door zijn voorkeur en de mate van abstractie, maar een exact tegengesteld mogelijk verband. De auditor zou dan de door ons gedefinieerde factoren ‘gehoorzamen aan’, ‘luisteren naar’ en ‘taalgebruik’ overwegend niet gebruiken45 bij de manier van vaststellen van de uitgangssituatie voor wat betreft het normenkader en het beschouwen/interpreteren van de vigerende maatregelen en ‘ 45
Gehoorzamen aan valt in 20 van de 129 gevallen in de ‘ja’groep (=15.5 %) ; luisteren naar 0/129 (0%) en taalgebruik 8/129 (6.2%)
Pagina 39 van 75
voorkeur’ en ‘mate van abstractie’ juist overwegend wel46. Hierbij dient nogmaals nadrukkelijk te worden aangegeven dat de percentages uit de tabellen geen statistische onderbouwing geven voor deze gedachtegang. Nader onderzoek zou hier wellicht wel uitsluitsel over kunnen geven.
8.3
Aanbevelingen
Ondanks dat we de hypothese niet hebben kunnen staven, zien we in de literatuur en in de resultaten van de interviews terug dat het type auditor invloed heeft op het resultaat en op de opdrachtgever. Daarnaast zien we in de conclusie, literatuur en in de resultaten van de interviews terug dat het belangrijk is om het hogere doel, het normenkader en de omgevingsfactoren in ogenschouw te blijven houden. Onze aanbeveling zou dan ook zijn om in het onderwijs en op de werkvloer aandacht te hebben voor de manier van vaststellen van de uitgangssituatie waarbij met name ook het afstemmen van het normenkader op de eisen en wensen van de (hogere doelen van de) organisatie een plaats krijgt. We willen de beroepsgroep dan ook graag de volgende vragen meegeven: • Neemt u omgevingsfactoren voldoende mee bij het bepalen van het normenkader? • Let u op taalgebruik en intenties in voorschriften, normenkaders en referentiekaders, zowel voor 47 wat betreft de regels en principes zelf als in inleidende teksten? • Zijn de definities en verschillen tussen de volgende begrippen voldoende duidelijk? o kwantitatief/kwantitatief/‘professional judgement’ o principe/regel/doel o referentiekader/normenkader • Wordt er voldoende gebruik gemaakt van concrete, op de organisatie toegesneden en met de auditee vooraf afgestemde en geaccordeerde normenkaders en werkprogramma’s? Daarnaast willen we de beroepsorganisatie graag het volgende meegeven: Is er binnen de NOREA (doelstellingen, richtlijnen, vakdiscussies, werkgroepen en dergelijke) voldoende aandacht voor de objectiviteit van de auditor, het innemen van standpunten inzake definities en het vormen en uitdragen van een eenduidig beeld inzake het opstellen, afstemmen en hanteren van een gedegen normenkader?
8.4
Suggesties voor verder onderzoek
Als gemeld in de vorige paragraaf is het opvallend dat bij de variabele gehoorzamen aan 20 van de 129 respondenten overwegend een ‘ja’ antwoord hebben gegeven. Daarnaast valt op dat voor de variabele luisteren naar geen van de 129 respondenten overwegend een ‘ja’ antwoord hebben gegeven. Voor de variabele taalgebruik hebben 8 van de 129 respondenten een ‘ja’ antwoord gegeven. Hoewel we hier dus geen conclusie aan mogen verbinden, aangezien we dit niet statistisch kunnen vaststellen en we daarnaast geen theorie hebben gevonden die voor deze uitkomst een verklaringsmechanisme geeft, lijkt het ons een interessant aspect om mee te nemen bij een vervolgonderzoek. Uit onze interviews en de enquête komt verder naar voren dat er meer factoren lijken te zijn die een rol spelen bij het bepalen van de uitgangssituatie en het hierbij onvoldoende laten meewegen van het normenkader en de vigerende maatregelen. Concreet worden hierbij genoemd de cultuur van een land of organisatie, commerciële belangen en opleiding. Aangezien het helder krijgen van de bepalende factoren er toe kan leiden dat we meer inzicht krijgen in de denkwijze van de IT auditor lijkt het ons zinvol om verder onderzoek te doen naar welke factoren dan wel bepalend zijn en de waarom deze factoren belangrijk zijn. Als deze factoren helder zijn, dan zouden er de volgende, door onze geïnterviewden aangedragen, mogelijke toepassingen zijn: • De veronderstelling zou gebruikt kunnen worden als communicatiemiddel. • De veronderstelling zou gebruikt kunnen worden als ontwikkelmiddel (HR). • De veronderstelling zou kunnen bijdragen aan het positieve beeld over de auditor als integer, deskundig en objectief persoon.
46
Voorkeur valt in 75 van de 129 gevallen in de ‘ja’ groep (=58.1 %). Mate van abstractie valt in 68 v.d. 129 gevallen in de ‘ja’groep (=52.7 %) 47 Zie verder voetnoten 4 t/m 8 en 15 t/m 17 inzake diverse voorbeelden van ‘ intenties’ of ‘aims’ uit CobiT, OECD, NIST of ISO.
Pagina 40 van 75
Literatuur Abraham Maslow (1940) ’Four stages of learning’. http://en.wikipedia.org/wiki/Four_stages_of_competence Baarda, D.B. & Goede, M.P.M. de (2006). Basisboek Methoden en Technieken, Handleiding voor het opzetten en uitvoeren van kwantitatief onderzoek. 4e, herz. dr. Groningen/Houten: WoltersNoordhof Braithwaite, J. B. (2002). Rules and Principles: A Theory of Legal Certainty. Australian Journal of Legal Philosophy, Vol. 27, 47-82. ISACA (2010). COBIT 5 Design Paper Exposure Draft IT Governance Institute (2007). Cobit 4.1: Framework, Control Objectives, Management Guidelines, Maturity Models Jamal, K & Tan, H.T. (2008). Effect of Principles-Based Versus Rules-Based Standards and Auditor Type on Financial Managers’ Reporting Judgements. KPMG (2008). Hypegiaphobia (the fear of responsibility) http://www.kpmg.nl/Docs/Corporate_Site/Publicaties/Hypegiaphobia.pdf KPMG (2009). Trust rules, Commanders Intent http://www.kpmg.nl/Docs/Corporate_Site/Publicaties/Trust_Rules.pdf Nelson, M. (2003). Behavioral Evidence on the Effects of Principles and Rules Based Standards. Accounting Horizons, 17 (1), 91-104. NEN-ISO/IEC 27001:2005. Informatietechnologie - Beveiligingstechnieken - Managementsystemen voor informatiebeveiliging – Eisen (ISO/IEC 27001:2005,IDT) NEN-ISO/IEC 27002:2007. Informatietechnologie - Beveiligingstechnieken - Code voor informatiebeveiliging (ISO/IEC 27002:2007,IDT) NIST Special Publication 800-53 Revision 2 Recommended Security Controls for Federal Information Systems (2007) OECD Guidelines for the Security of Information Systems and Networks ‘Towards a Culture of Security’ (2002) Public Company Accounting Oversight Board (2004) Auditing standard No. 2 – An Audit of Internal Control Over FinancialReporting Performed in Conjunction with An Audit of Financial Statements Schauer, F. (2001). The Convergence of Rules and Standards. Regulatory Policy Program Working Paper RPP-2001-07. John F. Kennedy School of Government, Harvard University. Sun Tzu (2007). The Art of War. Clearbridge Publishing Taleb, N.N. (2007). The black swan. 1e dr. New York: Random House International Edition. Tschudi, F. (2004). Rules, complexity and emotions. Working paper in relation to CARR symposium at London School of Economics.
Pagina 41 van 75
BIJLAGEN
Pagina 42 van 75
I
Case met toelichting
Geachte Respondent, In het kader van onze scriptie voor de IT Audit opleiding aan de VU doen wij een onderzoek naar Rule- en Principle Based. Met dit onderzoek trachten wij in kaart te brengen welk deel van de auditor populatie meer de Rule- dan wel de Principle Based denkwijze hanteert. Wij willen u dan ook vriendelijk verzoeken om de vragen bij onderstaande case te beantwoorden. Bij de vragen wordt er om uw denkwijze gevraagd. Er is daarom geen sprake van juiste of onjuiste beantwoording. Alvorens u de vragen krijgt voorgelegd, volgen eerst een aantal vragen om uw referentiekader vast te stellen. Daarna zal er op de case een korte inleiding worden gegeven. De case zal worden besloten met een aantal algemene vragen. Wij danken u bij voorbaat hartelijk voor uw medewerking. Judith Hoezen en Kees Jongejans
Pagina 43 van 75
Case Deel 1 Referentiekader Vraag I: Principe of regel: ‘Gij zult zich als een goed huisvader gedragen’. a. Principe; b. Regel.
Vraag II: Principe of regel: ‘Er dient een adequaat informatiebeveiligingsbeleid te zijn’. a. Principe; b. Regel.
Vraag III: Principe of regel: ‘Eet gezond’. a. Principe; b. Regel.
Vraag IV: Principe of regel: ‘De organisatie moet principes opstellen’. a. Principe; b. Regel.
Vraag V: Principe of regel: ‘De klant heeft altijd gelijk’. a. Principe; b. Regel.
Pagina 44 van 75
Case deel 2 Inleiding Restaurant ‘In de Blinde Vink’ is een restaurant waar jong en oud zich welkom en thuis voelt. Een restaurant met een toegankelijke kaart gebaseerd op de Franse en Hollandse keuken. Voor kinderen is er een speciale speelhoek ingericht (waar de kinderen tevens kunnen eten) en dat geeft de ouders dan ook de gelegenheid om rustig van hun eten te genieten. Kortom een plek waar het goed toeven is. De alom bekende en gerespecteerde manager Joop Kraakhelder heeft de pensioengerechtigde leeftijd bereikt en Gordon Pol is aangenomen als nieuwe manager van het restaurant. In deze rol is hij verantwoordelijk voor het beleid en de hiervan afgeleide maatregelen. Naast Pol maakt u in deze case kennis met de volgende personen: 1. I.T. Norm, senior audit manager van een gerenommeerd accountantsbureau, verantwoordelijk voor het opstellen en onderhouden van IT audit werkprogramma’s en normenkaders; 2. Prince en Roel, twee aanstormende talentjes van het accountantsbureau, met ieder hun eigen voorkeur van auditen; 3. Mark Eating, de verantwoordelijke persoon voor de afhandeling van suggesties en mogelijke klachten.
Pol heeft onlangs een cursus informatiebeveiliging: Information Security Management System (ISMS) gevolgd. Hieruit heeft hij begrepen dat alles draait om beschikbaarheid, integriteit en vertrouwelijkheid van informatie. Voor een restaurant zijn recepten van levensbelang. Ze zijn gewild door concurrenten en kunnen dan ook worden geclassificeerd als belangrijke informatie. Daarnaast zijn een goede klantenservice en een geoliede keuken in grote mate afhankelijk van de juiste informatie op het juiste moment. Daadkrachtig als Pol is, schaft hij de twee delen van het Information Security Management System aan, ISO27001, het normeerbare management system en ISO 27002 de ‘best practice’ code voor informatiebeveiliging en volgt de hierin genoemde aanwijzingen pragmatisch op.
Pagina 45 van 75
Case deel 3 Het ISMS schrijft voor: Bepaal scope. Pol kiest hiervoor zijn gehele restaurant. ISMS zegt: bepaal policy. Pol vertaalt dit naar de volgende door hem genoemde ‘gouden regel’: Relevante informatie voor het bedrijfsproces dient in schriftelijke vorm beschikbaar te zijn, te kloppen en vertrouwelijk behandeld te worden. Vraag 1. Interpreteert Pol ‘Bepaal scope’ en ‘bepaal policy’ Principle of Rule Based? Antwoord 1. a. Principle based; b. Principle based, want de ‘gouden regel’ is abstract; c. Rule based; d. Rule based, want de ‘gouden regel’ is concreet. Toelichting vraag 1. Variabele: Taalgebruik Pol volgt het voorschrift letterlijk op en bepaalt de scope en de policy. Hij voert de regel uit. Het gaat hier om de interpretatie van Pol. Hij leest de tekst niet als ‘overweeg om’ maar als ‘voer uit’; De dwingende vorm (de gebiedende wijs ‘bepaal’) geeft aan dat dit volgens onze definitie middelvoorschriften zijn. Het gaat hier om een specifiek voorschrift dat aangeeft welke middelen ingezet moeten worden om het hogere doel te bereiken, namelijk de middelen ‘bepalen van de scope’ en ‘bepalen van de policy’; De gouden regel (antwoord b en d) is de uitkomst van het bepalen van de policy. De mate van abstractie hiervan staat los van de interpretatiemogelijkheden van Pol (voer uit/overweeg om). Dit kan een valkuil zijn voor de concrete of abstracte auditor, die in de gouden regel concrete of abstracte woordkeuze toedicht aan de interpretatie; In ‘Bepaal scope’ is scope een abstract begrip. De abstracte of de concrete auditor kan hierdoor geneigd zijn voor antwoord a te kiezen; De beginner zal in de combinatie van woorden ‘bepaal’ en ‘scope’/’policy’ dezelfde simpele instructie zien als Pol; De situationele auditor zal uit de actie van Pol, uitvoering in plaats van overwegen, afleiden dat Pol’s interpretatie rule based was; De antwoorden A, B en D kunnen gezien worden als taalgebruik wordt niet herkend. Bij antwoord C wordt taalgebruik wel herkent. Een tekst kan zowel rule- als principle based geïnterpreteerd of geadopteerd worden. De volledige tekst uit ISMS luidt: 4.2.1 De organisatie moet het volgende doen: A. Toepassingsgebied en grenzen van het ISMS vaststellen met betrekking tot kenmerken van de bedrijfsvoering, de organisatie, de locatie, bedrijfsmiddelen en technologie, waaronder gegevens over en rechtvaardiging van eventuele uitsluitingen van het toepassingsgebied. B. Beleid voor het ISMS vaststellen met betrekking tot kenmerken van bedrijfsvoering, organisatie, locatie, bedrijfsmiddelen en technologie dat: 1. een raamwerk omvat voor het vaststellen van doelstellingen en dat in het algemeen richting geeft aan en beginselen voor maatregelen aanduidt ten behoeve van informatiebeveiliging; 2. rekening houdt met eisen voor de bedrijfsvoering evenals eisen uit wet- of regelgeving en contractuele verplichtingen voor beveiliging; 3. is afgestemd op het strategische kader van de organisatie voor het risicobeheer waarin het ISMS wordt vastgesteld en bijgehouden; 4. criteria vaststelt aan de hand waarvan het risico wordt beoordeeld (zie 4.2.1c) en 5. door de directie is goedgekeurd.
Pagina 46 van 75
Vraag 2. Is bovenstaande tekst Principle of Rule Based? Antwoord 2. a. Principle based; b. Principle based, want bovenstaande tekst is niet concreet; c. Rule based; d. Rule based, want bovenstaande tekst is concreet; e. Beide. Toelichting vraag 2. Variabele: Mate van abstractie. De dwingende vorm (‘moet’) geeft aan dat dit volgens onze definitie een samengesteld middelvoorschrift is. Het gaat hier om een specifiek voorschrift dat aangeeft welke middelen (opsomming) ingezet moeten worden om het hogere doel te bereiken; Deze middelen kunnen zowel afgeleide doel- als middelvoorschriften zijn en daarnaast verschillende abstractieniveaus kennen. De kern blijft het middelvoorschrift: de organisatie ’moet’. Dit kan een valkuil zijn voor de concrete/abstracte auditors die de in de detaillering respectievelijk concrete of abstracte formuleringen leidend laten zijn bij hun beantwoording (antwoorden d en b); De beginnende auditor zal in de tekst geen simpele regel kunnen ontdekken die eenvoudig toetsbaar is en zal de tekst daarmee ons inziens duiden als principle based of een mengvorm menen te zien zonder samenhangende kern (antwoorden a en e); Bij de antwoorden A, B, D wordt de mate van abstractie wel herkend en bij antwoord C wordt de mate van abstractie niet herkent. Antwoord E is niet in te delen in herkenbaar of niet herkenbaar van mate van abstractie. Een tekst is in de kern rule- of principle based. Mate van abstractie wordt weliswaar door de concrete en abstracte auditor als een bepalende factor gezien, maar in feite is dit geen bepalende factor voor rule- dan wel principle based. Vraag 3. Is bovenstaande norm voor u toetsbaar? Antwoord 3. a. Ja, middels ‘professional judgement’; b. Ja, middels kwantitatieve toets; c. Ja, middels kwantitatieve toets én ‘professional judgement’; d. Nee. Toelichting vraag 3. Variabele: Toetsvorm (kwantitatief/ja nee of kwalitatief/’professional judgement’). De kern van de tekst is een middelvoorschrift welke kwantitatief getoetst dient te worden. De organisatie heeft wel of niet het toepassingsgebied, de grenzen en het beleid vastgesteld; Om bovenstaande ‘ja/nee’ vraag goed te kunnen beantwoorden met ‘ja’ is een verdiepingsslag noodzakelijk. De abstractere termen als ‘geeft in het algemeen richting aan’ behoeven ‘professional judgement’; Een inschatting op basis van alleen kwalitatieve toetsing is mogelijk. Dit leidt ons inziens echter niet tot een juiste beantwoording van de vraag: ‘heeft de organisatie de norm opgevolgd ‘ja’ of ‘nee’?’, maar tot de beantwoording: in welke mate. Uiteindelijk zal de auditor dan zelf dienen te overwegen of de norm voldoende gevolgd wordt om de vraag met ‘ja’ te kunnen beantwoorden, waarmee hij of zij feitelijk toch een kwantitatieve ‘ja/nee’ uitspraak doet; Indien de auditor niet tegen de norm toetst, is geen sprake meer van toetsing maar van alleen professional judgement; De beginner zal de norm toetsbaar vinden, maar niet voor hem of haar. Als zij deze vraag zo interpreteren zullen zij kiezen voor antwoord d. Als zij de vraag interpreteren als: ‘is de norm volgens u toetsbaar (door een ervaren auditor)?’, zullen zij eerder kiezen voor antwoord a; De concrete respectievelijk abstracte auditors, welke in hun gereedschapskisten alleen kwantitatieve of kwalitatieve tools menen te zien, zullen ons inziens gaan voor respectievelijk antwoord b en a; Pagina 47 van 75
Een eenvoudige norm kan in principe puur kwantitatief getoetst worden. Een kwalitatieve toets kan bepalen in welke mate er aan de norm voldaan wordt. De meeste normen vergen een kwantitatieve én kwalitatieve inschatting om te bepalen of er aan de norm voldaan wordt. Vraag 4. Stel, u krijgt de opdracht om bovenstaande norm in uw organisatie te toetsen, welke bril heeft dan uw voorkeur? Antwoord 4. a. Zwart/wit, de norm zegt duidelijk wat er gedaan ‘moet’ worden; b. Blauw, de handvatten zijn helder en de toets zal duidelijk maken in hoeverre de organisatie deze normen nastreeft; c. Groen, hangt af van de cultuur van het bedrijf; d. Ik heb geen voorkeur. Toelichting vraag 4. Variabele: Gehoorzamen aan. De ‘ISO27001’ is een normeerbaar stelsel bestaande uit middelvoorschriften. De concrete auditor zal hieraan gehoorzamen en voor antwoord a gaan; De abstracte auditor ziet de norm waarschijnlijk als principle based en geeft de voorkeur aan antwoord b; De situationele auditor begrijpt het zwart/wit karakter van de norm, maar zal zich hier niet door laten leiden. Het leidende principe is voor hem of haar de manier waarop de organisatie deze norm geadopteerd heeft. Is de cultuur er een van naleving, dan kan hij de norm zien als een norm waartegen zwart/wit getoetst moet worden. Is de cultuur er meer een van nastreving dan ziet hij de norm als gesteld doel waarbij de mate van naleving (maturity level) gevraagd wordt en zal hier kiezen voor antwoord c; De beginnende auditor zal zich niet kunnen vinden in antwoorden a en b, de norm is immers niet duidelijk voor een onervaren persoon en zal kiezen voor het veiligere c of d; Bij de antwoorden A, B en D wordt gehoorzamen aan niet herkend. Bij antwoord C wordt deze wel herkent. De norm kan rule- of principle based geïnterpreteerd worden (zie vraag 1.), ook door de opdrachtgever. De auditor zal zich dus moeten afvragen of er sprake dient te zijn van naleving of nastreving in de organisatie. Vraag 5. De Gouden regel, ‘Relevante informatie voor het bedrijfsproces dient in schriftelijke vorm beschikbaar te zijn, te kloppen en vertrouwelijk behandeld te worden’. Is dit een principe of regel? Antwoord 5. a. Een principe; b. Een regel (waarbij ‘kloppen’ nog wel te abstract geformuleerd is); c. Een regel; d. Beide. Toelichting vraag 5 Variabele: Mate van abstractie. De kern van de regel is het middelvoorschrift (‘dient’). Dit staat los van de interpretatie door de organisatie op dat moment in tijd of de interpretatie die de auditor er aan kan geven. Zo kan de auditor tijdens een implementatietraject een goede bijdrage leveren door de mate van naleving van een middelvoorschrift te toetsen. Er kan immers nog niet verwacht worden dat de normen (op dat moment nog doelen) volledig nageleefd worden. Hiermee interpreteert hij een middelvoorschrift als doelvoorschrift (relevante informatie voor het bedrijfsproces dient ooit eens een keer in de toekomst …); De abstracte auditor zal de regel ons inziens interpreteren als principe vanwege het abstracte woord ‘kloppen’. De concrete auditor zal de regel ons inziens interpreteren als regel, waarbij hij een verbeterpunt ziet in het verder concretiseren van ‘kloppen’. Deze manier van duiden is in hoge mate subjectief (en kan dus aanleiding geven tot discussie); Pagina 48 van 75
De beginner ziet een simpele regel en staart zich niet blind op het woordje kloppen (antwoord c.); De situationele auditor duidt de regel juist als middelvoorschrift, maar zal zich nog steeds afvragen welke interpretatie de organisatie er op dit moment aan geeft (middelvoorschrift) en wat voor toetsing (kwalitatief of kwantitatief) effectief is; Bij antwoord C wordt de mate van abstractie niet herkend. Bij de antwoorden A en B wordt deze variabele wel herkent. Antwoord D is niet in te delen in herkenbaar of onherkenbaar. Een voorschrift is in de kern of rule- of principle based. De situationele auditor duidt de kern en gebruikt het voorschrift vervolgens op de manier die aansluit bij de situatie (flexibel). De abstracte en concrete auditor gaan hieraan voorbij, laten de mate van abstractie bepalend zijn voor een duiding en passen deze niet meer aan. Pol is inmiddels een aantal bladzijden verder gekomen in de 27001. De key assets zijn geïdentificeerd, de risicoanalyse uitgevoerd, de statement of applicability is opgesteld en gevuld met de gouden regel. Verder besluit hij alle ‘best practice’ maatregelen uit de 27002 mee te nemen, baat het niet dan schaadt het niet, luidt zijn credo. Eén van zijn key assets is het voedsel, dat zich voor een groot deel van hun levenscyclus in de ijskast bevindt. Een geïdentificeerd risico is dat, indien het voedsel niet vers is, dit kan leiden tot klachten of in het ergste geval voedselvergiftiging. De beschikbaarheid en integriteit van informatie over de versheid van de producten is hier essentieel en deze informatie wordt dan ook als kritisch geclassificeerd. Pol besluit voortaan het voedsel te labelen met stickers waar de bereidingsdag en de uiterste houdbaarheidsdatum op vermeld worden. Verder worden er procedures rondom het labelen opgesteld. Hiermee voldoet hij zijns inziens aan de door hem geadopteerde ‘best practice’ maatregelen uit de 27002: 7.2.1 Richtlijnen voor classificatie Beheersmaatregel: Informatie behoort te worden geclassificeerd met betrekking tot de waarde, wettelijke eisen, gevoeligheid en onmisbaarheid voor de organisatie. 7.2.2 Labeling en verwerking van informatie Beheersmaatregel: Er behoren geschikte, samenhangende procedures te worden ontwikkeld en geïmplementeerd voor de labeling en verwerking van informatie overeenkomstig het classificatiesysteem dat de organisatie heeft geïmplementeerd. Vraag 6. Zijn bovenstaande maatregelen principes of regels? Antwoord 6. a. Een regel (dwingend karakter ‘behoort’); b. Een regel, maar het ‘hoe’ ontbreekt; c. Een principe, waarbij het ‘hoe’ ontbreekt; d. Een principe (vrijblijvende karakter ‘behoort’). Toelichting vraag 6. Variabele: Taalgebruik. In tegenstelling tot de eerder genoemde middelvoorschriften is er hier sprake van een algemeen (‘best practice’) voorschrift, dat aangeeft welke middelen gehanteerd of juist niet gehanteerd zouden kunnen worden om het hogere doel (adequate informatiebeveiliging) te bereiken. Dit valt af te leiden uit het vrijblijvende ‘behoort’ (antwoord d); De concrete auditor zal de maatregel ons inziens lezen als: ‘informatie moet worden geclassificeerd’ en ‘er moeten procedures zijn’ (regel) en ziet in de rest van de tekst een abstracte ‘hoe’ (principe), dit sluit aan bij antwoord b (geen zuivere regel) en antwoord c (dus een principe); De abstracte auditor zal de abstracte termen leidend laten zijn bij zijn beantwoording, dat de concrete ‘hoe’ ontbreekt maakt hem of haar niet uit, middels ‘professional judgement’ kan de maatregel zijns inziens immers prima getoetst worden (antwoord c);
Pagina 49 van 75
De beginner zal de maatregel simpel duiden als ‘er moet iets gedaan worden (maar ik begrijp niet helemaal wat) en daarmee hoogstwaarschijnlijk ook voor c gaan, hoewel a ook een mogelijkheid is; Bij de antwoorden A, B en C wordt taalgebruik niet herkend als variabele. Bij antwoord D wordt deze wel herkent. Een tekst is in de kern of rule- of principle based. Het wel of niet opnemen van de ‘hoe’ staat hier los van. Het wel opnemen van deze ‘hoe’ kan overigens prima, middels het uitbreiden van het voorschrift met afgeleide, meer gedetailleerde doel- of middelvoorschriften. Ondertussen is Pol klaar voor externe certificering. Hij heeft het accountantsbureau ingeschakeld en Prince en Roel zijn in een ver gevorderd stadium van hun onderzoek. Prince heeft reeds terecht geconstateerd dat de woordkeuze welke is overgenomen uit de 27002 niet conform ISMS is. Dit zijn slechts de niet normeerbare ‘best practice’ voorbeelden. ISMS schrijft voor dat, naast eventueel zelf gekozen (normeerbare) maatregelen, gekozen moet worden uit de maatregelen uit de bijlage van ISO 27001. Deze zijn vrijwel hetzelfde, alleen de woordkeuze is net iets anders, ‘moet’ in plaats van ‘behoort’ (Engels: Shall in plaats van Should). Vraag 7. In deze vorm, ‘moeten’ in plaats van ‘behoren’, verandert dit uw antwoord op vraag 6? Antwoord 7. a. Ja, mijn antwoord verandert; met ‘moeten’ wordt het een regel; b. Nee, mijn antwoord verandert niet; ook met ‘moeten’ blijft het een principe; c. Nee, mijn antwoord verandert niet; ook met ‘moeten’ blijft het een regel; d. Ja, mijn antwoord verandert; met ‘moeten’ wordt het een principe. Toelichting vraag 7. Variabele: Taalgebruik. Door het veranderen van de vrijblijvende vorm in de dwingende vorm verandert het karakter van het voorschrift. Het algemene voorschrift dat aangeeft welke middelen gehanteerd of juist niet gehanteerd zouden kunnen worden om het hogere doel te bereiken verandert in een specifiek voorschrift dat aangeeft welke middelen (classificatie en labelingprocedures) ingezet moeten worden; Voor de concrete, abstracte én beginnende auditor (zie uitleg bij vraag 6) verandert het karakter van de maatregel niet; Bij de antwoorden B, C en D wordt taalgebruik niet herkend als variabele. Bij antwoord A wel. Twee verschillende rule/principle based teksten kunnen hetzelfde worden geïnterpreteerd: de auditor leest over het verschil heen en/of blijft hangen bij zijn of haar voorkeursvorm (concreet/abstract). Aangekomen bij de ijskast constateren Prince en Roel dat de met pen beschreven stickers slecht leesbaar zijn. Aangezien het hier om kritische informatie met het hoogste classificatieniveau gaat, zijn ze het er over eens dat hier een bevinding over gerapporteerd dient te worden. Vraag 8. Is er hier inderdaad sprake van een bevinding (van een afwijking van de norm)? Antwoord 8. a. Nee, het voedsel is immers (ooit) geclassificeerd en gelabeld; b. Ja, aan de regel wordt niet voldaan; c. Ja, aan het principe wordt immers niet voldaan; d. Nee, de norm bevat teveel abstracte termen om objectief aan te kunnen toetsen. Toelichting vraag 8. Variabele: Toetsvorm. Het voedsel is (ooit) geclassificeerd, middels de stickers, maar de effectieve werking van de regel wordt teniet gedaan door de slechte leesbaarheid. Hiermee wordt niet voldaan aan de Pagina 50 van 75
abstractere termen uit de regel als ‘geschikt’ en ‘met betrekking tot’, noch aan het hogere doel, de juiste informatie op het juiste moment; Het nader specificeren en concretiseren van een regel als ‘informatie moet worden geclassificeerd’ door gebruik te maken van abstracte termen als ‘met betrekking tot de waarde’ maakt van een regel nog geen principe; De auditor dient hier ‘professional judgement’ te hanteren (uit de gereedschapskist van de abstracte auditor) om te bepalen of er wel of niet (concreet) in voldoende mate invulling gegeven wordt aan de abstractere termen. ‘professional judgement’ kan dus helpen bij het bepalen of er voldaan wordt aan een regel; Mede door de wijziging van de tekst uit vraag 7 (dwingend taalgebruik) is er volgens de situationele auditor sprake van het niet voldoen aan een regel, welke overigens ook in de vorm ‘behoren’ al beoogd was door Pol als regel; De abstracte auditor bepaalt in welke mate de auditee de norm nastreeft. Hij kiest naar verwachting vanuit zijn voorkeur voor antwoord c. Hij bepaalt dan subjectief een lat, een norm waarboven de mate van nastreving in zijn ogen ‘voldoende’ is en doet feitelijk een concrete en kwantitatieve (ja/nee) uitspraak; De concrete auditor toetst objectief of de auditee de norm naleeft. Dit is in dit geval niet mogelijk zonder subjectieve interpretatie van de abstracte termen. Vanuit zijn voorkeur zal hij eerder de norm afkeuren en gaan voor antwoord d. Hiermee toetst hij niet langer aan de norm, maar toetst hij feitelijk de norm zelf en hanteert hiervoor zijn eigen subjectieve voorkeur als ‘normenkader’; De mate van ‘professional judgement’ in dit voorbeeld is zeer gering, het is niet moeilijk ‘slecht leesbaar’ te duiden als onvoldoende geschikt. De regel en het bewijs zijn ons inziens duidelijk genoeg voor een beginner om een afwijking te constateren, antwoord b of c. Bij het beoordelen van het in de praktijk veel voorkomende middelvoorschrift met abstracte termen hanteren de concrete en de abstracte auditor onbewust technieken die ze toedichten aan het andere type. Ondertussen vliegen Roel en Prince elkaar in de haren met hun beider lezing op dit punt. De norm en het punt lijken toch helder? Geeft u alstublieft uw mening over de door beider heren aangedragen argumenten: Prince: Dit is een principekwestie. Opzet en bestaan zijn goed verwoord. Dit is een kleine bevinding op de werking. Vraag 9. Bent u het eens of oneens met Prince? Antwoord 9. a. Eens; b. Oneens. Toelichting vraag 9. Variabele: Voorkeur. Vanuit het principe van classificeren beschouwd (niet vanuit het hogere principe van juiste informatie op het juiste moment) constateert Prince dat er geclassificeerd en gelabeld is (opzet en bestaan), alleen blijkt de oplossing in de praktijk niet goed te werken. Wij verwachten dat de beginner en de abstracte auditor hierin meegaan; De concrete auditor zal het ons inziens niet met Prince eens zijn, hij of zij zal hier eerder een argument in zien om aan te tonen dat de regel niet concreet genoeg is uitgewerkt (bestaan) en dus automatisch niet kan werken; De regel werkt niet. Dit is niet eerder ‘door het systeem’ geconstateerd en afgevangen (opzet). De eerder beschreven tekst rondom de risicoanalyse zet de toon (‘essentieel’, ‘kritisch’). Verder onderzoek/navraag zal helpen de zwaarte te bepalen. Wij verwachten van de situationele auditor dat hij deze punten meeneemt in zijn overwegingen; Bij antwoord A wordt de variabele voorkeur wel herkend en bij antwoord B niet. De bril van de auditor beïnvloedt de weging van bevindingen. Indien een auditor zich puur laat leiden door de regel of het principe, zonder het hogere doel in ogenschouw te nemen, bestaat het gevaar van verkeerde inschatting. Pagina 51 van 75
Roel: jij met je principes, dat krijg je ervan. Duidelijke regels moeten we hebben. Er staat toch helder verwoord in de regel (A7.2.2.) ‘geschikte’ procedures, de procedures zijn niet geschikt, medium bevinding op bestaan. Vraag 10. Bent u het eens of oneens met Roel? Antwoord 10. a. Eens; b. Oneens. Toelichting vraag 10. Variabele: Voorkeur. De beginner en abstracte auditor waren het (vanuit vraag 9) ons inziens reeds eens met Prince en gaan hier daarom voor antwoord b; Roel gebruikt het abstracte woord ‘geschikt’ in kwantitatieve of concrete zin. Het is voor hem duidelijk geen kwestie van ‘in welke mate’ de procedures voldoen, maar een uitgemaakte (ja/nee) kwestie dat ze niet voldoen. Deze concrete aanpak sluit ons inziens goed aan bij de concrete auditor; Roel heeft gelijk dat er (onder andere) een medium bevinding op bestaan is, maar dit hoeft niet per se aan de classificatie/labelingprocedures te liggen. Andere mogelijke oorzaken zijn bijvoorbeeld slechte testprocedures, slechte controle op naleving of slechte ‘awareness’ en security incident procedure. De situationele auditor zal hier dus kiezen voor antwoord b; Bij antwoord A wordt de variabele voorkeur wel herkend en bij antwoord B niet. Bij het aantreffen van een afwijking van de norm is het van belang het gehele stelsel van maatregelen in ogenschouw te nemen. Prince: en ‘geschikt’, is dat een principe of een regel? Vraag 11. Is volgens u ‘geschikt’ een principe of een regel? Antwoord 11. a. ‘Geschikt’ is een (onderdeel van een) principe; b. ‘Geschikt’ is een (onderdeel van een) regel; c. Kan allebei. Toelichting vraag 11. Variabele: Mate van abstractie. De concrete en abstracte auditor zullen deze abstracte term beiden toedichten aan het principe. De beginner kan weinig met ‘geschikt’ en zal dit ook toedichten aan het principe (Zie ook vraag 2); Geschikt is een arbitraire term, welke door middel van nadere specificering en/of ‘professional judgement’ getoetst kan worden en welke in zowel middel- als doelvoorschriften voor kan komen. De situationele auditor zal dan ook kiezen voor antwoord c; Bij de antwoorden A en B wordt de variabele mate van abstractie wel herkend, bij antwoord C niet. Abstracte termen kunnen (ook) in middelvoorschriften voorkomen; open deur (?): concrete termen ook in doelvoorschriften. Roel: je hebt gelijk, de regels moeten veel duidelijker opgesteld worden, de procedure dient voor te schrijven dat er met potlood geschreven moet worden, dat vlekt tenminste niet. Major bevinding op Opzet! Vraag 12.
Pagina 52 van 75
Bent u het eens of oneens met deze verdere specificering van de maatregel (los van de zwaarte van de bevinding)? Antwoord 12. a. Hangt er van af; b. Eens; c. Oneens. Toelichting vraag 12. Variabele: Gehoorzamen aan. De verdere specificering is concreet en in lijn met de concrete auditor en de beginner die gehoor geven aan duidelijke regels, antwoord b; Voor de abstracte auditor zal verdere concretisering niet nodig zijn, middels ‘professional judgement’ kan hij de maatregel prima toetsen, antwoord c; De organisatie bepaalt de maatregelen en accepteert eventuele restrisico’s. De bevinding is op het slecht leesbaar zijn van de labels bij het voedsel in de ijskast, niet op het wel of niet concreet genoeg of geschikt zijn van de procedures (zie ook vraag 10). Dit kan hooguit een advies zijn en hangt verder af van de achterliggende oorzaak van de bevinding (is deze gerelateerd aan de procedure of niet) en de cultuur van de organisatie. De situationele auditor zal het dan ook oneens zijn. Bij de antwoorden A en B wordt de variabele gehoorzamen aan niet herkend, bij antwoord C wel. Mate van abstractie en concretisering van normen is in eerste instantie niet aan de auditor maar aan de organisatie om te bepalen. Prince: hou toch eens op! Dan gaan we zeker ook voorschrijven dat het in een leesbaar handschrift geschreven moet worden, of is leesbaar nog niet concreet genoeg voor je! Vraag 13. Kun je een principe of regel eigenlijk wel concreet ‘uitschrijven’? Antwoord 13. a. Ja, maar alleen in eenvoudige of puur kwantitatieve toepassingen; b. Nauwelijks, er zijn altijd wel kwalitatieve termen als ‘leesbaar’, ‘geschikt’, ‘betrouwbaar’; c. Nee, daarom zijn principes beter; d. Regels wel, principes blijven vaag. Toelichting vraag 13. Variabele: Mate van abstractie De antwoorden a en b behoren beide bij de situationele auditor en zijn bedoeld als eye-opener voor degenen die ‘regel’ verwarren met het concreet beschrijven van het ‘hoe’ zonder abstractie. Hiervoor zou je dus kwaliteit (principes, doelen) moeten kunnen opdelen in kwantitatieve delen (regels). Dit lukt alleen bij benadering. De uitkomsten zullen uitwijzen of zij iets ‘geleerd’ hebben van de vorige vragen of blijven hangen in de rule- principle based discussie, waarbij de abstracte auditor kiest voor antwoord c en de beginner en concrete voor antwoord d. Bij de antwoorden A, C en D wordt de variabele mate van abstractie wel herkend, bij antwoord B niet. Abstracte termen kunnen slechts ten dele geconcretiseerd worden. Ondertussen zijn we een aantal maanden verder, het ISO certificaat hangt aan de muur, maar Pol heeft toch het idee dat hij er nog niet is. Hij heeft het gevoel dat hij de informatiebeheersing op orde heeft, maar nog wat kan doen aan de informatievoorziening richting klanten. Na een nieuwe ronde risicoanalyse in de vorm van een SWOT-sessie (Strengths, Weaknesses, Opportunities and Threats) oppert een van zijn parttimers, Coby Thee, een IT audit studente van de VU, om iets aan de ‘customer focus’ te doen. Pol omarmt dit idee en de statement of applicability (om het hogere doel, betere informatievoorziening richting klanten na te streven) wordt uitgebreid met een beheersdoelstelling uit CobiT 4.1, PO8.4 Customer Focus: Pagina 53 van 75
Focus quality management on customers by determining their requirements and aligning them to the IT standards and practices. Define roles and responsibilities concerning conflict resolution between the user/customer and the IT organisation. Vraag 14. Is bovenstaande beheersdoelstelling uit CobiT toetsbaar? Antwoord 14. a. Ja, middels ‘professional judgement’; b. Ja, middels kwantitatieve toets; c. Ja, middels kwantitatieve toets én ‘professional judgement’; d. Nee, het hoe ontbreekt. Toelichting vraag 14. Variabele: toetsvorm Zie ook vraag 3. De dwingende vorm ‘focus’ en ‘define’ duiden op een middelvoorschrift, vanuit de term beheersdoelstelling (control objective) zou ook afgeleid kunnen worden dat dit voorschrift door ISACA als principe bedoeld is. Met andere woorden de tekst uit CobiT valt te lezen als: ‘focus op’ of als ‘doelstelling is om te focussen op’ en kan kwantitatief én kwalitatief getoetst worden. Voorschriften kunnen kwantitatief en kwalitatief getoetst worden. ‘Professional judgement’ helpt de voorschriften juist te interpreteren. Voor de situationele auditor is dit een ideale combinatie, voor de concrete en abstracte auditor stof tot discussie. Vraag 15. Is het door de organisatie letterlijk gekopieerde voorschrift rule of principle based? Antwoord 15. a. Rule based, het ‘hoe’ staat netjes beschreven (by determining etc.); b. Rule based, het schrijft een specifiek middel voor; c. Principle based, er staat niet beschreven ‘hoe’ de requirements bepaalt moeten worden; d. Principle based, het is immers een doelstelling. Toelichting vraag 15. Variabele: luisteren naar De gehanteerde tekst is een voorbeeld van een van de Control Objectives uit CobiT, die de organisatie kan adopteren als regel of als principe; Het ‘hoe’ is een verdere concretisering van een regel of een principe, geen unieke eigenschap van één van de twee. De concrete auditor zal dit toch aangrijpen om de tekst te duiden als regel (antwoord a), eventueel zich gesteund voelend door de Amerikaanse (bekend om de rule-based voorschriften) oorsprong van het document. Ook kan dit type nog aanvoeren dat er wel beschreven staat hoe er gefocust dient te worden (by determining etc.) maar vervolgens niet hoe dit (determining) plaats moet vinden (antwoord c); Antwoord d sluit aan bij de abstracte auditor, die zich niet alleen laat leiden vanuit zijn eigen voorkeur maar zich gesteund voelt in de term ‘control objective’ die CobiT hanteert. Ook de beginner die hier geen eenvoudige regel in ziet zal voor d gaan; De situationele auditor laat zich niet leiden door de tekst maar door de organisatie. Deze heeft de tekst opgenomen in de lijst met na te leven (=middel)voorschriften. Een voorbeeld van een doelvoorschrift zou in dit geval kunnen luiden: ‘we nemen ons voor middels een SWOT sessie de informatievoorziening richting klanten te verbeteren’. Bij de antwoorden A, C en D wordt de variabele luisteren naar niet herkend, bij antwoord B wel. De opdrachtgever (hier: de organisatie) bepaalt hoe een voorschrift gehanteerd dient te worden en welke tolerantie zij accepteert. Niet de auditor, de ‘best practice’, of een (normeerbaar) referentiekader. De auditor geeft assurance en zal voorafgaand aan een opdracht dan ook niet alleen het normenkader moeten afstemmen, maar feitelijk ook de methode van toetsing en oordeelsvorming. Pagina 54 van 75
Vraag 16. Op welke manier kan een organisatie een zinsnede als deze uit een ‘best practice’ document (CobiT, ITIL, ISO27002) overnemen? Antwoord 16. a. Als principle based, zoals een ‘best practice’ ook bedoeld is; b. Als rule based, zoals een ‘best practice’ ook opgesteld is; c. Rule of principle based, al naar gelang de ‘best practice’ opgesteld en bedoeld is; d. Rule of principle based, al naar gelang de organisatie wenst. Toelichting vraag 16. Variabele: Gehoorzamen aan Zie ook vraag 1 en 15. Een mededeling als ‘wij hebben de code voor informatiebeveiliging ingevoerd’ (ISO27002) zegt nog niets over de gewenste mate van naleving of nastreving. Bij de antwoorden A, B en C wordt de variabele gehoorzamen aan niet herkend, bij antwoord D wel. Een voorschrift kan, ongeacht de strekking uit het referentiekader, rule- of principle based overgenomen worden. Na een onderzoek besluit Pol een website in te laten richten waar het restaurant en het menu goed tot hun recht komen. Overeenkomstig de maatregel bevat de website een suggestieknop voor bezoekers gekoppeld aan een e-mail service. De commercieel bedrijfsleider Mark Eating wordt aangesteld als verantwoordelijke persoon voor de afhandeling van suggesties en mogelijke klachten. In de eerstvolgende audit is Pol bezorgd of de externe auditor wel om kan gaan met deze nieuwe maatregel. De senior audit manager I.T. Norm stelt Pol gerust: het accountantsbureau werkt in verband met Sarbanes Oxley al jaren met CobiT en heeft een gedetailleerd werkprogramma opgesteld welke compleet gebaseerd is op CobiT en prima van toepassing zal zijn. Pol gaat akkoord en Roel en Prince plannen een interview met Mark. Van tevoren sturen zij hem hun werkprogramma toe, overgenomen uit de Assurance Steps van CobiT met betrekking tot de Customer Focus: • • • • •
Enquire whether customer views on the quality management process are obtained. Review the process to verify that views are obtained periodically; Inspect for effectiveness the questionnaires, surveys, feedback forms, interviews, etc. from customers; Inspect the outputs from the follow-up process to determine if the feedback is organised and useful for improving the complaint-handling process; Inspect the documentation of roles and responsibilities to determine if they allow for effective conflict resolution of customer complaints; Enquire whether and confirm that customer interaction aspects are included in training programmes.
Vraag 17. Is het werkprogramma rule of principle based? Antwoord 17. a. Rule based; b. Principle based. Toelichting vraag 17. Variabele: Taalgebruik Het werkprogramma is rule based opgesteld (naar de auditor toe). Het schrijft de auditor dwingend voor wat te toetsen. Dit wil overigens niet zeggen dat een auditor deze regels niet (principieel) dient af te wegen tegen de voorschriften en de cultuur die gelden in de organisatie; De abstracte en concrete auditor zullen zich bij de beantwoording van de vraag laten leiden door de abstracte respectievelijk concrete termen. De beginnende auditor zal in de tekst geen simpele regel kunnen ontdekken die eenvoudig toetsbaar is en zal de tekst duiden als principle based. Pagina 55 van 75
Bij antwoord A wordt de variabele taalgebruik wel herkend, bij antwoord B niet. Een werkprogramma kan ook voorschriften (bijvoorbeeld in de vorm van een checklist) voor de auditor bevatten in plaats van voorschriften voor de organisatie. Een dergelijk werkprogramma bevat geen norm en kan dus alleen als aanvulling op een normenkader gehanteerd worden. Vraag 18. Hoe zou u het werkprogramma willen inzetten in dit onderzoek? Antwoord 18. a. Als Rule based normenkader; b. Als Principle Based normenkader; c. Als Rule en Principle based normenkader; d. Geen van bovenstaande. Toelichting vraag 18. Variabele: Toetsvorm Het werkprogramma is rule based opgesteld (naar de auditor toe). Het werkprogramma is niet normatief en niet afgestemd met de organisatie. Het bevat dan ook voorschriften welke, kwantitatief getoetst, niet aansluiten bij de organisatie (te zwaar); Door middel van het principle based toepassen van het werkprogramma, kan bepaald worden in welke mate de organisatie voldoet. Vervolgens kan dit vergeleken worden met de norm die de organisatie hanteert om te bepalen of de organisatie in voldoende mate haar eigen regels naleeft. Principle based inzetten is dus goed mogelijk, maar niet als normenkader. Wij verwachten dan ook dat de situationele auditor voor antwoord d gaat; De concrete auditor heeft eerder aangegeven hier een rule based werkprogramma in te zien. Hij zal vanuit zijn voorkeur kwantitatief (rule based) alle punten aflopen en gaan bepalen aan hoeveel van de punten de organisatie voldoet, om vervolgens onbewust een afweging op basis van ‘professional judgement’ te maken antwoord a; De abstracte auditor heeft eerder aangegeven hier een principle based werkprogramma in te zien. Hij zal vanuit zijn voorkeur kwalitatief (principle based) gaan bepalen in welke mate de organisatie voldoet, om vervolgens onbewust een kwantitatieve afweging te maken of de organisatie in voldoende mate voldoet aan het werkprogramma antwoord b; De beginner zal conform vraag 17 antwoord b antwoorden. Door het opvolgen van de regels uit een voor de auditor opgesteld directief werkprogramma, kan de auditor op gestructureerde wijze input verkrijgen welke vervolgens aan de norm getoetst kan worden. Valkuil is het werkprogramma te beschouwen als de norm. Na een paar keer slikken ziet Mark het toch weer positief in. Wat wordt er nu helemaal van hem gevraagd? Hij moet alleen maar aantonen dat: • Er regelmatig een ingevulde enquête wordt ingezonden (hij verzamelt enquêtes); • De suggesties nuttig moeten zijn (hij verzamelt enige nuttige suggesties); • Hij er aantoonbaar wat mee kan en doet (hij maakt een schermprint van de website waar, naar aanleiding van een suggestie, recent een routebeschrijving aan is toegevoegd); • Hij de reacties van zijn klanten beantwoordt (hij verzamelt enige reply e-mails); • Hij aantoonbaar capabel is (hij besluit een training aan te vragen voor en Customer Interaction Training (CIM) bij een extern trainingsbureau. Hij print het verzoek aan Pol uit). Vraag 19. Juicht u als auditor deze vrije interpretatie door de auditee toe? Antwoord 19. a. Ja, principes als deze kunnen immers op diverse manieren uitgelegd worden; b. Ja, zolang dit bijdraagt aan de beheersdoelstelling; c. Nee, deze vrije interpretatie zwakt de norm af, compliance hieraan is nog geen compliance aan de norm uit het werkprogramma; d. Ja, zolang aan de regels uit het werkprogramma voldaan wordt. Toelichting vraag 19. Variabele: Luisteren naar Pagina 56 van 75
Mark interpreteert de regels voor zijn situatie (organisatie). Hij interpreteert de specifieke regels dus pragmatisch als principes en creëert zo zijn eigen ‘customized’ regels; Het werkprogramma is niet normatief, is rule based en opgesteld voor de auditor (zie ook vraag 17 en 18). Hiermee vallen antwoorden a, c en d voor de situationele auditor af; De concrete auditor zal zich eerder kunnen vinden in antwoorden c en d. De abstracte en de beginner zullen zich eerder vinden in antwoord a; Van een auditee kan niet verwacht worden dat hij alle, veelal complexe werkprogramma’s, normenkaders en referentiekaders kent en kan doorgronden. Het kunnen vertalen hiervan in begrijpelijke taal voor de auditee is een waardevolle eigenschap van een bekwaam auditor. Indien dit (zoals in dit geval) niet gebeurd is, verwachten wij dat de auditor het toejuicht als een auditee deze vertaling zelfstandig weet uit te voeren, zolang geen afbreuk gedaan wordt aan de beheersdoelstelling. Bij de antwoorden A, C en D wordt de variabele luisteren naar niet herkend, bij antwoord B niet. Het vereenvoudigen van complexe werkprogramma’s in voor de auditee begrijpelijke taal kan goed bijdragen aan een positieve houding en begrip van de auditee, ongeacht of deze vereenvoudiging nu door de auditor of de auditee uitgevoerd wordt. U ziet misschien de bui al hangen. Na overhandiging van het bewijs aan Roel en Prince komen zij wederom niet tot consensus. Roel accepteert het bewijs absoluut niet, hiermee is niet afdoende aangetoond dat er aan de afgesproken Assurance Steps voldaan wordt. Hij staat er op dat hij via zelf genomen steekproeven en observaties tot een conclusie komt. Prince begrijpt de interpretatie van de maatregelen door Mark, accepteert de overhandigde documenten en vindt het afdoende bewijs dat er aan de door het restaurant geselecteerde beheersmaatregel voldaan wordt, onder de voorwaarde dat hij random een paar klanten mag terugbellen ter verificatie. Vraag 20. Welke interpretatie heeft uw voorkeur? Antwoord 20. a. De interpretatie van Roel heeft mijn voorkeur; b. De interpretatie van Prince heeft mijn voorkeur. Toelichting vraag 20. Variabele: Voorkeur Alleen de concrete auditor gaat ons inziens hier met Roel mee, vanwege het vasthouden aan het door hem als rule based geduide werkprogramma; De auditor toetst de vigerende beheersdoelstellingen aan de overeengekomen norm, Prince zijn interpretatie is hiermee in lijn. Vraag 20 was niet in te delen naar herkenbaarheid van de variabele voorkeur. Deze is dan ook niet meegenomen in de uiteindelijke analyse. Oog hebben voor de situationele omstandigheden en het hierop afstemmen van de in te zetten middelen kan voorkomen dat onnodig formele audittechnieken en -methoden ingezet worden die weinig begrip oogsten van de auditee. Vraag 21. Stel, de organisatie voldoet totaal niet aan het werkprogramma, maar geeft in de management response aan hieraan te gaan werken. Welk oordeel heeft uw voorkeur? Antwoord 21. a. Onvoldoende, er is sprake van een afwijking van de norm (de regels uit het werkprogramma); b. Onvoldoende, middels ‘professional judgement’ kan duidelijk bepaald worden dat er sprake is van onvoldoende naleving van de norm (het principle based te interpreteren werkprogramma); c. Onvoldoende, er is sprake van een afwijking van de norm (het voorschrift ‘customer focus’); d. Voldoende, de organisatie geeft aan hieraan te werken. Pagina 57 van 75
Toelichting vraag 21. Variabele: Voorkeur Het werkprogramma is een rule based instructieset voor de auditor, geen norm. De norm is het voorschrift, de door de organisatie overgenomen beheersdoelstelling uit CobiT (customer focus); De organisatie voldoet totaal niet aan het werkprogramma en de klant geeft zelf ook aan dat het onder de maat is. Volgens de inschatting van de situationele auditor kan er dan ook geen sprake zijn van adequate naleving van de norm, het interne voorschrift (antwoord c); Voor de concrete auditor is het werkprogramma de norm, wij verwachten dat hij kiest voor antwoord a. De beginner zal eveneens een afwijking op de regel zien en kiezen voor antwoord a; De organisatie voldoet totaal niet aan het werkprogramma. De abstracte auditor zal middels ‘professional judgement’ tot zijn afweging komen, antwoord b. Bij de antwoorden A, B en D wordt de variabele voorkeur wel herkend, bij antwoord C niet. Door bij een onderzoek niet helder te hebben wat de norm is, bestaat het gevaar dat de auditor niet tegen de vigerende norm, maar tegen een zelf gekozen norm toetst. Vraag 22. Stel, het gehanteerde werkprogramma is (formeel) bij wet voorgeschreven bij restaurantinspecties door de keuringsdienst. In het geval van een formele inspectie, welke interpretatie heeft dan uw voorkeur? Antwoord 22. a. De interpretatie van Roel heeft nog steeds mijn voorkeur; b. De interpretatie van Roel heeft nu mijn voorkeur; c. De interpretatie van Prince heeft nog steeds mijn voorkeur; d. De interpretatie van Prince heeft nu mijn voorkeur. Toelichting vraag 22. Variabele luisteren naar: De norm is nu niet langer het interne voorschrift, maar het werkprogramma: de rule based instructieset voor de auditor. Deze is echter niet normeerbaar voor de organisatie, maar formeel zal de auditor zich hier aan dienen te houden. Hij voert de instructies uit en kan aan de keuringsdienst zijn (niet gewogen) bevindingen rapporteren; Wij verwachten dat alleen de situationele auditor switcht van Prince naar Roel. Bij de antwoorden A, B en C wordt de variabele luisteren naar niet herkend, bij antwoord C wel. Bij een wettelijk voorschrift dient de auditor zich aan de hierin gestelde regels of principes te houden (en indien nodig af te wijken van zijn of haar voorkeur). Vraag 23. In dit geval van formele inspectie, welk oordeel is volgens u het beste van toepassing? Antwoord 23. a. Onvoldoende, er is sprake van een afwijking van de norm (de regels uit het werkprogramma); b. Onvoldoende, middels ‘professional judgement’ kan duidelijk bepaald worden dat er sprake is van onvoldoende naleving van de norm (het principle based te interpreteren werkprogramma); c. Onvoldoende, er is sprake van een afwijking op de norm (het voorschrift ‘customer focus’); d. Neutraal/geen oordeel. Toelichting vraag 23. Variabele: Luisteren naar De wet schrijft hier niet voor wat de norm is (voor de organisatie) dus een inspecteur kan feitelijk alleen meten, niet oordelen. De opdrachtgever (de wetgever) kan vervolgens de bevindingen beoordelen en mogelijke vervolgacties uitzetten; Het is dus mogelijk te meten zonder te oordelen. Dit kan bijvoorbeeld gedaan worden door een junior auditor, waarna een senior de constateringen vergelijkt met een norm en feitelijk toetst. Pagina 58 van 75
Bij de antwoorden A, B en C wordt de variabele luisteren naar niet herkend, bij antwoord D wel. Als onderdeel van een audit kan een niet normatief werkprogramma gehanteerd worden. Er kan vervolgens getoetst worden aan de norm door de uitkomsten te vergelijken met een separaat normenkader. Zie ook vraag 17. Vraag 24. Wat vindt u als auditor bij deze case ‘aan het einde van de dag’ het belangrijkste? Antwoord 24. a. Dat de organisatie leeft naar intern gestelde doelen; b. Dat de organisatie leeft naar extern gestelde doelen. c. Dat de organisatie voldoet aan de intern gestelde regels of principes; d. Dat de organisatie voldoet aan de extern gestelde regels of principes; Toelichting vraag 24. Variabele: Gehoorzamen aan Regels of principes zijn middelen en geen doel op zich; Voldoen aan externe regels en doelen is uitermate belangrijk, maar de valkuil hier is ‘sox compliant failliet gaan’. Bij de antwoorden B, C en D wordt de variabele gehoorzamen aan niet herkend, bij antwoord A wel. Een goede balans mogelijk tussen externe en interne doelen kan bereikt worden door de externe doelen en regels te vertalen naar interne doelen en afgeleide regels en principes.
Pagina 59 van 75
Case Deel 4 Algemene vragen Uw geslacht:
Man; Vrouw.
Uw leeftijd:
… jaar.
Ingeschreven als:
RE; RA; RE en RA; Aspirant RE, CISA of CISSP; Geen van bovenstaande.
Ik heb mijn IT audit opleiding gevolgd aan:
De Vrije Universiteit (VU); De Universiteit van Amsterdam (UvA); TIAS (Tilburg); De Erasmus Universiteit; Geen van bovenstaande.
Functie:
(IT) Auditor; Senior (IT) Auditor; (IT) Audit supervisor/manager; Afdelings-/bedrijfshoofd; Directeur/Partner; Hoogleraar.
Audit werkervaring:
… jaar.
Werkervaring bij:
Een financiële dienstverlener; Een overheidsinstelling; Een big four accountantskantoor; Een ander accountantskantoor of extern adviesbureau; Universiteit; Een andere interne functie.
Werkervaring met:
IT (system) audit; Technical IT Audit; Financial audit; Operational audit; Soxa werkzaamheden.
Pagina 60 van 75
II
Mail die naar respondenten is gestuurd
Geachte NOREA leden, Via de eerdere NOREA nieuwsbrief hebben wij u geattendeerd op onze enquête "Rule- of Principle based: de situationele auditor". Mocht u deze enquête reeds hebben ingevuld, verzoeken we u om deze e-mail als niet verzonden te beschouwen. Om een goede analyse te kunnen uitvoeren mikken we op een zo hoog mogelijke respons. Daarom zouden we het ten zeerste waarderen indien degenen die nog niet hebben deelgenomen alsnog de enquête zouden willen invullen. Rule- of Principle based: de situationele auditor Al jaren is er binnen de audit wereld een discussie gaande over principle- versus rule based. Voorstanders van beide kampen leggen vol vuur, enthousiasme en fanatisme uit waarom principes dan wel regels beter zijn. Door de één worden principes als niet voldoende uitgewerkte regels beschouwd, principle based = onvolwassen rule based. Door de andere worden auditors die regeltjes volgen als blinde vinkers (‘soxvinkers') beschouwd. Dit onderzoek poogt een nieuwe dimensie aan deze discussie toe te voegen. De enquête behorende bij dit onderzoek is te vinden via de volgende link: http://www.thesistools.com/?qid=92924&ln=ned Wij danken u bij voorbaat hartelijk voor uw deelname en uw begrip. Met vriendelijke groet, Judith Hoezen en Kees Jongejans
Pagina 61 van 75
III
Interview
Interviewers: Geïnterviewde: Datum: Locatie:
Judith Hoezen en Kees Jongejans Naam geïnterviewde datum interview locatie interview
Algemene vragen 1. Wat is (zijn) uw functie(s)? 2. Wat zijn uw belangrijkste werkzaamheden binnen deze functies? 3. Wat is uw arbeidsverleden? Vragen: 1. Wat betekent voor u Principle vs Rule Based? a. Heeft een van beide uw voorkeur en zo ja, waarom? 2. Wat vindt u van de theorie? 3. Beschouwt u deze theorie als vernieuwend? 4. Sluit uw visie ten aanzien van Principle en Rule Based aan bij onze zienswijze? 5. Voegt deze typering volgens u iets toe en zo ja, waarom? 6. Herkent u deze 4 typen auditors in de praktijk? a. Op welke wijze komt u deze typen in de praktijk tegen, voorbeelden? b. Kunt u ons een voorbeeld geven van een situationele auditor? c. Welke komt u het meest tegen? 7. Welke toepassingsmogelijkheden ziet u voor de theorie? 8. Welke effect denkt u dat een Situationele auditor heeft op een… a. Auditee? b. Kwaliteit van de bevinding? c. Kwaliteit van de aanbeveling? d. Acceptatiegraad van de auditees? 9. Wat zou volgens u moeten gebeuren om deze Situationele Auditor op te kunnen leiden? a. In het onderwijs? b. In de werkomgeving? c. Mogelijke andere gebieden? 10. Denkt u dat deze theorie de discussie over Rule vs Principle Based oplost, zo nee, waarom niet? 11. Zijn er wellicht nog personen in uw omgeving met vergelijkbare of tegenstrijdige opvattingen? 12. Wat vindt u van de case? a. Heeft u opmerkingen betreffende de case? b. Herkent u zich in het profiel? 13. Ziet u nog andere toepassingsmogelijkheden voor deze case? 14. Zijn er zaken die volgens u niet voldoende geraakt worden in ons onderzoek? a. Wat zou volgens u in een mogelijk vervolgonderzoek nader onderzocht moeten worden? 15. Heeft u nog vragen of opmerkingen? a. Mocht u deze nu niet hebben, dan kunt u deze ook nog later aan ons stellen. Afsluiting De gegevens zullen anoniem verwerkt worden. U krijgt van ons een verslag van dit interview waarin u eventuele aanvulling en of correcties kunt aangeven. Wij danken u nogmaals hartelijk voor uw bijdrage aan dit onderzoek.
Pagina 62 van 75
IV
Samengesteld interviewverslag
Aanwezig: Bedrijf: Locatie: Auteurs: Onderwerp: Samenvatting van de gegeven antwoorden op de interviewvragen
Datum:
Principle versus rule based Algemeen • Principle versus rule based is een relevante en interessante discussie die over de vakgroep heen gaat. • Discussie is gezond. • Dienen voorschriften naar de letter of naar de geest gevolgd te worden. • De opdeling dwingend – dringend wordt genoemd. • Er dient uiteindelijk een redelijke mate van zekerheid gegeven te worden. Hierbij kan het te veel hanteren principle based/’professional judgement’ gevaarlijk zijn. De valkuil van de Principle Based auditor is te makkelijk wegkomen. Er is noodzaak tot verifieerbaarheid. • Men dient te waken voor het verschil tussen referentie en normenkader, te vaak worden referentiekaders klakkeloos ingezet, ‘we gaan ITIL implementeren’. • De laatste tijd lijken het geen uitersten meer maar combinatie. Principle en Rule Based • Principle based is het paraplu begrip en rule based de concrete, nadere invulling. Principe is het beginsel en de regel is het voorschrift. In die zin is dus alles terug te herleiden naar uitgangspunten en Principle Based. • Er bestaan gedragsregels, zoals de klant heeft altijd gelijk, die door de één gezien worden als een regel en door de ander als een principe. • Voorkeur gaat uit naar principle based aangezien de bizarre werkelijkheid niet te vangen is in één regel. • In de intuïtieve Nederlandse cultuur is principle based kijken naar de geest. In de Nederlandse cultuur heeft principle based dan ook de voorkeur. Dit moet echter niet verzanden in een onderhandelingsspel tussen auditors en auditee, is een risico nu hoog, medium of laag? Hier zijn spelregels en afspraken rondom noodzakelijk. Bij rule based ontstaat er een ja/nee vink situatie. Regels hebben dan ook het risico aan het doel voorbij te schieten. • Rule based wordt meer toegepast in andere landen en wordt gezien als kijken naar de letter. • Principle based valkuil: sla een nietje door de interviewverslagen en je hebt een rapport. Theorie denkwijzen IT auditors Theorie algemeen • Tot nu toe werd de rule based versus principle based discussie als een container begrip gezien. In de theorie van Judith en Kees worden de elementen van de discussie uiteen gerafeld, waardoor de theorie vernieuwend wordt. • De theorie is interessant en vernieuwend. Bestaande elementen worden op een nieuwe manier met elkaar in verbinding gebracht. • De theorie geeft de discussie wellicht een extra dimensie door aan te geven dat rule en principle based niet zwart/wit is. • De theorie is niet vernieuwend, maar wel een duidelijke en herkenbare uiteenzetting van hetgeen al bekend is in de praktijk. De auditor dient hier rekening mee te houden. • Het is geen theorie aangezien je een theorie omver moet kunnen werpen en moet kunnen bewijzen. Bij deze theorie worden geen mogelijkheden gezien om deze omver te werpen. Toepassing van de theorie • De theorie zou gebruikt kunnen worden als communicatie of ontwikkelmiddel (HR).(2x) • Het is niet duidelijk hoe de theorie in de praktijk zou kunnen worden toegepast. • De theorie zal de rule versus principle based discussie niet kunnen oplossen aangezien het fundament niet wordt / kan worden opgelost. Denkwijzen type auditors • De indeling van auditor types is een stereotype indeling. In de praktijk hebben auditors vaak een combinatie van meerdere types in zich. In Nederland komen we overwegend de abstracte auditor tegen (volksaard). In Japan zou je waarschijnlijk juist vooral de concrete auditor tegenkomen. • De type auditors worden door iedereen in de praktijk herkend. Voorbeelden zijn de compliance auditor die gezien kan worden als de concrete auditor. De situationele auditor zou vervolgens meer passen in het profiel van een (senior) auditmanager. • De abstracte auditor wordt door één iemand niet herkend uit de praktijk als specifieke auditor. De manier van abstract werken zit namelijk verwerkt in de methodologie. • Situationele auditors komt iedereen tegen in de praktijk. Dit zijn mensen die het goede verband zien en de juiste Pagina 63 van 75
• •
mate van detail kiezen. Deze mensen zijn heel erg in balans (zowel blauw als geel in whole brain theorie). Vaak zijn deze mensen niet erg emotioneel, het zijn zowel planners als mensen die makkelijk met veranderingen om kunnen gaan. Het is een set van eigenschappen die maakt dat iemand een situationele auditor kan worden. Ervaring zorgt er alleen voor dat iemand leert om deze eigenschappen nog beter te benutten. Iemand die deze eigenschappen van nature niet heeft, zal dan ook moeilijk doorgroeien naar situationele auditor. Relevante werkervaring zorgt er voor dat de denkwijze van de auditor naar abstract dan wel situationeel groeit. Daarnaast wordt aangegeven dat de omgeving de auditor kan dwingen om bijvoorbeeld abstract te denken. Auditors zijn heel flexibel en dus kom je in de praktijk al snel de situationele auditor tegen.
Effect van de situationele auditor Algemeen • De kwaliteitshandhaving op een rule based dossier is wellicht makkelijker dan op een principle based dossier. Dit met name omdat je bij een principle based dossier in staat moet zijn om het dossier kwalitatief te bekijken. Hiervoor is een ander type kwaliteitsproces nodig om daadwerkelijk de kwaliteit te verbeteren en te beoordelen. Effect • De situationele auditor wordt omschreven als het summum van de auditor, “Iedereen wil een Situationele Auditor zijn”. De geïnterviewden vinden unaniem dat de situationele auditor een positieve invloed heeft op de auditee, kwaliteit van de bevinding en de aanbeveling en op de acceptatiegraad. • In de praktijk zullen de situationele auditors vaak auditmanager of hoofd van een afdeling zijn. Ervaring is cruciaal om een situationele auditor te kunnen worden. Daarnaast zullen echter ook aanleg en opvoeding (nature and nurture) een rol spelen. • De situationele auditor kan zich beter aansluiten bij de denkwijze van het senior management. • De andere type auditors zullen niet leveren wat de auditee verwacht. Benodigdheden om auditor naar de situationele denkwijze toe te laten groeien Onderwijs • Het onderwijs kan de awareness ten aanzien van situationeel auditen en de verschillende type auditors verhogen. Dit kan door het inzetten van casussen in plaats van het geven van een puur technische grondslag; • Om meer situationele auditors op te leiden zal in het onderwijs meer les gegeven moeten worden door situationele mensen. Werkomgeving • In de werkomgeving zou met name gelet moeten worden op de selectie. Past een sollicitant in het plaatje, met andere woorden is de sollicitant een aanvulling voor het team. • In de werkomgeving zouden jobrotation, verschillende klussen, een grote variëteit aan opdrachten en doorstroming er zorg voor kunnen dragen dat de auditor naar de situationele denkwijze toegroeit. De praktijk is nodig om situationeel auditen echt te leren. Hiervoor is training on the job dan ook essentieel. • Auditors zullen in de praktijk waarschijnlijk vooral groeien door middel van feedback en coaching. Case • De case wordt als leuk beschouwd en de verschillen tussen het (door Kees en Judith geïdentificeerde) situationele antwoord en de eigen antwoorden worden begrepen, de door ons vooraf opgestelde bijbehorende verklaringen met betrekking tot het situationele antwoord worden niet altijd als enig juiste ervaren; de geïnterviewden geven aanvullende verklaringen waarom zij voor een ander antwoord hebben gekozen, waarmee de case verder verbeterd kan worden. • De ‘grappige’ namen in de case leiden een enkeling af en zorgden ervoor dat de case erg bedacht over kwam. • Er zit erg veel in de case, hierdoor was het moeilijk om er een gevoel voor te krijgen. Zaken die onvoldoende geraakt worden of onderbelicht zijn in het onderzoek van Judith en Kees • Alertheid op de intentie van de maatregelen. • Aangegeven wordt dat andere omgevingsfactoren, zoals cultuur en commerciële belangen eveneens een belangrijke rol spelen bij de denkwijze van de IT auditor. Er wordt gevraagd of de omgevingsfactoren in dit onderzoek mee worden genomen. • Allen zijn geïnteresseerd in het eindproduct en geven aan het een leuk en interessant onderzoek te vinden.
Pagina 64 van 75
V
Codeerschema
Codeboek voor SPSS analyse ThesisTools_output Hercodering Definitie Variabele: 4
12
16
24
Variabele: 15
19
22
23
Variabele: 2
5
11
13
Variabele: 1
6
7
17
Variabele: 9 10 20 21
Variabele 3
8
14
18
Gehoorzamen aan A. Zwart/wit, de norm zegt duidelijk wat er gedaan 'moet' worden B. Blauw, de handvatten zijn helder en de toets zal duidelijk maken in hoeverre de organisatie deze normen nastreeft C. Groen, hangt af van de cultuur van het bedrijf D. Geen voorkeur A. Hangt er van af B. Eens C. Oneens A. Als principle based, zoals een 'best practice' ook bedoeld is B. Als rule based, zoals een 'best practice' ook opgesteld is C. Rule of principle based, zoals de 'best practice' opgesteld en bedoeld is D. Rule of principle based, net wat de organisatie zelf wil A. De organisatie leeft naar intern gestelde doelen B. De organisatie leeft naar extern gestelde doelen C. De organisatie voldoet aan de intern gestelde regels of principes D. De organisatie voldoen aan de extern gestelde regels of principes
1
0 Nee
2 3 4 1 2 3 1 2 3 4 1 2 3 4
0 1 0 0 0 1 0 0 0 1 1 0 0 0
Nee Ja Nee Nee Nee Ja Nee Nee Nee Ja Ja Nee Nee Nee
1 2 3 4 1 2
0 1 0 0 0 1
Nee Ja Nee Nee Nee Ja Nee Nee Nee Nee Nee Ja Nee
Luisteren naar A.Rule based, het 'hoe' staat netjes beschreven B. Rule based, het schrijft een specifiek middel voor C. Principle based, er staat niet beschreven 'hoe' de requirements bepaalt moeten worden D. Principle based, het is immers een doelstelling A. Ja, principes als deze kunnen immers op diverse manieren uitgelegd worden B. Ja, zolang dit bijdraagt aan de beheersdoelstelling C. Nee, deze vrije interpretatie zwakt de norm af, compliance hieraan is nog geen compliance aan de norm uit het werkprogramma D. Ja, zolang aan de regels uit het werkprogramma voldaan wordt A. De interpretatie van Roel heeft nog steeds mijn voorkeur B. De interpretatie van Roel heeft nu mijn voorkeur C. De interpretatie van Prince heeft nog steeds mijn voorkeur D. De interpretatie van Prince heeft nu mijn voorkeur A. Onvoldoende, er is sprake van een afwijking van de norm (de regels uit het werkprogramma) B. Onvoldoende, middels professional judgement kan duidelijk bepaald worden dat er sprake is van onvoldoende naleving van de norm (het principle based te interpreteren werkprogramma) C. Onvoldoende, er is sprake van een afwijking op de norm (het voorschrift 'customer focus') D. Neutraal/geen oordeel
3 4 1 2 3 4 1
0 0 0 0 0 1 0
2 3 4
0 Nee 0 Nee 1 Ja
Mate van abstractie A. Principle Based B. Principle Based, want bovenstaande tekst is abstract C. Rule Based D. Rule Based, want bovenstaande tekst is concreet E. Beide A. Een principe B. Een regel (waarbij 'kloppen' nog wel te abstract geformuleerd is) C. Een regel D. Beide A. 'Geschikt' is een (onderdeel van een) principe B. 'Geschikt' is een (onderdeel van een) regel C. Kan allebei A. Ja, maar alleen in eenvoudige of puur kwantitatieve toepassingen B. Nauwelijks, er zijn altijd wel kwalitatieve termen als 'leesbaar', 'geschikt' of 'betrouwbaar' C. Nee, daarom zijn principes beter D. Regels wel, daarom zijn deze beter
1 2 3 4 5 1 2 3 4 1 2 3 1 2 3 4
1 1 0 1 99 1 1 0 99 1 1 0 1 0 1 1
Taalgebruik A. Principle Based B. Principle Based, want de 'gouden regel' is abstract C. Rule Based D. Rule Based, want de 'gouden regel' is concreet A. Een regel (dwingend karakter 'behoort') B. Een regel, maar het 'hoe' ontbreekt C. Een principe, waarbij het 'hoe' ontbreekt D. Een principe (vrijblijvende karakter 'behoort') A. Ja, mijn antwoord verandert; met 'moeten' wordt het een regel B. Nee, mijn antwoord verandert niet; ook met 'moeten' blijft het een principe C. Nee, mijn antwoord verandert niet; ook met 'moeten' blijft het een regel D. Ja, mijn antwoord verandert; met 'moeten' wordt het een principe A. Rule based B.Principle based
1 2 3 4 1 2 3 4 1 2 3 4 1 2
0 0 1 0 0 0 0 1 1 0 0 0 1 0
Voorkeur A. Eens B. Oneens A. Eens B. Oneens A. De interpretatie van Roel heeft mijn voorkeur B. De interpretatie van Prince heeft mijn voorkeur A. Onvoldoende, er is sprake van een afwijking van de norm (de regels uit het werkprogramma) B. Onvoldoende, middels professional judgement kan duidelijk bepaald worden dat er sprake is van onvoldoende naleving van de norm (het principle based te interpreteren werkprogramma) C. Onvoldoende, er is sprake van een afwijking van de norm (het voorschrift 'customer focus) D. Voldoende, de organisatie geeft aan hieraan te werken
2 3 4
Toetsvorm A. Ja, middels professional judgement B. Ja, middels kwantitatieve toets C. Ja, middels kwantitatieve toets en professional judgement D. Nee A. Nee, het voedsel is immers (ooit) geclassificeerd en gelabeld B. Ja, aan de regel wordt niet voldaan C. Ja, aan het principe wordt immers niet voldaan D. Nee, de norm bevat teveel abstracte termen om objectief aan te kunnen toetsen A. Ja, middels professional Judgement B. Ja, middels kwantitatieve toets C. Ja, middels kwantitatieve toets en professional judgement D. Nee, het 'hoe' ontbreekt A. Als Rule Based normenkader B. Als Principle Based normenkader C. Als Rule en Principle Based normenkader D. Geen van bovenstaande
1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4
Pagina 65 van 75
Ja Ja Nee Ja Niet in te delen Ja Ja Nee Niet in te delen Ja Ja Nee Ja Nee Ja Ja
Nee Nee Ja Nee Nee Nee Nee Ja Ja Nee Nee Nee Ja Nee
1 1 Ja 2 0 Nee 1 1 Ja 2 0 Nee 1 VERVALLEN VERVALLEN 2 VERVALLEN VERVALLEN 1 1 Ja 1 Ja 0 Nee 1 Ja
10000 100 1000000 0 0 1000100 10000 100 10000 100 1000000 0 100 10000 0 1000000
Abstracte auditor Concrete Auditor Situationele Auditor Geen Geen Situationele of Concrete auditor Abstracte auditor Concrete auditor Abstracte auditor Concrete Auditor Situationele Auditor Geen Concrete auditor Abstracte auditor Geen Situationele Auditor
VI
SPSS output per variabele
Mate van abstractie Case Processing Summary Cases Valid N Type Auditor * Mate van
Missing Percent
129
N
100,0%
Total
Percent 0
N
,0%
Percent 129
100,0%
Abstractie Type Auditor * Mate van Abstractie Crosstabulation Mate van Abstractie Nee Type Auditor
Abstract
Count
14
57
6,2
30,0
20,8
57,0
% within Type Auditor
10,5%
64,9%
24,6%
100,0%
% within Mate van Abstractie
42,9%
54,4%
29,8%
44,2%
4,7%
28,7%
10,9%
44,2%
0
6
12
18
2,0
9,5
6,6
18,0
% within Type Auditor
,0%
33,3%
66,7%
100,0%
% within Mate van Abstractie
,0%
8,8%
25,5%
14,0%
% of Total
,0%
4,7%
9,3%
14,0%
6
17
14
37
4,0
19,5
13,5
37,0
% within Type Auditor
16,2%
45,9%
37,8%
100,0%
% within Mate van Abstractie
42,9%
25,0%
29,8%
28,7%
4,7%
13,2%
10,9%
28,7%
2
8
7
17
1,8
9,0
6,2
17,0
% within Type Auditor
11,8%
47,1%
41,2%
100,0%
% within Mate van Abstractie
14,3%
11,8%
14,9%
13,2%
1,6%
6,2%
5,4%
13,2%
14
68
47
129
14,0
68,0
47,0
129,0
10,9%
52,7%
36,4%
100,0%
Count Expected Count
Count Expected Count
% of Total Beginner
Count Expected Count
% of Total Total
Total
37
% of Total
Situationeel
Niet in te delen
6
Expected Count
Concreet
Ja
Count Expected Count % within Type Auditor Pagina 66 van 75
% within Mate van Abstractie % of Total
100,0%
100,0%
100,0%
100,0%
10,9%
52,7%
36,4%
100,0%
Chi-Square Tests Asymp. Sig. (2Value
df
sided)
13,115a
6
,041
Likelihood Ratio
14,425
6
,025
Linear-by-Linear
2,095
1
,148
Pearson Chi-Square
Association N of Valid Cases
129
a. 3 cells (25,0%) have expected count less than 5. The minimum expected count is 1,84.
Pagina 67 van 75
Gehoorzamen aan Case Processing Summary Cases Valid N Type Auditor *
Missing
Percent 129
N
100,0%
Total
Percent 0
N
,0%
Percent 129
100,0%
Gehoorzamen Aan Type Auditor * Gehoorzamen Aan Crosstabulation Gehoorzamen Aan Nee Type Auditor Abstract
Count
Ja
niet in te delen
Total
34
10
13
57
32,3
8,8
15,9
57,0
% within Type Auditor
59,6%
17,5%
22,8%
100,0%
% within Gehoorzamen
46,6%
50,0%
36,1%
44,2%
26,4%
7,8%
10,1%
44,2%
7
3
8
18
10,2
2,8
5,0
18,0
38,9%
16,7%
44,4%
100,0%
9,6%
15,0%
22,2%
14,0%
5,4%
2,3%
6,2%
14,0%
24
5
8
37
20,9
5,7
10,3
37,0
% within Type Auditor
64,9%
13,5%
21,6%
100,0%
% within Gehoorzamen
32,9%
25,0%
22,2%
28,7%
18,6%
3,9%
6,2%
28,7%
8
2
7
17
9,6
2,6
4,7
17,0
% within Type Auditor
47,1%
11,8%
41,2%
100,0%
% within Gehoorzamen
11,0%
10,0%
19,4%
13,2%
6,2%
1,6%
5,4%
13,2%
Expected Count
Aan % of Total Concreet
Count Expected Count % within Type Auditor % within Gehoorzamen Aan % of Total
Situationeel
Count Expected Count
Aan % of Total Beginner
Count Expected Count
Aan % of Total Pagina 68 van 75
Total
Count
73
20
36
129
73,0
20,0
36,0
129,0
56,6%
15,5%
27,9%
100,0%
100,0%
100,0%
100,0%
100,0%
56,6%
15,5%
27,9%
100,0%
Expected Count % within Type Auditor % within Gehoorzamen Aan % of Total
Chi-Square Tests Asymp. Sig. (2Value
df
sided)
6,120a
6
,410
Likelihood Ratio
5,920
6
,432
Linear-by-Linear
,791
1
,374
Pearson Chi-Square
Association N of Valid Cases
129
a. 3 cells (25,0%) have expected count less than 5. The minimum expected count is 2,64.
Pagina 69 van 75
Luisteren naar Case Processing Summary Cases Valid N Type Auditor * Luisteren
Missing
Percent 129
N
Total
Percent
100,0%
0
,0%
N
Percent 129
100,0%
naar Type Auditor * Luisteren naar Crosstabulation Luisteren naar Nee Type Auditor Abstract
Count
7
57
49,5
7,5
57,0
% within Type Auditor
87,7%
12,3%
100,0%
% within Luisteren naar
44,6%
41,2%
44,2%
% of Total
38,8%
5,4%
44,2%
17
1
18
15,6
2,4
18,0
% within Type Auditor
94,4%
5,6%
100,0%
% within Luisteren naar
15,2%
5,9%
14,0%
% of Total
13,2%
,8%
14,0%
30
7
37
32,1
4,9
37,0
% within Type Auditor
81,1%
18,9%
100,0%
% within Luisteren naar
26,8%
41,2%
28,7%
% of Total
23,3%
5,4%
28,7%
15
2
17
14,8
2,2
17,0
% within Type Auditor
88,2%
11,8%
100,0%
% within Luisteren naar
13,4%
11,8%
13,2%
% of Total
11,6%
1,6%
13,2%
112
17
129
112,0
17,0
129,0
86,8%
13,2%
100,0%
Count Expected Count
Situationeel
Count Expected Count
Beginner
Count Expected Count
Total
Total
50
Expected Count
Concreet
Niet in te delen
Count Expected Count % within Type Auditor
Pagina 70 van 75
% within Luisteren naar % of Total
100,0%
100,0%
100,0%
86,8%
13,2%
100,0%
Chi-Square Tests Asymp. Sig. (2Value
df
sided)
2,050a
3
,562
Likelihood Ratio
2,163
3
,539
Linear-by-Linear
,251
1
,616
Pearson Chi-Square
Association N of Valid Cases
129
a. 3 cells (37,5%) have expected count less than 5. The minimum expected count is 2,24.
Pagina 71 van 75
Taalgebruik Case Processing Summary Cases Valid N Type Auditor * Taalgebruik
Missing
Percent 129
N
Total
Percent
100,0%
0
N
,0%
Percent 129
100,0%
Type Auditor * Taalgebruik Crosstabulation Taalgebruik Nee Type Auditor Abstract
Count
17
57
38,4
3,5
15,0
57,0
% within Type Auditor
64,9%
5,3%
29,8%
100,0%
% within Taalgebruik
42,5%
37,5%
50,0%
44,2%
% of Total
28,7%
2,3%
13,2%
44,2%
14
1
3
18
12,1
1,1
4,7
18,0
% within Type Auditor
77,8%
5,6%
16,7%
100,0%
% within Taalgebruik
16,1%
12,5%
8,8%
14,0%
% of Total
10,9%
,8%
2,3%
14,0%
27
2
8
37
25,0
2,3
9,8
37,0
% within Type Auditor
73,0%
5,4%
21,6%
100,0%
% within Taalgebruik
31,0%
25,0%
23,5%
28,7%
% of Total
20,9%
1,6%
6,2%
28,7%
9
2
6
17
11,5
1,1
4,5
17,0
% within Type Auditor
52,9%
11,8%
35,3%
100,0%
% within Taalgebruik
10,3%
25,0%
17,6%
13,2%
7,0%
1,6%
4,7%
13,2%
87
8
34
129
87,0
8,0
34,0
129,0
% within Type Auditor
67,4%
6,2%
26,4%
100,0%
% within Taalgebruik
100,0%
100,0%
100,0%
100,0%
Count
Count Expected Count
Beginner
Count Expected Count
% of Total Total
Total
3
Expected Count
Situationeel
Niet in te delen
37
Expected Count
Concreet
Ja
Count Expected Count
Pagina 72 van 75
Case Processing Summary Cases Valid N
Missing
Percent
N
% of Total
Percent
67,4%
Chi-Square Tests Asymp. Sig. (2Value
df
sided)
3,748a
6
,711
Likelihood Ratio
3,658
6
,723
Linear-by-Linear
,014
1
,905
Pearson Chi-Square
Association N of Valid Cases
129
a. 6 cells (50,0%) have expected count less than 5. The minimum expected count is 1,05.
Pagina 73 van 75
Total
6,2%
N
Percent 26,4%
100,0%
Voorkeur Case Processing Summary Cases Valid N Type Auditor * Voorkeur
Missing
Percent 129
100,0%
N
Total
Percent 0
N
,0%
Percent 129
100,0%
Type Auditor * Voorkeur Crosstabulation Voorkeur Nee Type Auditor Abstract
Count
32
57
23,9
33,1
57,0
% within Type Auditor
43,9%
56,1%
100,0%
% within Voorkeur
46,3%
42,7%
44,2%
% of Total
19,4%
24,8%
44,2%
9
9
18
7,5
10,5
18,0
% within Type Auditor
50,0%
50,0%
100,0%
% within Voorkeur
16,7%
12,0%
14,0%
7,0%
7,0%
14,0%
14
23
37
15,5
21,5
37,0
% within Type Auditor
37,8%
62,2%
100,0%
% within Voorkeur
25,9%
30,7%
28,7%
% of Total
10,9%
17,8%
28,7%
6
11
17
7,1
9,9
17,0
% within Type Auditor
35,3%
64,7%
100,0%
% within Voorkeur
11,1%
14,7%
13,2%
4,7%
8,5%
13,2%
54
75
129
54,0
75,0
129,0
41,9%
58,1%
100,0%
Count Expected Count
% of Total Situationeel
Count Expected Count
Beginner
Count Expected Count
% of Total Total
Total
25
Expected Count
Concreet
Ja
Count Expected Count % within Type Auditor
Pagina 74 van 75
% within Voorkeur % of Total
100,0%
100,0%
100,0%
41,9%
58,1%
100,0%
Chi-Square Tests Asymp. Sig. (2Value
df
sided)
1,131a
3
,770
Likelihood Ratio
1,132
3
,769
Linear-by-Linear
,600
1
,439
Pearson Chi-Square
Association N of Valid Cases
129
a. 0 cells (,0%) have expected count less than 5. The minimum expected count is 7,12.
Pagina 75 van 75
