Auditmethodologie, meta-tool voor klantgericht auditen

Auditmethodologie, meta-tool voor klantgericht auditen J.H.M. Otten, P.A. Hartog en A. Babeliowsky

∗

Om een waardevolle, significante bijdrage te leveren aan de kennisbehoefte van de organisatie, dient de operational auditor gebruik te maken van een methodologisch verantwoorde benadering, die moet waarborgen dat het auditresultaat relevant en deugdelijk (betrouwbaar en reproduceerbaar) is én dat de audit efficiënt wordt uitgevoerd. Zeker in een tijd dat steeds meer audits op verzoek worden uitgevoerd en meer variatie in auditonderwerpen optreedt, zullen standaardonderzoeksaanpakken en –referentiemodellen vaker niet goed ‘passen’ bij de onderzoeksvraag. In dat geval dient de auditor te beschikken over een methode om, gegeven de specifieke opdracht en setting, de audit adequaat te ontwerpen. Deze methodologische benadering kan worden gezien als een ‘framework’ van te expliciteren, methodisch verantwoorde beslissingen waarbinnen de audit wordt uitgevoerd. Dit ‘framework’ biedt de operational auditor handvatten om in zijn context van auditdoel, auditsituatie en auditmiddelen de meest verantwoorde en passende auditmethoden en technieken te kiezen. In dit artikel beschrijven we een dergelijk ‘framework’. We zullen de audit presenteren als een proces van beslissingen van methodische aard gericht op het realiseren van de hiervoor genoemde kwaliteitseisen. Deze benaderingswijze is in belangrijke mate geïnspireerd door de visie op het ontwerpen van onderzoek die Piet Verschuren en Hans Doorewaard uiteen hebben gezet (Verschuren en Doorewaard, 1998). 1.

Een ‘framework’ voor het ontwerp van operational audits

De operational auditor neemt bij het ontwerp van de audit besluiten van conceptuele en technische aard. Het betreft beslissingen over de onderzoekseenheden en de eigenschappen die moeten worden onderzocht. Behalve de vraag wat onderzocht moet worden, is uiteraard de vraag aan de orde waarom het onderzoek van belang is. Wat is de kennisbehoefte van de opdrachtgever? Welk doel streeft de opdrachtgever na met het auditresultaat? Naast deze conceptuele of inhoudelijke aspecten stelt de auditor zich de vraag hoe, waar en wanneer de auditgegevens verzameld moeten worden en op welke wijze kan worden gewaarborgd dat een valide en betrouwbaar beeld van de werkelijkheid wordt verkregen. De antwoorden op deze vragen leveren het technisch ontwerp van de audit op. In figuur 1 zijn de onderdelen van het ‘framework’ weergegeven. Ieder onderdeel kent zijn eigen specifieke methodische beslissingen. Samen moeten ze waarborgen dat een relevant, deugdelijk en efficiënt verkregen auditresultaat wordt opgeleverd en vormen zij de elementen van het plan van aanpak van de audit. Uitgaande van de auditcontext worden de conceptuele en technische ontwerponderdelen, in de praktijk iteratief toegepast. De auteurs zijn werkzaam bij Auditing & Consulting Services in Driebergen (www.acs.nl). Drs. J.H.M. Otten is managing partner en docent aan de Erasmus Universiteit Rotterdam. Drs. P.A. Hartog is senior consultant. Drs. A. Babeliowsky is senior consultant en docent aan de Erasmus Universiteit Rotterdam. ∗

Figuur 1. ‘Framework’ voor een auditontwerp.

In het bestek van dit artikel ontbreekt het aan de mogelijkheid alle onderdelen uitvoerig te behandelen. Hoewel het technisch ontwerp ook sterk bepalend is voor de deugdelijkheid en de efficiency van de audit, zullen wij met name ingaan op de auditcontext en het conceptueel ontwerp. Daarin ligt niet alleen de basis voor de deugdelijkheid en efficiency, maar ook is dat deel bepalend voor de relevantie van de audit. 2.

De Auditcontext

De audit wordt ontworpen en uitgevoerd in een specifieke context. Allereerst is daarbij de selectie van het auditonderwerp aan de orde. Met de keuze van het onderwerp wordt in belangrijke mate de relevantie van het uiteindelijk op te leveren auditresultaat bepaald. Ongeacht of het audit-object wordt geselecteerd op basis van een risico-analyse of direct wordt aangereikt door het (top)management, is een grondige verkenning van de auditcontext van belang. Een dergelijke verkenning bestaat uit de volgende drie onderdelen: 1. Een kennisbehoefteanalyse. De auditor dient bij de start van de audit uitvoerig stil te staan bij de vraag wat de kennisbehoefte van de opdrachtgever is. Wat is voor de opdrachtgever relevante informatie? Het beantwoorden van deze vraag kan leiden tot drie wezenlijk verschillende soorten van auditvragen: a. Is er sprake van een (beheers)probleem? Wat is het probleem? Wat is de omvang van het probleem? De opdrachtgever wenst bijvoorbeeld zekerheid over de vraag of in een bepaald proces of organisatieonderdeel voldoende waarborgen zijn getroffen om de geplande doelstellingen te realiseren. Het is de meest traditionele auditvraag die wordt beantwoord door een zogenaamde probleemsignalerende audit.

Auditing & Consulting Services Arnhemsebovenweg 40 3971 MK Driebergen Tel 0343 524 111 [email protected] www.acs.nl www.auditing.nl www.programmemanagement.eu www.kadplus.nl

b. Er doen zich ook situaties voor waarin de opdrachtgever al op de hoogte is van het bestaan van een probleem. Het is weinig relevant en voegt als gevolg weinig of geen waarde toe als de auditor in dit geval een probleemsignalerende audit uitvoert. Mogelijk dat de opdrachtgever een idee heeft van de oorzaken van het probleem. Hij zou hierover zekerheid willen door opdracht te geven aan de auditor de juistheid van dit idee te onderzoeken en hierover een oordeel te geven. We spreken in dit geval van een diagnostische audit. c. Het is ook mogelijk dat de opdrachtgever weet van het probleem en ook zeker is van de factoren die het probleem hebben veroorzaakt. Mogelijk heeft hij al een gedachte ontwikkeld over de oplossing van het probleem. Ook in dit geval kan hij bij de auditor terecht als hij meer zekerheid wil over de vraag of het een goede oplossing is. En auditor die met een dergelijke vraag van de opdrachtgever aan de slag gaat voert een zogenaamde ontwerpgerichte audit uit. Het onderscheiden van deze auditsoorten is van groot belang voor het vervolg van het auditontwerp. Zoals verderop zal blijken, horen bij elk van deze audittypen specifieke methodische keuzen. In de praktijk gaat het hier vaak mis. In veel gevallen zien we dat probleemsignalerende audits worden uitgevoerd, terwijl het management eigelijk al van het probleem op de hoogte is en dus meer gebaat zou zijn bij bijvoorbeeld een diagnostische audit. Ook komt het voor dat een probleemsignalerende audit wordt beëindigd met het geven van concrete adviezen over hoe het probleem op te lossen. Dit terwijl niet gekeken is naar de oorzaken van de betreffende problematiek en ook geen onderzoek is gedaan naar de effectiviteit van de aangedragen oplossing. Het geven van adviezen, als vaste afsluiting van (probleemsignalerende) audits, komt voort uit de op zich terechte wens van auditors relevante auditresultaten op te leveren en toegevoegde waarde te bieden aan de opdrachtgever. Adviezen over het oplossen van geconstateerde problemen dienen echter gestoeld te zijn op gedegen onderzoek. Bovendien bestaat het risico dat als gevolg van de rol en positie van de auditor een niet nader onderzochte en wellicht als ‘service’ bedoelde aanbeveling als dwingend of voorschrijvend wordt opgevat. De primaire taak van de operational auditor bestaat uit het bieden van (additionele) zekerheid. Maar zoals hiervoor betoogd, kan het verstrekken van deze zekerheid wel op verschillende niveaus in een verbetertraject plaatsvinden. 2. Inhoudelijke contextanalyse. Deze analyse onderzoekt de aard en inhoud van de auditcontext. Welke problematiek speelt er? Wat zijn de achtergronden daarvan? Welke aspecten zijn van belang? Dit zijn voorbeelden van vragen die tijdens de inhoudelijke contextanalyse aan de orde zijn. Deze kennis stelt de auditor in staat de opdrachtgever te helpen bij het formuleren van de juiste auditvraag en biedt hem de mogelijkheid tijdens de voorbereiding van de audit te adviseren over de ‘soll-situatie’, waaraan de werkelijkheid kan worden getoetst. In vergelijking tot wat tot nu toe gebruikelijk is, verschuift de adviesfunctie van de auditor daarbij dus van het eind van de audit naar de start van het auditontwerp. Verderop komen we hier nog op terug. 3. Technische contextanalyse. Deze analyse heeft tot doel de betrouwbaarheids- en efficiëntierisico’s in kaart te brengen om daar vervolgens bij het ontwerp van de audit


rekening mee te houden. Hoe wordt door de betrokkenen tegen de audit en de te onderzoeken problematiek aangekeken? Bestaan er verborgen agenda’s? Wie heeft welke belangen? Bestaan er ethische bezwaren? Is de audit binnen het gestelde budget (tijd en financieel) haalbaar? Het resultaat van de technische verkenning van de context bepaalt mede de keuze voor de methoden en technieken voor het verzamelen van gegevens tijdens de uitvoering van de audit. Als de auditcontext in kaart is gebracht kan een start worden gemaakt met het ontwerp van de audit. 3.

Conceptueel ontwerp

3.1.

Auditdoelstelling

De formulering van de doelstelling van de audit vindt plaats vanuit de insteek van de opdrachtgever. De doelstelling geeft aan wat de opdrachtgever met het auditresultaat beoogt. In dit verband spreken we ook wel van de externe vraagstelling van de audit. De formulering van de auditdoelstelling sluit nauw aan op de resultaten van kennisbehoefteanalyse. Zo zal een probleemsignalerende audit resultaten moeten opleveren die geschikt zijn voor bewustmaking, agendasetting of consensusvorming, terwijl een diagnostische audit vooral inzicht in oorzaken moet opleveren. De formulering van de doelstelling moet ook informatierijk zijn. Niet alleen het door de opdrachtgever beoogde externe effect moet worden verwoord, ook dient globaal te worden aangegeven waar naar gekeken wordt (het auditobject) en welke referentie (de auditoptiek) daarbij wordt gehanteerd. 3.2.

Auditmodel

Het tweede onderdeel van het conceptueel ontwerp betreft de constructie van het auditmodel. Het auditmodel vormt de inhoudelijke afbakening van de audit. Hierbij gaat het om twee zeer wezenlijke onderdelen van het ontwerp, namelijk het auditobject en de auditoptiek. Het auditobject is het onderwerp (proces, organisatieonderdeel, thema, enz.) dat de auditor bestudeert en waarover hij op basis van zijn onderzoek uitspraken doet. De auditoptiek geeft aan hoe naar het object wordt gekeken. Het is de bril waardoor de auditor kijkt. De optiek geeft aan welke inhoudelijke aspecten van het object bestudeerd zullen worden. De gekozen optiek dient uiteraard nauw aan te sluiten op de doelstelling van de audit. Daarbij speelt een aantal belangrijke methodische vraagstukken. Niet iedere optiek is geschikt voor elk audittype. Zo zal een diagnostische audit moeten worden voorzien van een auditoptiek waarin causale relaties zijn opgenomen, een zogenaamde causale optiek. Een diagnostische audit immers dient inzicht op te leveren in de veroorzakende factoren van een bepaalde problematiek. Bij een probleemsignalerende audit kan worden volstaan met een optiek zonder causaliteit. Niet het verband tussen A en B staat centraal, maar bijvoorbeeld de aan- of afwezigheid van A en B. We spreken dan van een procedurele optiek. Van iedere optiek een voorbeeld:


a. Een procedurele optiek: is de allocatie van taken, verantwoordelijkheden en bevoegdheden in de organisatie beschreven? b. Een causale optiek: sluit de allocatie van taken, verantwoordelijkheden en bevoegdheden aan op de eisen die hieraan worden gesteld vanuit de kritische succesfactor ‘klantgerichtheid’? De optiek van een ontwerpgerichte audit is afhankelijk van de specifieke vraagstelling. Deze kan zowel procedureel als causaal zijn. De vraagstelling kan zijn gericht op bijvoorbeeld de volledigheid van het ontwerp of op de formele eisen waaraan het ontwerp dient te voldoen. In dat geval kan worden volstaan met een procedurele optiek. Echter als de vraagstelling betrekking heeft op de inhoudelijke effectiviteit van het ontwerp dient voor een causale optiek te worden gekozen. Het is ook mogelijk dat niet het ontwerp zelf moet worden beoordeeld, maar de haalbaarheid van de implementatie van het ontwerp. In dat geval maakt de auditor gebruik van een procedurele optiek om de vraag te beantwoorden of de organisatie over voldoende verandervermogen beschikt om het ontwerp met succes in te voeren. De auditoptiek kan worden gebaseerd op een bestaande theorie of kan worden geconstrueerd door gebruik te maken van meerdere referenties, zoals (onderdelen) van bestaande modellen en informatiebronnen. Een en ander wordt in onderstaand voorbeeld nader toegelicht. In een organisatie wordt een audit uitgevoerd naar de interne beheersing. Het opdrachtverlenende management is er van op de hoogte dat de interne beheersing tekortkomingen kent. Men veronderstelt dat deze tekortkomingen worden veroorzaakt door onduidelijkheden en tegenstrijdigheden in de strategie van de organisatie. Deze zouden kunnen hebben geleid tot prioriteitstellingen in de procesinrichting door het locale management op basis van eigen inzichten. Men vraagt de auditor een oordeel te geven over deze diagnose. Om een dergelijke audit te kunnen uitvoeren dient de auditor te beschikken over een auditmodel met een causale optiek. In figuur 2 zijn de relaties weergegeven. Fout!Objecten kunnen niet worden gemaakt door veldcodes te bewerken. Figuur 2. De causale relaties in de auditoptiek

In onderstaande tabel zijn de centrale auditvragen weergegeven en enkele daarbij mogelijk passende referenties. Centrale auditvragen Is de geformuleerde strategie onduidelijk en komen er tegenstrijdigheden in voor? Heeft het locale management de strategie geïnterpreteerd op basis van eigen prioriteitstellingen? Zijn er verkeerde accenten gelegd in de inrichting van processen?

Mogelijke referenties • Theorieën over strategie, strategische planning, etc. • Communicatietheorieën • Theorieën over veranderingsmanagement • Theorieën over leiderschap en leiderschapstijl • Theorieën over procesinrichting, procesmanagement


Om de centrale vragen te onderzoeken dient de optiek dieper uitgewerkt te worden. Eerst worden op basis van de uiteindelijk gekozen referenties de meest relevante variabelen vastgesteld. Ten slotte worden in de volgende fase de variabelen uitgewerkt in concrete beoordelingscriteria. De vraagstelling over de procesinrichting in het voornoemde voorbeeld kan worden uitgewerkt in een aantal variabelen, die zijn afgeleid van procesmanagementmodellen (zie figuur 3). Fout!Objecten kunnen niet worden gemaakt door veldcodes te bewerken. Figuur 3. Auditvariabelen in de auditoptiek

De constructie van het auditmodel wordt afgerond met een inventarisatie van alle te onderscheiden variabelen. Dit proces dient in nauw overleg met het opdrachtgevende management te verlopen. Dit onderdeel van de audit immers bepaalt in hoge mate het antwoord op de vraag wat de auditor gaat onderzoeken. Zoals eerder aangeven is de opdrachtgever verantwoordelijk voor de relevantie van de audit en daarmee ook voor de ‘watvraag’. Het is ook in dit stadium van de audit waarin de adviesfunctie van de auditor tot zijn recht kan komen. Wanneer de auditor over voldoende deskundigheid beschikt, kan hij het management adviseren over mogelijke referenties en daaruit te kiezen auditvariabelen. Wanneer dit niet het geval is, dient (vak)inhoudelijk kennis op een andere manier te worden aangetrokken. Deskundigen van binnen of buiten de organisatie kunnen een bijdrage leveren aan de constructie van het auditmodel, de centrale auditvragen, de mogelijke referenties en de daaruit af te leiden auditvariabelen en de verdere uitwerking daarvan in beoordelingscriteria. 3.3

Beoordelingscriteria

Nadat het auditmodel is vastgesteld, dienen de variabelen van de auditoptiek nader te worden uitgewerkt in zogenaamde beoordelingscriteria. Ze vormen de eigenschappen van de auditvariabelen waarover de auditor gegevens verzamelt tijdens de uitvoering van de audit. Aan de hand van deze criteria wordt de status van de variabelen beoordeeld. De beoordelingscriteria worden geformuleerd in de vorm van gesloten beweringen. In onderstaande tabel zijn enkele voorbeelden opgenomen. Auditvariabelen Adequate meetprocedures

Effectieve ingreepmogelijkheden

Mogelijke beoordelingscriteria • De meetprocedures leiden tot juiste procesinformatie • De meetprocedures leiden tot tijdige procesinformatie • De ingrepen leiden tot structurele verbetering van het proces • De ingrepen vinden tijdig plaats

De beoordelingscriteria vormen samen een uitputtende lijst van eigenschappen van de variabelen die tijdens de audit moeten worden onderzocht. De lijst mag ook weer niet te lang worden omdat daarmee de doelmatigheid van de audit in het geding komt. De auditor zal de


juiste balans moeten vinden tussen enerzijds de toereikendheid van de beoordelingscriteria om de centrale auditvragen te beantwoorden en daarmee de doelstelling van de audit te realiseren en anderzijds de efficiency van de audit door niet meer beoordelingscriteria op te nemen dan strikt noodzakelijk. 3.4.

Begripsbepaling en operationalisatie

Beoordelingscriteria mogen niet worden verward met interviewvragen. De operationalisatie van de beoordelingscriteria moet immers nog plaatsvinden. In het onderdeel Begripsbepaling en Operationalisatie van het auditontwerp wordt bepaald op welke wijze de beoordelingscriteria worden waargenomen. Hierbij gaat het om te bepalen met welke indicator(en) een begrip in de werkelijkheid efficiënt en valide, rekening houdend met toevalsfouten en systematische fouten, kan worden gemeten. Hoewel we in dit artikel niet verder ingaan op de operationalisatie willen we wel opmerken dat daarbij nog een laatste inhoudelijke definitie van de belangrijkste begrippen wordt gegeven met als doel om mogelijke interpretatieverschillen tussen de leden van het auditteam en tussen de opdrachtgever en het team te voorkomen. Hiermee wordt het conceptueel ontwerp afgesloten en kan worden overgegaan op het technisch ontwerp van de audit: de bepaling van de wijze waarop de, inmiddels duidelijk gedefinieerde audit zal worden uitgevoerd. Centraal staan daarbij de volgende vragen: • Welke bronnen willen we gebruiken en hoe gaan we die ontsluiten? • Kiezen we voor een breedte- (een survey) of dieptestrategie (een gevalstudie)? • Hoe gaan we de totaliteit van onze bevindingen classificeren en coderen, zodat we uiteindelijk (op transparante wijze) tot oordelen op de betreffende auditvariabelen en auditvragen kunnen komen? • Hoe en wat gaan we rapporteren? • Wie (binnen het auditteam) gaat welke activiteiten wanneer uitvoeren? 4.

Afsluiting

In de praktijk wordt vaak slechts een gering gedeelte van de gehele doorlooptijd van een audit besteed aan het auditontwerp. Veelal wordt dit beschouwd als niet-effectieve tijd en wil men “snel aan de gang”. Indien alle onderdelen van het hier gepresenteerde framework voor de aanvang van de audit worden doorlopen, verandert het tijdsbeslag. Er zal meer tijd moeten worden besteed aan het ontwerp. Het voordeel is echter dat de belangrijke methodische keuzen in de audit vooraf zijn gemaakt, hetgeen tijdwinst oplevert bij de uitvoering en rapportage. Nog belangrijker is echter dat mogelijk verkeerde verwachtingen bij het opdrachtgevende management, alsmede mogelijke interpretatieverschillen tussen de auditteamleden worden voorkomen en problemen over de betekenis van gegevens en oordeelsvorming worden ondervangen. Dat zijn immers voorwaarden voor de deugdelijkheid en de relevantie van operational audits.


Literatuur • Verschuren, P. & Doorewaard, H., Het ontwerpen van een onderzoek, Lemna, Utrecht, 1998


Auditmethodologie, meta-tool voor klantgericht auditen

Recommend Documents