Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits

Erasmus Universiteit Rotterdam Economische Faculteit EURAC BV Sectie Internal/Operational Auditing

Betrouwbaarheid en Validiteit van

Kwalitatief georiënteerde Operational Audits Methoden en technieken die de betrouwbaarheid en validiteit van kwalitatief georiënteerde audits waarborgen

Den Haag, november 2003 drs. M. Bergsma

“The most serious and central difficulty in the use of qualitative data is that methods of analysis are not well formulated. For quantitative data, there are clear conventions the researcher can use. But the analyst faced with a bank of qualitative data has very few guidelines for protection against self-delusion, let alone the presentation of unreliable or invalid conclusions to scientific or policy-making audiences. How can we be sure that an “earthy,” “undeniable,” “serendipitous” finding is not in fact, wrong?” - MILES (1979)

ii

Voorwoord Dit referaat is geschreven ter afronding van de postdoctorale studie Internal/ Operational Auditing aan de Erasmus Universiteit Rotterdam. Validiteit en betrouwbaarheid, begrippen die mij als econometrist niet onbekend zijn. Met data in overvloed, heldere hypothesen en gevestigde technieken is de econometrist in staat om tot betrouwbare en valide uitkomsten te komen. Maar wat als deze econometrist heeft besloten om de wereld achter de cijfers te verkennen? De dagelijkse praktijk en de door de opleiding verkregen inzichten hebben mij doen beseffen dat binnen operational auditing kwantitatieve technieken dan niet veel soelaas bieden. Op basis van kwalitatieve data, die veelal verzameld is op basis van een kleine, selectieve steekproef dienen gefundeerde uitspraken gedaan te worden. Validiteit en betrouwbaarheid zijn ineens niet meer zulke triviale begrippen. Daarom heb ik besloten om te onderzoeken hoe bij het uitvoeren van een operational audit tot meer betrouwbare en valide onderzoeksresultaten kan worden gekomen. Ik heb met dit onderzoek mijn eigen kennis kunnen verrijken, en hoop dat ik daarnaast ook nog een nuttige bijdrage heb kunnen leveren aan het vakgebied operational auditing. Dank gaat uit naar mijn begeleider Jan Otten. Zijn interesse en inzichten in het onderhavige onderwerp hebben geleid tot waardevolle feedback tijdens de totstandkoming van dit referaat. Daarnaast wil ik mijn medestudenten Jeroen Straathof, Martin van Alphen, Han Kolthof en Ronald Majoor bedanken voor de motiverende ‘spiegelingen’ en de ontvangen steun. Mark Bergsma Den Haag, november 2003

iii

Samenvatting In dit referaat worden een viertal methoden en technieken gepresenteerd die de operational auditor kunnen helpen om op basis van kwalitatieve data tot valide en betrouwbare onderzoeksresultaten te komen. De aanleiding voor de handreiking van deze methoden en technieken komt voort uit de gedachte dat, wil een operational audit valide en betrouwbare onderzoeksresultaten opleveren, er binnen het vakgebied kennis is vereist van kwalitatieve onderzoeksmethodologie en de daaruit ontstane methoden en technieken die de validiteit en betrouwbaarheid van kwalitatief geaarde onderzoeken doen verbeteren. In dit referaat wordt aangetoond dat een operational audit overeenkomsten vertoond met de eigenschappen van kwalitatief onderzoek. Deze overeenkomsten blijken voornamelijk uit: • • • •

Het object van audit, wat veelal een proces of situatie is. Het gebruik van kwalitatieve methoden van gegevensverzameling, zoals interviews, documentanalyses en observaties. De bestudering van het object van audit in de natuurlijke omgeving. Het werken met een relatief klein aantal onderzoekseenheden (respondenten).

Vanuit de constatering dat de operational auditor juist vanwege dit kwalitatieve aspect problemen heeft met het verkrijgen van betrouwbare en valide auditresultaten, is een theoretische studie gedaan naar methoden en technieken die binnen kwalitatief onderzoek worden toegepast ter waarborging van de validiteit en betrouwbaarheid van verkregen onderzoeksresultaten. Hiervoor is allereerst bekeken op welke manier de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek geïnterpreteerd dienen te worden. Vervolgens zijn op basis van deze interpretaties mogelijke bronnen van verstoringen onderkent die de validiteit en betrouwbaarheid van verkregen onderzoeksresultaten kunnen bedreigen. Op basis van deze bronnen van verstoringen is daarna een inventarisatie gegeven van een viertal methoden en technieken die binnen kwalitatief onderzoek worden toegepast ter ondervanging van deze verstoringen. Hierbij zijn de volgende methoden en technieken onderkend: • • • •

Het testen op representativiteit (betrouwbaarheid). Het testen op onderzoekereffecten (betrouwbaarheid). Triangulatie (validiteitaspect). Feedback van respondenten (validiteitaspect).

Deze methoden en technieken zijn getoetst op relevantie en toepasbaarheid binnen operational auditing. Hiervoor is zowel een literatuurstudie uitgevoerd, als ook een praktijktoets waarbij een tweetal ervaren operational auditors om hun mening is gevraagd.

iv

De uitkomsten van deze toetsing leiden uiteindelijk tot de conclusie dat de gepresenteerde methoden en technieken relevant, en toepasbaar zijn binnen de uitvoering van een operational audit.

v

INHOUDSOPGAVE

Inhoudsopgave Inhoudsopgave .............................................................................................................1 1 Aanleiding en doelstelling.........................................................................................3 1.1

Inleiding ..........................................................................................................3

1.2

Definitie Audit ................................................................................................3

1.3

Operational Audit: Onderzoek naar object nader gedefinieerd ......................4

1.4

Operational Audit: gefundeerd oordeel, maar hoe?........................................5

1.5

Aanleiding: Operational Audit vereist kwalitatief onderzoek ........................5

1.6

Doelstelling van dit referaat............................................................................6

1.7

Probleemstelling .............................................................................................6

1.8

Gehanteerde onderzoeksaanpak......................................................................7

1.9

Opbouw van het referaat: van methodologie naar praktijk.............................7

2 Eigenschappen en toepassingsgebieden kwalitatieve methoden...........................9 2.1

Inleiding ..........................................................................................................9

2.2

Kwantitatief vs. kwalitatief: verschillende paradigma’s.................................9

2.3

Kwalitatief onderzoek: doel, methoden en criteria .......................................11

2.4

Operational audit is kwalitatief onderzoek ...................................................13

2.5

Conclusies .....................................................................................................14

3 Vergroten van betrouwbaarheid en validiteit: praktische hulpmiddelen .........15 3.1

Inleiding ........................................................................................................15

3.2

Validiteit en betrouwbaarheid binnen kwalitatief onderzoek .......................15

3.3

Bedreigingen ten aanzien van validiteit en betrouwbaarheid .......................16

3.4

Methoden voor het testen van betrouwbaarheid van de resultaten ...............17

3.5

Methoden voor het valideren van bevindingen.............................................21

3.6

Samenvatting.................................................................................................23

4 Gepresenteerde methoden relevant en toepasbaar binnen Operational Auditing? .................................................................................................................24 4.1

Inleiding ........................................................................................................24

4.2

Betrouwbaarheid: testen op representativiteit...............................................24

Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits

1

INHOUDSOPGAVE

4.3

Betrouwbaarheid: testen op onderzoekereffecten.........................................26

4.4

Validiteit: triangulatie ...................................................................................28

4.5

Validiteit: feedback van respondenten..........................................................28

4.6

Conclusies .....................................................................................................30

5 Praktijktoets: gepresenteerde methoden toegepast binnen Operational Audits?…… .............................................................................................................31 5.1

Inleiding ........................................................................................................31

5.2

Verstoringen zijn herkenbaar in dagelijkse auditpraktijk .............................31

5.3

Gepresenteerde methoden bieden mogelijkheden voor toepassing ..............32

5.4

Conclusies praktijktoets ................................................................................36

6 Eindconclusie: oordeelsvormende technieken zijn beschikbaar en toepasbaar………....................................................................................................37 6.1

Inleiding ........................................................................................................37

6.2

Eindconclusie: oordeelsvormende technieken zijn beschikbaar...................37

6.3

Afsluitende opmerkingen..............................................................................39

Geraadpleegde literatuur ............................................................................................ I


2

1 AANLEIDING EN DOESTELLING

1

Aanleiding en doelstelling “Met het begrip audit wordt het onderzoek aangeduid dat een gefundeerd oordeel moet opleveren.” - KOCKS (2003)

1.1

Inleiding

Dit referaat gaat over het verkrijgen van betrouwbare en valide onderzoeksresultaten op basis van kwalitatief georiënteerde Operational Audits. Maar waarom is de passage “kwalitatief georiënteerde” opgenomen in de titel van dit referaat? En waarom moeten onderzoeksresultaten van een audit betrouwbaar en valide zijn? Deze vragen zullen beantwoord worden in dit eerste, inleidende hoofdstuk. Hiertoe zal allereerst een formele definitie gegeven worden van het begrip ‘audit’. Vervolgens zal een aantal eigenschappen van Operational Auditing gegeven worden die maken dat deze type audits veelal kwalitatief georiënteerd zijn. Daarna zal worden aangetoond dat het juist deze eigenschappen zijn die maken dat de naleving van de formele definitie voor dit type audits nog niet zo eenvoudig is. Deze constatering heeft de aanleiding voor dit referaat gevormd, welke is weergegeven in paragraaf 1.5. In de daaropvolgende paragrafen zullen vervolgens de uit de aanleiding gevormde doelstelling met bijbehorende probleemstelling en onderzoeksvragen worden gepresenteerd. In paragraaf 1.9 zal de gehanteerde methode van onderzoek worden toegelicht. Het hoofdstuk wordt afgesloten met een weergave van de hoofdstukindeling van dit referaat.

1.2

Definitie Audit

Kocks (2003) geeft in zijn essay ‘Auditing, audit, auditor, wat moeten we ermee?’ de volgende invulling aan de definitie van het begrip auditing: “Een audit is een onderzoek met als doel het, door middel van het verzamelen en beoordelen/evalueren van evidence, toetsen van één of meerdere aspecten van een gedefinieerd object aan een vastgestelde set van normen met als doel om op grond van de resultaten van die toetsing, één of meerdere gecertificeerde oordelen te kunnen geven aan de opdrachtgever of (via de opdrachtgever) aan derden.” Kocks geeft in datzelfde essay een verdere invulling aan de verschillende elementen waaruit deze definitie is opgebouwd: •

Een audit bevat een onderzoek naar één of meerdere aspecten van een gedefinieerd object. Voor de effectiviteit en efficiëntie van de audit is het van belang dat er duidelijkheid en éénduidigheid bestaat over het object van de audit en de daarbij van toepassing zijnde aspecten. Hiertoe is inhoudelijke kennis benodigd van de aspecten waarop het object van audit beoordeeld dient te worden, en daarvoor te hanteren normen.


3


•

De onderzochte aspecten worden getoetst aan een vastgestelde set van normen. De beoordeling van het object van audit vindt plaats op basis van een set van normen. Aan de hand van deze normen kan de feitelijke situatie worden getoetst om daarover vervolgens een oordeel te kunnen geven.

•

Oordeelsvorming komt tot stand door het verzamelen, beoordelen en evalueren van bewijsmateriaal. Een audit dient tot een gefundeerd oordeel te leiden. Dit gefundeerde oordeel dient tot stand te komen door systematische toetsing van het verzamelde bewijsmateriaal aan de gestelde norm(en).

1.3

Operational Audit: Onderzoek naar object nader gedefinieerd

In voorgaande paragraaf is een formele definitie gegeven van het begrip audit. In deze paragraaf zal een drietal eigenschappen van operational audit de revue passeren die aantonen dat voor het betreffende vakgebied de naleving van deze definitie nog niet zo eenvoudig is. Een operational audit is gericht op een specifiek proces of situatie Daar waar een certificerende auditor een oordeel geeft over de uitkomsten van een bepaald proces (bijvoorbeeld de jaarrekening), geeft de operational auditor veelal een oordeel over een specifiek proces of situatie zelf (Babeliowsky; 2000)1. Met andere woorden, de operational auditor richt zich niet zozeer op het resultaat zelf, maar voornamelijk op de oordeelsvorming met betrekking tot de totstandkoming van dat resultaat. De totstandkoming van een bepaalde uitkomst is vaak niet direct waarneembaar en vereist veelal complexe operationalisaties van de te hanteren beoordelingscriteria (Otten; 2003). Dit maakt dat de operational auditor andere, indirecte, veelal kwalitatieve ontsluitingsmethoden dient te hanteren dan bijvoorbeeld de certificerende auditor. Dit blijkt bijvoorbeeld uit de constateringen van Babeliowsky (2000) 2, die stelt dat de volgende ontsluitingstechnieken binnen operational auditing het meest gebruikt worden: ondervragingen van personen, analyse van documenten en, in geringere mate, observatie van personen of van de werkelijkheid. Een operational audit wordt uitgevoerd op locatie Kenmerkend voor een operational audit is dat het object van onderzoek (bijvoorbeeld een bepaald organisatieonderdeel, en de medewerkers daarbinnen) in de natuurlijke omgeving (op locatie) wordt bestudeerd. De operational auditor gaat naar het betreffende organisatieonderdeel toe om daar ter plaatse met mensen te praten en waarnemingen te verrichten. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen Binnen een operational audit kan veelal slechts gebruik worden gemaakt van een relatief klein aantal informatiebronnen. Enerzijds kan de oorzaak hiervan worden gezocht in het feit dat de auditor zich richt op een specifiek proces of situatie binnen 1

Dit onderscheid in toetsing wordt aangegeven door de termen ‘performancetoets’ (gericht op uitkomsten) en ‘systeemtoets’ (gericht op de totstandkoming van uitkomsten). 2 “De kwaliteit van Operational Auditing”, A. Babeliowsky, 2000


4


een organisatie. Deze afbakening zorgt ervoor dat er slechts een relatief klein aantal bronnen (bijv. personen, documenten) beschikbaar zijn die over relevante kennis beschikken met betrekking tot dat proces. Een andere oorzaak is dat eerdergenoemde kwalitatieve methoden van gegevensontsluiting zeer arbeidsintensief van aard zijn. Het ontwikkelen van interviewvragen, afnemen van interviews en verwerken van de verzamelde gegevens zijn tijdrovende activiteiten voor de auditor. Daarnaast is er ook niet veel voorstellingsvermogen nodig om het tijdrovende element van een techniek als observatie te herkennen. De restricties die aspecten als budget en doorlooptijd aan de uitvoering van een audit opleggen, maken dat de operational auditor maar een beperkt aantal gegevensbronnen kan raadplegen.

1.4

Operational Audit: gefundeerd oordeel, maar hoe?

De auditor vormt een oordeel op basis van het verzamelen, beoordelen en evalueren van bewijsmateriaal. Op basis van de hiervoor besproken eigenschappen van operational audit, zal deze oordeelsvorming voornamelijk kwalitatief tot stand moeten komen. Allereerst vergt de constatering dat de gehanteerde methoden van gegevensontsluiting kwalitatief van aard zijn, eveneens een kwalitatieve verwerking van deze gegevens. Daarnaast zorgt het feit dat er slechts een relatief klein aantal gegevensbronnen ontsloten kunnen worden ervoor dat de aldus verzamelde gegevens niet kwantitatief geanalyseerd kunnen worden. De auditor is hierdoor aangewezen op een kwalitatieve manier van oordeelsvorming. Een belangrijk aspect van het verkregen bewijsmateriaal en het daarop gefundeerde oordeel is dat deze betrouwbaar en valide dienen te zijn. Het is het kwalitatieve aspect van de gehanteerde methoden en technieken die het voor de operational auditor moeilijk maakt om de betrouwbaarheid en validiteit van zijn onderzoeksresultaten aan te tonen. Otten, Hartog en Babeliowsky (2003) constateren: “Many problems arise during qualitative analysis of data, and we often see that this part of the operational audit leads to unclear and implicit results; validity and reproducibility cannot be substantiated”. Deze problemen zijn voer voor criticasters die hun twijfels hebben over het nut en toegevoegde waarde van operational audits. De Korte (2003) verwoord een veel gehoorde opvatting als volgt: “De auditor beperkt zich tot het cumuleren en verwoorden van meningen over…”

1.5

Aanleiding: Operational Audit vereist kwalitatief onderzoek

In voorgaande paragrafen is beargumenteerd dat een operational audit zich kenmerkt door het gebruik van voornamelijk kwalitatieve onderzoeksmethoden, maar als gevolg daarvan problemen ontstaan bij het waarborgen dat de onderzoeksresultaten valide en betrouwbaar zijn. De aanleiding voor dit referaat komt dan ook voort uit de gedachte dat, wil een operational audit valide en betrouwbare onderzoeksresultaten opleveren, er binnen het vakgebied kennis is vereist van kwalitatieve onderzoeksmethodologie en de daaruit


5


ontstane methoden en technieken die de validiteit en betrouwbaarheid van kwalitatief geaarde onderzoeken doen verbeteren.

1.6

Doelstelling van dit referaat

De bovengeschetste problematiek waarmee de operational auditor worstelt ten aanzien van validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten is niet nieuw en evenmin uniek. Vooral binnen de sociale- en psychologische wetenschap wordt al decennia lang een debat gevoerd dat zich voornamelijk richt op de vraag in hoeverre bevindingen verkregen op basis van kwalitatief onderzoek betrouwbaar en valide zijn. Dit debat wordt gevoerd tussen de aanhangers van twee verschillende wetenschapsfilosofische stromingen die leiden tot verschillende strategieën van onderzoek en verschillende onderzoeksdata: de positivistische aanpak en de interpretatieve aanpak. De positivistische aanpak ligt ten grondslag aan het gebruik van kwantitatieve methoden, terwijl de interpretatieve aanpak ten grondslag ligt aan het gebruik van kwalitatieve methoden3. Illustrerend voor de vraag waarmee kwalitatieve onderzoekers in het verleden hebben geworsteld is het in het voorwoord vermelde citaat van socioloog Matthew Miles. Het citaat is van bijna 25 jaar geleden, en binnen de sociologie is in die tijd hard gewerkt aan methoden en technieken om op basis van kwalitatieve data tot een gefundeerde oordeelsvorming te komen. Getuige het in de voorgaande paragraaf vermelde citaat van Otten c.s., is er binnen de operational audit nog weinig bekend over deze ontwikkelde technieken. Dit referaat wil bijdragen aan het verhogen van deze bekendheid, en heeft daarom de volgende doelstelling: Het doel van het onderzoek is het aanreiken van methoden en technieken voor oordeelsvorming die kunnen zorgen voor een verbetering van de betrouwbaarheid en validiteit van de resultaten van audits met een kwalitatief onderzoekskarakter.

1.7

Probleemstelling

Centrale vraag Voor de realisatie van de in de vorige paragraaf genoemde doelstelling is de volgende centrale onderzoeksvraag geformuleerd: Zijn er oordeelsvormende methoden en technieken binnen de kwalitatieve onderzoeksmethodologie beschikbaar die de betrouwbaarheid en validiteit van kwalitatief verkregen auditresultaten kunnen doen verbeteren?

3

In hoofdstuk 2 zal dieper worden ingegaan op de inhoud en kenmerkende verschillen van beide stromingen.


6


Onderzoeksvragen Voor de beantwoording van de centrale vraag zijn de volgende onderzoeksvragen gedefinieerd: 1. Wat zijn de methodologische eigenschappen van kwalitatief onderzoek? 2. Kunnen deze eigenschappen worden teruggevonden in de hierboven beschreven kenmerken van operational audit? 3. Met behulp van welke oordeelsvormende methoden en technieken wordt binnen de kwalitatieve onderzoeksmethodologie de betrouwbaarheid en validiteit van onderzoeksresultaten gewaarborgd? 4. Zijn deze methoden en technieken relevant en toepasbaar binnen de uitvoering van een operational audit? 5. Praktijktoets: Zijn de onderkende bronnen van verstoringen herkenbaar in de dagelijkse praktijk van de operational auditor? Bieden de besproken methoden en technieken een uitkomst bij het ondervangen van deze bronnen van verstoringen?

1.8

Gehanteerde onderzoeksaanpak

Voor de onderzoeksvragen 1 t/m 4 is literatuur op de gebieden van kwalitatief onderzoek en (operational) auditing bestudeerd. Deze literatuur is deels gebaseerd op empirisch onderzoek. De eerste vier hoofdstukken van dit referaat zullen de bevindingen en conclusies op basis van deze literatuurstudie bevatten. Voor de beantwoording van onderzoeksvraag vijf is gebruik gemaakt van een praktijkcomponent. De doelstelling van dit praktijkcomponent is om de theoretisch verkregen conclusies te toetsen aan de praktijk binnen operational auditing. Hiertoe zijn de theoretische inzichten uit hoofdstuk één tot en met vier voorgelegd aan een tweetal operational auditors. Bij de selectie van deze twee auditors is voornamelijk gelet op de ruime ervaring die zij binnen het vakgebied operational auditing hebben, en de variëteit in door hun uitgevoerde operational audits. De reacties van de auditors zijn op basis met interviews met hen verzameld. De grote lijn in deze reacties is verwoord in hoofdstuk vijf.

1.9

Opbouw van het referaat: van methodologie naar praktijk

In het navolgende hoofdstuk zal dieper worden ingegaan op de methodologische eigenschappen van kwalitatieve onderzoeksmethoden. Hierbij zal tevens bekeken worden in hoeverre deze eigenschappen aansluiten bij de eerder gekenschetste kenmerken van een operational audit. De conclusies van dit hoofdstuk zullen een antwoord vormen op de eerste twee onderzoeksvragen. In hoofdstuk drie zal vervolgens dieper worden ingegaan op de manier waarop de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek worden ingevuld. Op basis van deze invulling zullen vervolgens methoden en technieken besproken worden die de validiteit en betrouwbaarheid waarborgen. Met het


7


bespreken van deze methoden en technieken is dan de derde onderzoeksvraag beantwoord. Vervolgens zal in hoofdstuk vier bekeken worden in hoeverre deze methoden en technieken toepasbaar zijn binnen de operational audit. Hierbij zal tevens gekeken worden naar eventuele praktische bezwaren bij het in de praktijk toepassen van deze methoden en technieken. De uitkomsten van deze analyse vormen het antwoord op onderzoeksvraag vier. In hoofdstuk vijf zal aan de hand van een praktijktoets de relevantie en toepasbaarheid van de gepresenteerde methoden en technieken worden achterhaald. De conclusies van deze praktijktoets zullen dienen voor de beantwoording van onderzoeksvraag vijf. In het zesde en tevens laatste hoofdstuk zal de geformuleerde centrale probleemstelling worden beantwoord. Dit antwoord zal vervolgens onderbouwd worden door beantwoording van de aan de probleemstelling onderliggende onderzoeksvragen.


8

2 EIGENSCHAPPEN EN TOEPASSINGSGEBIEDEN KWALITATIEVE METHODEN

2

Eigenschappen en toepassingsgebieden kwalitatieve methoden “The label qualitative methods has no precise meaning in any of the social sciences. It is at best an umbrella term covering an array of interpretive techniques which seek to describe, decode, translate an otherwise come to terms with the meaning, not the frequency, of certain more or less naturally occurring phenomena in the social world.” - VAN MAANEN (1979)

2.1

Inleiding

In het voorgaande hoofdstuk is vastgesteld dat het vakgebied operational auditing niet zonder kwalitatief onderzoek kan. In dit hoofdstuk zal deze stelling verder onderbouwd worden. Hiertoe zullen allereerst de karakteristieken van kwalitatieve onderzoeksmethoden in kaart worden gebracht. Deze karakteristieken zullen worden geïdentificeerd door een vergelijking te maken tussen kwalitatieve methoden en kwantitatieve methoden. Vervolgens zal een vergelijking worden gemaakt tussen deze karakteristieken en de in het voorgaande hoofdstuk gekenschetste kenmerken van een operational audit. Uit deze vergelijking zal blijken dat de operational auditor baat heeft bij kennis van kwalitatieve onderzoeksmethoden en het daaraan ten grondslag liggende paradigma.

2.2

Kwantitatief vs. kwalitatief: verschillende paradigma’s

Verschil in paradigma: positivisme vs. interpretatief Een analyse van de verschillen tussen kwantitatieve en kwalitatieve methoden begint bij de onderkenning dat beide aanpakken verschillende onderliggende paradigma’s hebben4. Deze twee paradigma’s zijn respectievelijk bekend als de positivistische aanpak en de interpretatieve aanpak (zie bijv. Cherryholmes; 1992, Guba en Lincoln; 1994). De filosofieën achter beide paradigma’s zijn zeer verschillend. De gedachte achter het positivistische paradigma is dat er een objectieve, eenduidige waarheid in de wereld bestaat die achterhaald kan worden door wetenschappelijke methoden waarbij de nadruk ligt op het systematisch en statistisch meten van relaties tussen de verschillende variabelen. (Giorgi; 1970, Spiegelberg; 1972). Het interpretatieve paradigma gaat uit van de perceptie dat er geen eenduidige objectiviteit en realiteit bestaat. Volgens dit paradigma bestaan er vele realiteiten die ontstaan door de verschillende ervaringen die individuen beleven. Verschil in theorievorming: deductie vs. inductie De gedachte dat verschillende methoden gebaseerd zijn op verschillende filosofieën heeft gevolgen op meerdere vlakken. Ten eerste is de theorievorming verschillend. 4

Cassel, S. en Symon G. (1994)


9


Binnen de positivistische aanpak worden theorieën gevormd op basis van het zogenaamde deductieprincipe. Binnen het deductieve principe worden op basis van algemeen geldende theorieën hypothesen gevormd voor bijzondere situaties. Deze hypothesen worden vervolgens getoetst aan de hand van observaties op basis waarvan de hypothese verworpen of aangenomen wordt. Samenvattend kan gesteld worden dat met deductie, vanuit het algemene het bijzondere verklaart probeert te worden. Binnen de interpretatieve aanpak vindt theorievorming plaats op basis van inductie. Bij deze aanpak worden op basis van bijzondere gevallen (waarnemingen) algemene wetmatigheden afgeleid. Het inductieve principe begint dan ook bij waarnemingen van bijzondere gevallen. Op basis van deze waarnemingen worden patronen geïdentificeerd die op basis van het testen van hypothesen tot algemeen geldende theorieën moeten leiden. Verschil in kennisperceptie: Objectieve outsider vs. subjectieve insider Naast de wijze van theorievorming bestaat het tweede belangrijke verschil tussen de beide paradigma’s uit vraag wat de ware aard van kennis is. Het positivisme gaat er vanuit dat er een volledige onafhankelijkheid bestaat tussen de onderzoeker en het onderzochte. De onderzoeker is een buitenstaander die slechts observeert en registreert. Alleen in deze onafhankelijke, objectieve relatie kan volgens de positivistische benadering kennis met betrekking tot de realiteit achterhaald worden. De relativistische benadering gaat er daarentegen van uit dat de onderzoeker onderdeel is van het onderzochte en daar ook invloed op heeft. Met andere woorden, er bestaat afhankelijkheid in de relatie tussen de onderzoeker en het onderzochte. Dit verschil in inzicht speelt een belangrijke rol wanneer er wordt gekeken naar de criteria op basis waarvan de uitkomsten van een onderzoek geëvalueerd worden. In de volgende paragraaf zal hierop dieper worden ingegaan. Samenvatting In deze paragraaf is globaal ingegaan op de verschillen in paradigma’s die ten grondslag liggen aan de kwantitatieve methoden en kwalitatieve methoden5. Samengevat zijn de volgende verschillen aan de orde gekomen: Paradigma Realiteitsperceptie Theorievorming Werkelijke aard van kennis

Kwantitatief Positivistisch Er bestaat een objectieve, eenduidige waarheid Deductief (van algemeen naar specifiek) Kennis wordt vergaard als objectieve outsider.

Kwalitatief Interpretatief Er bestaat meerdere realiteiten, gevormd door individuele percepties Inductief (van specifiek naar algemeen) Kennis wordt vergaard als subjectieve insider.

Tabel 2.1:Kwantitatief vs. kwalitatief: verschillen in paradigma’s

5

Voor verdere beschouwing van dit onderwerp worde de geïnteresseerde lezer in dit onderwerp verwezen naar de vele literatuur die op dit gebied aanwezig is (bijvoorbeeld: Brymann ,1988; Cook en Reichardt, 1978; Henwood en Pidgeon, 1992; Lincoln en Guba, 1985). Deze suggesties zijn overgenomen uit: “Qualitative Methods in Organisational Research”, Cassell en Symon, 1994


10


In de volgende paragraaf zal worden ingegaan op de gevolgen die het interpretatieve paradigma heeft op de onderzoeksdoelen, -methoden en evaluatiecriteria binnen het kwalitatieve onderzoek.

2.3

Kwalitatief onderzoek: doel, methoden en criteria

In deze paragraaf zullen de eigenschappen van kwalitatief onderzoek nader belicht worden. Dit zal worden vormgegeven door te kijken naar hoe voor het kwalitatief onderzoek diverse aspecten zoals onderzoeksdoelstelling, onderzoekstechnieken en de rol van de onderzoeker vanuit het interpretatieve paradigma worden ingevuld. Doelstellingen kwalitatief onderzoek Kwalitatief onderzoek richt zich hoofdzakelijk op het begrijpen en interpreteren van processen, gebeurtenissen of ontwikkelingen. De context waarin deze gebeurtenissen zich afspelen speelt hierbij een belangrijke rol. Het interpretatieve paradigma erkent de invloed die een situatie (de context) heeft op gedrag, en dat gedrag ook weer invloed op de situatie heeft6. Kwalitatief onderzoek heeft dan ook niet, zoals veelal wel bij kwantitatief onderzoek het geval is, als doel om oorzaak-gevolg relaties te achterhalen. Dit is volgens de holistische aanpak eenvoudig weg niet mogelijk doordat oorzaak en gevolg onderling afhankelijk zijn. Het kwalitatief onderzoek richt zich op het begrijpen van deze onderlinge afhankelijkheden. Een ander gevolg van de belangrijke rol die het begrip context en de invloed daarvan binnen kwalitatieve onderzoeken speelt, is dat dergelijke onderzoeken zich niet richten op de mate van generaliseerbaarheid van de uitkomsten. De specifieke tijden omgevingafhankelijke context waarbinnen een bepaalde bevinding is gedaan, maakt volgens het interpretatieve paradigma het generaliseren onmogelijk (Lincoln en Guba; 1985). Een juiste interpretatie van bevindingen is dus alleen mogelijk wanneer deze in de relatie tot de context worden gezien. Onderzoeksmethoden Zoals de tegenstelling kwantitatief versus kwalitatief al aangeeft, zijn laatstgenoemde methoden niet gericht op getallen. Dit is wellicht een te enge opvatting. Getallen zijn zeker geen taboe binnen kwalitatieve onderzoeken, maar er wordt kritisch naar de toegevoegde waarde van het cijfermatig inzicht gekeken7. Kwalitatieve methoden worden vaak geassocieerd met het verzamelen en analyseren van geschreven of gesproken tekst, of de directe observatie van gebeurtenissen. Eerder in deze paragraaf is de mate van importantie van de contextuele omstandigheden in relatie tot het object van onderzoek beschreven. Op basis van dit 6

Dit wordt ook wel aangeduid als de ‘holistische’ aanpak. Van Dale omschrijft holisme als: ‘opvatting dat er een samenhang bestaat in de werkelijkheid die enkel uit een beschouwing van het geheel blijkt en niet terug te vinden is in de onderdelen’ 7 Kwalitatieve onderzoekers zijn het er redelijk over eens dat getallen prima gebruikt kunnen worden bij het verkrijgen van een eerste indruk, of het vaststellen dat een verandering heeft plaatsgevonden. Zodra er echter aandacht besteed moet worden aan vervolgvragen zoals ‘Wat?’, ‘Waarom?’, en ‘Hoe?’, moet volgens de onderzoekers worden teruggegrepen naar kwalitatieve methoden en technieken (gebaseerd op:Cassel en Symon (1994)).


11


uitgangspunt is dan ook binnen de sociale wetenschappen beargumenteerd dat kwalitatieve methoden onderzoek alleen onder natuurlijke omstandigheden kan plaatsvinden (Denzin; 1971, Lincoln en Guba; 1985, Marshall en Rossman; 1989). Binnen een kwalitatief onderzoek zullen minder snel a-priori beperkingen aan de classificaties binnen de verzamelde data worden opgelegd (Cassell en Symon; 1994). Dit komt voort uit de inductieve manier van theorievorming binnen het interpretatieve paradigma, waardoor een kwalitatief onderzoek minder gedreven wordt door het testen van hypothesen. Onderzoek is daarom ook meer gericht op opkomende thema’s die zich tijdens het onderzoek openbaren. Een kwalitatief onderzoek richt zich doorgaans meer op de diepte dan op de breedte. Op basis van de in het begin van deze paragraaf genoemde methoden van gegevensverzameling probeert de onderzoeker een zo volledig en gedetailleerd mogelijk inzicht en begrip te krijgen. Een nadeel van deze verzamelingmethoden is echter dat zij zeer tijden arbeidsintensief zijn. Dit heeft als gevolg dat de kwalitatieve onderzoeker veelal met een relatief klein aantal waarnemingen moet werken. Rol van de onderzoeker In de vorige paragraaf is al kort aangegeven dat de relatie van de onderzoeker met het onderzochte een afhankelijk karakter heeft. De interactieve aard van de methoden van gegevensverzameling binnen kwalitatieve onderzoek maakt dat de onderzoeker niet een observerende buitenstaander is. De onderzoeker is iemand die deel uitmaakt van het onderzoek (de onderzoeker is zelf een onderzoeksinstrument) en vanuit die rol ook invloed heeft op zijn omgeving (lees: het onderzochte). Naast het bovengenoemde aspect van afhankelijkheid, is het begrip ‘subjectiviteit’ eveneens een belangrijk aandachtspunt met betrekking tot de rol van de onderzoeker binnen kwalitatief onderzoek. Eerder is al gesteld dat de nadruk binnen kwalitatief onderzoek op het begrijpen en interpreteren ligt. Hoe bepaalde bevindingen worden geïnterpreteerd, is afhankelijk van de eigen opvattingen (normen en waarden) van de onderzoeker. Samenvatting karakteristieken In deze paragraaf is dieper ingegaan op de karakteristieken van kwalitatief onderzoek. Hiertoe is allereerst een vergelijking gemaakt tussen de onderliggende paradigma’s van kwantitatief- en kwalitatief onderzoek. Vervolgens zijn de karakteristieken op het gebied van onderzoeksdoelen, methoden en technieken en de rol van de onderzoeker aan de orde gekomen. Samenvattend zijn hierbij de volgende elementen aan de orde gekomen: Aspect Doel van het onderzoek

Methoden en technieken

Kenmerk kwalitatief onderzoek • Contextueel • Nadruk op interpretatie • Gericht op proces, niet op uitkomsten • Analyse van gesproken of geschreven text. • Onderzoek in natuurlijke omgeving • Relatief klein aantal waarnemingen, participanten


12


Rol van de onderzoeker

Tabel 2.2:Eigenschappen kwalitatief onderzoek

2.4

• • •

Persoonlijke betrokkenheid Heeft invloed op zijn omgeving Onderzoeker is subjectieve insider

Operational audit is kwalitatief onderzoek

In het inleidende hoofdstuk zijn een drietal kenmerken gegeven die typerend zijn voor een operational audit: 1. Een operational audit is gericht op een specifiek proces of situatie 2. Een operational audit wordt uitgevoerd op locatie 3. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen In de vorige paragraaf is beschreven wat de meest onderscheidende karakteristieken van kwalitatief onderzoek zijn. In deze paragraaf zal bevestigd worden dat de kenmerken van operational audit overeenkomen met de beschreven karakteristieken van kwalitatief onderzoek. Ad 1. Een operational audit is gericht op een specifiek proces of situatie In het vorige hoofdstuk is gesteld dat een operational audit zich voornamelijk richt op de beoordeling van een niet-direct waarneembaar proces of situatie. Een gevolg hiervan is dat de operational auditor genoodzaakt is tot complexe operationalisaties van de te hanteren auditvariabelen. Dit maakt dat de operational auditor indirecte, veelal kwalitatieve ontsluitingsmethoden dient te hanteren. Bij het behandelen van de doelstellingen van kwalitatief onderzoek is geconstateerd dat deze onderzoeken zich richten op het begrijpen en interpreteren van processen, gebeurtenissen of ontwikkelingen. Ook hier valt dus op te merken dat kwalitatief onderzoek zich niet zo zeer richt op de uitkomsten zelf, maar meer op de totstandkoming van die uitkomsten. Het doel om te ‘begrijpen’ en ‘interpreteren’ leidt tot kwalitatief getinte onderzoeksvragen als ‘Wat…’ en ‘Waarom…’. Dergelijke onderzoeksvragen vergen een kwalitatieve manier van gegevensverzameling. Ad 2. Een operational auditor wordt uitgevoerd op locatie Eén van de eigenschappen van een operational audit is dat deze veelal in het ‘veld’ wordt uitgevoerd. De operational auditor gaat naar het betreffende organisatieonderdeel toe om daar ter plaatse met mensen te praten, om documenten te bekijken en waarnemingen te verrichten. Dit element is eveneens heel duidelijk terug te vinden in de eigenschappen van kwalitatief onderzoek. Het interpretatieve paradigma gaat ervan uit dat het object van onderzoek niet los gezien kan worden van de specifieke tijds- en omgevingsafhankelijke context waarbinnen het object zich bevindt. Deze veronderstelling maakt dat kwalitatieve onderzoeksmethoden dan ook niet gericht zijn op het isoleren van het object van onderzoek (zoals bijvoorbeeld bij een ‘laboratoriumonderzoek), maar vooral zijn ingericht op situaties waarbij de problematiek onder natuurlijke omstandigheden onderzocht dient te worden.


13


Ad 3. Een operational audit maakt gebruik van een relatief klein aantal onderzoekselementen Er is geconstateerd dat er binnen een operational audit veelal slechts gebruik kan worden gemaakt van een relatief klein aantal informatiebronnen. Hiervoor zijn twee verschillende oorzaken aangegeven. De relatief kleine omvang van het object van audit en de arbeidsintensieve aard van de gehanteerde methoden van gegevensverzameling maken dat de operational auditor maar een beperkt aantal gegevensbronnen kan raadplegen. Dit aspect is eveneens herkend als eigenschap van kwalitatief onderzoek. Gesteld is dat een kwalitatief onderzoek zich meer richt op de diepte dan de breedte. Met behulp van kwalitatieve onderzoeksmethoden probeert de onderzoeker een zo volledig en gedetailleerd mogelijk inzicht en begrip te krijgen. De arbeids- en tijdsintensieve aard van deze methoden maakt echter dat de kwalitatieve onderzoeker veelal met een klein aantal waarnemingen moet werken.

2.5

Conclusies

In dit hoofdstuk zijn de methodologische eigenschappen van kwalitatief onderzoek besproken. Vervolgens is de vergelijking gemaakt tussen deze eigenschappen en de in het eerste hoofdstuk gekenschetste kenmerken van een operational audit. Op basis van deze vergelijking is gebleken dat eigenschappen van kwalitatief onderzoek in grote mate terug te vinden zijn binnen operational auditing. Deze overeenkomsten bestaan voornamelijk op het gebied van: het object van onderzoek (proces, situatie), de daaruit volgende gebruikte methoden van gegevensverzameling, de hoge mate van ‘veldwerk’ en het feit dat slechts een beperkt aantal bronnen geraadpleegd kunnen worden. De conclusie van dit hoofdstuk luidt dan ook dat operational auditing vooral kwalitatief onderzoek vereist. Eerder is al gesteld dat het juist het kwalitatieve aspect van de gehanteerde methoden en technieken is die het voor de operational auditor moeilijk maakt om de betrouwbaarheid en validiteit van zijn onderzoeksresultaten aan te tonen. Dit pleit er voor dat de operational auditor kennis dient te nemen van het interpretatieve paradigma en de daaruit volgende onderzoeksmethoden. Voor de acceptatie van het gebruik van deze onderzoeksmethoden moet men echter wel bereid zijn om te onderkennen dat dit paradigma afwijkt van de meer gangbare invulling van een audit. Om met Kocks (2003) te spreken: “Door het specifieke van het deelgebied kan het ook nodig zijn de algemene auditingtheorie voor dat deelgebied aan te passen omdat dat deelgebied daaraan specifieke eisen stelt. Eén van die aanpassingen zou kunnen zijn dat uit ‘deductie’ of ‘op grond van extrapolatie’ verkregen materiaal wel als evidence mag worden gebruikt.” Deze onderkenning is mooi, maar alleen van waarde wanneer kan worden aangetoond dat het aldus verkregen bewijs ook valide en betrouwbaar is. Het volgende hoofdstuk zal hiertoe een bijdrage proberen te leveren. In dit hoofdstuk zullen enkele methoden en technieken behandeld worden die de validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten waarborgen.


14

3 VERGROTEN VAN BETROUWBAARHEID EN VALIDITEIT: PRAKTISCHE HULPMIDDELEN

3

Vergroten van betrouwbaarheid en validiteit: praktische hulpmiddelen “The meanings emerging from the data have to be tested for their validity. Otherwise, we are left with interesting stories about what happened, of unknown truth and utility.” -MILES & HUBERMAN (1994)

3.1

Inleiding

In de voorgaande hoofdstukken is de conclusie getrokken dat operational audits een kwalitatieve onderzoeksaanpak vereisen. In dit hoofdstuk zal een aantal methoden en technieken worden gepresenteerd die de betrouwbaarheid en validiteit van kwalitatief verkregen onderzoeksresultaten waarborgen. Hiertoe zal allereerst worden nagegaan hoe de begrippen ‘validiteit’ en ‘betrouwbaarheid’ binnen kwalitatief onderzoek dienen te worden ingevuld. Vervolgens zal een aantal verstoringen besproken worden die voortkomen uit de eigenschappen van kwalitatief onderzoek en een bedreiging vormen voor validiteit en betrouwbaarheid. Tenslotte zal een aantal methoden en technieken worden gepresenteerd die de auditor gedurende de uitvoering van zijn onderzoek kan toepassen om te waarborgen dat deze verstoringen ondervangen kunnen worden.

3.2

Validiteit en betrouwbaarheid binnen kwalitatief onderzoek

Onafhankelijk van welke onderzoeksmethode gebruikt wordt, moeten er bij de evaluatie van de verzamelde gegevens en de daaruit voortvloeiende conclusies altijd twee fundamentele vragen gesteld worden. De eerste vraag luidt: ‘meten/verklaren de verzamelde gegevens datgene wat zij dienen te meten/verklaren?’. Deze vraag heeft betrekking op de validiteit van het onderzoek. De tweede vraag die beantwoord dient te worden heeft betrekking op de betrouwbaarheid van het onderzoek, en luidt: ‘ervan uitgaande dat het bedoelde gemeten/verklaard wordt, in hoeverre zijn deze metingen/verklaringen dan zonder fouten en/of verstoringen?’. De volgende secties van deze paragraaf zullen dieper ingaan op de interpretatie van de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek. Validiteit Binnen kwantitatief onderzoek is een meetinstrument valide wanneer deze meet wat er gemeten dient te worden. Op een gelijke manier is een kwalitatief onderzoek valide wanneer het heeft bestudeerd wat het bedoeld heeft te bestuderen. In essentie is de invulling van het begrip validiteit dus gelijk in beide onderzoeksmethoden. Toch zijn er verschillen te onderkennen. Binnen kwantitatief onderzoek is men vooral gericht op de validiteit van gehanteerde onderzoeksinstrumenten. Hierbij kan men bijvoorbeeld denken aan de vraag in hoeverre een gehanteerde schaal binnen een survey valide is. Binnen kwalitatief onderzoek ligt de nadruk daarentegen veel meer op de validiteit van de interpretaties (King; 1994). Met andere woorden, of de door de onderzoeker getrokken conclusies valide zijn in relatie tot de onderliggende verzamelde gegevens.


15


De betrokkenheid van anderen -bijvoorbeeld collega’s, onderzoeksparticipanten of experts- is van cruciaal belang bij het overwegen van validiteit binnen kwalitatief onderzoek (King; 1994). Reason en Rowan (1981) stellen hierover het volgende: ‘the only criterion for the ‘rightness’ of an interpretation is inter-subjective – that is to say, that it is right for a group of people who share a similar world’. Betrouwbaarheid Binnen kwantitatief onderzoek wordt een onderzoek als ‘betrouwbaar’ bestempeld wanneer dezelfde onderzoeksmethode, toegepast op hetzelfde onderzoeksobject maar uitgevoerd door een andere onderzoeker tot gelijke resultaten komt. Hieruit valt af te leiden dat de objectiviteit van de kwantitatief onderzoeker van groot belang is. Kwalitatief onderzoek vereist daarentegen niet van de onderzoeker dat deze naar objectiviteit streeft en afstand neemt van het object van onderzoek. Sterker nog, dit zou het uitvoeren van goed kwalitatief onderzoek onmogelijk maken aangezien de relatie tussen onderzoeker en onderzochte een essentiële rol in het onderzoeksproces speelt (King; 1994). In het kader van het gebruik van bijvoorbeeld interviews, stelt Kvale (1983) dat het juist een voordeel is dat verschillende onderzoekers die gebruik maken van hetzelfde interviewprotocol onderling verschillen in hun sensitiviteit ten aanzien van specifieke thema’s. Dit zal volgens Kvale leiden tot bredere en meer informatierijke kennis van het object van onderzoek: “The requirement of standardized objectivity here yields to the aim of individual sensitivity.” Dit betekent echter niet dat bij het analyseren van kwalitatief verkregen onderzoeksdata voorbij mag worden gegaan aan het aspect van mogelijke ‘onderzoekereffecten’. Het betrouwbaarheidsvraagstuk richt zich binnen kwalitatief onderzoek dan ook op de vraag in hoeverre de verkregen onderzoeksresultaten ‘verstoord’ worden door veronderstellingen en vooroordelen.

3.3

Bedreigingen ten aanzien van validiteit en betrouwbaarheid

Zoals gezegd richten het validteit- en betrouwbaarheidsvraagstuk zich op de vragen ‘meten/verklaren de verzamelde gegevens datgene wat zij dienen te meten/verklaren?’ (validiteit) en ‘In hoeverre zijn deze metingen/verklaringen dan zonder fouten en/of verstoringen?’. Hierbij is het van belang, dat anderen, op basis van dezelfde gegevens, tot gelijke conclusies komen. Hoe kan worden voorkomen dat een collega-onderzoeker tot andere conclusies komt? Of dat de interpretaties van een onderzoeksparticipant niet overeenkomen met die van de onderzoeker? Wanneer deze gevallen zich voordoen, is er meestal sprake van een ‘verstoring’ in het proces van de oordeelsvorming. Miles en Huberman (1994) geven de volgende drie mogelijke bronnen van deze verstoringen: 1. The holistic fallacy: de waargenomen gebeurtenissen worden als meer representatief geïnterpreteerd dan dat zij in werkelijkheid zijn, 2. Elite bias: het verzamelde materiaal afkomstig van mondige, goedgeïnformeerde, en doorgaans vooraanstaande respondenten wordt te zwaar meegewogen in de bewijsvoering, terwijl informatie afkomstig van minder mondige respondenten ondervertegenwoordigd is.


16


3. Going native: het verliezen van het eigen perspectief en oordeelsvorming door het overnemen van meningen en interpretaties van de respondenten. Deze drie vormen van verstoringen komen voort uit de eigenschappen van kwalitatief onderzoek. Werken met kleine aantallen: representatief? De eerste twee verstoringen kunnen voortkomen uit de eigenschap dat er binnen kwalitatief onderzoek slechts een beperkt aantal bronnen geraadpleegd kunnen worden. Dit maakt dat de onderzoeker veelal gebruik maakt van een strategische steekproeftrekking in plaats van een, zoals binnen kwantitatief onderzoek gebruikelijke, aselecte steekproeftrekking. Bij een strategische steekproeftrekking laat de onderzoeker zich bij haar of zijn keuze van onderzoekseenheden bewust leiden door het conceptueel ontwerp en door datgene wat hij over de onderzoekseenheden te weten wil komen. Met andere woorden, de probleemstelling treedt in de plaats van het toeval bij het selecteren van onderzoekseenheden (Verschuren en Doorewaard; 2002). Het risico van deze steekproeftechniek is echter dat de aldus verkregen bevindingen tot verkeerde generalisaties kunnen leiden. Hornby en Simon (1994) merken hierover op: “The major problem with non-probability sampling is the inability to generalize across respondents. Reliability and validity of the results are called into question because the sample size is small and ‘skewed’ and it is concluded that the results may therefore be biased” Onderzoek in natuurlijke omgeving: eigen of overgenomen opvattingen? De derde genoemde verstoring, ‘going native’ komt voornamelijk voort uit de eigenschap dat bij kwalitatief onderzoek het object van onderzoek in zijn natuurlijke omgeving bestudeerd wordt. Zeker in het begin van een onderzoek zal de aanwezigheid van de onderzoeker sociaal gedrag losmaken bij anderen wat anders niet het geval zou zijn (Miles en Huberman; 1994). Een verstoring ontstaat in dit geval wanneer de onderzoeker de ‘natuurlijke’ karakteristieken van het object van onderzoek gaat verwarren met de ‘kunstmatige’ effecten die zijn opgetreden door de ontstane relatie tussen de onderzoeker en de onderzochte. De hierboven besproken mogelijke verstoringen vormen een bedreiging voor de validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten. In de volgende paragrafen zullen een aantal methoden en technieken besproken worden die gebruikt kunnen worden om deze bedreigingen te ondervangen. Allereerst zal in de hiernavolgende paragraaf aandacht worden geschonken aan het betrouwbaarheidsaspect, waarbij methoden voor het testen van representativiteit en onderzoekereffecten besproken zullen worden. Vervolgens zal in de daaropvolgende paragraaf nader gekeken worden naar het vraagstuk van validiteit, waarbij de methoden triangulatie en feedback van respondenten besproken zullen worden.

3.4

Methoden voor het testen van betrouwbaarheid van de resultaten

In deze paragraaf zullen een tweetal methoden gepresenteerd worden die de onderzoeker kunnen helpen bij de reduceren van verstoringen die van invloed zijn op de betrouwbaarheid van de verkregen onderzoeksresultaten. Achtereenvolgens zullen


17


methoden voor ‘testen op representativiteit’ en ‘testen voor onderzoekereffecten’ besproken worden. Testen op representativiteit Wanneer tijdens het veldonderzoek een specifieke bevinding wordt gedaan, wordt veelal aangenomen dat deze representatief is voor een meer generiek probleem (Miles en Huberman; 1994). Maar de vraag is of dit daadwerkelijk zo is. En zo ja, in welke mate? Er zijn meerdere oorzaken aan te wijzen waardoor de onderzoeker op basis van specifieke bevindingen tot verkeerde generalisaties kan komen. Onderstaande tabel geeft een overzicht van de meest voorkomende valkuilen, en de daaraan gerelateerde bronnen van fouten: Valkuil Sampling nonrepresentative respondents Generalizing from nonrepresentative events or activities Drawing inferences from nonrepresentative processes

Bron Overreliance on accessible and elite respondents Researcher’s noncontinuous presence at the site; overweighting dramatic events Nonrepresentative respondents and events, heavy reliance on plausibility; good fit into emerging explanation; holistic bias.

Tabel 3.1: Valkuilen met betrekking tot representativiteit. Bron: Miles en Huberman, 1994

De eerste valkuil benadrukt het feit dat alleen die respondenten gesproken en benaderd kunnen worden, die daarvoor beschikbaar zijn. Sommige mensen zijn makkelijker benaderbaar dan anderen. Dit probleem bevat op zich zelf al een interessant signaal: de mate waarin iemand benaderbaar is kan gerelateerd zijn aan bijvoorbeeld de werkdruk, het gebrek aan bereidheid om mee te werken aan het onderzoek, of beide. De tweede valkuil volgt uit het gegeven dat de onderzoeker nu eenmaal niet constant aanwezig kan zijn. Hierdoor kan het zo zijn dat de onderzoeker zijn conclusies bepaalt op basis van niet-representatieve gebeurtenissen. Wanneer tijdens een observatie bijvoorbeeld een ruzie of een crisis wordt waargenomen, dan bestaat de neiging om aan te nemen dat dit het resultaat is van een ontwikkeling die zich heeft voorgedaan tijdens de afwezigheid van de onderzoeker, of dat het symbool staat voor een meer algemene problematiek. Deze veronderstellingen mogen dan wel geloofwaardig zijn, maar kunnen zeker niet dienen als goed onderbouwde conclusies. Bij het verklaren en interpreteren van onderliggende processen maakt de onderzoeker gebruik van de respondenten, activiteiten en gebeurtenissen die tot zijn steekproef behoren. Wanneer echter deze steekproef al niet goed is, dan kunnen aldus gegenereerde bevindingen niet buiten deze steekproef gegeneraliseerd worden. Een mogelijke manier om deze valkuilen te omzeilen, is de veronderstelling dat de verkregen uitkomsten gebaseerd zijn op selectief getrokken, niet representatieve steekproefelementen. Hierbij kan een element zowel een respondent, activiteit of proces zijn. Deze veronderstelling blijft geldig totdat de onderzoeker voor zichzelf


18


heeft aangetoond dat dit niet het geval is. Hierbij kan de onderzoeker gebruik maken van de volgende procedures (Miles en Huberman; 1994): 1. Het vergroten van de steekproef, 2. Het opzettelijk zoeken naar gevallen die de getrokken conclusies tegenspreken. 3. Het categoriseren van steekproefelementen (bijvoorbeeld naar functie (respondenten) of frequentie (activiteiten)), en identificeren van zwakvertegenwoordigde categorieën. 4. Het in plaats van selectief, willekeurig selecteren van gegevensbronnen. Bij het zoeken naar negatief bewijs gaat de onderzoeker actief op zoek naar informatie die de getrokken conclusies weerleggen. Het al dan niet kunnen vinden van dergelijk bewijs is een indicatie van de betrouwbaarheid van de getrokken conclusie. Het probleem bij deze methode is dat er geen richtlijnen bestaan hoe, en hoe lang, de onderzoeker moet zoeken naar negatief bewijs (Glaser en Strauss; 1967). Het niet kunnen vinden van negatief bewijs kan dan ook volgens Miles en Hubermann (1994) hooguit leiden tot een verhoogde betrouwbaarheid van de conclusies, maar mag nooit als doorslaggevende bevestiging van de getrokken conclusies dienen. De twee laatstgenoemde procedures worden ook veel binnen kwantitatief onderzoek toegepast, en zijn bekend onder de termen “stratificeren” en “randomiseren”. Binnen kwantitatief onderzoek worden deze methoden echter bij aanvang van het onderzoek toegepast, om op voorhand eventuele steekproef- en meetfouten uit te beheersen. Miles en Huberman (1994) pleiten ervoor om binnen kwalitatief onderzoek deze methoden pas in een later onderzoeksstadium toe te passen, als instrumenten ter verificatie van resultaten. Op deze manier heeft de onderzoeker nog steeds de vrijheid om juist dié elementen te selecteren die waarschijnlijk het meest informatief zijn op het gebied van de probleemstelling van het onderzoek, zonder dat daarbij voorbij wordt gegaan aan de vraag in hoeverre de daaruit getrokken conclusies inderdaad representatief zijn. Testen van Onderzoekereffecten Bij de bespreking van de kenmerken van kwalitatief onderzoek (zie paragraaf 2.3) is al gesteld dat de kwalitatief onderzoeker invloed heeft op het onderzochte, en vice versa. Zeker in het geval wanneer het onderzoek in de natuurlijke omgeving van het object wordt uitgevoerd kunnen beide invloedsferen een verstorende werking hebben op de totstandkoming van de conclusies. •

Invloed van onderzoeker op onderzochte. Verstoring ten gevolge van deze invloed vindt plaats wanneer de onderzoeker een bedreiging of verstoring vormt voor de normale sociale relaties binnen het object van onderzoek. De betrokken personen vragen zich af wie de onderzoeker is, wat hij of zij komt doen, en wat er gaat gebeuren met de verzamelde informatie. Bij het uitzoeken hiervan zullen de respondenten een bepaalde rol gaan aannemen die niet overeenkomt met hun normale gedrag. Daarnaast kan het zo zijn dat, ongeacht de goede bedoelingen van de onderzoeker en de mate waarin hij of zij geïntegreerd is, de respondenten het onderzoek als een vorm van verraad zien. Interne aangelegenheden worden publiek gemaakt en de ‘insiders’ blijven met de gevolgen zitten. Het gevolg van deze opvatting kan zijn


19


dat respondenten de onderzoeker gaan boycotten, omdat hij of zij wordt gezien als een spion of een voyeur. •

Invloed van het onderzochte op de onderzoeker. De kans op verstoring als gevolg van dit type invloed neemt toe wanneer de onderzoeker dusdanig veel tijd in het ‘veld’ besteedt waardoor deze niet meer in staat is om een kritische houding aan te nemen. Met andere woorden: er ontstaan verstoringen wanneer de onderzoeker de opvattingen, interpretaties en overtuigingen van de respondenten gaat overnemen. Daarnaast is het zo dat er altijd een vorm van belangentegenstelling bestaat tussen de onderzoeker en de respondent. De onderzoeker is veelal geïnteresseerd in juist die aspecten waarvan de respondent liever wil dat die niet bekend worden. De onderzoeker moet er dus vanuit gaan dat de respondenten misleidende informatie zullen geven en zal dus een meer onderzoekende rol moeten gaan aannemen.

Aangenomen dat de onderzoeker slechts een aantal maanden, weken of zelfs dagen beschikbaar heeft om in het ‘veld’ aanwezig te zijn, hoe kunnen dan beide soorten van verstoringen worden tegengegaan? Miles en Huberman (1994) geven hiervoor een aantal suggesties8: Suggesties ter voorkoming van verstoringen ten gevolge van de invloed van de onderzoeker op het onderzochte: • • • • • •

Blijf zo lang als mogelijk op locatie. Neem als onderzoeker de tijd om je aan te passen aan de omgeving; Wees discreet in het gebruik van de methoden van gegevensverzameling; Zorg dat de bedoelingen eenduidig zijn voor de respondenten: communiceer de reden van aanwezigheid, wat er onderzocht wordt, hoe dat onderzocht wordt en wat er met de resultaten gaat gebeuren; Overweeg om een respondent te vragen om oplettend te zijn op de invloed van je aanwezigheid op de locatie en de personen; Neem ook off-site interviews af. Kies hiervoor een geschikte locatie waardoor de bedreiging en het ‘exotisch’ gehalte van de onderzoeker afneemt; Blaas het veronderstelde probleem niet op. Besef dat je als onderzoeker nu ook weer niet zo een grote factor bent in het leven van de respondenten.

Suggesties ter voorkoming van verstoringen door invloed van onderzochte op onderzoeker: • • •

Voorkom ‘elite bias’ door spreiding van de respondenten, raadpleeg ook respondenten met een lager status en mensen buiten het primaire object van onderzoek; Voorkom overname van geldende opvattingen en overtuigingen door af en toe afwezig te zijn van de locatie en het verspreiden van bezoeken op de locatie; Zorg dat zonderlingen, buitenstaanders en afwijkende personen ook gehoord worden: mensen met een afwijkend standpunt ten opzichte van de ‘mainstream‘, personen die minder belang hechten aan rust en evenwicht op de locatie;

8

Zij refereren hierbij naar diverse literatuur die dieper ingaan op het aspect van het veldwerk. Bijvoorbeeld: Adams & Preiss (1960); Bogdan & Biklen (1992); LeCompte et al. (1992)


20


• •

• • • • •

3.5

Blijf conceptueel denken; probeer emotionele of tussenmenselijke gedachten te vertalen naar meer theoretische gedachten; Probeer een respondent te vinden die bereid is om achtergrond- en historische informatie aan te leveren en bereid is om informatie te verzamelen indien je zelf niet aanwezig bent (Miles en Huberman (1994) stellen dat deze vorm van samenwerking meer bijdraagt tot het terugbrengen van de verstoring, dan de ontvangen informatie zelf); Pas veelvuldig methodetriangulatie toe (zie paragraaf 3.5). Vertrouw niet te veel op interviews en observaties bij het begrijpen van de problematiek. Indien het gevoel van misleiding bestaat, probeer dan te begrijpen waarom een respondent het nodig vindt om je te misleiden. Probeer dit ‘spoor’ zover mogelijk te volgen; Schep niet nonchalant op over de vergaarde kennis. Dit is veelal een dekmantel voor het vragen om bevestiging, die alleen maar de steller van die vraag misleidt. Laat gemaakte aantekeningen zien aan een collega. Een andere onderzoeker is veelal sneller in staat om te zien waar en hoe je misleid of bevooroordeeld bent; Blijf goed bedenken wat de onderzoeksvragen zijn. Dwaal niet te veel af om andere, verleidelijke, sporen te gaan volgen.

Methoden voor het valideren van bevindingen

Deze paragraaf bevat de beschrijving van een tweetal technieken die toegepast kunnen worden voor het valideren van de verkregen onderzoeksresultaten. Allereerst zal de ‘triangulatiemethode’ aan de orde komen. Vervolgens zal nader worden ingegaan op het vragen van feedback van respondenten. Triangulatie Triangulatie is wellicht één van de meest bekende instrumenten voor het valideren van bevindingen. Het toepassen van triangulatie is bedoeld om aan te tonen dat een bevinding ondersteund wordt door meerdere, onafhankelijk van elkaar verkregen, waarnemingen. De strategie bij triangulatie is gericht op het vinden van overeenkomstige patronen, waarbij gebruik wordt gemaakt van verschillende bronnen. Er zijn verschillende dimensies op basis waarvan triangulatie kan worden toegepast. Denzin (1978), onderscheidt bijvoorbeeld de volgende dimensies: • • • •

Bronnentriangulatie. Bij bronnentriangulatie probeert de onderzoeker meer diepgang te bereiken door het ontsluiten van verschillende bronnen (bijvoorbeeld op basis van personen, plaatsen, tijden); Methodentriangulatie. Hierbij maakt de onderzoeker gebruik van verschillende methoden van gegevensontsluiting, bijvoorbeeld een observatie in combinatie met de analyse van documenten; Onderzoekers (onderzoeker A, onderzoeker B, etc.); Data type (kwalitatieve tekst, bandopnamen, kwantitatieve data).

Wanneer nu welke bron voor triangulatiedoeleinden toe te passen? Het doel hierbij is om juist die bronnen te selecteren die elkaar complementeren. Hierbij kan


21


bijvoorbeeld gedacht worden aan de vraag of een uitspraak gedaan tijdens een interview, al dan niet wordt ondersteund door aanwezige documentatie. Miles en Huberman (1994) stellen dat triangulatie niet zozeer een “tactic” is, maar meer een “way of life”. Wanneer tijdens de datacollectie consistent gebruik wordt gemaakt van verschillende databronnen en eventuele bevindingen gelijk dubbel gecontroleerd worden, zal het verificatieproces vanzelf in de datacollectie zijn ingebakken. In die zin is triangulatie zelfs in eerste instantie een manier om tot een bevinding te komen: Een bevinding komt pas tot stand wanneer deze in meerdere instanties wordt waargenomen, op basis van verschillende bronnen en gebruikmakend van verschillende methoden. Hierin valt de inductieve manier van theorievorming te herkennen. Feedback van respondenten Een van de meest vanzelfsprekende methoden om bevindingen te valideren is door deze voor te leggen aan de geïnterviewde of geobserveerde persoon. De achterliggende gedachte hierbij is dat op het gebied van het object van onderzoek, een ‘insider’ nog altijd meer kennis heeft dan de onderzoeker zelf. In deze betekenis kunnen de respondenten optreden als experts die de voornaamste bevindingen van het onderzoek toetsten op validiteit. Het laten verifiëren van bevindingen door respondenten kan zowel aan het einde van het onderzoek, als tijdens de dataverzameling plaatsvinden. Wanneer echter voor het laatste gekozen wordt, dan wordt daarmee wel de kans op verstoring geïntroduceerd (zie paragraaf 3.4: Testen van Onderzoekereffecten). Een tussentijdse terugkoppeling van (al dan niet voorlopige) resultaten kan het gedrag en standpunten van een respondent doen veranderen. Er is een aantal redenen te noemen voor het vragen van feedback nadat de uiteindelijke conclusies getrokken zijn. Allereerst heeft de onderzoeker aan het einde van het onderzoek zelf meer kennis: hij of zij is zekerder van de getrokken conclusies, heeft meer ondersteunend bewijs en kan dit illustreren. Daarnaast biedt het de mogelijkheid om meer gericht terugkoppeling te vragen: over bijvoorbeeld de belangrijkste bevindingen, of alleen die conclusies die interpretatief van aard zijn. Miles en Huberman (1994) stellen dat, wil de verificatie door middel van terugkoppeling van enig nut zijn, de respondent voeling moet hebben met datgene wat wordt teruggekoppeld. Met andere woorden, de respondent moet het kunnen begrijpen, moet het kunnen relateren aan zijn of haar eigen ervaringen en percepties en moet er iets mee kunnen doen (bijvoorbeeld de mogelijkheid om commentaar toe te voegen). Tot slot worden hieronder nog een tweetal aandachtspunten gegeven die de onderzoeker moet meenemen in zijn overweging om terugkoppeling te vragen aan de respondenten. Allereerst moet de onderzoeker zeer goed nadenken voordat hij of zij zeer specifieke situaties ter terugkoppeling voorlegt. Zal iemands zelfvertrouwen, carrière kansen of positie in de organisatie beschadigd worden door de uiteindelijke conclusies? Indien het antwoord hierop bevestigend is, dan kan de onderzoeker beter voor andere validatiemethoden kiezen.


22


Daarnaast dient de onderzoeker te beseffen dat respondenten het niet altijd eens zullen zijn met de getrokken conclusies. Mensen hebben veelal wijd uiteenlopende percepties van hetzelfde probleem. Dit sluit echter wel weer aan bij het interpretatieve paradigma, waarbij dit als normaal wordt ervaren.

3.6

Samenvatting

In dit hoofdstuk is dieper ingegaan op de invulling van de begrippen validiteit en betrouwbaarheid binnen kwalitatief onderzoek, en zijn methoden en technieken besproken die binnen deze tak van onderzoek gebruikt kunnen worden om deze validiteit en betrouwbaarheid te waarborgen. Er is gebleken dat het validiteitsvraagstuk binnen kwalitatief onderzoek vooral gaat om de vraag in hoeverre de verkregen onderzoeksresultaten door andere belanghebbenden worden herkend. Daarnaast is gesteld dat betrouwbaarheid binnen kwalitatief onderzoek zich op de vraag richt in hoeverre de verkregen onderzoeksresultaten ‘verstoord’ worden door veronderstellingen en vooroordelen. Er is vervolgens besproken dat er door de eigenschappen van kwalitatief onderzoek er een aantal potentiële bronnen van verstoringen bestaan die de validiteit en betrouwbaarheid van de verkregen onderzoeksresultaten kunnen bedreigen. De voornaamste bronnen van verstoringen ontstaan op basis van de volgende eigenschappen: • • •

Het gegeven dat kwalitatief onderzoek veelal op locatie wordt uitgevoerd, en daarmee samenhangend: De belangrijke rol van de relatie tussen onderzoeker en onderzochte binnen kwalitatief onderzoek. Het gegeven dat kwalitatief onderzoek doorgaans werkt met een relatief klein aantal onderzoekseenheden.

Het hoofdstuk is vervolgens afgesloten met de presentatie van een viertal methoden en technieken die deze verstoringen onderkennen en kunnen waarborgen dat de validiteit en betrouwbaarheid gewaarborgd kunnen worden: • • • •

Het testen op representativiteit (betrouwbaarheidsaspect); Het testen op onderzoekereffecten (betrouwbaarheidsaspect); Triangulatie (validiteitaspect); Feedback van respondenten (validiteitaspect).

In het volgende onderzoek zal nader onderzocht worden in hoeverre deze methoden en technieken toepasbaar zijn binnen operational auditing.


23

4 GEPRESENTEERDE METHODEN RELEVANT EN TOEPASBAAR BINNEN OPERATIONAL AUDITING?

4

Gepresenteerde methoden relevant en toepasbaar binnen Operational Auditing? “The auditor must be sure of his own biases and ensure that those biases play no role in the audit.” - OTTEN, HARTOG & BABELIOWSKY (2003)

4.1

Inleiding

In het vorige hoofdstuk zijn een viertal methoden en technieken besproken die binnen kwalitatief onderzoek gebruikt worden voor het waarborgen en toetsen van validiteit en betrouwbaarheid. Deze twee eigenschappen van onderzoeksresultaten zijn voor een operational audit wellicht nog belangrijker dan bij een ‘gewoon’ onderzoek. Denk hierbij alleen al aan de impact die de auditresultaten kunnen hebben op de organisatie in het algemeen, en zelfs op individuen in het bijzonder. Alleen daarom al zal de auditor zich ervan moeten verzekeren dat zijn conclusies betrouwbaar en valide zijn. In dit hoofdstuk zal worden nagegaan of de eerder gepresenteerde methoden en technieken hem daarbij kunnen helpen. Hierbij zal per methode eerst worden nagegaan in hoerverre deze relevant zijn voor de uitvoering van de audit, waarna vervolgens bepaald zal worden of de betreffende methode toepasbaar is.

4.2

Betrouwbaarheid: testen op representativiteit

Relevantie: Valkuilen zijn binnen operational audits aanwezig In het vorige hoofdstuk is gebleken dat de noodzaak voor het testen op representativiteit voortvloeit uit de het gegeven dat binnen kwalitatief onderzoek een drietal valkuilen zijn die ertoe kunnen leiden dat de onderzoeker op basis van specifieke bevindingen tot verkeerde generalisaties kan komen. Deze drie valkuilen waren: (1) Sampling nonrepresentative respondents, (2) Generalizing from nonrepresentative events or activities en (3), Drawing inferences from nonrepresentative processes. De eerste vraag die gesteld dient te worden is of deze valkuilen zich ook kunnen voordoen tijdens de uitvoering van een operational audit. Het antwoord hierop is bevestigend. Eerstgenoemde valkuil komt voort uit de situatie waarin de operational auditor bij de selectie van de te ontsluiten gegevensbronnen afhankelijk is van de opdrachtgever. Soms is de operational auditor onbekend met het organisatieonderdeel of proces van onderzoek, en vraagt dan aan de opdrachtgever om bijvoorbeeld een lijst met personen die voor een interview benaderd kunnen worden. Hierin ligt het risico verborgen dat de opdrachtgever alleen die personen aandraagt die de opdrachtgever ‘goed gezind’ zijn, of waarvan hij of zij denkt dat deze waardevolle informatie kan verschaffen ten aanzien van de auditdoelstelling. De tweede valkuil ontstaat doordat de auditor maar een beperkte periode op de locatie aanwezig kan zijn. De opgedane indrukken en signalen worden impliciet dan wel expliciet meegenomen in de oordeelsvorming van de auditor. Deze specifieke waarnemingen hoeven echter niet persé representatief te zijn voor de dagelijkse gang van zaken. Een simpel voorbeeld ter illustratie: stel dat een auditor tijdens de


24


beoordeling van de effectiviteit van een bepaald organisatieonderdeel constateert dat deadlines structureel niet gehaald worden, en dat de afdeling te kampen heeft met onderbezetting. De auditor trekt vervolgens de conclusie dat deadlines niet gehaald worden vanwege onderbezetting. Maar wat nu als ten tijde van het bezoek van de auditor drie medewerkers met buikgriep thuis zaten? De getrokken conclusie is dan ineens een stuk minder onderbouwd. Laatstgenoemde valkuil ontstaat bijvoorbeeld wanneer de auditor niet zozeer uit de kenmerken van een operational audit, maar meer uit de manier waarop de mens (en dus de auditor) informatie verzamelt en verwerkt. Miles en Huberman (1994) stellen dat9: “People as information seekers –and processors- are far more likely to see confirming instances of original beliefs or perceptions than to see disconfirming instances, even when disconfirmations are more frequent”. Het kan bijvoorbeeld zo zijn dat de auditor, bijvoorbeeld op basis van het gehanteerde normenkader of eerder uitgevoerde audits, bepaalde veronderstellingen ten aanzien van het object van audit heeft. Het risico bestaat vervolgens dat de auditor meer waarde hecht aan die gevallen die deze veronderstellingen bevestigen, dan de gevallen die dit tegenspreken. Dit kan vervolgens leiden tot generalisaties die onderbouwd worden door één of twee illustrerende voorbeelden, waarbij het daarna voor de auditor moeilijk wordt om meerdere gevallen op te voeren die het veronderstelde onderbouwen. Toepasbaarheid: Testen op representativiteit zijn toepasbaar binnen operational audit Uit het voorgaande valt af te leiden dat de auditor gebaat is bij testen van de representativiteit van zijn onderzoeksresultaten. De volgende vraag die nu beantwoord dient te worden is in hoeverre de in het vorige hoofdstuk aangereikte procedures toepasbaar zijn binnen een operational audit. Bij het testen voor de representativiteit van de bevindingen zijn de volgende vier suggesties gedaan: (1) het vergroten van de steekproef, (2) het opzettelijk zoeken naar gevallen die de getrokken conclusies tegenspreken, (3) het categoriseren van steekproefelementen en (4), het in plaats van selectief, willekeurig selecteren van gegevensbronnen. In de dagelijkse auditpraktijk zullen suggesties (1) en (4) waarschijnlijk minder geschikt zijn. Allereerst is immers gesteld dat door de specifieke aard van het object van audit het aantal geschikte bronnen veelal klein is. Dit maakt het wellicht gewoonweg onmogelijk voor de auditor om de steekproef te vergroten. Daarnaast maakt het feit dat er maar zo weinig bronnen beschikbaar zijn, het trekken van een willekeurige steekproef riskant. Met kleine aantallen is de kans om een a-typische steekproef te krijgen veel te groot, met alle consequenties van dien. (Verschuren en Doorewaard; 1998). Het categoriseren van steekproefelementen is daarentegen wel toepasbaar binnen een operational audit. De auditor kan bijvoorbeeld zijn interviewschema rangschikken naar functie en/of auditvariabelen. Wanneer hieruit blijkt dat er ‘hiaten’ bestaan die de representativiteit van de getrokken conclusies kunnen bedreigen, dan kan de auditor ervoor kiezen om deze hiaten op te vullen door het ontsluiten van een aantal extra bronnen binnen de betreffende categorieën. Onderstaand voorbeeld bevat een (illustratief en fictief) voorbeeld van een dergelijke toepassing. 9

Miles en Huberman baseren deze uitspraak op onderzoek gedaan door Edwards (1968)


25


Stel dat er bij de uitvoering van een operational audit interviews gehouden moeten worden met managers en medewerkers , en bij de vestiging A en B. Na uitvoering van de verschillende interviews besluit de auditor de door hem geïnterviewde personen op te delen naar deze categorieën en komt daarbij tot onderstaand schema: Geïnterviewde Vestiging A personen Pieterman Managers Olthof Medewerkers Vinhuizen

Vestiging B Koenderink Meurs Mikkers Lentelink

Uit dit schema merkt de auditor vervolgens op dat de medewerkers van Vestiging A ondervertegenwoordigd in de steekproef zijn. De auditor besluit daarom nog een interview te plannen met één van de medewerkers binnen vestiging A. Kader 4.1: voorbeeld ter illustratie van ‘categorisering van steekproefelementen’

Ook zou het voor de auditor mogelijk moeten zijn om actief te zoeken naar bevindingen die de getrokken conclusies tegenspreken of weerleggen. Eerder is al gesteld dat een probleem bij deze methodiek de vraag is hoelang er moeten worden doorgezocht naar dergelijk ‘negatief bewijs’. Praktische ‘belemmeringen’ als budget en/of doorlooptijd kunnen ertoe leiden dat deze methode minder toepasbaar is binnen een operational audit. Daarnaast is er ook nog de vraag hoevéél negatief bewijs er gevonden dient te worden voordat een bepaalde bevinding herzien, of zelfs verwijderd dient te worden. Deze problematiek komt dusdanig overeen met die van het toepassen van de triangulatiemethode dat dit binnen paragraaf 4.4 verder besproken zal worden.

4.3

Betrouwbaarheid: testen op onderzoekereffecten

Relevantie: Onderzoek op locatie en interactieve aard van gegevensverzameling maken dat bevindingen verstoord kunnen worden door onderzoekereffecten Zoals gesteld voert de operational auditor een groot deel van zijn werkzaamheden op locatie uit. Daarnaast zorgen de gehanteerde methoden van gegevensverzameling voor een hoge mate van interactie tussen auditor en auditee. Maar leiden deze twee eigenschappen ertoe dat er bij de uitvoering van een operational audit sprake is van verstoringen ten gevolge van de invloed die de auditor op de auditee heeft, en vice versa? In zijn analyse van het boek “Process Consultation” (Schein, 1988), constateert Straathof (2003) dat de aard en positie van de internal auditfunctie disfunctioneel gedrag bij de auditee kan oproepen. Voorbeelden hiervan zijn dat medewerkers onjuiste informatie gaan verstrekken of dat medewerkers hun gedrag aanpassen door hun activiteiten te richten op die zaken waar de auditor ook aandacht aan besteedt om te voorkomen dat zij gestraft worden. Dit is een illustratief voorbeeld van het effect dat de auditor op de auditee kan hebben.


26


Dit gedrag kan vervolgens ook weer van invloed zijn op de manier waarop de auditor de respondenten benadert. De auditor kan bijvoorbeeld achterdochtig worden wanneer hij eenmaal merkt dat hij of zij verkeerde informatie verstrekt krijgt. Daarnaast kan het ook zo zijn dat de auditor juist minder kritisch wordt wanneer deze gerustgesteld wordt door het aanpassende gedrag van de auditee. Otten c.s. (2003) stellen dat de objectiviteit van de auditor een absolute vereiste is. Op basis van bovenstaande kan daarnaast gesteld worden dat de auditor bloot wordt gesteld aan mogelijke verstoringen die deze objectiviteit in gevaar brengen. Dit impliceert dat de auditor bewust moet zijn van deze verstoringen en moet waarborgen dat deze effecten geen invloed hebben op de uitvoering van de audit. Toepasbaarheid: afhankelijk van aard en omvang audit, maar erkenning belangrijk In het voorgaande hoofdstuk (zie paragraaf 3.4) is voor beide typen verstoringen een aantal suggesties gedaan op basis waarvan de auditor kan bewerkstelligen dat de onderzoekereffecten onderkend en geminimaliseerd worden. Het gebruik van één methode kan problemen geven op het gebied van een andere. Wanneer de auditor bijvoorbeeld slechts een aantal dagen tot zijn beschikking heeft om op de locatie aanwezig te zijn, kan het houden van off-site interviews een te kostbare aangelegenheid zijn. Afhankelijk van de aard en omvang van de audit zullen sommige methoden beter toepasbaar zijn dan anderen. Toch zijn er een aantal methoden te onderkennen die over het algemeen toepasbaar zouden moeten zijn: Ter voorkoming van verstoringen die voortkomen uit de invloed van de auditor op de auditee: • Maak de auditees duidelijk wat het doel van de audit is: communiceer de reden van aanwezigheid, wat er onderzocht wordt, hoe dat onderzocht wordt en wat er met de resultaten gaat gebeuren. Hierbij kan bijvoorbeeld gedacht worden aan een zogenaamde kick-off meeting waarbij zowel de opdrachtgever als de auditees aanwezig zijn. • Vraag een auditee om oplettend zijn ten aanzien van het effect dat de auditor heeft op de afdeling en medewerkers. Ter voorkoming van verstoringen die voortkomen uit de invloed van de auditee op de auditor: • Voorkom verstoringen als gevolg van ‘elite bias’. Hierbij kan bijvoorbeeld gebruik worden gemaakt van ‘stratificatie’ zoals dit in de vorige paragraaf besproken is. • Pas veelvuldig methodetriangulatie toe (zie paragraaf 4.4). Vertrouw niet al te veel op interviews of observaties bij het begrijpen van de problematiek. • Laat gemaakte aantekeningen zien aan een collega auditor. Deze is veelal sneller in staat om eventuele veronderstellingen en/of misleidingen te achterhalen. Gezien het aantal gedane suggesties kan het onderkennen en verhelpen van onderzoekereffecten en verstoringen een tijdsintensief karwei zijn. Maar, Miles en Huberman stellen tevens dat iemand die “discreet, savvy in the environment under study, and conceptually ecumenical are often able to get to the core of a case in a matter of days, sidestepping both types of researcher bias and coming away with good


27


quality data. It’s possible that the methodologists demanding months or years on-site before valid data can be obtained are confusing time with competence.”

4.4

Validiteit: triangulatie

Relevantie: triangulatie wordt belangrijk gevonden Over de relevantie van het gebruik van triangulatie is men het binnen operational auditing over het algemeen wel eens. “Brontriangulatie (..) wordt over het algemeen heel belangrijk gevonden” (Babeliowsky, 2000). Niet alleen helpt triangulatie bij het valideren van de verkregen onderzoeksresultaten, het kan ook zorgen voor de diepgang binnen de audit, en het verkrijgen van een integraal beeld van het object van audit (gebaseerd op Verschuren en Doorewaard; 1998). Wanneer de gehanteerde triangulaties daarnaast ook nog eens concreet worden gemaakt door het gebruik van zogenaamde datamatrices10 , dan wordt ook nog eens het proces van oordeelsvorming transparant en reproduceerbaar gemaakt. Toepasbaarheid: Triangulatie wordt toegepast, maar wat te doen in het geval van tegenstrijdige bevindingen? Bebaliowsky (2000) stelt dat de meest gebruikte bronnen bij operational auditing personen, de werkelijkheid en documenten zijn. Daarnaast is Babeliowsky al eerder aangehaald bij de constatering dat de operational auditor bij het ontsluiten van die bronnen voornamelijk gebruik maakt van interviews, documentanalyse en observaties. Wanneer de auditor tijdens de opzet en uitvoering van audit waarborgt dat de verschillende auditvariabelen en bijbehorende beoordelingscriteria onderzocht worden op basis van verschillende bronnen, en deze bronnen ook nog eens op verschillende manieren ontsloten worden, is de triangulatie ingebakken in het onderzoeksproces. Wanneer alle bevindingen dezelfde kant uitwijzen, zal er in het algemeen weinig discussie ontstaan over de validiteit van de betreffende bevinding. Moeilijker wordt het wanneer verschillende bronnen en/of methoden tot tegenstrijdige conclusies leiden. Veelal is dit een teken dat er verstoringen zijn opgetreden tijdens de verzameling en/of verwerking van de gegevens. Een auditee kan bijvoorbeeld verkeerde informatie hebben gegeven die niet overeenkomt met bestudeerde documenten. Daarnaast kan het bijvoorbeeld zo zijn dat er tussen de auditors onderling geen eenduidigheid bestond met betrekking tot de interpretatie van bepaalde interviewvragen, waardoor verschillende conclusies getrokken zijn. Wanneer het de auditor niet duidelijk is hoe sommige variaties ontstaan zijn, of er geen tijd en/of budget meer beschikbaar is om additionele informatie te vergaren, dan zal de auditor in het uiterste geval moeten besluiten de betreffende gegevens niet te verwerken en niet te rapporteren over de bijbehorende variabelen (Otten c.s.; 2002). Vergelijkbaar stellen Ratliff c.s. (1996): “Speculation is unacceptable. If cost/benefit constraints or time pressures force an end to an audit project, only those findings that are supportable should be included in the report”.

4.5

Validiteit: feedback van respondenten

10

Zie hiervoor bijvoorbeeld de suggesties die Otten c.s. doen in “Designing an effective operational audit” , welke gebaseerd zijn op Miles en Huberman (1994)


28


Relevantie: feedback van respondenten kan waardevolle informatie opleveren Dat ook binnen operational audit waarde wordt gehecht aan het verkrijgen van feedback van respondenten blijkt uit het volgende citaat van Ratlif c.s.(1996): “While far from unbiased, the auditee can be depended upon to challenge erroneous conclusions, to raise competeting explainations for the evidence collected, and to question weak inferences. Such feedback can assist the auditor in shoring up the evidential base through additional work.” Toepasbaarheid: feedback toepasbaar, maar bruikbaarheid afhankelijk van omstandigheden Deze methode is zeker toepasbaar. Sterker nog, het verkrijgen van feedback wordt regelmatig toegepast binnen operational auditing, zij het met wellicht andere doelstellingen dan hier bedoeld is. De auditor gebruikt deze methode veelal voor het valideren van zijn verzamelde gegevens, en niet zo zeer voor de oordeelsvorming zelf. Hierbij kan bijvoorbeeld gedacht worden aan de auditor die na de uitwerking van zijn interviewverslag deze ter verificatie voorlegt aan de auditee. Dit is op zich ook een noodzakelijke stap (zowel praktisch als ethisch), er kan alleen veel meer uit feedback van auditees gehaald worden, mits deze van voldoende en duidelijke informatie voorzien wordt. In het vorige hoofdstuk zijn bij de bespreking van deze methode van validatie een aantal kanttekening geplaatst bij de praktische toepassing van deze methode (zie paragraaf 3.5: feedback van respondenten). Allereerst moet de auditor bij het gebruik van deze vorm van feedback ermee rekening houden dat er een nieuwe bron van onderzoekereffecten kan ontstaan, de argumenten hiervoor zijn gelijk aan de argumenten zoals gegeven in paragraaf 3.5. Daarnaast dient de auditor, wellicht nog meer dan in het geval van een ‘gewoon’ onderzoek, zich ten zeerste af te vragen welke impact en gevolgen een bevinding voor de auditee heeft. Hierbij kan bijvoorbeeld gedacht worden aan een bevinding die een mogelijk geval van fraude aan het licht brengt, of een bevinding die een negatieve inbreuk op iemands zelfvertrouwen heeft. Ratlif c.s. (1994) stellen hierover (overigens in het kader van fraude audits): “The typical feedback loop to and from auditees differs somewhat in a fraud setting (…) Hostile feedback would be anticipated and very often would be totally unproductive.”. Daarnaast is er gesteld dat de auditee niet de hoop moet hebben dat auditees het altijd eens zullen zijn met de getrokken conclusies. Dit maakt echter wel dat wanneer de auditee het wel eens is met de getrokken conclusies, dit een aanzienlijke indicatie is dat de betreffende conclusie gerechtvaardigd is: “Positive feedback from the auditee that adverse findings were as expected, or at least appear to be reasonably supported, is a though test to pass and can provide considerable assurance that conclusions are warranted” (Ratlif, c.s.; 1996) Een kanttekening die hierbij moet worden gemaakt is dat de auditee vertrouwd kan worden in het verschaffen van nuttige feedback indien nadelige bevindingen gerapporteerd worden (Ratliff c.s.; 1996). Het feit dat een auditee instemt met een positieve bevinding kan niet bestempeld worden als een sterke indicator voor de validiteit van de betreffende bevinding.


29


4.6

Conclusies

In het vorige hoofdstuk zijn vier methoden gepresenteerd die binnen kwalitatief onderzoek gebruikt worden voor het waarborgen en toetsen van validiteit en betrouwbaarheid. Vervolgens is in dit hoofdstuk de relevantie en toepasbaarheid van deze methoden binnen operational auditing geanalyseerd. Er is gebleken dat de mogelijke verstoringen die zich binnen kwalitatief onderzoek kunnen voordoen, eveneens kunnen opduiken tijdens de opzet en uitvoering van een operational audit. Hieruit volgt dan ook de conclusie dat het in ieder geval relevant is voor operational auditing om op deze gebieden de aandacht te richten op het gebied van het validiteit- en betrouwbaarheidaspect. Vervolgens is gebleken dat de methoden zoals die binnen kwalitatief onderzoek gebruikt worden voor het ondervangen van die verstoringen, ook binnen operational auditing toepasbaar zijn. Wel geldt hierbij dat, veelal als gevolg van praktische aspecten en het oordeelsvormende karakter binnen een audit, de ene methode beter toepasbaar is dan de andere. Dit hoofdstuk vormt de laatste in de rij van ‘theoretisch’ beschouwende hoofdstukken. In de afgelopen vier hoofdstukken is allereerst op basis van eigenschappen van operational auditing aangetoond dat deze voornamelijk kwalitatief onderzoek vereist. Hierbij is tevens geconstateerd dat de operational auditor problemen heeft met de validatie en betrouwbaarheid van kwalitatief verkregen onderzoeksdata. Vervolgens is aangetoond dat er binnen de sociale wetenschappen inmiddels methoden en technieken ontwikkeld zijn die deze ‘kwaliteitsaspecten’ van verkregen onderzoeksresultaten kunnen helpen onderkennen en waarborgen. In onderhavig hoofdstuk is tenslotte aangetoond dat, wil de operational auditor op een deugdelijke grondslag tot auditresultaten komen, hij of zij niet anders kan dan de vier gepresenteerde methoden toe te passen. In het volgende hoofdstuk zal op basis van een praktijktoets bekeken worden in hoeverre de dit in hoofdstuk getrokken conclusies inzake relevantie en toepasbaarheid herkend worden binnen de dagelijkse praktijk van operational auditing.


30

5 PRAKTIJKTOETS: GEPRESENTEERDE METHODEN TOEGEPAST BINNEN OPERATIONAL AUDITS?

5

Praktijktoets: gepresenteerde methoden toegepast binnen Operational Audits?

5.1

Inleiding

In het vorige hoofdstuk is op basis van een theoretische studie de relevantie en toepasbaarheid aangetoond van de gepresenteerde methoden en technieken die de operational auditor kan toepassen bij het verkrijgen van betrouwbare en valide auditresultaten. In dit hoofdstuk zal aan de hand van een praktijktoets de relevantie en toepasbaarheid van de gepresenteerde methoden en technieken worden achterhaald. Hiertoe zijn aan een tweetal ervaren operational auditors de volgende vragen voorgelegd: 1. Zijn de in het referaat geschetste kenmerken van operational audit en de daaruit volgende mogelijke bronnen van verstoringen herkenbaar? • Zo ja, hoe hebben deze verstoringen zich voorgedaan? Wat was de oorzaak hiervan? 2. Zouden de gepresenteerde methoden en technieken toepasbaar zijn geweest? • Methoden worden reeds toegepast: wat zijn de ervaringen? Zijn er valkuilen? • Zijn wel toepasbaar, maar niet toegepast: Waarom niet? • Zijn niet toepasbaar: Waarom niet? Kunnen methoden anders worden ingericht zodat ze wel toepasbaar zijn? Beide respondenten zijn als externe operational auditor werkzaam bij PricewaterhouseCoopers Accountants NV. De grote mate van ervaring op het gebied van operational auditing is van doorslaggevend belang geweest bij de selectie van deze respondenten. In de navolgende paragraaf volgt de weergave van de grote lijn in de reacties van beide respondenten. Daarna volgen in de afsluitende paragraaf van dit hoofdstuk de conclusies die op basis van de praktijktoets getrokken kunnen worden.

5.2

Verstoringen zijn herkenbaar in dagelijkse auditpraktijk

The holistic falacy: de waargenomen gebeurtenissen worden als meer representatief geïnterpreteerd dan dat zij in werkelijkheid zijn. Reacties van de respondenten: • Deze verstoring is herkenbaar in de dagelijkse praktijk. Zeker wanneer de auditee zijn boodschap helder brengt, wil het nog wel eens zo zijn dat de auditor deze boodschap als ‘waar’ aanneemt. De oorzaak van deze verstoring is veelal het gebruik van een kleine steekproef. Elite bias: het verzamelde materiaal afkomstig van mondige, goed-geïnformeerde, en doorgaans vooraanstaande respondenten wordt te zwaar meegewogen in de bewijsvoering, terwijl informatie afkomstig van minder mondige respondenten ondervertegenwoordigd is.


31


Reacties van de respondenten: • Deze verstoring is herkenbaar. De toplaag binnen het object van audit is veelal oververtegenwoordigd in het interviewschema. Dit komt voort uit het gegeven dat de ingangspositie van de operational auditor veelal de managementlaag van het object van audit is. Vaak maakt deze laag dan sowieso deel uit van de te interviewen personen binnen de audit. Vanwege budgettaire redenen kan het daardoor zo zijn dat er niet voldoende tijd en/of budget resteert om eveneens de werkvloer evenredig in het onderzoek te betrekken. Hierdoor bestaat het risico van een oververtegenwoordiging van de toplaag. • Tevens worden ook bewust voornamelijk personen uit het management geïnterviewd. Dit zijn in de ogen van de respondenten de personen die over de helikopterview beschikken. Via deze personen kan op een efficiënte manier zoveel mogelijk kennis op een zo efficiënt mogelijke manier vergaard worden. De gedachte bestaat dat de mensen op de ‘werkvloer’ niet het gehele object kunnen overzien, en daardoor alleen informatie kunnen verschaffen over een beperkt gebied binnen het proces. Going native: het verliezen van het eigen perspectief en oordeelsvorming door het overnemen van meningen en interpretaties van de respondenten. Reacties van de respondenten: • De opvatting van de respondenten is dat de mate waarin deze verstoring afhankelijk is van de lengte en frequentie van het verblijf van de operational auditor op de locatie. Daar waar de operational auditor een eenmalig onderzoek uitvoert wordt de kans op onderzoeker verstoringen kleiner geacht. • Beide respondenten zijn van mening dat zij, vanwege het feit dat zij een externe auditor zijn, minder vatbaar zijn voor verstoringen ten gevolge van onderzoekereffecten. Het idee bestaat dat deze vorm van verstoringen vaker bij de interne auditor dan bij de externe auditor zal voorkomen. De interne auditor zal vanwege zijn bekendheid met de organisatie eerder vatbaar zijn voor onderzoekereffecten. Dit vertaalt zich bijvoorbeeld in het geval waar de interne auditor minder snel zal doorvragen dan de externe auditor. De externe auditor zal als ‘buitenstaander’ minder snel beïnvloed worden door meningen en opvattingen van de auditee. • Er wordt door de respondenten wel onderkend dat de aanwezigheid van de auditor invloed heeft op de auditee. Dit hoeft echter niet persé nadelig te zijn. In sommige gevallen kunnen auditees het gevoel krijgen dat zij eindelijk gehoord worden waardoor zij openhartig zullen zijn ten opzichte van de auditor. • Het achterhalen van het feit dat de auditor misleid wordt, wordt door de respondent als lastig ervaren. Eén respondent heeft ondervonden dat bij de bespreking van ‘beladen’ onderwerpen de auditee een sfeer van gemoedelijkheid probeerde te creëren waarmee gepoogd werd van het oorspronkelijke onderwerp van gesprek weg te blijven.

5.3

Gepresenteerde methoden bieden mogelijkheden voor toepassing

Op basis van de reacties zoals weergegeven in de voorgaande paragraaf kan worden afgeleid dat de respondenten de aanwezigheid van de onderkende bronnen van


32


verstoringen in meer of mindere mate herkennen in hun dagelijkse praktijk. De opvatting is dat niet goed onderbouwde bevindingen kunnen leiden tot ongewenste discussies met de auditee. Dit kan ertoe leiden dat de auditor genoodzaakt is om bepaalde bevindingen af te zwakken, of zelfs te verwijderen uit de rapportage. Vanuit deze herkenning zijn vervolgens de gepresenteerde methoden en technieken ter voorkoming van de genoemde verstoringen aan de respondenten voorgelegd. Hierbij is ingegaan op de mate waarin deze methoden en technieken volgens de respondenten in de praktijk toepasbaar zijn. Daarnaast is hen gevraagd welke aandachtgebieden zij herkennen met betrekking tot het toepassen van deze methoden en technieken. De grote lijn in de reacties van de respondenten is in de navolgende secties per methode weergegeven. Testen op representativiteit Aangereikte methoden en technieken: • Het vergroten van de steekproef. • Het zoeken naar negatief bewijs. • Het categoriseren van de steekproefelementen. • Het in plaats van selectief, willekeurig selecteren van gegevensbronnen. Reacties van de respondenten: Toepassingmogelijkheden: • Vergroten van de steekproef: door lagere niveaus te betrekken bij het onderzoek. Enerzijds kan hierbij worden gekozen voor het houden van een aantal additionele interviews, anderzijds kan bijvoorbeeld ook worden gekozen om met behulp van survey-achtige technieken op een snelle manier de ‘meningen’ van de werkvloer te achterhalen. • Categoriseren van steekproefelementen wordt in de praktijk veelal toegepast bij de voorbereiding van de audit. Afhankelijk van het object van audit wordt getracht een zo evenwichtig mogelijk interviewschema op te zetten. Achteraf vindt er echter zelden een check plaats of dit evenwicht ook daadwerkelijk bereikt is. Aandachtsgebieden • Eén respondent geeft aan dat vaak vanwege tijd en/of budgettaire redenen het vergroten van de steekproef lastig is. Er zal dan hooguit met één iemand extra gesproken worden. Vanuit zijn praktijk heeft hij deze methode echter zelden meegemaakt. • Het zoeken naar negatieve bewijslast wordt door de respondenten als een interessant instrument gezien. Zij stellen hierbij echter wel de vraag hoe lang dan moet worden doorgezocht naar negatieve bewijsvoering. Praktische aspecten als beperkingen in budget en doorlooptijd kunnen volgens de respondenten ertoe leiden dat de auditor geen tijd heeft om ‘al te lang’ naar negatieve bewijsvoering te zoeken. • Het willekeurig selecteren van gegevensbronnen wordt door de respondenten als moeilijk toepasbaar ervaren. De auditor wil juist die mensen spreken die het meest betrokken zijn bij het object van audit, dit maakt dat de auditor volgens de respondenten veelal genoodzaakt is om selectief zijn respondenten te selecteren.


33


Testen op onderzoekereffecten Aangereikte methoden en technieken: Ter voorkoming van verstoringen die voortkomen uit de invloed van de auditor op de auditee: • Maak de auditees duidelijk wat het doel van de audit is: communiceer de reden van aanwezigheid, wat er onderzocht wordt, hoe dat onderzocht wordt en wat er met de resultaten gaat gebeuren. Hierbij kan bijvoorbeeld gedacht worden aan een zogenaamde kick-off meeting waarbij zowel de opdrachtgever als de auditees aanwezig zijn. • Vraag een auditee om oplettend zijn ten aanzien van het effect dat de auditor heeft op de afdeling en medewerkers. Ter voorkoming van verstoringen die voortkomen uit de invloed van de auditee op de auditor: • Voorkom verstoringen als gevolg van ‘elite bias’. • Pas veelvuldig methodetriangulatie toe (zie paragraaf 4.4). Vertrouw niet al te veel op interviews of observaties bij het begrijpen van de problematiek. • Laat gemaakte aantekeningen zien aan een collega auditor. Deze is veelal sneller in staat om eventuele veronderstellingen en/of misleidingen te achterhalen. Reacties van de respondenten: Effecten van invloed auditor op auditee: Toepassingsmogelijkheden: • Beide respondenten beschouwen de zogenaamde ‘Kick-off meeting’ als standaardelement binnen de uitvoering van een operational audit. Deze kick-off meetings worden echter veelal gehouden met alleen de opdrachtgever en de ‘vertegenwoordiger’ van de auditee. De auditor laat het dan verder aan de opdrachtgever over hoe de verdere communicatie binnen het object van audit moet worden ingevuld. Een uitleg over het wat, waarom en hoe behoort bij beide respondenten wel standaard tot de introductiefase van een interview. Aandachtsgebieden: • Eén van de respondenten is van mening dat het houden van een kick-off met het gehele object van audit (bijv. afdeling) wellicht een te formele aanpak is. Hierdoor ontstaat het gevaar dat de aanwezigheid van de auditor een ‘te belangrijke’ lading krijgt. Dit kan vervolgens weer leiden tot verstoringen ten gevolge van de invloed van de auditor op de auditee. • Het helder communiceren van bedoelingen van de audit is noodzakelijk, maar kan met zich meebrengen dat de auditee minder open wordt, en alleen de ‘goede’ dingen verteld. • Concreet vragen aan een respondent om oplettend te zijn ten aanzien van het effect dat de auditor heeft op de afdeling en medewerkers is door beide respondenten nog nooit toegepast. De auditor ziet hiervoor wel toepassingsmogelijkheden, vooral als opdrachtgever zelf ook tot het domein van de audit behoord. Wel wordt op informele momenten feedback ontvangen van het management met betrekking tot de effecten van de aanwezigheid van de auditor.


34


Effecten van invloed auditee op auditor Toepassingsmogelijkheden: • Een goede voorbereiding, het stellen van kritische vragen en het gericht doorvragen verkleint volgens de respondenten de kans dat de auditor te snel meegaat met de opvattingen en meningen van de auditee. • Het toepassen van triangulatie is belangrijk. Het toetsen van de op basis van interviews verkregen informatie aan andere bronnen dient enerzijds ter validatie van de bevindingen, maar kan daarnaast ook informatie opleveren die in de volgende interviews weer kan worden meegenomen. • Het verkrijgen van feedback van collega auditors is een goed instrument. Een praktische invulling hiervan kan zijn dat tijdens de analysefase alle bronnen en de daaruit getrokken conclusies binnen het team gedeeld worden. De conclusies kunnen vervolgens bediscussieerd worden, op basis waarvan de eindconclusies door het team worden opgesteld. Triangulatie Reacties van de respondenten: Toepassingsmogelijkheden: • Beide respondenten geven aan dat zij deze methode veelvuldig toepassen in de praktijk. De audit wordt dusdanig opgezet dat ieder beoordelingscriterium op basis van minimaal twee bronnen onderzocht wordt. Eén van de respondenten erkent echter wel dat vanwege tijdsdruk tijdens de uitvoering van audit het veelal beperkt wordt toegepast (veelal op basis van twee verschillende bronnen), en dat het beter zou zijn om minimaal drie bronnen te gebruiken. • Methodetriangulatie wordt veelal toegepast bij het onderbouwen van bevindingen opgedaan tijdens interviews. Aandachtsgebieden: • In geval van tegenstrijdige berichten kan ervoor worden gekozen om de bevinding niet op te nemen in de rapportage. Wanneer hiervoor niet gekozen wordt, kan de auditor door bijvoorbeeld het uitbreiden van de steekproef proberen om tot meer eenduidiger uitkomsten te komen. • Eén respondent is echter van mening om in geval van tegenstrijdige bevindingen, deze wel op te nemen in de rapportage. Het kan bijvoorbeeld zo zijn dat deze bevindingen tot stand zijn gekomen binnen verschillende divisies binnen een organisatie. De auditor kiest er dan voor om de oordeelsvorming over te laten aan de opdrachtgever. Feedback van respondenten Reacties van de respondenten: Toepassingsmogelijkheden: • In het geval dat een bepaalde bevinding een hoge mate van professional judgement bevat, kan de validiteit van deze bevinding worden getoetst door deze terug te koppelen aan de auditee. Wanneer deze de betreffende bevinding onderstreept, dan is dit een goede indicatie dat de bevinding valide is. • Beide respondenten meten de kwaliteit van een audit af aan de mate waarin de bevindingen worden onderkend door de auditee.


35


Aandachtsgebieden: • De respondenten hebben de ervaring dat tijdens interviews de auditee veelal open en transparant is. Indien het gezegde echter eenmaal op schrift staat, kan dit een dusdanige confronterende uitwerking op de respondent hebben dat deze zijn of haar mening herziet, of zelfs ontkend. Daarnaast is de ervaring dat wanneer bevindingen binnen een groep worden geëvalueerd, de individuen eveneens geneigd zijn om eerder bevestigde bevindingen af te zwakken. • Het kan voorkomen dat een respondent een goed onderbouwde bevinding niet kan of wil onderkennen. In dit geval kan de auditor ervoor kiezen om zowel de bevinding met bijbehorende onderbouwing, als de reactie van de respondent in de eindrapportage aan de opdrachtgever op te nemen. De uiteindelijke oordeelsvorming wordt dan overgelaten aan de opdrachtgever.

5.4

Conclusies praktijktoets

Dit hoofdstuk bevat de resultaten van de praktijktoets zoals uitgevoerd in het kader van dit referaat. In deze praktijktoets zijn de in de vorige hoofdstukken onderkende mogelijke bronnen van verstoringen, en de methoden en technieken die deze verstoringen kunnen doen reduceren voorgelegd aan een tweetal ervaren operational auditors. Beide auditors is gevraagd in hoeverre zij de mogelijke bronnen van verstoringen herkennen in hun dagelijkse praktijk, en of zij de gepresenteerde methoden en technieken toepasbaar achten binnen de uitvoering van een audit. Op basis van de reacties van de auditors kunnen de volgende conclusies getrokken worden. De eerste conclusie van de praktijktoets is dat de onderkende mogelijke bronnen van verstoringen eveneens door de respondenten herkend worden. Vooral de verstoringen die kunnen optreden omdat de auditor slechts de beschikking heeft over een klein aantal gegevensbronnen, zijn voor beide respondenten zeer herkenbaar. De effecten van de auditee op de auditor zijn minder herkenbaar voor de respondenten. Oorzaak hiervan kan zijn dat beide respondenten externe auditors zijn. Het kan zijn dat interne operational auditors deze verstoring wel eerder zullen (h)erkennen (Hier is verder geen onderzoek naar gedaan). De tweede conclusie die uit de praktijktoets getrokken kan worden is dat vrijwel alle gepresenteerde methoden en technieken volgens de respondenten in meer of mindere mate kunnen worden toegepast binnen de uitvoering van een operational audit. Tijdens de interviews zijn echter wel een aantal aandachtspunten ter tafel gekomen waar de auditor rekening mee dient te houden bij het daadwerkelijk toepassen van de betreffende methoden en technieken. Daarnaast blijkt uit de reacties van de respondenten dat het niet (kunnen) toepassen van een bepaalde methode veelal een tijdsmatige en/of budgettaire oorzaak heeft.


36

6 EINDCONCLUSIE: OORDEELSVORMENDE TECHNIEKEN ZIJN BESCHIKBAAR EN TOEPASBAAR

6

Eindconclusie: oordeelsvormende technieken zijn beschikbaar en toepasbaar. “Door audit daadwerkelijk te positioneren als onderzoek en door de onderzoeksmethodologische eisen te onderkennen en na te leven, belanden we in een volgend stadium van ontwikkeling van Internal/Operational Audit”. -R. DE KORTE (2003)

6.1

Inleiding

In dit afsluitende hoofdstuk zal de geformuleerde probleemstelling beantwoord worden. Vervolgens zal dit antwoord onderbouwd worden op basis van de beantwoording van de onderliggende onderzoeksvragen. Het hoofdstuk, en daarmee het referaat, zal worden afgesloten met een drietal algemeen beschouwende opmerkingen.

6.2

Eindconclusie: oordeelsvormende technieken zijn beschikbaar

Centrale Probleemstelling In hoofdstuk 1 is de centrale probleemstelling van het referaat geformuleerd, welke hieronder nogmaals staat weergegeven: Zijn er oordeelsvormende methoden en technieken binnen de kwalitatieve onderzoeksmethodologie beschikbaar die de betrouwbaarheid en validiteit van kwalitatief verkregen auditresultaten kunnen doen verbeteren? Ja, de methoden en technieken zijn beschikbaar. De relevantie en toepasbaarheid van deze methoden en technieken is in dit referaat aangetoond. Onderzoeksvragen Voor de beantwoording van de centrale vraag is een viertal onderzoeksvragen geformuleerd. De beantwoording van deze onderzoeksvragen vormen de onderbouwing van het antwoord op de centrale probleemstelling. 1. Wat zijn de methodologische eigenschappen van kwalitatief onderzoek? In dit referaat zijn de volgende kenmerkende eigenschappen onderkend: • Doel van het onderzoek: contextueel; nadruk op interpretatie; gericht op proces, niet op uitkomsten. • Methoden en technieken: analyse van gesproken of geschreven tekst; onderzoek in natuurlijke omgeving; relatief klein aantal waarnemingen. • Rol van de onderzoeker: persoonlijke betrokkenheid; subjectieve insider; heeft invloed op de omgeving. 2. Kunnen deze eigenschappen worden teruggevonden in de kenmerken van operational audit?


37


Ja. Op basis van de vergelijking tussen operational auditing en kwalitatief onderzoek zijn de volgende overeenkomsten geconstateerd: • • • •

Het object van onderzoek, wat veelal een proces of situatie betreft. Het gebruik van kwalitatieve methoden van gegevensverzameling zoals interviews, documentstudies en observaties. De bestudering van het object van onderzoek in zijn natuurlijke omgeving. Het werken met een relatief klein aantal onderzoekseenheden.

3. Met behulp van welke oordeelsvormende methoden en technieken wordt binnen de kwalitatieve onderzoeksmethodologie de betrouwbaarheid en validiteit van onderzoeksresultaten gewaarborgd? De validiteit en betrouwbaarheid van kwalitatief verkregen onderzoeksresultaten kunnen worden bedreigd door de volgende bronnen van verstoringen: • •

•

The holistic fallacy: de waargenomen gebeurtenissen worden als meer representatief geïnterpreteerd dan dat zij in werkelijkheid zijn. Elite bias: het verzamelde materiaal dat afkomstig is van mondige, goed geïnformeerde, en doorgaans vooraanstaande respondenten wordt te zwaar meegewogen in de bewijsvoering, terwijl informatie afkomstig van minder mondige informanten ondervertegenwoordigd is. Going native: het verliezen van het eigen perspectief en oordeelsvorming door het overnemen van meningen en interpretaties van de informanten.

Om deze verstoringen beheersbaar te maken en daarmee de validiteit en betrouwbaarheid van de onderzoeksresultaten te waarborgen zijn de volgende vier methoden en technieken geïdentificeerd: • • • •

Het testen op representativiteit (betrouwbaarheid). Het testen op onderzoekereffecten (betrouwbaarheid). Triangulatie (validiteitaspect). Feedback van respondenten (validiteitaspect).

4. Zijn deze methoden en technieken relevant en toepasbaar binnen de uitvoering van een operational audit? Relevantie? Ja. De binnen kwalitatief onderzoek erkende bronnen van verstoringen kunnen zich eveneens voordoen tijdens de uitvoering van een operational audit. Toepasbaar? Ja. De gepresenteerde methoden zijn toepasbaar binnen de uitvoering van een operational audit. Wel geldt hierbij dat, veelal als gevolg van praktische aspecten en het oordeelsvormende karakter van een audit, de ene methode beter toepasbaar is dan de andere. 5. Praktijktoets: Zijn de onderkende bronnen van verstoringen herkenbaar in de dagelijkse praktijk van de operational auditor? Bieden de besproken methoden en technieken een uitkomst bij het ondervangen van deze bronnen van verstoringen?


38


De conclusies op basis van de praktijktoets bevestigen het antwoord op de vierde onderzoeksvraag. Volgens de geïnterviewde ervaringsdeskundigen zijn de onderkende bronnen van verstoringen in meer of mindere mate herkenbaar binnen een operational audit en bieden de gehanteerde methoden en technieken mogelijkheden om deze verstoringen tegen te gaan.

6.3

Afsluitende opmerkingen

In dit referaat zijn een aantal methoden en technieken gepresenteerd die de operational auditor kan helpen bij het verkrijgen van valide en betrouwbare onderzoeksresultaten. Hierbij is het niet de bedoeling geweest om een volledige opsomming te geven van beschikbare methoden en technieken. Binnen de beschikbare (kwalitatieve) onderzoeksliteratuur worden nog andere methoden en technieken behandeld met behulp waarvan tot valide en betrouwbare onderzoeksresultaten kan worden gekomen. Naar deze methoden is geen verder onderzoek gedaan. Het is aan de geïnteresseerde lezer om zelf de verkenning die in dit referaat is gestart voort te zetten11. Er is geconstateerd dat het niet (kunnen) toepassen van bepaalde methoden en technieken veelal afhankelijk is van de beschikbare tijd en/of budget voor de uitvoering van de audit. Dit zal voornamelijk het geval zijn wanner de auditor achteraf nog moet besluiten hoe en welke methoden te gebruiken. Veel van de gepresenteerde methoden en technieken zijn echter van te voren in de aanpak in te plannen. Wanneer dit consequent wordt gedaan, kan de uitvoering van het testen op validiteit en betrouwbaarheid worden meegenomen in de planning en budgettering van de audit. In het aan het begin van dit hoofdstuk vermelde citaat spreekt De Korte over het onderkennen en naleven van de onderzoeksmethodologische eisen die volgens hem van toepassing zijn op operational audit. Dit referaat hoopt een bijdrage te hebben geleverd aan de onderbouwing van deze stelling. De eerste winst is al geboekt als de auditor na het lezen van dit referaat zich ervan bewust is dat zijn verkregen onderzoeksresultaten bloot staan aan verstoringen. Laat het vanuit dit bewustzijn vervolgens een kleine stap zijn naar de daadwerkelijke toepassing van de gepresenteerde methoden en technieken om zo deze verstoringen beheersbaar te maken en tot valide en betrouwbare auditresultaten te komen.

11

Een aanrader hierbij is het boek “Qualitative Methods in Organisational Research, a practical guide”, Cassel, C. en Symon, G. (1994)


39

7 GERAADPLEEGDE LITERATUUR

Geraadpleegde literatuur BAARDA, D.B, GOEDE, M. DE, TEUNISSEN, J., ‘Kwalitatief onderzoek: Praktische handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek’, 2001, WoltersNoordhoff BABELIOWSKY, A., ‘De kwaliteit van Operational Auditing’, 2000.Uit: Reader Inleiding Auditing, Opleiding Internal/Operational auditing, EURAC, collegejaar 2001/2002: BAKKER, T.L., ‘Doing social research’, 1994, McGraw-Hill Inc. CASSEL, C., SYMON, G., ‘Qualitative methods in organizational research: a practical guide’, 1994, Sage Publications Inc. (hoofdstuk 1,2,10,12) KOCKS, C., ‘Auditing, audit, auditor, wat moeten we ermee?’, uit: ‘Internal/Operational Auditing; bijdragen aan governance en control’ (deel 12 in de VERA-reeks ’20 over…’), 2003, NIVRA KORTE, R. DE, ‘Internal/Operational Auditing is in een volgend stadium’, uit: ‘Internal/Operational Auditing; bijdragen aan governance en control’ (deel 12 in de VERA-reeks ’20 over…’), 2003, NIVRA MILES,M., HUBERMAN, E., ‘Qualitative Data Analysis: an expanded source book’, 1994, Sage Publications Inc. MORSE, J.M., ‘Critical issues in qualitative research methods’, 1994, Sage Publications Inc. OTTEN, J., HARTOG, P., BABELIOWSKY, A., ‘Designing an effective Operational Audit’, uit: ‘Internal/Operational Auditing; bijdragen aan governance en control’ (deel 12 in de VERA-reeks ’20 over…’), 2003, NIVRA OTTEN, J., HARTOG, P., BABELIOWSKY, A., ‘Auditmethodologie, een framework voor vraaggericht en gestructureerd auditen ’, 2002, Preprint ACS RATLIFF, R.L. et al, ‘Internal Auditing: Principles and Techniques’, 1996, The Institue of Internal Auditors. STRAATHOF, J.A., ‘Internal Auditing via benadering X of Y: de effectiviteit van de internal auditfunctie belicht vanuit het X en Y perspectief van McGregor’, eindreferaat postdoctorale opleiding Internal/ Operatioanal Auditing Erasmus Universiteit Rotterdam, 2003 (conceptversie) TASHAKKORI, A., TEDDLIE, C., ‘Mixed Methodology, Combining Qualitative and Quantitative Approaches’ (Applied social research methods; v. 46), 1998, Sage Publications Inc.


I

7 GERAADPLEEGDE LITERATUUR

VESCHUREN, P., DOOREWAARD, H., ‘Het ontwerpen van een onderzoek’, 2002, Uitgeverij Lemma B.V.


II

Betrouwbaarheid en Validiteit van Kwalitatief georiënteerde Operational Audits

Recommend Documents