De bruikbaarheid van methoden voor risicomanagement bij IT Outsourcing

De bruikbaarheid van methoden voor risicomanagement bij IT Outsourcing

Een verkennende casestudy bij een Nederlandse overheidsorganisatie

J.W. Heimeriks (850487068) 22 juni 2011

Masteropleiding Business Process Management & IT Faculteiten Managementwetenschappen en Informatica

De bruikbaarheid van methoden voor risicomanagement bij IT Outsourcing Een verkennende casestudy bij een Nederlandse overheidsorganisatie

Usability of risk management methods for IT Outsourcing An exploratory study at a Dutch government organization

Colofon Datum Auteur Studentnr

: 22 juni 2011 : J.W. Heimeriks : 850487068

Begeleidingscommissie: Eerste begeleider : ir. H.B.F. Hofstee Tweede begeleider : Prof. dr. R.J. Kusters Examinator

: ir. H.B.F. Hofstee

Cursuscode

: B89317

Masteropleiding Business Process Management and IT Open Universiteit Nederland Faculteiten Management wetenschappen en Informatica

Voorwoord

Voor u ligt het eindrapport van mijn afstudeeronderzoek. Dat betekent dat ik de werkzaamheden voor mijn studie ‘Business Process Management and IT’ aan de Open Universiteit heb afgerond. Het is voor mij een belangrijke gebeurtenis, niet alleen vanwege de aanzienlijke inspanning die ermee gemoeid is geweest, maar vooral vanwege de kennis en ervaring die is opgedaan en de nieuwe mogelijkheden die het voor de toekomst biedt. Ik ben dan ook erg dankbaar dat ik in de gelegenheid ben gesteld om deze studie te kunnen doen. In de eerste plaats door mijn gezin- Margien, Illy en Jip- die vele uren aandacht van mij tekort zijn gekomen. Daarnaast wil ik ook mijn studiegenoten bedanken, in het bijzonder Teun Hakvoort, voor de prettige samenwerking en de vele discussies. Ook ben ik Rijkswaterstaat dankbaar voor het feit dat ik daar het onderzoek kon uitvoeren. Tot slot wil ik ook mijn eigen bedrijf VSL bedanken voor de bijdrage in de inschrijfkosten. Ik hoop en verwacht dat ik in de toekomst alle opgedane kennis en ervaring goed kan gaan gebruiken.

Hans Heimeriks Juni, 2011


iii

Inhoudsopgave

Samenvatting............................................................................................................................................ 1 1

Probleemstelling ................................................................................................................................ 3 1.1 1.2 1.3 1.4 1.5 1.6

2

Inleiding ...................................................................................................................................... 3 Uitgangspunten / begripsbepaling ............................................................................................. 4 Doelstelling................................................................................................................................. 6 Onderzoeksmodel ...................................................................................................................... 6 Vraagstelling ............................................................................................................................... 7 Leeswijzer ................................................................................................................................... 8

Theoretisch kader – Het opstellen van de referentiemethoden ....................................................... 9 2.1 Verantwoording van het literatuuronderzoek ........................................................................... 9 2.2 Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? .................................... 11 2.2.1 Wat zijn de criteria die voor RM bij ITO methoden gelden om als referentiemethode te kunnen dienen? ......................................................................... 11 2.2.2 Welke RM bij ITO-doelen zouden door middel van de referentiemethoden ondersteund moeten worden? ...................................................................................... 13 2.2.3 Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die voldoen aan de criteria? ....................................................................... 14 2.2.4 Wat is er in de literatuur te vinden over de mate waarin de referentiemethoden in de praktijk worden ingezet voor RM bij ITO? .......................... 15 2.2.5 Wat is er in de literatuur te vinden over de bruikbaarheid van de referentiemethoden in de praktijk? .............................................................................. 16 2.3 Conclusie literatuuronderzoek ................................................................................................. 16

3

Onderzoeksontwerp en -verantwoording ....................................................................................... 18 3.1 Inleiding .................................................................................................................................... 18 3.2 Randvoorwaarden .................................................................................................................... 19 3.3 Benodigde onderzoeksgegevens.............................................................................................. 19 3.4 Onderzoeksstrategie ................................................................................................................ 19 3.5 Operationalisatie van het begrip bruikbaarheid ...................................................................... 21 3.6 Criteria voor de casus en deelnemers...................................................................................... 21 3.7 Casusbeschrijving ..................................................................................................................... 22 3.8 Kwaliteit van gegevens ............................................................................................................. 24 3.9 Interviewopzet ......................................................................................................................... 24 3.10 Wijze van gegevensanalyse ...................................................................................................... 25 3.11 Mogelijke resultaten ................................................................................................................ 25

iv


4

Onderzoeksresultaten...................................................................................................................... 26 4.1 Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden? ............................................... 26 4.1.1 Is men zich binnen de praktijkcasus bewust van specifieke ITO risico’s en waar blijkt dat uit? .................................................................................................................. 26 4.1.2 Volgens welke methoden is RM met betrekking tot ITO uitgevoerd voor de praktijkcasus en wat was daarvoor de motivatie? ........................................................ 27 4.1.3 Welke factoren hebben invloed gehad op de keuze voor de gebruikte methoden? ..................................................................................................................... 28 4.1.4 Wat is de overlap van de praktijkcasusmethoden en de referentiemethoden? ........... 29 4.1.5 Conclusie onderzoeksvraag 2......................................................................................... 31 4.2 Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? ............................................................ 31 4.2.1 Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentie-methoden op het punt van efficiëntie? ....................................................... 32 4.2.2 Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van effectiviteit? ...................................................... 32 4.2.3 Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van tevredenstelling?............................................... 33 4.2.4 Conclusie onderzoeksvraag 3......................................................................................... 33

5

Conclusies en discussie .................................................................................................................... 35 5.1 Conclusies................................................................................................................................. 35 5.2 Discussie ................................................................................................................................... 37 5.3 Aanbevelingen voor vervolgonderzoek ................................................................................... 38

6

Procesreflectie ................................................................................................................................. 40

Bibliografie ........................................................................................................................................... 42 Bijlage A

Veel voorkomende risico’s en risicofactoren .................................................................... 44

Bijlage B

Gedetailleerde beschrijving van de referentiemethoden ................................................. 47

Bijlage C

Operationalisatietabel voor het begrip bruikbaarheid ..................................................... 54

Bijlage D

Interviewopzet................................................................................................................... 55

Bijlage E

Transcripties van de interviews ......................................................................................... 57


v

Samenvatting In een omvangrijk literatuuronderzoek van Lacity et al. (2009) wordt volgens de auteurs aangetoond dat de literatuur op het gebied van risicomanagement (RM) bij IT-outsourcing (ITO) voldoende praktische relevantie biedt. Op een van de topics, ITO risk, beschrijven de auteurs de beschikbare literatuur als een lijst van veelvoorkomende risico’s en vele mitigatiemethoden. Dit onderzoek stelt de vraag hoe bruikbaar deze literatuur is voor ‘de praktijk’. Het doel is: Het vergroten van inzicht in de praktische bruikbaarheid van de methoden voor RM bij ITO, door een vergelijking te maken van de bruikbaarheid van methoden zoals die beschreven zijn in de wetenschappelijke literatuur met daadwerkelijk gehanteerde methoden in een specifieke praktijkcasus. Daartoe zijn de volgende onderzoeksvragen geformuleerd: 1. Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? 2. Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden? 3. Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? In dit onderzoek wordt de volgende definitie voor bruikbaarheid gehanteerd: (ISO 9241-11, geciteerd door Hornbæk, 2006; Jordan, 1998) The effectiveness, efficiency, and satisfaction with which specified users can achieve goals in particular environments. De eerste onderzoeksvraag is door middel van een literatuuronderzoek beantwoord. Er zijn methoden voor RM bij ITO geselecteerd die representatief zijn voor wat er in de literatuur gevonden is op dit gebied. Er zijn referentiemethoden opgesteld voor verschillende RMdoelen, zie de onderstaande tabel. Tabel 1

De gevonden referentiemethoden RM-doel

Referentiemethode

Inventariseren van risico’s

• •

Brainstorm met betrokkenen Risicolijsten

Schatten van de kans Pi

• • •

Op basis van prestaties uit het verleden Op basis van aanwezigheid van risicofactoren ‘Kopen’ van informatie

Prioriteren van de risico’s

• •

Risk exposure analysis Risk reduction leverage analysis

Bepalen van acceptabel risico niveau

•

Risk and return model

Risk avoidance

• •

Het afzien van (een deel van) het outsourcen. Opkopen van leverancier

Risk reduction

•

Suggested Risk Management Strategies


1

RM-doel

Risk sharing

Referentiemethode •

Richten op succesfactoren en toepassen van best practices

• •

Overhevelen (afspraken in contracten) Verzekeren

De onderzoeksvragen twee en drie zijn beantwoord door middel van een praktijkonderzoek. Het praktijkonderzoek bestond uit een enkelvoudige casestudy en was verkennend van aard. Als waarnemingsinstrument is gebruik gemaakt van semi-gestructureerde interviews. Het onderzoek vond plaats in het kader van het praktijkproject ‘Sourcing B&O: IAPD’, bij Rijkswaterstaat/Data-ICT-Dienst. Er zijn 2 interviews gehouden met door Rijkswaterstaat ingehuurde ITO-deskundigen die bij het project betrokken zijn geweest en een interview met de manager van de kwaliteitsafdeling die veel ervaring heeft met dit soort projecten binnen Rijkswaterstaat. Uit de interviews blijkt dat voor het project veel risico beperkende maatregelen zijn toegepast die op een vrij ongestructureerde, pragmatische wijze tot stand zijn gekomen. Op basis van eerder opgedane ervaring worden eigen ‘best practices’ toegepast. De in de literatuurstudie gevonden referentiemethoden voor risk-assessment zijn in het praktijkproject bijna niet toegepast, op een enkele uitzondering na waarbij er simulatie is toegepast om de risico’s helder te krijgen. De toegepaste methoden zijn door de deelnemers vergeleken met de referentiemethoden. Daaruit blijkt dat men de in het project toegepaste methoden hoger beoordeelt op efficiëntie en tevredenstelling. Op effectiviteit is er echter geen eenduidig beeld. De ITO deskundigen, die het risicomanagement in de praktijk hebben uitgevoerd, vinden dat de toegepaste methode even effectief is als de referentiemethode. De kwaliteitsmanager vindt de toegepaste methode niet effectief genoeg. Volgens de gehanteerde operationalisering voor bruikbaarheid kan worden geconcludeerd dat de ITO deskundigen de toegepaste methode bruikbaarder vinden dan de referentiemethoden en dat de kwaliteitsmanager de toegepaste methoden niet bruikbaar genoeg vindt. Er zijn factoren die de validiteit van de conclusies van het onderzoek (mogelijk) negatief beïnvloedt hebben. Zo hebben de uitvoerende ITO-deskundigen er baat bij om in de aanbestedingsfase een pragmatische methode toe te passen (de opdrachtgever vraagt niet om een uitvoerigere methode, terwijl er wel veel druk ligt op andere zaken). Daarnaast krijgen zij doorgaans geen terugkoppeling van projecten die in de uitvoering tegen problemen aan lopen omdat ze dan niet meer betrokken zijn bij het project. De doelstelling van het onderzoek – het vergroten van inzicht – is gehaald. Gezien de (mogelijk) beperkte validiteit van de beoordelingen van de effectiviteit van de methoden moet op dit vlak voorzichtigheid betracht worden met het trekken van conclusies. Het onderzoek biedt aanknopingspunten voor vervolgonderzoek. Zo zou het interessant zijn om het verband tussen ITO risicomanagement-methoden en de heersende bedrijfscultuur te onderzoeken. Ook is het interessant om te onderzoeken hoe de effectiviteit van de referentiemethoden zich verhouden met de effectiviteit van de ‘pragmatische methode’.

2


1

Probleemstelling

1.1

Inleiding IT-outsourcing Het uitbesteden van informatietechnologie (IT-outsourcing of kortweg ITO) staat bij veel bedrijven in de belangstelling. Chou & Chou (2009) citeren cijfers van Gartner voor IT-outsourcing omzet: wereldwijd van $110 miljard in 2002 gegroeid naar $173 miljard in 2007, een groei van bijna 10% per jaar. IT-outsourcing is voor bedrijven een strategie geworden (Gonzalez, Gasco & Llopis, 2006; Loh & Venkatraman, 1992). Het zijn voornamelijk de potentiële kostenbesparingen, focus op de kernactiviteiten, potentiële proces- en prestatieverbeteringen en de toegang tot expertise die grote aantrekkingskracht op de bedrijven hebben (Lacity, et al., 2009). Met de toename van ITO is ook het aantal publicaties over ITO in de loop van de tijd gegroeid (Gonzalez, et al., 2006). Naast alle positieve geluiden over ITO wordt in de literatuur ook gewezen op de risico’s van ITO (Earl, 1996; Bahli & Rivard, 2005; Lacity, et al., 2009; Sullivan & Ngwenyama, 2005; Bhattacharya, Behara & Gundersen, 2003; Chou & Chou, 2009). De grote risico’s, of die nu perceptie zijn of echt, zijn de belangrijkste reden waarom managers soms tegen outsourcing zijn (Jurison, 1995). ITO blijkt meer te zijn dan slechts het werk door derden laten uitvoeren. De activiteit uitbesteden zelf kan complex zijn en kennis en ervaring dient binnen de organisatie zelf aanwezig te zijn (Lacity, et al., 2009). De IT manager die wil gaan outsourcen heeft dus handvatten nodig om de risico’s van ITO te kunnen beheersen. De vraag is op welke manier de wetenschappelijke literatuur hiervoor ondersteuning biedt. Praktische relevantie Lacity et al hebben recentelijk een omvangrijk literatuuronderzoek (Lacity, et al., 2009) verricht op het gebied van ITO. Als aanleiding voor hun studie noemen zij een oproep aan de wetenschap voor meer praktische relevantie in het onderzoek op dit gebied. Lacity et al claimen substantieel bewijs geleverd te hebben dat ITO onderzoek deze oproep betekenisvol en significant geadresseerd heeft. Zij stellen: “In several ways then, ITO research has been an exemplar of how information systems (IS) academics can study and inform practice.” In het artikel is de ITO literatuur in verschillende topics verdeeld, waaronder ‘IT outsourcing risk’, verder aangeduid als ‘risicomanagement bij ITO’ of kortweg RM bij ITO. Lacity et al geven met betrekking tot deze topic aan dat er twee, voor de praktijk relevante vragen geadresseerd zijn: ‘What are the risks of IT outsourcing?’ en ‘How are IT outsourcing risks mitigated?’. Er worden, volgens het artikel, in de literatuur veel unieke ITO risico’s genoemd (in 3


3

artikelen vonden zij al 43 unieke ITO risico’s) en er zijn minstens zo veel specifieke ‘practices’ ontworpen om risico te reduceren en dus de kans op ITO succes te vergroten. Problematiek Hoewel ‘de praktijk’ wordt geïnformeerd door de bovenstaande literatuur blijft de vraag bestaan of die informatie ook bruikbaar is. Zijn er in de literatuur methoden beschikbaar die toegepast kunnen worden in de praktijk en zorgen die methoden er dan daadwerkelijk voor dat de risico’s binnen aanvaardbare grenzen kunnen worden gebracht? Het beheersen van ITO risico’s is een complexe aktiviteit. Men moet zich in de eerste plaats bewust zijn van de mogelijke risico’s en van de risicofactoren. Welke risico’s moet men aanpakken en welke niet? Hoe moet men de risico’s aanpakken? Als men risicofactoren aanpakt, in hoeverre zijn dan de risico’s daardoor beperkt? Zijn er risicofactoren die onderling afhankelijk zijn? Worden er ‘best practices’ toegepast en wat is dan het effect daarvan? Worden er keuzes gemaakt op het gebied van succesfactoren en wat is het effect daarvan? Het zijn allemaal vragen die betrekking hebben op de risico’s. Kortom: De manager die gaat outsourcen kan wel wat ondersteuning van de wetenschap gebruiken. Op grond van de constateringen van Lacity, et al. (2009) – er is een lijst met veelvoorkomende risico’s (zie bijlage A) en er zijn verspreid minstens zoveel methoden om de risico’s te lijf te gaan - lijkt het op het eerste gezicht wat overdreven om te stellen dat de topic van RM bij ITO de eerder genoemde oproep betekenisvol en significant geadresseerd is. Deze claim is in elk geval niet op praktijkonderzoek gebaseerd. Het is aannemelijk dat er in de literatuur op het gebied van RM bij ITO meer te vinden is dan alleen een lijst van risico’s en mitigatiemethoden. De vraag is wat die methoden dan zijn, en wat daarvan de bruikbaarheid is voor de praktijk. Naar het antwoord op deze vraag zal in dit onderzoek gezocht worden.

1.2

Uitgangspunten / begripsbepaling In dit onderzoek worden een aantal begrippen gebruikt die betrekking hebben op RM bij ITO. In deze paragraaf worden de begrippen achtereenvolgens gedefinieerd. IT-outsourcing Dibbern, et al. (2004) geven een overzicht van een aantal gehanteerde definities in de literatuur. De verschillende definities spreken elkaar niet tegen. De verschillen zitten vooral in de woordkeus en de precisie van de formulering. De definitie van Loh & Venkatraman (1992) geeft goed aan wat er in dit onderzoek bedoeld wordt met ITO: The significant contribution by external vendors in the physical and/or human resources associated with the entire or specific components of the IT infrastructure in the user organization. Risicomanagement Volgens Aubert, et al (1999) is het doel van risicomanagement het reduceren van het risico van een gegeven bedrijfseenheid. Risicomanagement wordt uitgevoerd om ongewenste gebeurtenissen die mogelijk in de toekomst kunnen gebeuren te voorkomen of binnen accepta-

4


bele grenzen te krijgen en/of te houden. Essentieel daarbij is dat risicomanagement voorafgaat aan het optreden van de gebeurtenis. Heemstra & Kusters (1996) formuleren de essentie van risicomanagement als volgt: ... Risk Management is concerned with controlling risks by acting before risks become problems. Binnen dit onderzoek wordt er van uitgegaan dat er in grote lijnen consensus bestaat over de vraag uit welke fasen risicomanagement bestaat (Heemstra & Kusters, 1996; Boehm, 1991; Duncan, 1996; Bhattacharya, et al., 2003). Deze fasen zijn weergegeven in de onderstaande tabel. Tabel 2

De fasen van risicomanagement

Risk assessment

RM fase

Doel van de fase

Risk identification

Een overzicht krijgen welke risico’s er binnen het kader van het project een rol spelen. Het kwantificeren van de geïdentificeerde risico’s. Het vaststellen van een volgorde van belangrijkheid van de risico’s. Daarbij wordt ook vastgesteld of risico’s acceptabel zijn of niet. Hierdoor kunnen de resources effectiever ingezet worden. Het ontwerpen van mogelijke actieplannen voor de relevante risico’s en het kiezen welk actieplan uitgevoerd zal worden. Het daadwerkelijk reduceren van de risico’s door het uitvoeren van de actieplannen uit de vorige fase. In een vroeg stadium op hoogte zijn wanneer een bepaald risico een probleem dreigt te worden. Er kunnen dan tijdig maatregelen genomen worden. Hiertoe moeten risico’s regelmatig gemeten, gecontroleerd en gerapporteerd worden.

Risk analysis Risk prioritization

Risk control

Risk management planning Risk resolution Risk monitoring

Risk exposure Risico’s worden gekwantificeerd door middel van de grootheid ‘Risk exposure’ (RE). Voor RE van een onwenselijke gebeurtenis i geldt: (Aubert, Patry & Rivard, 2005; Boehm, 1991; Chou & Chou, 2009; Bhattacharya, et al., 2003) REi = Pi · Li waarbij Pi de kans is dat de gebeurtenis optreedt en Li de gevolgen van de gebeurtenis zijn, uitgedrukt in geld. Bruikbaarheid De term ‘bruikbaarheid’, in het Engels ‘usability’, wordt veel gebruikt in de human-computer interaction literatuur en geeft de mate aan waarin een gebruikersgereedschap aan de gebruikersbehoeften voldoet. Hornbæk (2006) en ook Jordan (1998) citeren verschillende definities voor usability, waaronder die uit de ISO 9241-11: The effectiveness, efficiency, and satisfaction with which specified users can achieve goals in particular environments.


5

Voor dit onderzoek is deze ISO standaard gebruikt als basis voor de term bruikbaarheid. Voor effectiviteit, efficiëntie en tevredenstelling hanteert Hornbæk de volgende definities: Effectiveness: Accuracy and completeness with which users achieve specified goals Efficiency: Resources expended in relation to the accuracy and completeness with which users achieve goals Satisfaction: Freedom from discomfort, and positive attitudes towards the user of the product Deze definities zullen ook in dit onderzoek gehanteerd worden. Het begrip bruikbaarheid zal in paragraaf 3.5 verder geoperationaliseerd worden.

1.3

Doelstelling De doelstelling voor het onderzoek is als volgt geformuleerd: Het vergroten van inzicht in de praktische bruikbaarheid van de methoden voor RM bij ITO, door een vergelijking te maken van de bruikbaarheid van methoden zoals die beschreven zijn in de wetenschappelijke literatuur met daadwerkelijk gehanteerde methoden in een specifieke praktijkcasus. De theoretische relevantie van het onderzoek zal worden gevormd doordat de nieuw verkregen inzichten op het gebied van bruikbaarheid van de methoden voor RM bij ITO mogelijk bruikbaar zullen zijn voor toekomstig onderzoek, bijvoorbeeld als bron voor nieuwe hypothesen. De referentiemethoden, inclusief een indicatie van de bruikbaarheid, zullen praktisch relevant zijn.

1.4

Onderzoeksmodel Het onderzoeksmodel, opgesteld volgens de methode van Verschuren & Doorewaard (2007), is weergegeven in figuur 1. Door middel van een literatuuronderzoek over risicomanagement, ITO risico’s, ITO mitigatietechnieken en ITO frameworks (a) zijn methoden geselecteerd die representatief zijn voor wat er in de literatuur gevonden is op het gebied van RM bij ITO. Deze methoden worden in dit onderzoek de referentiemethoden genoemd. Het praktijkonderzoek is uitgevoerd bij de overheidsorganisatie ‘Rijkswaterstaat/Data-ICTDienst’ door te kijken welke methoden worden gebruikt bij een praktijkproject ‘Sourcing B&O: IAPD’, voorlopig aangeduid als praktijkcasusmethoden (b). De organisatie en het project worden nader beschreven in paragraaf 3.7. Aansluitend volgt een analyse door de praktijkcasusmethoden te spiegelen aan de referentiemethoden (c). Het doel van het onderzoek is om inzichten te verwerven over de bruikbaarheid van methoden voor RM bij ITO (d).

6


Theorie risicomanagement

Referentiemethoden voor RM bij ITO

Theorie ITO risico’s

Theorie ITO mitigatietechnieken Theorie ITO frameworks (a)

Analyse van project SBO methoden vs. referentiemethoden

Inzicht in de bruikbaarheid van methoden voor RM bij ITO

(c)

(d)

Praktijkcasusmethoden voor RM bij ITO (b)

Figuur 1 Het toegepaste onderzoeksmodel

1.5

Vraagstelling Uit het bovenstaande model zijn de de volgende onderzoeksvragen en bijbehorende deelvragen afgeleid: 1 1.1 1.2 1.3 1.4 1.5

Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? Wat zijn de criteria die voor RM bij ITO methoden gelden om als referentiemethode te kunnen dienen? Welke RM bij ITO-doelen zouden door middel van de referentiemethoden ondersteund moeten worden? Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die voldoen aan de criteria? Wat is er in de literatuur te vinden over de mate waarin de referentiemethoden in de praktijk worden ingezet voor RM bij ITO? Wat is er in de literatuur te vinden over de bruikbaarheid van de referentiemethoden in de praktijk?

Onderzoeksvraag 1 zal met behulp van een literatuuronderzoek worden beantwoord. Het antwoord zal bestaan uit een overzicht van methoden voor RM bij ITO die representatief zijn voor wat er in de wetenschappelijke literatuur gevonden is. De tweede onderzoeksvraag richt zich op de methoden die bij de praktijkcasus gebruikt zijn: 2 2.1 2.2 2.3

Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden? Is men zich binnen de praktijkcasus bewust van specifieke ITO risico’s en waar blijkt dat uit? Volgens welke methoden is RM met betrekking tot ITO uitgevoerd voor de praktijkcasus en wat was daarvoor de motivatie? Welke factoren hebben invloed gehad op de keuze voor de gebruikte methoden?


7

2.4

Wat is de overlap van de praktijkcasusmethoden en de referentiemethoden?

Bij de derde onderzoeksvraag worde beide methoden onderling vergeleken: 3 3.1 3.2 3.3

Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van efficiëntie? Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van effectiviteit? Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van tevredenstelling?

Onderzoeksvragen 2 en 3 zullen door middel van een praktijkonderzoek beantwoord worden. Aangezien het een kwalitatief onderzoek betreft (zie ook hoofdstuk 3, Onderzoeksontwerp), zal ook het resultaat een kwalitatieve beschrijving zijn van de bevindingen en de conclusies.

1.6

Leeswijzer In dit hoofdstuk zijn de aanleiding, de uitgangspunten, de doelstelling en de vraagstelling van het onderzoek beschreven. Hoofdstuk 2 geeft antwoord op onderzoeksvraag 1 door de resultaten en de verantwoording van de uitgevoerde literatuurstudie te beschrijven. In hoofdstuk 3 komen onderzoeksontwerp en -verantwoording van het praktijkonderzoek aan de orde, gevolgd door het resultaat van het praktijkonderzoek (de antwoorden op de onderzoeksvragen 2 en 3) in hoofdstuk 4. De conclusies en aanbevelingen voor vervolgonderzoek worden uiteengezet in hoofdstuk 5. Er wordt afgesloten met een evaluatie van het onderzoek in de vorm van een reflectie in hoofdstuk 6.

8


2

Theoretisch kader – Het opstellen van de referentiemethoden Om antwoord te krijgen op onderzoeksvraag 1 is een literatuuronderzoek uitgevoerd. Deze vraag is in hoofdstuk 1 als volgt geformuleerd: 1. Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? Het doel van het literatuuronderzoek is: Het opstellen van een overzicht van referentiemethoden voor RM bij ITO door het selecteren van gevonden methoden voor RM bij ITO in de wetenschappelijke literatuur op basis van geschiktheidscriteria voor referentiemodellen en criteria voor doelen van risicomanagement. In dit hoofdstuk wordt eerst de verantwoording van het literatuuronderzoek beschreven in paragraaf 2.1 en daarna de resultaten in paragraaf 2.2. Tot slot volgen de conclusies in paragraaf 2.3.

2.1

Verantwoording van het literatuuronderzoek Zoekstrategie Om literatuur te vinden is voornamelijk de ‘sneeuwbalmethode’ toegepast. De overzichtsartikelen (Lacity, et al., 2009; Dibbern, et al., 2004; Gonzalez, et al., 2006) waren daarbij de basis. De onderstaande tabel geeft een overzicht van de gemaakte keuzes.

Tabel 3

Overzicht van de gemaakte keuzes bij het literatuuronderzoek Onderdeel

Invulling

Databases

De gebruikte databases zijn allemaal via de digitale bibliotheek van de Open Universiteit in samenwerking met de Universiteit Maastricht beschikbaar: • Academic Search Elite en Business Source Premier, beide via EBSCOhost. • Google Scholar • ScienceDirect (Elsevier) • ACM Digital Library • IEEE Digital Library • Emerald

Zoektermen

‘Outsourcing’, ’risk’, ‘risks’, ‘risk assessment’, ‘risk management’, ‘risk mitigation’, ‘framework’, ‘information systems’ of een combinatie van deze termen.

Periode

Het beeld van ITO is sinds de Kodak-beslissing in 1989 sterk veranderd. Daarom is ervoor gekozen om artikelen van voor die tijd zo weinig mogelijk te gebruiken.

Geografie

Mijn inschatting is dat cultuur een invloed zou kunnen hebben op de manier van werken bij ITO en op de soort risico’s. Om deze reden zijn voor de zekerheid artikelen


9

Onderdeel

Invulling die bedrijven onderzochten uit landen waar de cultuur erg afwijkt van ‘de westerse cultuur’, zoals landen in Afrika en landen als China en India niet meegenomen in dit literatuuronderzoek.

Type outsourcing

Volgens Willcocks & Lacity (1995) is IT-outsourcing in veel opzichten niet anders dan outsourcing in andere vakgebieden, maar zij tonen aan waarom het toch gerechtvaardigd is om specifiek onderzoek naar IT outsourcing te doen. Om deze reden is er in dit onderzoek voor gekozen om zoveel mogelijk gebruik te maken van artikelen die betrekking hebben op IT-outsourcing en niet op outsourcing in het algemeen of op andere vakgebieden. Er zijn minimaal drie bijzondere typen ITO waarvoor in de literatuur specifieke risico’s beschreven worden, te weten: offshoring, application service provision (ASP) en business process outsourcing (BPO). Voornamelijk vanwege de beperkte beschikbare tijd voor het onderzoek zijn artikelen waarin deze drie bijzondere typen duidelijk het onderwerp van onderzoek zijn buiten beschouwing gelaten.

Perspectief

Omdat de referentiemethoden bedoeld zijn voor bedrijven die gaan outsourcen zijn de artikelen die outsourcing vanuit het perspectief van de leverancier bekijken niet gebruikt.

Taal

Door de keuze van gebruikte databases en zoektermen (zie eerder in dit document) is impliciet ook gekozen voor artikelen in de Engelse taal en dus niet in andere talen. Het is geen bewuste keuze geweest om Nederlandstalige artikelen uit te sluiten. Artikelen in andere talen dan Engels en Nederlands komen niet in aanmerking omdat mijn talenkennis daar tekort schiet.

Tijdschriften Een belangrijk criterium is dat de gebruikte literatuur peer-reviewed moet zijn. Om die reden zijn er alleen tijdschriftartikelen en artikelen gepubliceerd in proceedings gebruikt en geen boeken. Tabel 3 geeft een overzicht van de tijdschriften waarvan de artikelen gebruikt zijn met daarbij een indicatie of van deze tijdschriften de artikelen peer-reviewed zijn. Om dit te achterhalen is gebruik gemaakt van EBSCO Host en/of Omega (omega.library.uu.nl), een zoekmachine voor tijdschriftartikelen, beschikbaar gesteld door de bibliotheek van de universiteit van Utrecht. Deze zoekmachines geven van elk tijdschrift expliciet aan of de artikelen peer-reviewed zijn. Een enkele keer is een tijdschrift niet in de database opgenomen. In dat geval is op de internetpagina van het betreffende tijdschrift gezocht naar een peer-review verklaring. Tabel 4

10

De tijdschriften waarin de gebruikte artikelen zijn gepubliceerd Tijdschriftnaam

ISSN -

Peer reviewed Ja

Aantal artikelen 1

Proceedings of the 32nd Hawaii International Conference on System Sciences ACM SIGMIS Database Computer Standards & Interfaces European journal of operational research IEEE Software Information and Management Information Systems Journal Information systems management International journal of accounting information systems

0920-5489 0377-2217 0740-7459 0378-7206 1350-1917 1058-0530 1467-0895

Ja Ja Ja Ja Ja Ja Ja Ja

2 1 1 1 1 1 1 1


Tijdschriftnaam

ISSN

International journal of human computer studies Journal of Computer Information Systems Journal of Information Technology Journal of Management Information Systems Journal of Special Education Journal of Strategic Information Systems Omega : the international journal of management science Sloan Management Review Vikalpa: The Journal for Decision Makers

1071-5819 0887-4417 0268-3962 0742-1222 0022-4669 0963-8687 0305-0483 0019-848X 0256-0909

Peer reviewed Ja Ja Ja Ja Ja Ja Ja Ja Ja

Aantal artikelen 1 1 3 1 1 1 1 2 1

In één geval (Sloan Management Review) Review gaf Omega aan dat het journal niet peer-reviewed peer is en EBSCO-host host dat het wel peer-reviewed peer reviewed is. De twee betreffende artikelen zijn toch ge gebruikt. Het ene artikel is het veelvuldig veelvuld (zie bijlage B) geciteerde eciteerde artikel over risico’s bij ITO van Earl (1996).. Dit artikel is door de meerderheid van alle gebruikte, wel peerpeer-reviewed artikelen, geciteerd. Het andere artikel (Barthélemy, 2001) is alleen leen als voorbeeld van een artikel over een specifiek risico gebruikt. De drie overzichtsartikelen (Lacity, et al., 2009; Gonzalez, et al., 2006; Dibbern, et al., 2004) geven alle drie een overzicht van gebruikte tijdschriften. Sloan Management Review is in alle drie de overzichten over opgenomen. De onderstaande figuur geeft de verdeling van de gebruikte artikelen over de tijd weer. 3

2

1

1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

0

Figuur 2 De verdeling van de gebruikte artikelen over de tijd

2.2

Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus?

2.2.1

Wat zijn de criteria die voor RM bij ITO methoden gelden om als referentiemethode te kunnen dienen? dienen Volgens de doelstelling van het literatuuronderzoek moeten de referentiemethoden een overzicht ht geven van de methoden die volgens de literatuur gebruikt kunnen worden voor risicomanagement bij ITO. Deze betekenis ligt dicht tegen het begrip ‘best practice’ practice’ aan. Om


11

deze reden is dit begrip als startpunt genomen voor het zoeken naar criteria voor de referentiemethoden. In een artikel van Peters & Heron (1993) over best practices stellen zij dat de volgende vijf vragen bevestigend beantwoord moeten worden om een best practice krachtig en bruikbaar te maken:

• •

Heeft de best practice een solide theoretische basis?

• • •

Is er consensus met bestaande literatuur?

Is de methodologische integriteit en ontwerp van het onderzoek overtuigend en dwingend? dat wil zeggen, leidt het toepassen van de best practice tot een wijziging van het resultaat onder dezelfde omstandigheden (analytisch) en technologisch (reproduceerbaar met vergelijkbare resultaten)? Is er bewijs dat de gewenste uitkomst consistent geproduceerd is? Is er bewijs van sociale validatie: wordt de methode wel geaccepteerd?

De eis voor een solide theoretische basis geldt ook voor de referentiemethode. Aangezien het doel van de referentiemethode is om de beschikbare methoden in de literatuur te representeren, is de minimale eis dus wel dat deze in de literatuur stevig verankerd is. De eis voor consensus geldt in mindere mate. Consensus suggereert dat er minimaal twee artikelen over geschreven zijn, die het onderling eens zijn. Hoewel consensus de referentiemethode sterker zou maken, is het voor het gestelde doel voldoende als de methode niet controversieel is. Dat betekent dat minstens er één enkel artikel over het onderwerp moet zijn, of als er meerdere artikelen zijn dat die niet in tegenspraak met elkaar zijn. De eisen van bewezen uitkomst en methodologische integriteit gelden voor de referentiemethode niet. De referentiemethode is een weergave van de beschikbare methoden waarvan later de bruikbaarheid vastgesteld moet kunnen worden. Daarvoor is het niet noodzakelijk dat de werking van de methode al is aangetoond. Het ligt in de lijn der verwachting dat de gebruikers een methode als bruikbaarder zullen beoordelen wanneer de methode ook bewezen werkt, maar dat kan voorafgaand aan het praktijkonderzoek nog niet worden vastgesteld. Het moet voor het beoordelen van de bruikbaarheid wel duidelijk zijn of de werking van de betreffende methode is aangetoond of niet. De eis van sociale validatie geldt ook niet voor de referentiemethoden omdat dat deel uitmaakt van de bruikbaarheid. Als een methode niet wordt geaccepteerd, dan zal de methode minder bruikbaar zijn. Conclusie De criteria die voor RM bij ITO methoden gelden om als referentiemethode te kunnen dienen zijn dat de methode in literatuur verankerd moet zijn en niet controversieel mag zijn en dat het voor de beoordelaar van de bruikbaarheid van een methode duidelijk moet zijn of de werking van de betreffende methode is aangetoond of niet.

12


2.2.2

Welke RM bij ITO-doelen zouden door middel van de referentiemethoden ondersteund moeten worden? In dit onderzoek wordt ervan uitgegaan dat referentiemethoden een middel zijn om RM bij ITO uit te voeren. In paragraaf 1.2 is geconstateerd dat er in grote lijnen consensus bestaat over de vraag uit welke fasen risicomanagement bestaat. Daarom is het in dit onderzoek relevant om voor elk van de fasen van RM een methode te identificeren. Uit de literatuurstudie is gebleken dat bij een aantal van deze fasen meerdere subdoelen worden nagestreeft en in andere gevallen is een ‘methode’ niet van toepassing. De onderstaande tabel geeft een overzicht.

Tabel 5

De risicomanagement-fasen en -doelen waarvoor naar referentiemethoden zal worden gezocht Risicomanagement-fase

RM-doelen

Risk assessment

Risk identificatien is het doel Bij risico analyse worden de risico’s gekwantificeerd aan de hand van de grootheid ‘Risk Exposure’ (RE), zie paragraaf 1.2. RE bestaat uit 2 delen: • de kans Pi • de gevolgen Li Het schatten van deze twee aspecten wordt beide als doel beschouwd Bij het prioriteren van de risico’s gaat het er om een rangorde in de lijst van risico’s aan te brengen, om te kunnen bepalen welke risico’s moeten worden aangepakt. Een belangrijk doel hierbij is of je kunt bepalen wanneer een risico acceptabel genoemd kan worden en wanneer niet. Er zijn binnen deze fase 4 strategieën (Heemstra & Kusters, 1996, zie ook bijlage B):

Risk identification Risk analysis

Risk prioritization

Risk control

Risk management planning

• • • •

Avoidance (eliminate, withdraw from or not become involved) Reduction (optimize - mitigate) Sharing (transfer - outsource or insure) Retention (accept and budget)

Deze 4 strategieën worden als RM-doelen beschouwd. Risk resolution en Risk monitoring

In deze fasen wordt het plan uitgevoerd dat zelf is opgesteld in de ‘Risk management planning’-fase, respectievelijk regelmatig controleren of de risico’s binnen de gestelde grenzen blijven. Mocht dit niet zo zijn dan volgen corrigerende maatregelen (Heemstra & Kusters, 1996). Bij deze twee fasen is geen sprake van methoden, of methoden die anders zijn dan de voorgaande fasen. Daarom zullen deze twee fasen in dit onderzoek buiten beschouwing gelaten worden.

Conclusie De RM bij ITO-doelen die door middel van de referentiemethoden ondersteund zouden moeten worden zijn: ‘Inventariseren van risico’s’, ‘Schatten van de kans Pi’, ‘Schatten van de gevolgen Li’, ‘Prioriteren van de risico’s’, ‘Bepalen van acceptabel risico niveau’, ‘Risk avoidance’, ‘Risk reduction’, ‘Risk sharing’ en ‘Risk retention’.


13

2.2.3

Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die voldoen aan de criteria? De referentiemethoden die, per risicomanagement-doel, in de literatuur zijn gevonden, zijn weergegeven in tabel 5. Een gedetailleerder beschrijving van deze referentiemethoden is opgenomen in bijlage B van dit rapport.

De methoden in de tabel voldoen aan de gestelde criteria voor het aanmerken als referentiemethode: Ze zijn in de literatuur verankerd en zijn niet controversieel. Voor de fase ‘inventariseren van de risico’s’ is sprake van twee verschillende benaderingen die onderling enigszins strijdig zijn. Omdat er in de literatuur geen aanwijzing gevonden is over welke methode bruikbaarder zou zijn, zijn beide methoden opgenomen in de tabel zodat ze beide onderzocht kunnen worden op bruikbaarheid. Tabel 6

Samenvatting van de gevonden referentiemethoden RM-doel Inventariseren van risico’s

Referentiemethode 1. 2.


• • •

Schatten van het verlies Li

Brainstorm met betrokkenen: Gebruik een risk management team om mogelijke risico’s te bedenken (Heemstra & Kusters, 1996). Risicolijsten: Gebruik een van de lijsten met veel voorkomende risico’s of risicofactoren, zie ook bijlage A: o Earl (1996) o Bahli & Rivard (2005) o Aubert, et al (2005) o Willcocks & Lacity (1999) o Sullivan & Ngwenyama (2005) o Chou & Chou (2009) Op basis van prestaties uit het verleden (Heemstra & Kusters, 1996) Op basis van aanwezigheid van risicofactoren. Boehm (1991) beschrijft situaties met lage, middelmatige en hoge risicokans. ‘Kopen’ van informatie: Prototyping, simulatie, surveys, benchmarks, reference checks (Boehm, 1991)

Is geen algemene methode voor te geven; Is sterk afhankelijk van specifieke omstandigheden.


• •

Risk exposure analysis (Aubert, et al., 2005; Boehm, 1991) Risk reduction leverage analysis (Heemstra & Kusters, 1996)


•

Risk and return model (Jurison, 1995)

Risk avoidance

• •

Het afzien van (een deel van) het outsourcen. Opkopen van leverancier (er is dan geen sprake meer van ITO)

Lacity et al (2009) besteden een hele paragraaf aan het onderdeel ‘The ITO decision’. Zij noemen het nemen van de juiste ITO beslissing als een van de ‘determinants of ITO success’. Dibbern, et al. (2004) beschrijven het ‘decision process’ in drie fasen: Why, What en Which. Gupta & Gupta (1992) helpen bij de vraag of IS outsourcing nodig is voor de organisatie. De keuze voor wel- of niet outsourcen kan ook volgen uit het ‘risk and return’ model (Jurison, 1995) en de ‘risk reduction leverage analysis’ (Heemstra & Kusters, 1996): Als risico’s groot zijn t.o.v. verwachte opbrengst, of de benodigde risicoreductie te duur is, dan kan besloten worden om het project niet uit te voeren. Risk reduction

14

Er zijn grofweg twee methoden:


RM-doel

Referentiemethode

•

•

Suggested Risk Management Strategies . Aanpakken van de risicofactoren, toepassen van mitigatiemethoden bij vaak voorkomende risico’s (Sullivan & Ngwenyama, 2005). De verschillende mitigatiemethoden zijn verspreid beschreven en zijn onderling erg divers. Richten op succesfactoren en toepassen van best practices. Hierdoor is de kans op succes groter en dus de kans op onwenselijke gebeurtenissen kleiner (Lacity, et al., 2009).

Een bijzondere bijdrage aan de toegankelijkheid van de RM bij ITO literatuur wordt geleverd door het artikel van Sullivan & Ngwenyama (2005). Als een van de weinige artikelen geeft dit artikel een overzicht waarbij zowel veel voorkomende risico categorieën, risicofactoren als aanbevolen risicomanagement strategieën overzichtelijk naast elkaar staan. Daarnaast zijn er nog verwijzingen naar literatuur over deze mitigatiemethoden. Risk sharing

•

• Risk retention

Overhevelen: Een organisatie kan de risico’s overhevelen naar een andere partij door bijvoorbeeld daarover afspraken te maken in contracten. Er is veel literatuur beschikbaar over aan welke eisen contracten voor ITO zouden moeten voldoen (b.v. Osei-Bryson & Ngwenyama, 2006). Verzekeren: Hierbij draagt voor een vast, van tevoren bekend bedrag een derde partij de risico’s.

Het risico nemen zoals het is en eventueel geld reserveren voor als het risico optreedt. Hiervoor is geen specifieke methode of strategie nodig.

Conclusie De methoden die zijn gevonden voor RM bij ITO in de wetenschappelijke literatuur en die voldoen aan de criteria zijn beschreven in bijlage B en zijn samengevat in tabel 5. Wat opvalt, is dat er voor bijna alle doelen van risicomanagement methoden gevonden zijn in de literatuur die voldoen aan de criteria. Er lijken in de literatuur meer referentiemethoden beschikbaar dan uitsluitend de lijst van risico’s en de verschillende mitigatiemethoden die Lacity, et al. (2009) noemden. 2.2.4

Wat is er in de literatuur te vinden over de mate waarin de referentiemethoden in de praktijk worden ingezet voor RM bij ITO? Er zijn geen artikelen gevonden die beschrijven in welke mate methoden voor RM bij ITO zijn toegepast in de praktijk. Het artikel van Sullivan & Ngwenyama (2005) beschrijft een onderzoek dat is gedaan naar de toepassing van de door hen aanbevolen management strategieën bij een aantal overheidsinstanties. Dit zegt dus wel iets over welke mitigatiemethoden zijn toegepast, maar niet iets over welke methoden zijn toegepast voor de verschillende fasen van risicomanagement.

Conclusie Er is in de literatuur over de mate waarin de referentiemethoden in de praktijk worden ingezet voor RM bij ITO geen gericht onderzoek gevonden.


15

2.2.5

Wat is er in de literatuur te vinden over de bruikbaarheid van de referentiemethoden in de praktijk? Er is in de literatuur geen gericht onderzoek gevonden naar de bruikbaarheid van de referentiemethoden in de praktijk. Er zijn wel een aantal artikelen gevonden over RM bij ITO frameworks waarin cases beschreven zijn waarbij de onderzoekers zelf hun framework toepassen. Een voorbeeld daarvan is het artikel van Aubert, et al. (2005). In dit artikel worden vijf cases beschreven waarop een risicoanalyse is uitgevoerd. Per case wordt de risicostrategie beschreven en het effect daarvan. Het is niet te zeggen wat deze inzichten zeggen over de bruikbaarheid van de referentiemethoden. Dit komt ten eerste omdat de toegepaste methoden niet geheel overeenkomen met de referentiemethoden en ten tweede omdat het de onderzoekers zelf zijn die de methoden toepassen en niet ‘de praktijk’. Ten derde wordt er alleen iets gezegd over de effectiviteit, en niet over efficiëntie of tevredenstelling.

Conclusie In de literatuur is over de bruikbaarheid van de referentiemethoden in de praktijk geen gericht onderzoek gevonden. Er is ook geen onderzoek gevonden waaruit de bruikbaarheid te herleiden is.

2.3

Conclusie literatuuronderzoek De eerste onderzoeksvraag, die door middel van het literatuuronderzoek beantwoord is, luidt: Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? Om deze vraag te beantwoorden is eerst bepaald welke criteria er gelden voor een referentiemethode. Daar is uitgekomen dat de referentiemethoden in literatuur verankerd moeten zijn en dat ze niet controversieel mogen zijn. Vervolgens zijn de risicomanagement-doelen vastgesteld waarvoor naar referentiemethoden zou worden gezocht. Dat zijn: ‘Inventariseren van risico’s’, ‘Schatten van de kans Pi’, ‘Schatten van de gevolgen Li’, ‘Prioriteren van de risico’s’, ‘Bepalen van acceptabel risico niveau’, ‘Risk avoidance’, ‘Risk reduction’, ‘Risk sharing’ en ‘Risk retention’. De uiteindelijk geselecteerde referentiemethoden staan in tabel 5 en zijn in tabel 6 nog eens kort opgesomd. Voor de doelen ‘Schatten van het verlies Li’ en ‘Risk retention’ zijn geen methoden gevonden. Meer details en literatuurverwijzingen m.b.t. de referentiemethoden zijn opgenomen in bijlage B.

Tabel 7

16

De gevonden referentiemethoden in het kort RM-doel

Referentiemethode


• •



• • •



RM-doel

Referentiemethode


• •



•


Risk avoidance

• •


Risk reduction

• •

Suggested Risk Management Strategies Richten op succesfactoren en toepassen van best practices

Risk sharing

• •


Er zijn voor bijna alle doelen van risicomanagement methoden gevonden in de literatuur die voldoen aan de criteria. Er zijn in de literatuur meer referentiemethoden beschikbaar dan uitsluitend de lijst van risico’s en de verschillende mitigatiemethoden die Lacity, et al. (2009) noemden. Over de bruikbaarheid en de mate van toepassing van de gevonden referentiemethoden in de praktijk is geen literatuur gevonden.


17

3

Onderzoeksontwerp en -verantwoording In dit hoofdstuk wordt de methode beschreven en verantwoord waarop het praktijkonderzoek is aangepakt.

3.1

Inleiding Doel van het praktijkonderzoek In de literatuur is niets gevonden over het gebruik (de mate van toepassing en de bruikbaarheid) van methoden voor RM bij ITO (zie paragrafen 2.2.4 en 2.2.5). Omdat er nog zo weinig bekend is, willen we niet alleen weten welke methoden gebruikt worden, maar we willen ook een idee krijgen waarom die methoden gebruikt worden en welke factoren daarbij een rol spelen. We willen de context en de ideeën van de praktijk leren begrijpen. Dit maakt het onderzoek een verkennend onderzoek (Saunders, Lewis & Thornhill, 2009, p. 123), gericht op het vergroten van inzicht en het geven van richting voor verder onderzoek. Het doel van het praktijkonderzoek is:

Het vergroten van inzicht in de praktische bruikbaarheid van de methoden voor RM bij ITO, door een vergelijking te maken van de bruikbaarheid van methoden zoals die beschreven zijn in de wetenschappelijke literatuur met daadwerkelijk gehanteerde methoden in een specifieke praktijkcasus Onderzoeksvragen De onderzoeksvragen 2 en 3, behorend bij het praktijkonderzoek, zijn in hoofdstuk 1 als volgt geformuleerd:

2. Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden? 2.1 2.2 2.3 2.4

Is men zich binnen de praktijkcasus bewust van specifieke ITO risico’s en waar blijkt dat uit? Volgens welke methoden is RM met betrekking tot ITO uitgevoerd voor de praktijkcasus en wat was daarvoor de motivatie? Welke factoren hebben invloed gehad op de keuze voor de gebruikte methoden? Wat is de overlap van de praktijkcasusmethoden en de referentiemethoden?

3. Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? 3.1

18

Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van efficiëntie?


3.2 3.3

3.2

Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van effectiviteit? Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van tevredenstelling?

Randvoorwaarden Voorafgaand aan het ontwerp van het praktijkonderzoek zijn de volgende randvoorwaarden vastgesteld: • • • •

3.3

Onderzoek moet door 1 persoon uit te voeren zijn In principe uitvoerbaar binnen 70 uur, inclusief analyse en verwerking van de data (onvoorziene gebeurtenissen daargelaten) Uitvoerbaar voor oktober 2010 In principe zonder kosten uitvoerbaar

Benodigde onderzoeksgegevens In deze paragraaf worden de gegevens beschreven die nodig zijn om de onderzoeksvragen te beantwoorden. Onderzoeksvraag 2 In het onderzoek zal eerst worden vastgesteld of er binnen de praktijkcasus daadwerkelijk risicobeperkende maatregelen genomen zijn (deelvraag 1). Dit zou kunnen blijken uit documenten waarin de ‘spelregels’ vastliggen waaraan een leverancier zich zal moeten houden. Dat kunnen aanbestedingsstukken zijn of ITO contracten. Daarnaast ligt deze kennis bij medewerkers die verantwoordelijk zijn geweest voor het RM in ITO projecten.

Daarna zal worden onderzocht volgens welke methoden de risicobeperkende maatregelen tot stand zijn gekomen, in welke mate deze methoden overeenkomen met de referentiemethoden, welke motivatie er voor het gebruik van deze methoden was en welke factoren invloed hebben gehad op de gemaakte keuzes. (deelvragen 2 t/m 5). De benodigde informatie hiervoor kan het beste komen van de medewerkers die verantwoordelijk zijn geweest voor de invulling van RM bij ITO projecten. Onderzoeksvraag 3 In deze onderzoeksvraag zal onderzocht worden hoe betrokken medewerkers de gebruikte methoden beoordelen op het punt van efficiëntie, effectiviteit en tevredenstelling (deelvragen 1 t/m 3). De benodigde informatie kan komen van betrokkenen die een onderbouwde mening hebben op dit punt.

3.4

Onderzoeksstrategie Als geschikte strategie voor het onderzoek is voor een enkelvoudige casestudy gekozen. Volgens Saunders, Lewis & Thornhill (2009, p. 129) is deze strategie heel geschikt voor verken-


19

nend onderzoek. De benodigde gegevens (zie paragraaf 3.3) kunnen ook via de onderzoekstrategie survey achterhaald worden, maar dan zullen de antwoorden minder diepgaand kunnen zijn dan bij een casestudy. Ideaal zou het uitvoeren van beide strategieën zijn, zodat zowel kwantitatieve als kwalitatieve resultaten beschikbaar komen, maar binnen de gestelde randvoorwaarden is dat niet haalbaar. Ook andere alternatieven zoals ‘Experiment’ en ‘Action research’ zijn binnen de gestelde randvoorwaarden niet haalbaar. Als we willen weten of de resultaten van de case generaliseerbaar zijn zou er voor een meervoudige casestudy gekozen moeten worden (Saunders, et al., 2009, p. 130). Echter, de beschikbare tijd is daarvoor ook niet toereikend. Bovendien is generaliseerbaarheid niet de doelstelling van dit onderzoek. Bronnen In paragraaf 3.3 is vastgesteld dat veel van de benodigde gegevens afkomstig zullen zijn van medewerkers die betrokken zijn geweest bij risicomanagement in ITO projecten. Er zijn medewerkers met verschillende rollen in het project ondervraagd, zodat het onderwerp vanuit verschillende perspectieven bekeken wordt. Daarnaast zal voor onderzoeksvraag 2.1 gezocht worden naar documenten waarin risicobeperkende maatregelen zijn vastgelegd. Waarnemingsinstrumenten Voor het verkrijgen van de informatie van de medewerkers die betrokken zijn geweest bij risicomanagement in ITO projecten wordt het semigestructureerde interview als waarnemingsinstrument ingezet. Dit instrument biedt de mogelijkheid voor de gewenste diepgang (Saunders, et al., 2009, pp. 302-304) doordat de deelnemer (binnen grenzen) breeduit kan vertellen over het onderwerp. Hierdoor kunnen belangrijke onderwerpen aan de orde komen waarvan van tevoren nog niet bekend was dat die een rol zouden kunnen spelen, een doel bij verkennend onderzoek. Ook het persoonlijk contact bij interviews kan waardevol zijn. Er kan bruikbare informatie liggen in bijzinnen en non-verbale communicatie, waarop vervolgens doorgevraagd kan worden. In interviews wordt ook sneller, dan bij bijvoorbeeld het gebruik van vragenlijsten, duidelijk als door een deelnemer vragen niet goed geïnterpreteerd zijn. Tot slot kan voor een deelnemer de drempel om aan een interview deel te nemen lager zijn dan het invullen van een vragenlijst.

Mogelijke alternatieven voor semigestructureerde interviews zijn diepte-interviews, groepsinterviews of directe waarneming. Er is niet gekozen voor diepte-interviews omdat we gericht antwoord willen hebben op de onderzoeksvragen en daarvoor is enige structuur nodig. Er is ook niet gekozen voor groepsinterviews. Dit waarnemingsinstrument heeft weliswaar als voordeel dat deelnemers op elkaar kunnen reageren, zodat er mogelijk meer informatie boven tafel komt, maar een nadeel hiervan kan zijn dat men juist terughoudend kan worden tegenover collega experts, met name als de meningen tegengesteld zijn. Daarnaast is het moeilijker om een groepsinterview georganiseerd te krijgen vanwege de beperkte beschikbaarheid van de deelnemers. Directe waarneming valt als instrument af omdat hierbij de onderzochte verschijnselen waarschijnlijk niet direct zintuiglijk waarneembaar zijn.

20


3.5

Operationalisatie van het begrip bruikbaarheid Om het begrip bruikbaarheid te operationaliseren wordt als uitgangspunt de definitie van bruikbaarheid uit paragraaf 1.2 genomen: The effectiveness, efficiency, and satisfaction with which specified users can achieve goals in particular environments. De factoren effectiviteit, efficiëntie en tevredenstelling dragen in deze definitie positief bij aan het begrip bruikbaarheid. Wanneer we de drie factoren los van elkaar positief, neutraal of negatief beoordelen, dan zal de beoordeling van bruikbaarheid de volgende waarden kunnen hebben: • • • •

Positief, als minimaal één van de factoren positief is en de overige factoren positief of neutraal zijn. Negatief, als minimaal één van de factoren negatief is en de overige factoren negatief of neutraal zijn. Neutraal, als alle drie de factoren neutraal zijn. Onbepaald, als minimaal één van de factoren positief is en minimaal één van de factoren negatief is. Het is bijvoorbeeld onmogelijk te zeggen of een positieve beoordeling van efficiëntie en tevredenstelling samen zwaarder zouden wegen dan een negatieve beoordeling van effectiviteit, zodat dan de bruikbaarheid in dit voorbeeld positief beoordeeld zou worden. De weegfactoren van effectiviteit, efficiëntie en tevredenstelling zijn daarvoor te subjectief.

Bovenstaande is uitgewerkt in de tabel in bijlage C. De tabel is zowel toepasbaar voor een absolute beoordeling (is een methode bruikaar of niet), als een relatieve beoordeling (is de ene methode bruikbaarder dan een andere methode).

3.6

Criteria voor de casus en deelnemers De volgende voorwaarden zijn gesteld aan de casus: • • •

Onderzoek moet binnen de gestelde randvoorwaarden (zie paragraaf 3.1) uitgevoerd kunnen worden Er is minimaal 1 recent project uitgevoerd waarbij RM bij ITO is toegepast waarvan de gebruikte methodes onderzocht kunnen worden Er zijn minimaal twee deelnemers van de interviews die een verschillende rol (invalshoek) binnen het project vervuld hebben (zie ‘Bronnen’ in paragraaf 3.4)

De volgende voorwaarden zijn gesteld aan de deelnemers van de interviews: • •

Deelnemers hebben ruime ervaring met RM bij ITO Deelnemers moeten bij het betreffende project betrokken zijn geweest


21

3.7

Casusbeschrijving De gegevens in deze paragraaf zijn voor een deel afkomstig uit de documentatie van het aanbestedingsproject ‘Sourcing B&O: IAPD’ (Rijkswaterstaat/Data-ICT-Dienst, 2009b). Organisatie Het onderzoek is uitgevoerd bij Rijkswaterstaat (RWS). Rijkswaterstaat is de uitvoeringsorganisatie van het Ministerie van Verkeer en Waterstaat. In opdracht van de minister en de staatssecretaris werkt Rijkswaterstaat aan het aanleggen, beheren en ontwikkelen van de infrastructurele hoofdnetwerken van Nederland. De Data-ICT-Dienst voert binnen Rijkswaterstaat landelijke taken uit op basis van expertise op het gebied van Data en ICT. De DID zorgt voor data-inwinning, databeheer, dataverstrekking, ICT-beheer en ICT-ontwikkeling ter ondersteuning van de processen van Rijkswaterstaat. Het relevante organogram is weergegeven in de onderstaande figuur. HID

Directie Data

Bureau HID

Directie ICT

Managementondersteuning & Planningoffice

Advies & Beleid

Accountmanagement

IAP Aanleg

Directie BV

Applicatiemanagement

IAP DVS

Projectmanagement

IAP Water

Servicemanagement

IAP Data

IAP Generiek

Figuur 3 Organogram van het relevante deel van Rijkswaterstaat, Data-ICT-Dienst.

De afdeling Applicatiemanagement (IAP) is binnen DID verantwoordelijk voor de doorontwikkeling, beheer en onderhoud van zowel het sectorspecifieke als het generieke applicatielandschap. IAP is ontstaan uit de samenvoeging van versnipperde decentrale RWS applicatiemanagement afdelingen en bestaat sinds 1 oktober 2007. De afdeling is georganiseerd in vijf teams richting de sectoren van de RWS business. Binnen de DID is het team ‘ICT-Applicatiemanagement-Data’ (IAP Data) de gebruiker van de resultaten van de aanbesteding. Project Sinds kort is de DID bezig om het beheren van applicaties extern onder te brengen (te outsourcen). Daartoe is onder andere een Europees aanbestedingsproject uitgevoerd, ‘Sourcing B&O: IAPD’ genaamd, in dit rapport verder aangeduid als ‘Project-SBO’. Op het moment van het onderzoek is het project in de fase dat de gunning net bekend is gemaakt (dus nog niet in uitvoeringsfase). Dat betekent dat alle maatregelen om de ITO risico’s te beheersen al genomen zijn. Daarmee wordt aan de eerder genoemde criteria voor de casestudy voldaan.

22


Deelnemers aan de interviews Er zijn voor het onderzoek drie deelnemers geïnterviewd in dit rapport respectievelijk Deelnemer A, B en C genoemd. Deelnemer A is extern ingehuurd vanwege zijn expertise op het gebied van ITO. Hij heeft ongeveer zeven jaar ervaring als implementatiemanager. Momenteel is hij fulltime voor het project ‘Sourcing B&O: IAPD’ ingezet. Hij voldoet aan de eerder genoemde criteria voor deelnemers.

Deelnemer B is extern ingehuurd om het bestek te schrijven van het project Sourcing B&O: IAPD. Hij doet dit werk ook voor andere opdrachtgevers, bijvoorbeeld voor het Ministerie van Landbouw. Hij voldoet aan de eerder genoemde criteria. Deelnemer C is sinds vijf jaar ‘Kwaliteitsmanager ICT’. Daarvoor heeft zij kwaliteitsmanagement gedaan voor andere onderdelen van RWS. Zij is deelnemer bij het onderzoek omdat er vanuit de kwaliteitsafdeling met enige regelmaat gevraagd is naar de risicoanalyse met betrekking tot het project Sourcing B&O: IAPD en er ook kritiek geuit is over het risicomanagement van het project. Deelnemer C heeft ervaring met RM bij grote outsourcingsprojecten, bijvoorbeeld HSL-zuid (het project om het zuidelijke gedeelte van de hogesnelheidslijn in Nederland te realiseren), maar dat zijn geen IT-projecten. Daarmee voldoet zij als deelnemer niet volledig aan de eerder gestelde criteria, maar haar bijdrage leveren toch interessante inzichten op omdat zij vanuit een ‘kwaliteits-optiek’ naar het RM bij het aanbestedingsproject kijkt. Projectdocumenten In dit onderzoek worden de aanbestedingsdocumenten gebruikt als bron voor onderzoeksvraag 2.1 (zie ‘Bronnen’, paragraaf 3.4). De totale ‘Set van aanbestedingsstukken’ is openbaar beschikbaar op internet en bestaat uit:

1. Beschrijvend document (Rijkswaterstaat/Data-ICT-Dienst, 2009b) 2. Structuur van de Inschrijving -de in te sturen documenten- (Rijkswaterstaat/DataICT-Dienst, 2009c), met de bijlagen: A. Formulieren B. Financiële aanbieding C. Conformiteitenlijsten 3. Algemene achtergrond informatie (Rijkswaterstaat/Data-ICT-Dienst, 2009a) Er waren ten tijde van het onderzoek nog geen contracten tussen Rijkswaterstaat en de uitvoerende partijen getekend, dus die zijn ook niet gebruikt voor het onderzoek. Ethische kwesties Er spelen bij alle betrokkenen van het onderzoek niet veel gevoeligheden. De aanbesteding is openbaar, de gebruikte documenten ook. Ten tijde van het onderzoek was de partij aan wie de uitbesteding gegund zou worden al bekend. Het enige wat misschien gevoelig kan liggen is hoe in het onderzoek met informatie over eventuele ‘missers’ van medewerkers zou worden omgaan. Het onderzoek geeft echter geen waardeoordeel over de manier van werken, maar beschrijft het en vergelijkt het met de manier van werken zoals beschreven in de literatuur. De conclusies die worden getrokken hebben betrekking op de praktische relevantie van


23

de referentiemethoden uit de literatuur met als doel om de wetenschap te dienen. Hiermee wordt ervan uitgegaan dat er geen ethische bezwaren meer zullen zijn.

3.8

Kwaliteit van gegevens Betrouwbaarheid De betrouwbaarheid kan bij semi-gestructureerde interviews relatief laag zijn vanwege het gebrek aan standaardisatie (Saunders, et al., 2009, p. 307). Door de onderzoeksvragen redelijk precies te stellen, is er een duidelijke richting bepaald waardoor de betrouwbaarheid toch op een acceptabel niveau kan komen. Vertekening (bias) Om de interviewerbias te minimaliseren zal de interviewer een zo neutraal mogelijke houding ten opzichte van de verschillende methoden aannemen. De geïnterviewde moet zo geen druk ervaren om een ‘wenselijk’ antwoord te geven. Daarnaast zal expliciet gemeld worden dat het doel van het onderzoek is om meer inzicht in de bruikbaarheid van de methoden te krijgen en niet om de deelnemers te beoordelen. Validiteit en generaliseerbaarheid De validiteit kan bij semi-gestructureerde interviews erg hoog zijn door de mogelijkheid om meningen nader te onderzoeken, onderwerpen vanuit een verschillend perspectief te benaderen en vragen aan de respondenten duidelijk te maken. (Saunders, et al., 2009, p. 308). Hier wordt bij de interviews aandacht aan besteed. Voor wat betreft de generaliseerbaarheid: De enkelvoudige casestudy is een niet-stochastische steekproef (Saunders, et al., 2009, p. 221), daardoor is de generaliseerbaarheid van het onderzoek gering. Aangezien dit een verkennend onderzoek is waarbij externe validiteit geen doelstelling is, wordt het niet als probleem beschouwd.

3.9

Interviewopzet De semi-gestructureerde interviews zijn in de volgende fasen opgedeeld: ‘Introductie’, ‘Over de deelnemer’, ‘Inhoudelijke vragen’ en ‘Afsluiting’. Per fase zijn een aantal thema’s opgesteld die aan de orde zouden moeten komen. De introductie heeft tot doel om de deelnemer te laten weten waar hij/zij aan deelneemt en daarmee hem/haar op zijn/haar gemak te stellen. Als de deelnemer zich niet bedreigd voelt zal hij/zij vrijuit kunnen spreken en zal er meer en eerlijkere informatie naar boven water komen. Bij deze introductie moet er op gelet worden dat er niet een soort gewenst beeld wordt geschetst. De vragen over de deelnemer zijn erop gericht om een beeld van de deelnemer te krijgen. Als de deelnemer meer, en relevantere ervaring heeft zijn de antwoorden meer valide. De inhoudelijke vragen zijn erop gericht om antwoord op de onderzoeksvragen te krijgen.

24


In de afsluitende fase krijgt de deelnemer de gelegenheid meer over het onderzoek te vragen. Zulke vragen zullen niet in eerdere fasen beantwoord worden omdat dan mogelijk de deelnemer beïnvloed zou kunnen worden. In Bijlage D zijn de interviewthema’s per fase in een tabel opgenomen.

3.10 Wijze van gegevensanalyse De interviews zijn opgenomen met een voicerecorder en vervolgens tot transcripties verwerkt. In de (kwalitatieve) gegevens is gezocht naar de ideeën en de context van de deelnemers om deze te leren begrijpen. De uitspraken die van belang zijn voor het beantwoorden van de onderzoeksvragen zijn in de transcripties gemarkeerd en soms van commentaar voorzien. De gemarkeerde gedeelten worden gekopieerd naar een apart document en gecategoriseerd naar de onderzoeksvragen waaraan het aan een antwoord kan bijdragen. Het bleek niet nodig om nader te coderen, gegevensreductie toe te passen of om gegevens weer te geven in diagrammen omdat het bij dit onderzoek om relatief weinig data gaat en dus het overzicht gemakkelijk behouden blijft. De verwijzingen in dit rapport naar een specifieke uitspraak uit een van de interviews is op basis van de deelnemer (A, B of C) en het genoemde tijdstip in het interview. Bijvoorbeeld (A-20:30) verwijst naar de uitspraak in het interview met Deelnemer A, na 20 minuten en 30 seconden. In de transcripties zijn deze tijdstippen opgenomen.

3.11 Mogelijke resultaten Het antwoord op onderzoeksvraag 2 zal een beeld opleveren van de manier waarop bij Project-SBO risicomanagement bij ITO is uitgevoerd. De kans op tegenstrijdige antwoorden van de verschillende deelnemers is klein aangezien het om een feit gaat en niet om een mening, de toegepaste methode is X en dan kan je niet vinden dat het Y was. Daarnaast zullen degenen die verantwoordelijk zijn voor de uitvoer hun verhaal doen over waarom ze dat op die manier gedaan hebben. Theoretisch gezien kunnen beide ITO deskundigen een verschillende motivatie gehad hebben. De kans daarop is echter klein omdat ze aan Project-SBO samengewerkt hebben en het aannemelijk is dat als er verschil van mening geweest zou zijn dat dat uitgesproken zou zijn. Maar de kans bestaat. Voor het onderzoek is dat geen probleem omdat het extra inzicht oplevert en dat is het doel van het onderzoek. Bij onderzoeksvraag 3 kunnen er op twee niveaus tegenstrijdigheden ontstaan. Ten eerste kan de mening over de bruikbaarheid onbepaald zijn doordat bijvoorbeeld efficiëntie positief en effectiviteit negatief beoordeeld wordt (zie paragraaf 3.5). In dat geval kan er geen conclusie getrokken worden over de bruikbaarheid, maar levert het antwoord wellicht toch inzicht op waarom dat zo is. Ten tweede kunnen de meningen over de bruikbaarheid van de verschillende deelnemers tegenstrijdig zijn. In dat geval kan er geen conclusie getrokken worden welke methode (Project-SBO methode of referentiemethode) bruikbaarder is. Ook hier zal dan de achterliggende motivatie de waarde van het onderzoek vormen.


25

4

Onderzoeksresultaten In dit hoofdstuk worden de onderzoeksvragen 2 resp. 3 beantwoord. Dit wordt gedaan door, per deelvraag, de bevindingen uit de interviews en de conclusies te beschrijven. De transcripties van de interviews zijn in dit rapport opgenomen in bijlage E.

4.1

Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden?

4.1.1

Is men zich binnen de praktijkcasus bewust van specifieke ITO risico’s en waar blijkt dat uit? In de interviews A en B met de ITO-deskundigen zijn de volgende genomen risicobeperkende maatregelen ter sprake gekomen:

•

• •

Er zijn externe ITO-aanbestedingsdeskundigen aangetrokken en ook inkopers en juristen betrokken om het project uit te voeren (deelnemers A en B zijn beide zelf externe ITO-deskundigen, zie ook B-17:39). Er is een apart ‘Regie op sourcing’-project ingericht (B-20:44). De uitbesteding zal incrementeel uitgevoerd worden: eerst een paar applicaties, daarna een wat grotere groep, daarna nog wat meer, enz. (A-5:35)

Een andere bevinding is dat de eisen en wensen van de samenwerking nauwkeurig en gedetailleerd zijn vastgelegd in de set van aanbestedingsstukken. Zo wordt in de achtergrondinformatie (Rijkswaterstaat/Data-ICT-Dienst, 2009a) de visie op de toekomstige regievoering beschreven in rollen (van zowel opdrachtgever als opdrachtnemer) met bijbehorende taken, bevoegdheden en verantwoordelijkheden en de structuur tussen de verschillende rollen. Ook is er een beschrijving van welke overleggen er in de toekomst zullen bestaan op de verschillende niveaus. Conclusie Men is zich binnen Project-SBO bewust van specifieke ITO risico’s. Dat blijkt uit de door de deelnemers genoemde maatregelen die men heeft genomen om de ITO risico’s te beperken, zoals het aantrekken van ITO deskundigen, het inrichten van een apart ‘Regie op sourcing’project en het gefaseerd invoeren van het outsourcen. Deze maatregelen komen ook voor in de ‘Suggested Risk Management Strategies’ van Sullivan & Ngwenyama (2005) onder de categorie ‘Outsourcer’s Lack of Experience’: “Hire a professional information systems project manager who is familiar with the technology to manage the contract”, “Hire an experienced outsourcing consultant to assist in the creation and management of the contract”, “Outsource incrementally with small projects and gain experience over time”, “Sign detailed

26


contracts not sketchy, open-ended contracts”. Het feit dat deze maatregelen ook genoemd worden in de interviews is een indicatie dat men zich bewust is van de risico’s die spelen bij IT-outsourcing. 4.1.2

Volgens welke methoden is RM met betrekking tot ITO uitgevoerd voor de praktijkcasus en wat was daarvoor de motivatie? De ITO deskundigen zeggen in de interviews op basis van hun ervaring “gewoon in beeld” te hebben welke maatregelen genomen moeten worden en daar naar te handelen (B-30:18). Deelnemer A zegt daarover “Er is niet een heel formeel instrument neergezet om dat [de ITO-risico’s, HH] te meten, om dat te bewaken en in kaart te brengen, ik denk veel meer dat je moet spreken van RM door daar heel verstandig in de aanbesteding al, ook in de contractvorming mee om te gaan, en die RM daarin meeneemt” (A-13:11). Een uitspraak van Deelnemer B is: “Aanbestedingsrisico’s, [...], dat is gewoon een kwestie van expertise, die in het team aanwezig is, waar naar gekeken wordt. [...] Heel veel dingen zijn gewoon toch al een keer eerder gezien, of meerdere keren gezien. Het is bekend, er wordt op geanticipeerd. Daarvan zal niet zo direct een lijst zijn. [...]” (B-22:25).

Over de motivatie voor deze manier van werken zegt Deelnemer A dat de RM wordt uitgevoerd door de betrokken afdeling en die zullen de theoretische manier van RM uitvoeren als (te) lastig ervaren. De andere afdelingen (b.v. de kwaliteitsafdeling) die liever de theoretische manier van RM uitvoeren zouden willen toepassen zijn (te) weinig betrokken om goede beoordelingen te kunnen maken. Deelnemer A: “[...] in een organisatie als deze, die worden belegd bij een afdeling, die zijn er heel intensief mee bezig, de rest zal het al heel sterk minder interessant vinden, dus die zal het als lastig ervaren. Zeker omdat je het ook nog op een bepaalde manier moet doen. Dat je op je vingers geslagen wordt als je het niet doet. Daarom denk ik persoonlijk, alles wat je doet aan bepaalde methodieken om bepaalde doelstellingen te behalen, testen of RM of projectmanagement of wat dan ook,.... Pak het pragmatisch aan! Begin met iets dat behapbaar is, wat niet te moeilijk is en vul het voor mijn part op een sigarendoos in, als je maar langzaam het bewustzijn kweekt dat bepaalde dingen van belang zijn. [...]. Doe het niet andersom!” (A-36:52). Deelnemer C beaamt dat het risicomanagement door de betreffende projectmedewerkers zelf uitgevoerd moeten worden: “En samen met mensen dus, niet een bureauactiviteit van 1 iemand die iets bedenkt, maar echt gewoon mensen die betrokken zijn bij het project.” (C-11:15). Uitzonderingen Voor het specifieke onderwerp ‘incident management’ heeft men een andere werkwijze gehanteerd. Er is hiervoor een proces-simulatie opgezet in de vorm van een rollenspel, samen met de externe partner (A-23:54). Op deze manier zijn mogelijke risico’s in dit proces geïdentificeerd en geanalyseerd. Deelnemer A: “...we hebben heel goed gekeken naar de processen door de verschillende partijen, RWS, maar door de verschillende onderdelen binnen RWS en de externe partner, uitgevoerd moet worden. [...] wat doe je in elke processtap en wat is de verantwoordelijkheid van wie?[...] Dat hebben we ook voor wijzigingsbeheer in kaart gezet. En tot in den treuren hebben we dat geoefend. Echt heel simpel in oefensessies [...], een case voor gepakt, en echt gezegd van ‘joh, hier komt een call, alsjeblieft’ en dan krijg je een


27

papiertje en dan met die hele grote processen aan de muur kijken van ‘klopt het nou?’ en dan met de externe partners er bij, die zijn rol daarin pakt en op die manier dus van tevoren dus niet alleen op papier maar ook [...] half in de praktijk elkaar aantoont van elkaar dus later ook het aanspreken op die oefeningen op, op de resultaten van die oefeningen, dat je weet dat het werkt en dat je dus niet zegt van ‘nou ik zal wel zien hoe het gaat met het incident management proces” (A-23:54). In een vroege fase van het project is in de zogenaamde PID, het ‘project initiation document’ volgens de Prince2 project management methode, wel een risico analyse opgenomen, alleen is daar in het vervolg van het project niet echt gebruik van gemaakt (B-22:25). Dit wordt onderschreven door Deelnemer C. Volgens haar wordt bij RWS de Prince2 methodiek gehanteerd en wordt in het algemeen bij RWS aan het begin van de projecten risico’s geïnventariseerd, maar de risico’s worden niet bijgehouden (C-11:15). Conclusie De methode volgens welke RM met betrekking tot ITO voor Project-SBO is uitgevoerd en bijbehorende motivatie is: •

•

4.1.3

Voor het grootste deel een redelijk ongestructureerde, maar pragmatische methode. Er is meer sprake van het toepassen van eigen, op basis van ervaring ontstane ‘best practices’, dan van risicomanagement in de zin van het achtereenvolgens uitvoeren van de fasen ‘inventariseren’, ‘analyseren’, ‘prioriteren’ en ‘plannen’, op basis van ervaring van anderen en van de wetenschappelijke literatuur. De motivatie voor het gebruik van de methoden is dat RM behapbaar en niet te moeilijk uit te voeren moet zijn door de betrokken medewerkers, anders zal het niet gedaan worden. Medewerkers buiten de afdeling moeten het RM niet doen omdat ze inhoudelijk niet genoeg betrokken zijn om RM goed uit te kunnen voeren. Een uitzondering wordt gevormd door de manier waarop de ITO-risico’s m.b.t. incident management zijn aangepakt. Hiervoor is het proces gesimuleerd. De motivatie hiervoor is dat de risico’s in dit geval veel minder duidelijk zijn en alleen op deze manier geïdentificeerd konden worden.

Welke factoren hebben invloed gehad op de keuze voor de gebruikte methoden?

De overtuiging van de ITO deskundigen De geïnterviewde ITO deskundigen kiezen voor de pragmatische methode. Dat blijkt uit uitspraken als: “...d’r zijn heel veel andere dingen te doen die wél afmoeten, en dan gaat al heel snel de tijd meer daar heen en dus in die overhead-zaken blijft wel eens wat hangen” (B-31:08). Ook Deelnemer A spreekt zich duidelijk uit voor de pragmatische methode: “Pak het pragmatisch aan!” (A-36:52). Bedrijfscultuur Deelnemer A zegt dat de manier waarop risicomanagement wordt uitgevoerd afhankelijk is van de cultuur binnen het bedrijf (A-27:53). Op de vraag “Dus het heeft met cultuur te maken?” zegt Deelnemer A: “Absoluut” (A-28:04). Volgens hem is de cultuur bij Rijkswater-

28


staat er een van “doeners”. Hij geeft aan dat de cultuur op zijn beurt weer bepaald wordt door het domein. Als voorbeeld van een domein met een heel andere cultuur dan RWS wordt ‘Banken en verzekeraars’ genoemd waar risicomanagement waarschijnlijk wel, vaak doorgeschoten, volgens de referentiemethoden verloopt (A-28:04). Als motivatie voor die gedachte wordt genoemd: de complexiteit van de financiële producten, die is veel groter zou zijn dan de complexiteit van de producten van Rijkswaterstaat (A-29:54). Afdeling kwaliteit De afdeling kwaliteit heeft maandelijks overleg gevoerd met de projectgroep (B-1:09:06). De kwaliteitsafdeling heeft daarbij aangegeven dat het risicomanagement voor dit project wel heel erg mager was, of eigenlijk ontbrak het in zijn geheel (C-10:09). Daarna is er wel iets over risico’s opgenomen in het project (C-10:09). Op een nieuwe versie heeft zij nogmaals commentaar gegeven en daarna heeft zij niets meer van het project vernomen. Het ontbreken van de vraag vanuit het management Deelnemer B geeft als reden om een pragmatische manier van RM te hanteren dat er in de managementrapportages niet om gevraagd wordt (B-23:17, B-30:36, B-31:08). Deelnemer C onderschrijft dat de managementrapportages geen paragraaf over risicomanagement bevatten (C-17:42). Conclusie De factoren die invloed hebben gehad op de keuze voor de gebruikte methoden zijn: 1. De overtuiging van de ITO-deskundigen. 2. De bedrijfscultuur. Bij de bedrijfscultuur van RWS-DID lijkt een weinig expliciete vorm van RM te horen. Dat blijkt ook uit het feit dat risicomanagement als “overhead” wordt bestempeld (B-31:08). 3. De wens van de kwaliteitsafdeling voor een explicietere manier van RM. De invloed lijkt echter klein te zijn. Het heeft in elk geval niet geleid tot een expliciete RM. 4. Het ontbreken van de vraag in rapportages aan het management. Het gaat hierbij weliswaar niet om een uitgeoefende invloed, maar de mogelijkheid om te kiezen voor een niet erg expliciete vorm van RM is hierdoor wel mogelijk gemaakt. Het is niet bekend of het management graag een andere manier van RM zou zien, we weten alleen dat er door het management geen invloed is uitgeoefend. Het is denkbaar dat er nog meer factoren zijn, maar deze zijn niet ter sprake gekomen. 4.1.4

Wat is de overlap van de praktijkcasusmethoden en de referentiemethoden? In de onderstaande tabel zijn de referentiemethoden en de, bij Project-SBO toegepaste methoden, zoals beschreven in paragraaf 4.1.1 t/m 4.1.3, naast elkaar gezet. In de laatste kolom is, per RM-doel, de overlap als mate van overeenkomst vastgesteld.


29

Tabel 8

Het bepalen van de overlap tussen de referentiemethoden en de toegepaste methoden bij Project-SBO RM-doel

Referentiemethode

Empirische waarnemening

Overlap


• Brainstorm met betrokkenen • Risicolijsten

“...de pragraaf risicomanagement [...], eigenlijk ontbrak het helemaal (C-10:09).

Klein.

“...in het algemeen, in ICTprojecten, zie ik zeker zo dat het risicologboek wordt niet goed bijgehouden” (C-12:34). “Op de vraag ‘Zou je nou een document kunnen ophoesten RM aanbestedingsprocedures?’, dat is er denk ik niet.” (B-17:39) “...we hebben niet elke keer die lijst bijgewerkt ” (B-30:36)

Er is in het begin van het project een PID volgens Prince2, waarin risico’s benoemd zijn. Deze lijsten zijn niet- of nauwelijks bijgehouden. Er is dus geen sprake van een lijst waar in de praktijk mee gewerkt wordt. Daarom is de overlap met de referentiemethode erg klein.

“Daarna heb je dan bij de projectanalyse, je hebt een PID, Project Initiatie Document volgens Prince2, daarin is risicoanalyse een onderdeel van. Dus daar is wel een lijst van in het begin van ‘waar kunnen we tegenaan lopen?’ ” (B-22:25) Schatten van de kans Pi

30

• Op basis van prestaties uit het verleden • Op basis van aanwezigheid van risicofactoren • ‘Kopen’ van informatie

Het incident-management proces is uitgebreid gesimuleerd (A-23:54 – 25:47)


• Risk exposure analysis • Risk reduction leverage analysis

Geen uitspraken beschikbaar

Onbepaald.


• Risk and return model


Onbepaald.

Risk avoidance

• Het afzien van (een deel van) het outsourcen. • Opkopen van leverancier (er is dan geen sprake meer van ITO)


Onbepaald.

Risk reduction

• Aanpakken van de risicofactoren, b.v. via de Suggested Risk

Er worden best practices (op basis van eigen ervaring, niet op basis van literatuur of

Gemiddeld.

“...dat komt uit ervaring” (B-18:20)

Gemiddeld. Er is een overlap op ‘Kopen van informatie’ (in dit geval simulatie). Verder wordt er wel veel gedaan op basis van ervaring uit het verleden maar dat wordt niet op een expliciete manier behandeld. De overlap is hier dus klein.

Een aantal van de ‘Suggested Risk


RM-doel

Risk sharing

Referentiemethode

Empirische waarnemening

Overlap

Management Strategies van Sullivan & Ngwenyama • Richten op succesfactoren en toepassen van best practices

ervaring van anderen) toegepast.

Management Strategies’ van Sullivan & Ngwenyama (2005) zijn toegepast (zie conclusie par. 4.1.1).


Onbepaald.

•

•

overhevelen (afspraken in contracten) verzekeren

Conclusie De overlap van de Project-SBO methoden en de referentiemethoden is, over het geheel gezien, klein. Alleen bij de wat onduidelijkere, complexere risico’s heeft men gebruik gemaakt van simulaties om de risico’s helder te krijgen. Verder komen een aantal van de ‘Suggested Risk Management Strategies’ van Sullivan & Ngwenyama (2005) in beide methoden terug (zie par. 4.1.1). 4.1.5

Conclusie onderzoeksvraag 2 Er is geconstateerd dat men zich bij Project-SBO bewust is van de specifieke ITO risico’s. Dat blijkt uit de door de deelnemers genoemde risico’s en de maatregelen die men heeft genomen om de ITO risico’s te beperken. Die komen overeen met wat ook in de literatuur genoemd wordt, zie paragraaf 4.1.1. De methoden volgens welke in het kader van Project-SBO, RM bij ITO is uitgevoerd zijn voornamelijk ongestructureerd en pragmatisch, waarbij op basis van eigen ervaring gehandeld wordt. Een uitzondering wordt gevormd door de werkwijze die is gehanteerd bij het schatten van de risico’s bij het proces ‘incident-management’. Daar is een simulatie van het proces uitgevoerd. De overlap van de toegepaste methoden met de referentiemethoden zijn klein. De motivatie voor het gebruik van de toegepaste methoden is op basis van a) de overtuiging van de ITO-deskundigen voor het gebruik van een pragmatische methode, b) de bedrijfscultuur en c) het ontbreken van de vraag uit het management voor een expliciete risicoanalyse. Er is invloed van de kwaliteitsafdeling voor een andere, explicietere vorm van risicomanagement waargenomen, maar deze invloed is te klein om dat te bewerkstelligen.

4.2

Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? Ideaal gezien zou voor elk van de referentiemethoden een vergelijking gemaakt moeten worden met het equivalent van de bij Project-SBO toegepaste methoden. Dit blijkt op basis van de onderzoeksresultaten echter niet mogelijk: •

Uit paragraaf 4.1 is gebleken dat er bij Project-SBO geen sprake is van expliciete RM stappen die gebruikt kunnen worden voor een direct vergelijk met een van de referentiemethoden.


31

•

De deelnemers zijn niet op de hoogte van de exacte samenstelling van de referentiemethoden waardoor zij ook geen goed vergelijk kunnen maken.

Er is voor gekozen om de methoden als geheel te vergelijken door de deelnemers naar hun mening over de (aspecten van) bruikbaarheid te vragen van de toegepaste methoden enerzijds en ‘een explicietere manier van RM uitvoeren’ anderzijds. De meningen van de deelnemers worden beschouwd als expert-meningen en als empirische feiten. Daarbij is bruikbaarheid zoals in paragraaf 3.5 geoperationaliseerd. 4.2.1

Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van efficiëntie? De in paragraaf 1.2 gegeven definitie voor efficiëntie luidt:

Efficiency: Resources expended in relation to the accuracy and completeness with which users achieve goals Er zijn geen expliciete uitspraken van deelnemers beschikbaar als “ik vind methode A efficiënter dan methode B”, maar er zijn wel zinnen en bewoordingen waaruit afgeleid kan worden hoe ze er over denken. Deelnemer A merkt op dat expliciet risicomanagement erg snel een doel op zich wordt (A-34:29) en dat er “heel veel opgetuigd” wordt, maar dat je je daarbij gemakkelijk kunt “vergalopperen” (A-18:54). Deelnemer B geeft aan dat een expliciete manier van RM uitvoeren gezien wordt als overhead: “Er is niemand die er om vraagt, [...], en er zijn heel veel andere dingen te doen die wél afmoeten [...] en dus in die overheadzaken blijft wel eens wat hangen” (B-31:08). Conclusie Een vergelijking tussen de Project-SBO methoden en referentiemethoden op het punt van efficiëntie levert het volgende op: Uit de manier waarop er door de deelnemers over een explicietere manier van risicomanagement wordt gesproken, kan worden afgeleid dat de ‘Project-SBO’ methoden in dit kader efficiënter beoordeeld worden dan de referentiemethoden. 4.2.2

Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van effectiviteit? De in paragraaf 1.2 gegeven definitie voor effectiviteit luidt:

Effectiveness: Accuracy and completeness with which users achieve specified goals De ITO deskundigen geven beide aan dat met de pragmatische benadering de risico’s voldoende beheerst worden. Er zijn volgens hen, door het toepassen van deze methode geen onaanvaardbare risico’s die blijven liggen. Deelnemer A geeft aan dat het niet erg is om op een impliciete manier risicomanagement uit te voeren (A-18:54). Deelnemer B: “...de aanbestedingsrisico’s zijn uiteraard in beeld” en “Daar wordt echt goed op gelet” (B-17:39) en “... er is weldegelijk dan in beeld van [...] wat zijn risico’s?” (B-22:25). Op de vraag “worden daardoor [door de impliciete methode, HH] de risico’s verkeerd ingeschat” antwoordt Deelnemer B: “Nee, ik denk het niet” (B-24:10).

32


De kwaliteitsmanager ICT, Deelnemer C, vindt het uitgevoerde risicomanagement voor Project-SBO erg mager (C-10:09). Zij zegt dit op grond van haar eerdere ervaring bij het project HSL-zuid waar dit volgens haar veel beter geregeld was. Het feit dat het daar om een niet ICT project ging speelt volgens haar geen rol. Ook bij ICT-projecten zou een explicitere vorm van RM moeten kunnen en het zou ook moeten. Conclusie Een vergelijking tussen de Project-SBO methoden en referentiemethoden op het punt van effectiviteit levert het volgende op: Er is geen consensus over de beoordeling van de effectiviteit van de Project-SBO methode ten opzichte van de referentiemethoden. Beiden methoden worden door de ITO deskundigen even hoog beoordeeld. De kwaliteitsmanager beoordeelt de effectiviteit van de referentiemethode hoger. Zowel de ITO deskundigen, als de kwaliteitsmanager hebben hun mening over de effectiviteit niet sterk onderbouwd. 4.2.3

Wat levert een vergelijking op tussen de praktijkcasusmethoden en referentiemethoden op het punt van tevredenstelling? De in paragraaf 1.2 gegeven definitie voor tevredenstelling luidt:

Satisfaction: Freedom from discomfort, and positive attitudes towards the user of the product Op de vraag of de explicitere vorm van risicomanagement als vervelend wordt gezien, of men het liever overslaat omdat het ingewikkeld is, geeft Deelnemer A als antwoord: “Nou die kans die loop je natuurlijk wel ja. [....] in een organisatie als deze, die worden belegd bij een afdeling, die zijn er heel intensief mee bezig, de rest zal het al heel sterk minder interessant vinden, dus die zal het als lastig ervaren.” (A-36:52). Conclusie Een vergelijking tussen de Project-SBO methoden en referentiemethoden op het punt van tevredenstelling levert het volgende op: Uit de uitspraken blijkt dat de explicietere manier van RM en dus ook de referentiemethoden als minder tevredenstellend wordt ervaren. 4.2.4

Conclusie onderzoeksvraag 3 Een vergelijking tussen de Project-SBO methoden en referentiemethoden op het punt van bruikbaarheid levert het volgende op: De pragmatische methode die is toegepast bij het ‘Project-SBO’ worden door de deelnemers qua efficiëntie en tevredenstelling hoger beoordeeld dan een explicietere vorm van RM, zoals de referentiemethoden. Volgens de ITO deskundigen is de effectiviteit even hoog. Maar omdat de kwaliteitsmanager de effectiviteit van de ‘Project-SBO’-methode lager inschat is er geen eenduidig beeld en is er geen conclusie te trekken welk van de methoden bruikbaarder is. Dit is weergegeven in tabel 8.


33

Tabel 9

De beoordelingen van de deelnemers ITO deskundigen

Kwaliteitsmanager

Totaal

Efficiëntie

Project-SBO-methode is efficiënter

Ontkent niet dat toegepaste methode efficiënter is

Project-SBO-methode is efficiënter

Effectiviteit

Beide even goed

RM Project-SBO is te mager

Tegenstrijdige meningen

Tevredenstelling

Project-SBO-methode is tevredenstellender

Ontkent niet dat toegepaste methode tevredenstellender is

Project-SBO-methode is tevredenstellender

Conclusie v.w.b. bruikbaarheid

Project-SBO-methode is bruikbaarder

‘Project-SBO’-methode is niet voldoende bruikbaar.

Geen conclusie te trekken

Geen conclusie te trekken v.w.b. bruikbaarheid van referentiemethoden.

34


5

Conclusies en discussie Dit onderzoek is verricht met de volgende doelstelling: Het vergroten van inzicht in de praktische bruikbaarheid van de methoden voor RM bij ITO, door een vergelijking te maken van de bruikbaarheid van methoden zoals die beschreven zijn in de wetenschappelijke literatuur met daadwerkelijk gehanteerde methoden in een specifieke praktijkcasus. Met het beantwoorden van de drie centrale vragen is getracht deze doelstelling te bereiken. De conclusies die daaruit getrokken zijn, en een reflectie daarop, zijn in dit hoofdstuk beschreven.

5.1

Conclusies De eerste onderzoeksvraag: 1. Welke methoden voor RM bij ITO zijn er in de wetenschappelijke literatuur beschreven die als referentie kunnen dienen voor de praktijkcasus? Deze vraag is door middel van een literatuurstudie beantwoord. Eerst zijn criteria opgesteld waaraan de methoden moeten voldoen om als referentie te kunnen dienen: de methode moet in literatuur verankerd zijn en mag niet controversieel zijn. Daarna zijn de verschillende risicomanagementdoelen vastgesteld en zijn risicomanagementmethoden gevonden (zie tabel 9). De methoden vormen de referentie waarmee de methoden uit het praktijkproject vergeleken zijn in onderzoeksvraag 3. Uit de tabel blijkt dat de geraadpleegde literatuur op de topic van RM bij ITO meer biedt, naast de lijsten van risico’s en de vele mitigatiemethoden die Lacity, et al. (2009) noemen.

Tabel 10 De gevonden referentiemethoden in het kort RM-doel

Referentiemethode


• •



• • •



• •



•


Risk avoidance

• •


Risk reduction

•

Suggested Risk Management Strategies


35

RM-doel

Referentiemethode

Risk sharing

•

Richten op succesfactoren en toepassen van best practices

• •


De tweede en derde onderzoeksvraag zijn beantwoord door middel van een praktijkonderzoek dat heeft plaatsgevonden bij de instelling Rijkswaterstaat/Data-ICT-Dienst, afdeling IAP. Het project, ‘Sourcing B&O: IAPD’ (Project-SBO), is een Europees aanbestedingsproject waarin het beheer van applicaties extern wordt ondergebracht. De tweede onderzoeksvraag luidt: 2. Volgens welke methoden is in het kader van de praktijkcasus, RM bij ITO uitgevoerd en wat is de motivatie voor het gebruik van deze methoden? Er is geconstateerd dat men zich bij Project-SBO bewust is van de specifieke ITO risico’s. Dat blijkt uit de door de deelnemers genoemde risico’s en de maatregelen die men heeft genomen om de ITO risico’s te beperken. Die komen overeen met wat ook in de literatuur genoemd wordt. De methoden volgens welke in het kader van Project-SBO, RM bij ITO is uitgevoerd zijn voornamelijk een ongestructureerd en pragmatisch, waarbij op basis van eigen ervaring gehandeld wordt. De overlap van de toegepaste methoden met de referentiemethoden zijn vooral voor de risk-assessment-fase klein. Een uitzondering wordt gevormd door de werkwijze die is gehanteerd bij het schatten van de risico’s bij het proces ‘incident-management’. Daar is een simulatie van het proces uitgevoerd. De toegepaste mitigatiemethoden komen voor een groot deel overeen met de ‘Suggested Risk Management Strategies’ van Sullivan & Ngwenyama (2005). De motivatie voor het gebruik van de toegepaste methoden is op basis van a) de overtuiging van de ITO-deskundigen voor het gebruik van een pragmatische methode, b) de bedrijfscultuur en c) het ontbreken van de vraag uit het management voor een expliciete risicoanalyse. Er bestaat een invloed van de kwaliteitsafdeling voor een andere, explicietere vorm van risicomanagement, maar deze invloed is te klein om dat te bewerkstelligen. De derde onderzoeksvraag luidt: 3. Wat levert een vergelijking op tussen de praktijkcasus methoden en referentiemethoden op het punt van bruikbaarheid? Omdat een gedetailleerde vergelijking tussen elke referentiemethode en het bij Project-SBO toegepaste equivalent niet mogelijk bleek (zie paragraaf 4.2) zijn de Project-SBO methoden als geheel door de deelnemers vergeleken met de meer expliciete manier van risicomanagement uitvoeren. De pragmatische methode die is toegepast bij het Project-SBO wordt door de deelnemers qua efficiëntie en tevredenstelling hoger beoordeeld dan de explicietere methode. Op het gebied van effectiviteit is men het onderling niet eens: De ITO deskundigen beoordelen de beide methoden even hoog, terwijl de kwaliteitsmanager de explicietere methoden hoger

36


beoordeelt. Er kan dus geen eenduidige uitspraak worden gedaan over de bruikbaarheid. Het kan op grond van de gevonden informatie niet uitgesloten worden dat de pragmatische methoden bruikbaarder zijn dan de referentiemethoden. Lacity, et al. spreken deze mogelijkheid in elk geval niet tegen in hun literatuurstudie (2009) met de opmerking: “Although the number of ITO risks and risk mitigation practices are daunting, practitioners may find that the best way to mitigate risks is through experience”.

5.2

Discussie Kwaliteit van onderzoeksresultaten Er zijn een paar factoren die invloed hebben op de validiteit, waarvan niet uit te sluiten is dat ze een rol gespeeld hebben: 1. De ITO-deskundigen zijn door Rijkswaterstaat Ingehuurd. Zij zijn over het algemeen alleen in de aanbestedingsfase bij de ITO-projecten die ze begeleiden betrokken en niet in de uitvoeringsfase waarin ITO risico’s eventueel problemen kunnen worden. Het is dus de vraag in hoeverre de deskundigen zelf ervaring hebben met de ITO problemen waarvoor ze risicomanagement uitvoeren. Hun beoordeling over bijvoorbeeld de effectiviteit van RM-methoden is gebaseerd op deze (gebrek aan) ervaring. Dit aspect verkleint de validiteit van de beoordeling van de deelnemers over bijvoorbeeld de effectiviteit van de risicomanagementmethoden. 2. Zowel de ITO deskundigen als de kwaliteitsmanager hebben hun mening over de effectiviteit van de Project-SBO-methode niet voldoende onderbouwd. Hierdoor is elke conclusie over welke methode effectiever verminderd valide. 3. Het kan tegen het eigen belang van de uitvoerders (ITO deskundigen) van RM zijn om de effectiviteit van een gebruikte methode laag in te schatten. Dat zou namelijk iets over de eigen prestatie kunnen zeggen, zij hebben immers zelf voor deze methode gekozen. Het kan betekenen dat ze voortaan een minder effectieve en tevredenstellende methode moeten gaan gebruiken. Daardoor zal een uitvoerder mogelijk niet zo snel geneigd zijn om de ‘eigen’ methode een lage beoordeling te geven. 4. Een kwaliteitsmanager heeft wat meer afstand tot het project en kijkt op een wat meer theoretische manier naar risicomanagement dan de uitvoerders. Het zou kunnen dat daardoor de beoordeling door de kwaliteitsmanager van de pragmatische methode op effectiviteit lager is dan geweest zou zijn als zij er nauwer bij betrokken was. De mate waarin bovenstaande factoren van invloed zijn, is op grond van de beschikbare informatie niet goed in te schatten. Bij eventueel toekomstig onderzoek zou het goed zijn om de effectiviteit apart van de efficiëntie en tevredenstelling te meten waardoor bovenstaande factoren wellicht een kleinere rol spelen. Er zal extra aandacht besteed moeten worden aan de validiteit van de beoordelingen door bijvoorbeeld het toepassen van triangulatie.


37

De generaliseerbaarheid van de conclusies is zeer gering omdat de casestudy niet meervoudig is uitgevoerd, maar omdat dit ook geen doelstelling van het onderzoek is, is dit geen probleem. Waarde van het onderzoek Het resultaat van het praktisch onderzoek verschaft inzicht in de methoden die bij de praktijk casus worden toegepast, wat de motivatie voor de keuze voor het gebruik van deze methoden is en hoe de toegepaste methoden worden beoordeeld ten opzichte van de referentiemethoden uit de literatuur. De volgende inzichten zijn opgedaan: • • • •

• •

De referentiemethoden vormen een overzicht van beschikbare methoden voor RM bij ITO (zowel theoretisch relevant als praktisch relevant). Over de vraag of de pragmatische methode effectief is of niet bestaat geen consensus bij de deelnemers van dit onderzoek (theoretisch relevant). Het is vooralsnog niet uitgesloten dat de pragmatische methoden bruikbaarder zijn dan de referentiemethoden (theoretisch relevant). We weten nu dat er bij het meten van bruikbaarheid extra aandacht aan de validiteit van het meetinstrument voor effectiviteit besteedt dient te worden (theoretisch relevant). We weten nu dat er mogelijk een cultuur afhankelijkheid bestaat voor de manier waarop risicomanagement wordt uitgevoerd (theoretisch relevant) Er zijn ideeën voor vervolgonderzoek gegenereerd (zie paragraaf 5.3) die verankerd zijn in het vakgebied (theoretisch relevant)

Deze inzichten kunnen bijdragen aan een betere beoordeling van de bruikbaarheid van de referentiemethoden en uiteindelijk ook de praktische relevantie van de ITO-literatuur. Ook kunnen de inzichten voor eventueel vervolgonderzoek een basis vormen. Daarmee is de doelstelling van het onderzoek – ‘Het vergroten van inzicht in de praktische bruikbaarheid van de methoden voor RM bij ITO, door een vergelijking te maken van de bruikbaarheid van methoden zoals die beschreven zijn in de wetenschappelijke literatuur met daadwerkelijk gehanteerde methoden in een specifieke praktijkcasus’ – bereikt. Gezien de (mogelijk) beperkte validiteit van de beoordelingen van de effectiviteit van de methoden (zie paragraaf ‘Kwaliteit van onderzoeksresultaten’ hierboven) moet op dit vlak voorzichtigheid betracht worden met het trekken van conclusies.

5.3

Aanbevelingen voor vervolgonderzoek Uit het uitgevoerde onderzoek zijn een aantal vragen naar voren gekomen die in toekomstig onderzoek zouden kunnen worden onderzocht. 1. Een voor de hand liggend vervolgonderzoek zou een wat meer kwantitatief onderzoek zijn waarbij onderzocht wordt hoe groot het gebruik is van de referentiemethoden en van de meer pragmatische toepassing van RM bij ITO projecten. De onderzoeksvragen zouden kunnen luiden:

38


• •

Volgens welke methoden wordt risicomanagement bij ITO in de praktijk uitgevoerd? In welke mate worden de verschillende methoden toegepast?

•

Hoe wordt de efficiëntie, effectiviteit en tevredenstelling van de toegepaste methode beoordeeld?

2. Tijdens het uitwerken van dit onderzoek kwam de vraag naar boven op welke manier de praktijk nu eigenlijk ondersteund wil worden door de wetenschap. Wat zijn nu eigenlijk de vragen waar men in de praktijk een wetenschappelijk antwoord op wil hebben? Als daar een antwoord op komt dan kan men ook beter inschatten wat de praktische relevantie is van de literatuur. 3. In de interviews kwam ter sprake dat het gebruik van de wat meer pragmatische methoden voor RM in de cultuur van Rijkswaterstaat zou passen, en dat de explicietere manier van RM meer in de cultuur van banken. De volgende onderzoeksvraag zou daar bij passen: Welk verband is er tussen het gebruik van ITO-RM-methoden en de heersende bedrijfscultuur en de branche van het bedrijf? 4. Er was tussen de deelnemers onderling verdeeldheid over de vraag volgens welke methode de risico’s effectiever worden beheerst. De ITO deskundigen vonden dat met de wat meer pragmatische methode die toegepast is bij het ‘Project-SBO’ de risico’s voldoende beperkt worden, terwijl de kwaliteitsmanager vond dat het risicomanagement te mager was uitgevoerd. Een goede onderzoeksvraag voor vervolgonderzoek zou kunnen zijn: •

•

Hoe verhoudt de effectiviteit van het uitvoeren van risicomanagement bij ITO volgens de referentiemethoden zich ten opzichte van het uitvoeren volgens de ‘pragmatische methode’? Welke factoren hebben invloed op de keuze voor een methode van RM bij ITO?

5. Recent is in de media bericht over een onderzoek naar het gebruik van een checklist voor operatiepatiënten die ontwikkeld is door het Academisch Medisch Centrum (AMC) in Amsterdam. Gebleken is dat het gebruik van deze checklist ervoor zorgt dat de sterfte voor, tijdens en na operaties in Nederlandse ziekenhuizen met de helft kan worden verminderd. Ook in de vliegtuigindustrie werkt men met dit soort checklists om ongelukken te voorkomen (lees risico’s te verkleinen). Het zou interessant zijn om te kijken of zo’n lijst ontwikkeld kan worden voor ITO en of dat ook effect heeft. Mogelijke onderzoeksvragen zijn: • •

Wat is een geschikte checklist om in te zetten om risico’s bij ITO te verkleinen? Wat is het effect van het toepassen van checklist X op de ITO risico’s?

Bij deze laatste vraag zou een kwantitatief onderzoek gedaan kunnen worden om te kijken of de risico’s bij de projecten waarbij de checklist is gebruikt beter gemitigeerd zijn dan bij projecten waarbij dat niet is gedaan.


39

6

Procesreflectie In dit hoofdstuk wil ik kort terugkijken op het verloop van het afstudeeronderzoek en wat ik daarvan geleerd heb. Ik heb het uitvoeren van het afstudeeronderzoek vooral als leerzaam ervaren. Wanneer je er aan begint weet je nog weinig van het onderwerp dat onderzocht gaat worden, in dit geval risicomanagement en ITO, maar er is ook onbekendheid met de aktiviteit onderzoeken zelf. Het is een iteratief proces waarbij bij elke iteratieslag op beide vlakken een stap gemaakt wordt. Ik vond het prettig dat het afstuderen in duidelijke mijlpalen is gesplitst. Wat ik gemist heb is een ‘sparring partner’ die inhoudelijk op de hoogte is, waar je tegen aan kunt praten om je eigen gedachte te ordenen. Daardoor ben ik relatief lang op verkeerde sporen blijven doorgaan. Onderwerpkeuze Ik heb voor het onderwerp ITO gekozen omdat ik in mijn werk soms met kleine uitbestedingsprojecten te maken had en daardoor wel begreep dat ITO een complexe, maar ook intrigerende activiteit is. Door de geringe ervaring was het lastig om goede keuzes te maken. Het kostte bijvoorbeeld veel tijd om tot een goede onderzoeksvraag te komen. Een belangrijke les is geweest om te beperken om zo het onderzoek haalbaar te maken. Maar ook de opgedane ITO kennis, de veel voorkomende risico’s en toegepaste mitigatiemethoden uit de literatuur ga ik zeker heel goed gebruiken in mijn werk. Het praktijkonderzoek De onderzoeksomgeving (Rijkswaterstaat) kende ik niet goed. Ondanks het feit dat ik er van tevoren een gesprek heb gehad, heb ik mij onvoldoende op de hoogte gesteld over het project zelf. Zo ben ik tijdens de interviews geconfronteerd met het inzicht dat er op een pragmatische manier RM werd uitgevoerd, en dat er toch nog weer andere mensen een relevante rol gespeeld hebben. Daardoor bleek dat het uitgebreid opstellen van de referentiemethoden minder relevant geworden was. Ook het alleen uitvoeren van interviews was nieuw voor me. Ik heb niet altijd helemaal kunnen voorkomen dat het verhaal afdwaalde en dat daardoor pas bij het uitwerken bleek dat ik niet goed altijd genoeg antwoord op mijn vragen gekregen had. Achteraf had ik veel meer willen vragen, maar dat zal altijd wel zo zijn. Ik had bijvoorbeeld concreter willen ingaan op risico’s en toegepaste mitigatie methoden, zoals beschreven in het artikel van Sullivan & Ngwenyama (2005). Dit artikel ben ik pas bij het schrijven van het eindrapport op het spoor gekomen. Conclusie Door mijn onervarenheid heb ik het moeilijk gehad, maar heb ik ook veel geleerd. Ik heb geleerd over risicomanagement en over IT-outsourcing. Ik heb geleerd hoe ik beter moet focussen en convergeren in de literatuurstudie en het formuleren van de onderzoeksvragen. Ik

40


heb geleerd hoe ik interviews beter kan voorbereiden en uitvoeren. In de analysefase, en zelfs soms pas bij het schrijven van het verslag zijn de onderzoeksvragen nog bijgesteld. Met die kennis zouden de vragen bij het interview ook meer in die lijn gesteld zijn. Bij het schrijven van de rapportages is een belangrijke les geweest dat ik systematischer en vooral preciezer alle aspecten van het onderzoek moet beschrijven en de keuzes beter moet verantwoorden. Nu ik een keer een onderzoek heb uitgevoerd kan ik in het vervolg beter inschatten hoe ik me beter op de verschillende fasen kan voorbereiden en realistischere doelen kan stellen. Al met al betekent het dat ik er van geleerd heb en daar gaat het om. Het was een leuke en leerzame ervaring waar ik nog vaak aan terug zal denken.


41

Bibliografie

Aubert, B. A., Patry, M., & Rivard, S. (2005). A Framework for Information Technology Outsourcing Risk Management. ACM SIGMIS Database, 36(4 (Fall 2004)), 9-28. Aubert, B. A., Patry, M., Rivard, S., & Dussault, S. (1999). Managing the Risk of IT Outsourcing. Paper presented at the 32nd Hawaii International Conference on System Sciences, Hawaii. Bahli, B., & Rivard, S. (2005). Validating measures of information technology outsourcing risk factors. Omega, 33(2), 175-187. Barthélemy, J. (2001). The Hidden Costs of IT Outsourcing. Sloan Management Review, 42(3), 60-69. Bhattacharya, S., Behara, R. S., & Gundersen, D. E. (2003). Business risk perspectives on information systems outsourcing. International Journal of Accounting Information Systems, 4(1), 75-93. Boehm, B. W. (1991). Software Risk Management: Principles and Practices. IEEE Software, 8(1), 32-41. Chou, D. C., & Chou, A. Y. (2009). Information systems outsourcing life cycle and risks analysis. Computer Standards & Interfaces, 31(5), 1036-1043. Dibbern, J., Goles, T., Hirschheim, R., & Jayatilaka, B. (2004). Information systems outsourcing: a survey and analysis of the literature. ACM SIGMIS Database, 35(4), 6102. Duncan, W. R. (1996). A Guide to the Project Management Body of Knowledgee (PMBOK Guide) (1996 ed.). Newton Square: Project Managment Institute. Earl, M. J. (1996). The Risks of Outsourcing IT. Sloan Management Review, 37(3), 26-32. Gonzalez, R., Gasco, J., & Llopis, J. (2006). Information systems outsourcing: A literature analysis. Information & Management, 14. Gulla, U., & Gupta, M. P. (2009). Deciding Information Systems (IS) Outsourcing: A MultiCriteria Hierarchical Approach. Vikalpa: The Journal for Decision Makers, 34(2), 2540. Gupta, U. G., & Gupta, A. (1992). Outsourcing the IS function: Is it Necessary for Your Organization? Information Systems Management, 9(3), 44-52. Heemstra, F. J., & Kusters, R. J. (1996). Dealing with risk: a practical approach. Journal of Information Technology, 11(4), 333-346. Hornbæk, K. (2006). Current practice in measuring usability: Challenges to usability studies and research. International journal of human-computer studies, 64(2), 79. Jordan, P. W. (1998). An Introduction to Usability. London, UK: Taylor & Francis Ltd. Jurison, J. (1995). The role of risk and return in information technology outsourcing decisions. Journal of Information Technology, 10(4), 239. Lacity, M. C., Khan, S. A., & Willcocks, L. P. (2009). A review of the IT outsourcing literature: Insights for practice. Journal of Strategic Information Systems, In Press. Loh, L., & Venkatraman, N. (1992). Determinants of Information Technology Outsourcing: A Cross-Sectional Analysis. [Article]. Journal of Management Information Systems, 9(1), 7-24. Osei-Bryson, K.-M., & Ngwenyama, O. K. (2006). Managing risks in information systems outsourcing: An approach to analyzing outsourcing risks and structuring incentive contracts. European Journal of Operational Research, 174(1), 245-264.

42


Peters, M. T., & Heron, T. E. (1993). When the best is not good enough: An examination of best practice. [Article]. Journal of Special Education, 26(4), 371. Rijkswaterstaat/Data-ICT-Dienst. (2009a). Algemene achtergrondinformatie - Sourcing B&O:IAPD. from http://www.aanbestedingskalender.nl/noticedetails.aspx?id=8a6258bc-cbdb-4a37a9c7-180a499f8d24 Rijkswaterstaat/Data-ICT-Dienst. (2009b). Beschrijvend document - Sourcing B&O:IAPD. from http://www.aanbestedingskalender.nl/noticedetails.aspx?id=8a6258bc-cbdb-4a37a9c7-180a499f8d24 Rijkswaterstaat/Data-ICT-Dienst. (2009c). Structuur van de Instrijving - Sourcing B&O:IAPD. from http://www.aanbestedingskalender.nl/noticedetails.aspx?id=8a6258bc-cbdb4a37-a9c7-180a499f8d24 Saunders, M., Lewis, P., & Thornhill, A. (2009). Methoden en technieken van onderzoek (Vierde ed.). Amsterdam: Pearson Education Benelux. Sullivan, W. E., & Ngwenyama, O. K. (2005). How are public sector organizations managing IS outsourcing risks? An analysis of outsourcing guidelines from three jurisdictions. [Article]. Journal of Computer Information Systems, 45(3), 73-87. Verschuren, P. J. M., & Doorewaard, H. (2007). Het ontwerpen van een onderzoek (Vol. 4). Den Haag: Boom uitgevers. Willcocks, L. P., & Lacity, M. C. (1995). Information systems outsourcing in theory and practice. Journal of Information Technology, 10, 203-207. Willcocks, L. P., & Lacity, M. C. (1999). IT outsourcing in insurance services: risk, creative contracting and business advantage. Information Systems Journal, 9, 163-180.


43

Bijlage A Veel voorkomende risico’s en risicofactoren In deze bijlage worden een aantal veel voorkomende risico’s bij ITO opgesomd zoals ze in de literatuur beschreven zijn. Earl Earl (1996) beschrijft 11 risico’s/risicofactoren: • • • • • • • • • • •

possibility of weak management inexperienced staff business uncertainty outdated technology skills endemic uncertainty hidden costs lack of organizational learning loss of innovative capacity dangers of an eternal triangle technology indivisibility fuzzy focus

Bahli & Rivard Bahli & Rivard (2005) noemen negen risicofactoren, ingedeeld in drie categorieën: • • •

Transaction: asset specificity, small number of suppliers, uncertainty, relatedness, measurement problems Client: expertise with the IT operation, expertise with outsourcing Supplier: expertise with the IT operation, expertise with outsourcing

Aubert et al Aubert, et al (2005) noemen risico’s met bijbehorende risicofactoren. Deze zijn weergegeven in de onderstaande tabel. Tabel 11 Risico’s en risicofactoren door Aubert, et al. Onwenselijke uitkomst

Risicofactoren die leiden tot uitkomst

1

Unexpected transition and management costs

2

Switching costs (including lock-in, repatriation, and transfer to another supplier) Costly contractual amendments

Lack of experience and expertise of the client with the activity Lack of experience of the client with outsourcing Uncertainty about the Legal environment Asset specificity Small number of suppliers Scope Interdependence of activities Uncertainty Technological discontinuity Task complexity Measurement problems Lack of experience and expertise of the client and/or of the supplier with outsourcing contracts

3

4

44

Disputes and litigation


Onwenselijke uitkomst

5

Service debasement

6

Cost escalation

7

Loss of organizational competency

8

Hidden service costs

Risicofactoren die leiden tot uitkomst Uncertainty about the legal environment Poor cultural fit Interdependence of activities Lack of experience and expertise of the supplier with the activity Supplier size Supplier Financial instability Measurement problems Task complexity Lack of experience and expertise of the client with the activity Measurement problems Lack of experience and expertise of the supplier with the activity Scope of the activities Proximity to the core competency Interdependence of activities Complexity of the activities Measurement problems Uncertainty

Willcocks & Lacity Willcocks & Lacity (1999) noemen de volgende risicofactoren • • • • • • • • • •

Treating IT as an undifferentiated commodity to be outsourced Incomplete contracting Lack of active management of the supplier on contract and relationship dimensions Failure to build and retain requisite in-house capabilities and skills Power asymmetries developing in favor of the vendor Difficulties in constructing and adapting deals in the face of rapid business/technical change Lack of maturity and experience of contracting for and managing `total' outsourcing arrangements Outsourcing for short-term financial restructuring or cash injection rather than to leverage IT assets for business advantage Unrealistic expectations with multiple objectives for outsourcing Poor sourcing and contracting for development and new technologies

Sullivan & Ngwenyama Sullivan & Ngwenyama (2005) hebben 7 risico categorieën beschreven en noemen daarbij ook risicofactoren en risico management strategieën. De categorieën zijn: 1. 2. 3. 4. 5. 6. 7.

Outsourcer’s lack of experience Vendor’s lack of experience Opportunistic behavior by the vendor Vendor financial instability Vendor performance monitoring Contract horizon and technological discontinuity Loss of core competencies and proprietary information


45

Chou & Chou Het artikel van Chou & Chou (2009) beschrijft de life cycle van een ITO project. Deze life cycle bestaat uit drie fasen met daaronder risicofactoren: •

•

•

46

Pre-contract fase, waarin de noodzaak van outsourcing wordt onderzocht, de planning en de strategie wordt bepaald en de leverancier wordt geselecteerd. Risicofactoren: lack of market information, inadequate outsourcing plan and lack of outsourcing strategy, lack of vendor information. Contract fase, dat bestaat uit het contracten transitieproces en waarin de uitvoer van het outsourcing proces plaatsvindt. Risicofactoren: inadequate project management knowledge and tools, lack of quality control process, cost related risks (unexpected transition and management costs, switching costs, costly contractual amendments, disputes and litigation, service debasement, cost escalation, loss of organizational competency, hidden service costs), irreversibility of the outsourcing decision that is related with vendor (breach of contract by the vendor, vendor’s inability to deliver, biased portrayal by vendors, vendor lock-in, lack of trust, hidden costs), risk of loss control (loss of autonomy and control over IT decisions, loss of control over vendor, loss of critical skills, uncontrollable contract growth, loss of control over data, and loss of employee morale and productivity). Post-contract fase, waarin de beoordeling van het outsourcing proces plaatsvindt. Risicofactoren: Lack of assess measurement, metrics and tools, lack of certification and quality model.


Bijlage B

Gedetailleerde beschrijving van de referentiemethoden

In deze bijlage worden de referentiemethoden wat uitgebreider beschreven dan in de hoofdtekst. Per fase van risicomanagement worden de gevonden methoden beschreven. De referentiemethoden voor ‘Risk identification’ Het gaat hierbij om het boven water krijgen welke outsourcing risico’s er überhaupt allemaal binnen het kader van het project een rol spelen. Er zijn twee methoden beschreven in de literatuur voor identificatie van de risico’s van ITO: de ‘methode Brainstormen met betrokkenen’ en de ‘methode Risicolijsten’.

Heemstra en Kusters (1996) hebben een methode ontworpen waarbij een Risk Management team wordt samengesteld om risico’s te identificeren. Het team bestaat uit projectmedewerkers met verschillende rollen binnen het project. Een ‘risk advisor’ interviewt aan de hand van een checklist alle teamleden. Het idee er achter is door personen met verschillende perspectieven meer relevantie risico’s geïdentificeerd kunnen worden. Daarnaast zal de betrokkenheid en het commitment van de betrokkenen worden vergroot. Daar moet wel een prijs voor betaald worden. Het artikel geeft een soort algemene formule van wat deze methode kost. Het artikel van Heemstra en Kusters straalt vooral uit dat risicomanagement niet te licht opgevat dient te worden. Het moet door meerdere mensen uitgevoerd worden en de werkwijze moet goed voorbereid in een organisatie of project geïntroduceerd worden om te effectief te zijn. De bovenstaande ‘methode Brainstormen met betrokkenen’ lijkt in tegenspraak te zijn met de methode die wordt toegepast in de artikelen van Boehm (1991), Aubert et al. (2005), Sullivan & Ngwenyama (2005) en Chou & Chou (2009). Bij deze methode wordt alleen gekeken naar een korte lijst met de meest voorkomende risico’s. Wat van invloed kan zijn op de bruikbaarheid van deze methode is het bestaan van duidelijke randvoorwaarden waarbinnen de lijst geldig is. Zo zou een lijst misschien typisch kunnen gelden voor een deelgebied, zoals offshoring, of een geografisch gebied zoals ‘de westerse wereld’. De lijst uit het artikel van Boehm geldt voor software development en kan niet worden gebruikt voor identificeren van risico’s bij ITO. Naast de eerder genoemde lijsten zijn er nog vele artikelen die samen tientallen risico’s bij ITO opsommen (Lacity, et al., 2009). Lacity, et al. hebben in drie artikelen alleen al 43 unieke risico’s geteld. Een veelvuldig1 geciteerd artikel over risico’s bij ITO is van Earl (1996) en beschrijft 11 risico’s (zie bijlage A). Opvallend is dat voor veel van deze risico’s geldt dat het eigenlijk niet gaat om de ongewenste consequentie zelf maar de situatie die mogelijk leidt tot de ongewenste consequentie (risicofactor). De ongewenste consequenties (op business niveau) zijn soms erg lastig in de tekst terug te vinden. Daarnaast geeft het artikel ook onvol-

1

Volgens Google Scholar 520 citaties per januari 2011. Volgens Lacity, et al. (2009) is dit het meest geciteerde artikel over ITO risico’s. De bruikbaarheid van methoden voor risicomanagement bij IT Outsourcing

47

doende aan op grond waarvan deze 11 risico’s genoemd worden en een validatie ontbreekt. De suggestie wordt gewekt dat de auteur veel met IT-managers spreekt en op grond van ervaring zijn beweringen doet, maar dat is naar mijn mening te vaag om het artikel op die basis betrouwbaar te noemen. Dat het artikel uiteindelijk toch wel betrouwbaar is komt alleen vanwege de grote hoeveelheid citaties waarmee de bevindingen van Earl door anderen blijkbaar onderschreven worden. Bahli & Rivard (2005) geven ook een lijstje risicofactoren, zie bijlage A. Zij zijn, in tegenstelling tot Earl, veel transparanter over de theoretische basis. Ook hebben zij de risicofactoren gevalideerd door middel van een survey onder 132 IT managers. Sullivan & Ngwenyama (2005) beschrijven uitgebreid 7 risicofactoren en geven er ook een suggestie bij voor een te volgen management strategie. Zo zijn er nog meer artikelen die een lijst opsommen, zoals Willcocks & Lacity (1999) en Chou & Chou (2009). Deze zijn opgenomen in bijlage A. Op zich spreken de verschillende artikelen elkaar niet tegen over wat de ITO risico’s zijn, maar er is ook geen eenduidigheid. Tot slot zijn er nog artikelen die op een specifiek risico ingaan, bijvoorbeeld ‘hidden costs’ (Barthélemy, 2001). Conclusie Er zijn twee methoden beschreven in de literatuur voor identificatie van de risico’s van ITO, de methode van Heemstra en Kusters (risico’s identificeren aan de hand van een risk management team) en the methode van Boehm / Aubert et al / Chou & Chou (lijst van meest voorkomende risico’s). De eerste methode is duurder, maar levert waarschijnlijk beter inzicht in de risico’s en vice versa. De literatuur biedt dus de keuze en er is voor zover bekend geen onderzoek gedaan naar welke methode de voorkeur heeft. Daarom zijn beide methoden opgenomen in de referentiemethode. Bij de methode van een korte lijst van meest voorkomende risico’s moeten duidelijke randvoorwaarden beschreven zijn waarbinnen de lijst geldig is. Voor wat betreft de samenstelling van de lijst van risico’s, daar is geen eenduidigheid over. De referentiemethoden voor ‘Risk analysis’ Bij deze aktiviteit gaat het om het schatten (uitdrukken in een getal) van de risico’s. In deze context wordt vaak de term ‘risk exposure’ (afgekort RE) gebruikt. De risk exposure ten gevolge van een gebreurtenis i (REi) bestaat uit twee basiselementen:

• •

de kans (Pi) dat de bijbehorende consequentie van i optreedt, uitgedruikt in een getal tussen nul en één de omvang van de consequentie (Li) uitgedrukt in een verlies in geld

Bijna alle artikelen over risico (onder andere Boehm, 1991; Bahli & Rivard, 2005; Aubert, et al., 2005) definieren risk exposure als: REi = Pi · Li De totale totale risk exposure wordt verkregen door het optellen van de verschillende REi’s behorende bij de verschillende gebeurtenissen. Wat in de artikelen niet genoemd wordt is dat bij het optellen van REi’s de aanname geldt dat er geen correlatie bestaat tussen de verschillende risico’s. Vermoedelijk komt die correlatie in de praktijk wel regelmatig voor. Bijvoorbeeld als twee verschillende gebreurtenissen tot de zelfde negatieve consequentie kun-

48


nen leiden. In dat geval zal de totale risk exposure minder groot zijn dan de som van beide individuele risk exposures. In bepaalde omstandigheden kan de kans op optreden van een onwenselijke gebeurtenis geschat worden op basis van de hoe het betreffende object in het verleden heeft gepresteerd (Aubert, et al., 1999). In andere gevallen kan dat niet, maar kan de kans geschat worden door middel van het identificeren en beoordelen van de risicofactoren. Dat zijn immers de factoren die leiden tot de onwenselijke uitkomst. Boehm (1991) gebruikt een methode waarbij voor elk risico de situatie beschreven wordt als het onwaarschijnlijk (0 – 30 % kans) is dat de onwenselijke gebeurtenis optreedt, dat het waarschijnlijk is (40 – 60 % kans) en dat het frequent optreedt (70 – 100 %). Zo beschrijft hij bijvoorbeeld voor de beschikbaarheid van personeel respectievelijk ‘In place, little turnover expected’, ‘Available, some turnover expected’ en ‘Not available, high turnover expected’. Er zijn geen tabellen gevonden in de literatuur die op deze manier de kans op risico’s beschrijven voor ITO. Als men niet genoeg weet van de risico’s dan is een mogelijke techniek het ‘kopen’ van informatie door middel van prototyping, simulatie, surveys, benchmarks, reference checks, etc. (Heemstra & Kusters, 1996). Conclusie: Voor het schatten van de risk exposure moeten de kans op optreden en het verlies als het risico optreedt beide geschat en onderling vermenigvuldigd worden. De literatuur is niet erg concreet over methoden voor het schatten van kans en mogelijk verlies. Men kan schatten op basis van prestaties uit het verleden of op basis van risicofactoren. Men kan meer te weten komen over de risico’s m.b.v. prototyping, simulatie, surveys, benchmarks, reference checks, etc. Bij het onderzoeken van de bruikbaarheid van de referentiemethode zal onderzocht moeten worden of de onduidelijkheid over correlaties tussen risico’s invloed hebben op de bruikbaarheid. De referentiemethoden voor ‘Risk prioritization’ Hierbij gaat het om het aanbrengen van een volgorde van belangrijkheid in de lijst van geïdentificeerde, en geanalyseerde risico’s. Boehm (1991) noemt ‘Risk-exposure analysis’, ‘risk-reduction leverage analysis’ als mogelijke methoden om te prioriteren.

Risk exposure analyse Bij de risk-exposure analyse worden de risk-exposures bijvoorbeeld ingedeeld in hoog/ gemiddeld/ laag. Dat is in figuur 4, op basis van de relatie REi = Pi · Li grafisch weergegeven (Aubert, et al., 2005; Boehm, 1991). Op de horizontale as staat de kans (Pi) en op de verticale as het verlies (Li). In deze grafiek kunnen individuele REi’s als punt worden geplaatst. De equivalente waarden van risk exposure vormen lijnen waardoor gebieden gedefinieerd worden voor laag risico, gemiddeld risico en hoog risico. Risico is een subjectief begrip. Verschillende managers kunnen anders aankijken tegen een zelfde risico. Daarom liggen de lijnen in de grafiek niet vast.


49

Potentieel verlies

Hoog risico Gemiddeld risico Laag risico

Kans op onwenselijke gebeurtenis

Figuur 4 Grafische weergave van risk exposure

De risico’s waarvan de risk exposure in het hoge gebied vallen, krijgen een hoge positie op de prioriteitenlijst. Risk reduction leverage analyse Bij de andere methode, de risk-reduction leverage (RRL) analyse, wordt meer gekeken naar de verlaging in risk exposure die bereikt kan worden in verhouding met de kosten die dat met zich meebrengt. RRL is gedefinieerd als: (Heemstra & Kusters, 1996) RRL = (REbefore – REafter) / Risk Reduction Cost De risico’s met een grote RRL komen hoger op de prioriteitenlijst. Opvallend is dat in de formule de mitigatiekosten voorkomen, terwijl de toe te passen mitigatiemethode pas in de ‘risk management planning’ fase aan de orde komt. Waarschijnlijk zullen de aktiviteiten ‘Risk prioritization’ en ‘Risk management planning’ een soort iteratief proces worden. Dit punt zou mogelijk invloed kunnen hebben op de bruikbaarheid van de methode. Een ander punt is dat de grootte van RLL hangt af van welke REafter ‘gekozen’ is. Met een grotere inspanning is de risk exposure altijd nog wat kleiner te krijgen, maar op den duur lopen de kosten exponentieel op. Volgens Aubert, et al (1999) zijn de handelingen binnen risicomanagement zijn er op gericht om de risico’s tot onder een zeker ‘acceptabel’ niveau terug te brengen en/of te houden. Als een risico onder dat niveau ligt heeft het niet veel zin om het nog verder omlaag te brengen. De REafter moet dus zodanig gekozen worden dat het risico acceptabel is. Maar wanneer is een risico acceptabel? Daar geeft het ‘Risk and return’ model van Jurison antwoord op. Risk and return model Volgens het risk and return model van Jurison (1995) worden beslissingen door managers genomen op grond van de afweging tussen enerzijds de potentiële financiële voordelen en anderzijds de risico’s. Als de verwachte opbrengst hoger is, zal de manager over het algemeen bereid zijn grotere risico’s te nemen. In figuur 5 is het risk and return model van Jurison grafisch weergegeven. Op de verticale as staat de potentiële opbrengst (C) en op de horizontale as is het risico (R) aangegeven. De lijn in de grafiek geeft een theoretische scheiding aan tussen de situaties waarbij het risico acceptabel is en wanneer niet. Zoals eerder opgemerkt zal

50


voor elke manager de grens van wat acceptabel is anders liggen. Ook zal de grens tussen niet heel erg scherp zijn.

C

Acceptabel B B’

A

Niet acceptabel

R

Figuur 5 Het Risk and Return model van Jurison

In de figuur zijn twee denkbeeldige projecten weergegeven: A en B. Onderdeel A heeft een bescheiden winstverwachting met weinig risico en is dus een goede kandidaat om uitgevoerd te worden. Onderdeel B biedt potentieel grote winst, maar stelt het bedrijf bloot aan grote risico’s. Als voor onderdeel B een inspanning wordt gedaan om de risico’s te reduceren zullen de winstverwachtingen (ten gevolge van de inspanning) lager worden, maar wanneer tegelijkertijd ook de risico’s drastisch kleiner zijn, dan kan dit project mogelijk wel interessant worden om uit te voeren. Conclusie: Om een prioritering te kunnen maken tussen verschillende risico’s zijn de ‘Risk Exposure’ analyse, en de ‘Risk Reduction Leverage’ analyse beschikbaar. Voor het bepalen van de REafter in de RRL formule kan het ‘Risk and Return’ model van Jurison gebruikt worden. Omdat ook de ‘Risk Reduction Cost’ in de RRL formule moet worden ingevuld, zullen de aktiviteiten ‘Risk prioritization’ en ‘Risk management planning’ waarschijnlijk een soort iteratief proces worden. De invloed hiervan op de bruikbaarheid van de methode moet worden onderzocht. De referentiemethoden voor ‘Risk management planning’ Binnen deze aktiviteit worden de plannen gemaakt hoe de relevante risico’s (de risico’s die voldoende prioriteit hebben gekregen in de risk-prioritization stap) aangepakt gaan worden. Volgens Heemstra & Kusters zijn er vier categorieën van methoden om met risico’s om te gaan: ‘Risk elimination’, ‘risk reduction’, ‘risk transfer’ en ‘risk compensation’. Helaas wordt er in het artikel weinig toelichting bij deze categorieën gegeven, waardoor het enigszins lastig is om te achterhalen wat er precies bedoeld wordt. Bij de laatste categorie, ‘risk compensation’ staat de zin “where it is accepted that the risks exist and that if it occurs it will be dealt with”. Mijns inziens passen term en omschrijving hier niet bij elkaar. In Wikipedia wordt onder het lemma ‘Risk management’ (http://en.wikipedia.org/wiki/Risk_management), onder het kopje ‘Potential risk treatments’, een viertal categorieën genoemd die beter passen bij de omschrijvingen van de categorieën van Heemstra en Kusters:

• •

Avoidance (eliminate, withdraw from or not become involved) Reduction (optimize - mitigate)


51

• •

Sharing (transfer - outsource or insure) Retention (accept and budget)

Ondanks het feit dat Wikipedia niet wetenschappelijk is, is het voldoende aannemelijk dat er hetzelfde bedoeld wordt als in het artikel van Heemstra & Kusters. Omdat ze beter passen zijn deze termen in het onderzoek gebruikt. Risk avoidance Het elimineren van het risico door de bron ervan weg te halen. Dat kan zijn door af te zien van de aktiviteit (het outsourcen). Maar het kan ook door bijvoorbeeld de opdrachtnemer op te kopen, dan is er ook geen sprake meer van ITO. De risk avoidance beslissing volgt uit het risk and return model (Jurison, 1995) en risk reduction leverage analyse (Heemstra & Kusters, 1996): Als risico’s groot zijn t.o.v. verwachte opbrengst, of de benodigde risicoreductie is te duur, dan kan besloten worden om project niet uit te voeren. Daarnaast is er literatuur dat specifiek op de ITO decision in gaat (bijvoorbeeld Gulla & Gupta, 2009), maar vreemd genoeg spelen ITO risico’s daarin geen rol. Lacity et al (2009) besteden een hele paragraaf aan het onderdeel ‘The ITO decision’. Zij noemen het nemen van de juiste ITO beslissing als een van de ‘determinants of ITO success’.

Potentieel verlies

Risk reduction Om een risico effectief te verminderen moet er, volgens Aubert, et al (1999), afhankelijk van de kans op een ongewenste consequentie en het potentieel verlies, een andere strategie worden gehanteerd. Deze strategieën zijn weergegeven in figuur 6. Risico kan worden verkleind door: het mogelijke verlies ten gevolge van de ongewenste gebeurtenis te verkleinen (strategie A), of de kans te verkleinen dat de ongewenste consequentie optreedt (strategie B), of een combinatie van beide (strategie C). Bij kleine risico’s loont het de moeite niet om de risico’s verder te verkleinen, maar moet tijdens het proces deze risico’s wel gemonitord worden om te controleren of de risico’s klein blijven (strategie D).

Strategie A Tolerantie

Strategie C Gemixt

Strategie D Monitoren

Strategie B Voorzichtigheid

Kans op onwenselijke consequentie

Figuur 6 Risicomanagement strategieën volgens Aubert, et al.

Bovenstaande strategieën van Aubert, et al klinken heel logisch, maar zijn nog weinig concreet. Welke methoden moeten er nu daadwerkelijk worden toegepast? Lacity, et al (2009) hebben aangegeven dat er in de literatuur zeer veel specifieke methoden beschikbaar zijn om risico bij ITO te mitigeren. Er is echter maar één artikel (Sullivan &

52


Ngwenyama, 2005) gevonden die mitigatiemethoden opsomt, gekoppeld aan de veel voorkomende risico’s. Ook deze koppeling tussen de ITO risico’s en de mitigatiemethode is voor de praktijk waarschijnlijk belangrijk: als ik een risico geïdentificeerd heb, welke mitigatietechniek moet ik dan toepassen? Boehm (1991) heeft weliswaar ook een lijst van veel voorkomende risico’s met de bijbehorende meest succesvolle mitigatietechnieken opgesteld, maar helaas geldt deze lijst voor software development en niet voor ITO. Aubert, et al. (1999) geven een lijstje van acht risico’s met de bijbehorende risicofactoren, zie bijlage A. Het idee is dat wanneer de risicofactoren aangepakt worden, dat dan de risico’s ook gereduceerd worden. Zo’n lijst is wat indirecter dan een lijst zoals die van Sullivan & Ngwenyama, maar wellicht ook bruikbaar. Tot slot kunnen ook de ‘determinants of ITO success’ (succesfactoren) gezien worden als methoden om risico’s te reduceren. Lacity, et al (2009) hebben in dit kader naast de eerder genoemde ‘ITO decision’, ‘contractual governance’, ‘relational governance’ en ‘client and supplier capabilities’ genoemd. Risk sharing Een organisatie kan de risico’s overhevelen naar een andere partij door bijvoorbeeld daarover afspraken te maken in contracten. Er is veel literatuur beschikbaar over aan welke eisen contracten voor ITO zouden moeten voldoen (bijvoorbeeld Osei-Bryson & Ngwenyama, 2006). Een ander voorbeeld van risk sharing is het afsluiten van een verzekering. Hierbij draagt een derde partij voor een vast, van tevoren bekend bedrag de risico’s tot een bepaalde hoogte. Risk retention Men kan ook het risico nemen zoals het is. Men reserveert eventueel een bedrag voor als het risico optreedt.


53

Bijlage C

Operationalisatietabel voor het begrip bruikbaarheid

De onderstaande tabel geeft aan hoe het begrip bruikbaarheid bepaald wordt op basis van efficiëntie, effectiviteit en tevredenstelling (zie ook paragraaf 3.5) Tabel 12 Beoordeling van bruikbaarheid op basis van efficiëntie, effectiviteit en tevredenstelling. De beoordeling is positief (+), neutraal (+/-) of negatief (-).

54

Efficiëntie

Effectiviteit

Tevredenstelling

Bruikbaarheid

+ + + + + + + + + +/+/+/+/+/+/+/+/+/-

+ + + +/+/+/+ + + +/+/+/+ + + +/+/+/-

+ +/+ +/+ +/+ +/+ +/+ +/+ +/+ +/+ +/-

+ + Onbepaald + + Onbepaald Onbepaald Onbepaald Onbepaald + + Onbepaald + +/Onbepaald Onbepaald Onbepaald Onbepaald Onbepaald Onbepaald -


Bijlage D Interviewopzet

In de interviews zijn de vragen zoveel mogelijk open gesteld zodat de kans groot is dat er een verhaal als antwoord terug komt. De interviewthema’s De onderstaande tabel geeft een overzicht van de thema’s die zijn opgesteld voordat de interviews werden afgenomen. Tabel 13 Overzicht van de interviewthema’s Interview fase Introductie

Thema

• • •

• • •

Over de deelnemer

Inhoudelijke vragen voor de ITO deskundigen

Inhoudelijke vragen voor de kwali-

Bedankje voor deelname Vragen of getutoyeerd mag worden Vragen of het interview mag worden opgenomen en daarbij aangeven wie de transcriptie onder ogen zal krijgen Introductie van interviewer, dus studie en het onderzoek Aangeven wie het onderzoeksrapport onder ogen zal krijgen Expliciet aangeven dat het niet om een beoordeling van de toegepaste methode gaat, maar om het achterhalen van de bruikbaarheid van de referentiemethoden

Wie ben je, en wat is je functie? Wat is je ervaring op het gebied van ITO en in het bijzonder RM bij ITO? • Wat is de omvang van de projecten waarbij je betrokken bent? • Wat is je rol/betrokkenheid in het project? Toegepaste methode achterhalen • Wordt RM (als expliciete aktiviteit altijd toegepast bij ITO? Wat is het percentage? Is er een criterium? Beoordeling • Werkt RM in de praktijk? Worden de risico’s aanvaardbaar klein, of blijken er nog risico’s te blijven bestaan? (effectiviteit) • Wat vindt je van de inspanning/kosten die RM kost in verhouding tot wat het oplevert? (efficiëntie) • Is RM volgens de referentiemethode prettig om uit te voeren, of is het een vervelende klus die liever vermeden wordt? (tevredenstelling)

• •

•

Er zijn kritische geluiden geweest op het project vanuit de kwaliteits-

Toelichting De introductie heeft tot doel om de deelnemer te laten weten waar hij/zij aan deelneemt en daarmee hem/haar op zijn/haar gemak te stellen. Als de deelnemer zich niet bedreigd voelt zal hij/zij vrijuit kunnen spreken en zal er meer en eerlijkere informatie naar boven water komen. Bij deze introductie moet er op gelet worden dat er niet een soort gewenst beeld wordt geschetst.

Deze vragen zijn om een beeld van de deelnemer te krijgen. Als de deelnemer meer en relevantere ervaring heeft zijn de antwoorden meer valide.

De inhoudelijke vragen zijn om antwoord op de onderzoeksvragen te krijgen.

De inhoudelijke vragen zijn om antwoord op de onderzoeksvragen te


55

Interview fase teitsmanager

Thema afdeling. Wat was daarvoor de aanleiding? • Is het risicomanagement daarna aangepast? • Hoe beoordeel je het RM nu? • Zijn er risico’s blijven liggen? (effectiviteit) • Zijn er voorbeelden dat het anders kan?

Afsluiting

•

•

•

56

Bedanken voor medewerking aan onderzoek en aanbieden van kleine attentie Aangeven hoe het onderzoek verder zal verlopen en wanneer het rapport te verwachten is Eventueel eerdere vragen beantwoorden

Toelichting krijgen.

In deze fase kunnen eerder gestelde vragen beantwoord worden die toen niet beantwoord konden worden omdat ze mogelijk de deelnemer konden beïnvloeden.


Bijlage E

Transcripties van de interviews

In deze versie van het verslag zijn de transcripties van de interviews niet opgenomen. Deze kunnen eventueel bij de auteur opgevraagd worden.


57

De bruikbaarheid van methoden voor risicomanagement bij IT Outsourcing

Recommend Documents