30-5-2012
Evalueren van IT projecten bij de overheid
EVALUEREN VAN ICT PROJECTEN BIJ DE OVERHEID DOET ARCHITECTUUR MEE?
Wouter Bronsgeest 29 mei 2012 Center for eGovernment Studies (CFES)
1
30-5-2012
EVALUEREN VAN ICT PROJECTEN POSITIONERING EN MAATSCHAPPELIJKE RELEVANTIE
Positionering Vanaf jaren ‘80: diverse beleidsontwikkelingen op relatie overheid, gebruik van IT en effect van het gebruik van de IT. Actualiteit: mislukkende ICT projecten in het nieuws, rapportages van de rekenkamer, ICT barometer van grote projecten Maatschappelijke relevantie: Burgers vragen om inzicht en transparantie Overheid zelf wil goede voorbeeld geven. Kent tevens een eigen kwaliteitsnorm en taakstelling (intrinsiek en extrinsieke motivatoren) Professionals: van verantwoorden naar adviseren Evalueren van IT projecten bij de overheid
EVALUEREN VAN ICT PROJECTEN WETENSCHAPPELIJKE RELEVANTIE
Hoe evalueert de overheid ICT projecten? Kun je een generiek (evaluatie-) instrument inzetten bij zowel overheid als niet-overheid? Bestuurswetenschappelijk element: is er verschil tussen publieke en private organisaties, en moet je daarop je instrumentarium aanpassen (management, besturing, evaluatiemethoden)? ‘running government like a business is probably the most crude and compact translation in managerialese of the adoption of market principles in public management’ (F.P. Cerase)
Evalueren van IT projecten bij de overheid
2
30-5-2012
PROBLEEMSTELLING DOEL ONDERZOEK
Leveren van kennis over de wijze waarop projecten met een ICTcomponent binnen overheidsorganisaties geëvalueerd worden Vaststellen of de wijze van evalueren beantwoord aan de eisen en wensen die voor dergelijke evaluaties gesteld worden Vergroten van inzicht in de wijze waarop binnen overheidsorganisaties evaluaties kunnen worden uitgevoerd.
Evalueren van IT projecten bij de overheid
PROBLEEMSTELLING VRAAGSTELLING ONDERZOEK
Welke evaluatie-instrumenten zijn er voor het doen van evaluaties voor projecten met een ICT component binnen organisaties en wat zijn daarvan de kaders en criteria. Welke veronderstellingen en theoretische kennis ligt ten grondslag aan deze instrumenten. Welke kenmerken hebben evaluaties die binnen overheidsorganisaties zijn uitgevoerd, en hoe verhouden die zich ten opzichte van de theorie. Welke extra eisen zijn er voor overheidsorganisaties te formuleren ten aanzien van het uitvoeren van evaluaties?
Evalueren van IT projecten bij de overheid
3
30-5-2012
PROBLEEMSTELLING OBJECT VAN ONDERZOEK
ICT-Project: Projecten met een ICT component: het traject vanaf een business case tot en met ICT-realisatie en implementatie. Het betreft dus de gehele IV (Informatievoorzienings-) keten Te onderzoeken: Survey van evaluatierapporten.
Evalueren van IT projecten bij de overheid
EVALUATIETHEORIE SOORTEN INSTRUMENTEN
Evalueren is een multidisciplinair vakgebied Instrumenten <> werkwijzen Instrumenten / frameworks / methoden / kwaliteitsmodellen…… Dus ook:
Evalueren van IT projecten bij de overheid
4
30-5-2012
EVALUATIETHEORIE SOORTEN EVALUATIES
Formatief versus Summatief Conformance versus Performance Professioneel versus Amateur Intrinsiek versus Payoff
‘Evaluation is the systematic assessment of an object’s merit, worth, probity, feasability, safety, significance and/or equity’ (Stufflebeam & Shinkfield, 2007)
Evalueren van IT projecten bij de overheid
EVALUATIETHEORIE GROEPERING VAN INSTRUMENTEN
Soort evaluatie: terugkijken of vooruitkijken Toepassing van het instrument: alleen meten of ook (vooraf) inrichten? Vakinhoudelijk: welke discipline? IT Auditing Governance Volwassenheid Kwaliteitsmanagement Projectmanagement en porftolio Beheer van ICT Organisatiegedrag Evalueren van IT projecten bij de overheid
5
30-5-2012
BEVINDINGEN EVALUEREN ARCHITECTEN?
In projecten? Ja: In projecten die zichzelf evalueren of zich (moeten) laten evalueren (IT-) Beveiligingsaudits In diverse architectuurprojecten en –trajecten (ArchiValue, EARI)
Evalueren van IT projecten bij de overheid
BEVINDINGEN EVALUEREN ARCHITECTEN?
Vanuit het vakgebied (TOGAF)? Een beetje Migration planning: Assess and Align (14.4.2.) Performance Evaluation Criteria & ROI-criteria Implementation Governance: Post implementation review (15.4.6.) Gap analysis De audit in relatie tot security (21.3) Evaluatie criteria voor tooling (42.3) Compliance Reviews (48.5)
Evalueren van IT projecten bij de overheid
6
30-5-2012
BEVINDINGEN EVALUEREN ARCHITECTEN?
Vanuit het vakgebied (Ross, Weill & Robertson, 2006)? Een beetje Feedback loop met ideeën en resultaten uit exploitatie (H.1) Gegeven (!) Learning Requirements (zie p. 83) Vanuit het vakgebied (Van der Sanden & Sturm, 2000)? Een beetje Architecten worden vaak niet bij vervolgtraject betrokken Archtectuurmonitoring…? Wel: besturingsparadigma met feedbackloop
Evalueren van IT projecten bij de overheid
BEVINDINGEN EVALUEREN ARCHITECTEN?
Vanuit het vakgebied : Architecture Maturity Model (AMM): Alleen op level 5 wordt er ‘continu verbeterd’.
Evalueren van IT projecten bij de overheid
7
30-5-2012
BEVINDINGEN EVALUEREN ARCHITECTEN?
In de Gateway methode en rapporten? Neen. In Evaluatie- of Auditrapporten van de overheid? Bevinding tot op heden….Nee. Op basis van steekproef, met als resultaat de volgende aantallen: Commerciële auditor
Kennisinstelling als auditor
Eigen (audit-) dienst
Totaal
Departementaal
17
9
20
46
Uitvoeringsorganisaties
3
6
10
19
Gemeenten
5
7
14
26
Totaal
25
22
44
91
Evalueren van IT projecten bij de overheid
BEVINDINGEN EVALUEREN ARCHITECTEN?
Architectuur als indicator in generieke ‘frameworks’ in gebruik voor evaluaties? Zelden. Wel in: CobiT, Algemene Rekenkamer, ITIL en Gartner Business Value Framework Onderzocht: 55 instrumenten die aantoonbaar worden gebruikt voor evalueren van projecten met IT component.
Evalueren van IT projecten bij de overheid
8
30-5-2012
LITERATUUR AANZET VOOR ACHTERGRONDINFORMATIE
Algemene Rekenkamer, Lessen uit ICT-projecten bij de overheid, deel A, 29 november 2007 Denhardt, R.B., Theories of Public Organization, Thomson Wadsworth, Belmond, California, 5th edition, 2008 Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK), Informatiseringsbeleid Rijk DGOBR, Informatiseringstrategie (I-Strategie) Rijk, Kenmerk 2011-2000509680, Den Haag, 15 november 2011 (b) Rauch, H., Harkema, J., Evaluatie Maatregelen grote ICT projecten, Cap Gemini, Versie 1, 14 oktober 2010 Stufflebeam, D.L., Shinkfield, A.J., Evaluation, Theory, Models & Applications, Jossey-Bass, San Francisco, USA, 2007 Wetenschappelijke Raad voor het Regeringsbeleid (WRR), iOverheid, Amsterdam University Press, Den Haag/Amsterdam, 2011 Evalueren van IT projecten bij de overheid
9