Paper no 5
Borgen van kwaliteit en zekerheid bij verandering
Auteurs
Ruud Mollema RE RA,
drs. Bert Aalbers,
drs. Maarten de Roos EMIA RO
email
[email protected]
[email protected]
[email protected]
versie
februari 2016
publicatie
9 mei 2016
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering
Inhoudsopgave 1.
Zekerheid in soorten en maten
2.
Haalbare plannen met de haalbaarheidsreview van PBLQ 5
3.
Een goed ingericht programma met de PBLQ Health Check 5
4.
Krijgen wat u beloofd is PBLQ Trance Reviews6
5.
Goede samenwerking met uw ketenpartners PBLQ Ketenmeting
Pagina 2/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
3
7
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering 1.
Zekerheid in soorten en maten
Een opdrachtgever en zijn programmamanager kunnen elkaar nog zo goed informeren, toch bieden periodiek audits en reviews hulp om de gekozen koers te valideren. Audits en reviews maken het in programma’s ook mogelijk om op cruciale momenten de stand van zaken op te maken en vormen daarmee het sluitstuk van goed bestuur. Er zijn verschillende categorieën van cruciale momenten en de audits en reviews dienen daar op aan te sluiten. De eerste, logische categorie van momenten zijn de start en het einde van het programma. De tweede categorie zijn belangrijke programmaafhankelijke fase overgangen (bijv. van visievorming naar uitvoering) in het programma en de derde categorie zijn de zgn. end-of tranchemomenten in de realisatie. Omdat de uitvoering van de ICT-projecten in een programma meestal meerdere jaren omvat, worden immers tranches (plateau’s) onderscheiden om tussentijdse realisatie inzichtelijk en beheersbaar te kunnen maken. Hoe een review voor de laatste categorieën dient plaats te vinden is door MSP niet uitgewerkt, maar in deze lacune heeft PBLQ inmiddels voorzien door de ontwikkeling van een aantal producten.
De Gateway Review Sinds enkele jaren wordt de Gateway Review in Nederland gebruikt binnen de overheid. Deze review sluit aan op MSP (en Prince2) en geeft de opdrachtgever op kritieke besluitvormingsmomenten (categorie twee: de zgn. faseovergangen) inzicht in de kansen en risico’s die gepaard gaan met de volgende stap die hij wil nemen. Deze reviews worden in korte tijd en op een globaal niveau uitgevoerd door “peers” (gelijken) van de opdrachtgever, voor het Rijk georganiseerd door Bureau Gateway en door sommige departementen. Ook elders binnen de publieke sector worden dergelijke reviews uitgevoerd. PBLQ organiseert bijvoorbeeld peer reviews bij gemeenten in het Noorden. Een Gateway Review is een ad hoc in te zetten instrument, op enig moment en op hoofdlijnen. Gateway Reviews blikken vooruit op de volgende stap en geven opdrachtgevers inzicht in de gedetecteerde risico’s. Gateway Reviews bieden een aanvulling op statusreviews en audits en kunnen elkaar versterken door ze afwisselend te gebruiken. Zekerheid Statusreviews en audits gaan aanzienlijk dieper dan Gateway Reviews en richten zich naast het te bereiken resultaat meer op de kwaliteit in het programma en het nakomen van de afgesproken procedures. Zowel de momenten uit categorie 1 (start en einde van het programma) als 2 en 3 (faseovergang en end-of-tranche) lenen zich voor statusreviews en audit.
Pagina 3/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering Traditionele audit methoden zoals Prince2 lenen zich minder goed voor gebruik in programma’s omdat zij gericht zijn op projectbeheersingsmethoden en voorgeschreven documenten en procedures. Algemene, vaak gedateerde methoden voor Quality Assurance kunnen wel gebruikt worden in programma’s om zekerheid te bieden, maar gaan voorbij aan het karakter van programmatisch veranderen en de besturing die daarop specifiek is ingericht. In het besturingsthema worden kwaliteit en zekerheid (assurance) daarom als twee op elkaar aansluitende besturingselementen. Kwaliteitsborging (quality control) vindt plaats in het programma in procedures en in het werk van het programma supportbureau. Zekerheid bouwt daarop en geeft inzicht in kwaliteit en voortgang aan de opdrachtgever. PBLQ heeft als enige meer dan 28 jaar ervaring met het inrichten en verbeteren van besturing van grote ICT-project en programma’s van de overheid. De methoden die zij hierbij hanteert heeft zij sinds kort ook aangepast op het gebruik van MSP en uitgewerkt in Effectief Programmatisch Veranderen. In een aantal recente kwaliteitsbewakingstrajecten (waar onder Keteninformatisering van de Vreemdelingenketen, Operatie BRP, en de Doorontwikkeling Onderwijsnummer) zijn in aansluiting hierop een aantal nieuwe instrumenten ontwikkeld om te meten en zekerheid te geven aan opdrachtgevers in programma’s die MSP als methodiek gebruiken. Deze producten worden in de cirkel van verandering hieronder beknopt in de tijd geplaatst. Alle zekerheidsproducten kunnen door de opdrachtgever worden ingeroepen wanneer daartoe aanleiding is. Na het benodigde onderzoek wordt gerapporteerd aan de opdrachtgever, vaak in een bredere setting. In grote ketenprogramma’s is en wordt vaak gekozen voor een Zekerheidstraject, waarin voor meerdere jaren wordt afgesproken om periodiek reviews uit te voeren, passend bij de ontwikkeling van het programma. Deze trajecten bieden naast periodieke rapportages tevens de mogelijkheid om een transparante en lerende cultuur in het programma te ontwikkelen. De voordelen hiervan spreken voor zich. In dit hoofdstuk worden de meest actuele en beproefde audit- en review producten beschreven die wij kunnen bieden.
Pagina 4/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering 2.
Haalbare plannen met de haalbaarheidsreview van PBLQ
Een uitgewerkte visie voor een programma of groot ICT-project gaat (zeker binnen de overheid) niet zelden gepaard met impactanalyses, haalbaarheidsonderzoeken en business cases. In deze fase van de verandercyclus zijn deze documenten nog omgeven met onduidelijkheden en onzekerheid, omdat veel zaken nog nadere uitwerking of invulling behoeven. Dit wekt bij opdrachtgevers de behoefte aan extra zekerheid door een second opinion uit te laten voeren, een haalbaarheidsreview. Deze reviews kunnen in korte tijd worden uitgevoerd met heldere rapportages aan de opdrachtgever. De nadruk ligt in de haalbaarheidsreview op de plausibiliteit van de te verwachten baten en de kosten die daarvoor gemaakt moeten worden (de benefits , de te realiseren nieuwe systemen en processen (de blueprint) die in ICT-projecten in Nederland vaak met architectuur wordt aangeduid en de risico’s die aan het ICT-project kleven. De onderlinge samenhang van de documenten is een belangrijke toetssteen, aangevuld met de rijke ervaring die het reviewteam heeft met grote programma’s en ICT-projecten. Interviews ondersteunen onze adviseurs in het opstellen van het rapport van bevindingen, dat wordt afgestemd met de betrokkenen partijen en leidt tot een afgestemd en gedeeld beeld van de uitgangsituatie. Het reviewteam trekt haar conclusies uit de bevindingen in relatie tot de verandernoodzaak (welk probleem wordt opgelost), de te bereiken doelen en de tijd en middelen die ter beschikking staan. De conclusies vormen de basis voor de aanbevelingen aan de opdrachtgever over wat beter moet om de benodigde resultaten te bereiken en de sturing (governance) die daarvoor - aanvullend - nodig is. De laatste stap in de review is het bepalen van de risico’s die ondanks maatregelen en sturing aan het programma blijven kleven en door de stuurgroep bewaakt moeten worden.
3.
Een goed ingericht programma met de PBLQ Health Check
De Health Check is bedoeld om vast te stellen in hoeverre een programma Effectief Programmatisch Veranderen op de juiste manier heeft ingericht n. De Health Check bevat de besturingsthema’s van MSP en de principes die daarbij horen. De MSP-besturingsthema’s zijn samengevat tot: 1. Rollen en verantwoordelijkheden, 2. Visie en leiderschap, 3. Blauwdruk, benefits en business case, 4. Stakeholder en Change control, 5. Planning en beheersing, 6. Risico’s en issues, 7. Kwaliteit en zekerheid en 8. Programmabureau.
Pagina 5/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering Op basis van de bestudering van plannen, processen, verantwoordelijkheden en documenten wordt door het reviewteam een oordeel per aspect gegeven. Van de geconstateerde tekortkomingen wordt per onderdeel de impact vastgesteld en de vraag gesteld of de aangetroffen deficiënties reparabel zijn. Vervolgens wordt bepaald waaraan het eventuele herstel van de tekortkoming bijdraagt: aan het resultaat, aan de beheersing of aan het naleven van regelgeving. In het laatste geval is het geen vraag of reparatie van eventueel geconstateerde tekorten moeten worden opgelost. Van andere tekorten kan de beoordeling zijn dat reparatie niet bijdraagt aan het beoogde resultaat of beheersing van het programma. Overwegingen daarbij kunnen zijn: te duur, in tijd achterhaald, teveel inspanning ten opzichte van het resultaat. De Health Check geeft de opdrachtgever inzicht in de status van zijn of haar programma in relatie tot de te behalen doelen maar ook over de wijze waarop de zaken die hij/zij zelf moet regelen (resultaten, randvoorwaarden, helderheid opdracht, governance functioneren. De check stelt daarmee de opdrachtgever samen met de programmamanager in staat het programma op aangegeven punten te verbeteren. De ontwikkelde Health Check is een MSP-röntgen foto, die de basis legt voor de verdere inrichting van de Quality Assurance. De uitkomsten en beoordeling van de Health Check leiden tot een afwerklijst met actiepunten die de gewenste besturing en beheersing realiseren in lijn met de MSPmethodiek. Niet de methodiek, maar van de borging om het beoogde succes te behalen staat centraal. De eerste opvolging van de aanbevelingen maakt deel uit van de Health Check.
4.
Krijgen wat u beloofd is PBLQ Trance Reviews
PBLQ Einde Tranche Review MSP schrijft voor dat aan het einde van een tranche of plateau een review moet plaatsvinden, maar geeft niet aan hoe dat moet gebeuren. PBLQ heeft een Einde Tranche Review ontwikkeld, waarin informatieketens een plaats hebben gekregen. De Einde Tranche Review wordt uitgevoerd op basis van programmadocumentatie en gesprekken met programma- en projectleiders en ondersteuners. Het rapport dat de review oplevert geeft de opdrachtgever breed inzicht in: De staat van het gehele programma per einde van de tranche, De mate van inregeling en het in beheer nemen van gerealiseerde producten. Nog te ondernemen acties (nog openstaande punten of omissies uit de af te sluiten tranche). Tussentijdse programmaresultaten en de daaraan verbonden benefits. Geleerde lessen en de impact daarvan op het programma. De uitgangspositie ten aanzien van de beschikbare middelen van het programma voor de volgende tranche.
Pagina 6/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering Deze Einde Tranche Review sluit aan op het ritme van het programma: beheersbare plateau’s met gedefinieerde producten of tussenresultaten. Het is een plaats- en positiebepaling, kan leiden tot herijking en is het moment om te bepalen of de behaalde oogst aan de oorspronkelijke verwachting voldoet. PBLQ Programma Evaluatie De review aan het einde van de laatste tranche is de evaluatie van het programma. Ook op dat moment worden de resultaten gemeten en lering uit de lessen getrokken. Het verschil is dat in plaats van het bepalen van de uitgangsposities voor de volgende tranche, de evaluatie van de ingezette middelen plaatsvindt. De opdrachtgever krijgt met de programma evaluatie inzicht in: De in beheer genomen gerealiseerde producten. De programmaresultaten door de behaalde benefits. De mate waarin het programma de zeven principes van MSP heeft gerealiseerd en de daaruit te leren lessen. Openstaande punten bij afsluiting van het programma De evaluatie van de inzet van beschikbaar gestelde personele, financiële en andere middelen van het programma Met de programma evaluatie wordt de programma cyclus afgesloten en beschikt de opdrachtgever over een adequaat verantwoordingsdocument. De Gateway Review 5 sluit hierop goed aan als evaluatie van het programma op bestuurlijk niveau.
5.
Goede samenwerking met uw ketenpartners PBLQ Ketenmeting
Programma’s kunnen worden uitgevoerd binnen één organisatie, maar in de publieke sector worden veel programma’s uitgevoerd sprake is van meerdere organisaties die in programmaverband een bijdrage leveren aan overeengekomen en te boeken resultaten en die in meer of mindere mate de vruchten van de gezamenlijk gedefinieerde benefits zullen plukken. Een voorbeeld hiervan is een programma om met of voor verschillende organisaties één gemeenschappelijk datacentrum in te richten. Een andere categorie wordt gevormd door programma’s die zich richten op informatievoorzieningen in een informatieketen: daar waar organisaties in hun taakuitoefening afhankelijk zijn van informatieproducten van andere organisaties. Een voorbeelden hiervan is de strafrechtketen (denk aan Politie, Openbaar Ministerie, de rechtspraak en executerende instellingen als het gevangeniswezen en CJIB). Andere voorbeelden zijn de jeugdketen en de vreemdelingenketen. Programma’s die in ketenverband worden uitgevoerd, kennen eigen karakteristieken en dynamieken als het gaat om sturing, beheersing en verantwoording. Binnen MSP-kaders heeft PBLQ hiervoor een ketenmeting ontwikkeld.
Pagina 7/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
Paper no 5 Borgen van kwaliteit en zekerheid bij verandering In de ontwikkeling van informatieketens is er meestal sprake van twee ontwikkellijnen. De eerste ontwikkellijn is het ontwikkelen van de centrale voorzieningen waarmee de keten gaat werken. De tweede ontwikkellijn ligt bij de afzonderlijke ketenpartners die moeten zorgen dat hun organisaties kunnen aansluiten op en werken met de ontwikkelde centrale ketenvoorzieningen. In de ketenmeting worden de verantwoordelijkheden per ontwikkellijn vastgelegd in een zgn. RACI-tabel, een verantwoordelijkhedenmatrix. De in samenhang vastgelegde verantwoordelijkheden worden met de opdrachtgever en indien mogelijk met de ketenpartners beoordeeld. De bevindingen uit de documenten, gesprekken en interviews worden vertaald in mogelijke risico’s ten opzichte van het realiseren van de centrale voorzieningen en de mogelijke risico’s die kunnen optreden bij de implementatie van de voorzieningen bij de deelnemende ketenpartners. Een programma en haar ketenpartners krijgen met de uitkomsten van dit deze ketenmeting een handreiking voor verbeteringen in de samenwerking in handen, waarmee zij tijdig de effectiviteit van haar eigen functioneren kan verbeteren. Voor het programma en de ketenpartners ligt de mogelijkheid nu voor om aan de hand van vastgesteld verantwoordelijkheden en de risico’s het wederzijds begrip te verbeteren, tot een betere afstemming en mogelijk een aan te passen planning te komen en daarmee het succes dichter binnen handbereik te brengen. De PBLQ ketenmeting maakt het mogelijk om te beoordelen of de rolverdeling en governance dekkend zijn, de verantwoordelijkheden in lijn daarmee consistent zijn belegd en brengt de wederzijdse afhankelijkheden en de risico's in kaart. Een foto, ingekleurd met afhankelijkheden en aangrijpingspunt voor verbeteringen.
Pagina 8/8
PBLQ – Bouwstenen voor Zekerheid voor opdrachtgevers
