KWALITEIT VAN ORGANISATIEADVIES BIJ DE RIJKSOVERHEID
prof.dr. L.I.A. de Caluwé drs. A. Stoppelenburg
april 2002
Centre for Research in Consultancy (CRC) Postdoctorale Opleiding Management Consultant Faculteit der Economische Wetenschappen en Bedrijfskunde Vrije Universiteit De Boelelaan 1105 1081 HV Amsterdam tel. 020 444 6075 fax 020 444 6170
[email protected] www.feweb.vu.nl/mancon/
vrije Universiteit
amsterdam
KWALITEIT VAN ORGANISATIEADVIES BIJ DE RIJKSOVERHEID
INHOUDSOPGAVE:
Pagina Voorwoord
4
1. Samenvatting
5
2. Aanleiding en organisatie van het onderzoek
7
2.1 Aanleiding voor het onderzoek
7
2.2 Organisatie van het onderzoek
9
3. Relevante literatuur
10
3.1. Verloop en fasen in adviesprocessen
10
3.2. Soorten werk van adviseurs
11
3.3. Effectiviteit van adviseurs
12
4. Onderzoeksopzet
14
4.1. Overwegingen ten aanzien van de onderzoeksopzet
14
4.2. Fasering van het onderzoek
18
4.3. Gang van zaken tijdens het onderzoek
18
4.3.1. Selectie van adviesopdrachten
18
4.3.2. Dossierstudie
20
4.3.3. Interviews
21
4.3.4. Analyse en rapportage
24
5. Concretisering van het onderzoek
25
5.1. Vraagstelling en analysekader
25
5.2. Methoden van onderzoek
27
5.2.1. Steekproefkader en steekproeftrekking
27
5.2.2. Dossierstudie
28
5.2.3. Interviews: criteria en semi- gestructureerde vragen
29
5.2.4. Vignets en ex pertbeoordeling
32
5.2.5. Verwerking van gegevens van de drie databronnen
33
5.3. Overzicht van de adviesopdrachten in kengetallen
Kwaliteit van organisatieadvies bij de rijksoverheid
33
INHOUDSOPGAVE: Pagina 6. Bevindingen
37
6.1. Onderzoeksvraag 1: Soorten werk
37
6.2. Onderzoeksvraag 2: Verwachtingen
41
6.2.1. Algemeen
41
6.2.2. Deze opdracht
45
6.3. Onderzoeksvraag 3: Beoordeling
47
6.4. Overige bevindingen
50
6.4.1. Kwantitatieve bevindingen uit interviews
51
6.4.2. Overige kwalitatieve bevindingen
55
6.4.3. Afwijkende casussen
59
6.4.4. Opvallende punten uit interviews
61
6.5. Verbanden 7. Conclusies en aanbevelingen
61 65
7.1. Conclusies
65
7.2. Aanbevelingen
66
Bijlagen: a. Lijst van tabellen
68
b. Lijst met figuren
69
c. Lijst van ‘ founders’ van het onderzoek
70
d. Gebruikte formats
71
e. Beschrijvingen van de steekproeftrekkingen
81
f. Vignets: beschrijvingen van alle opdrachten
87
g. Kwantitatieve analyses
117
h. Validiteit van het onderzoek
121
i.
126
Relevante literatuur
Kwaliteit van organisatieadvies bij de rijksoverheid
3
VOORWOORD In dit rapport presenteren we de bevindingen en conclusies van een uniek onderzoek. Het unieke karakter komt tot uiting op een paar manieren. Het initiatief voor dit onderzoek is genomen door zowel cliënten als organisatieadviseurs. Beiden willen inzicht krijgen in de feitelijke gang van zaken. Dat leidt tot de unieke formule dat 10 adviesbureaus opdrachtgever zijn en de rijksoverheid meewerkt door alle benodigde informatie beschikbaar te stellen. De opzet van het onderzoek is bijzonder: de dossiers van 56 representatieve organisatieadviesopdrachten zijn bestudeerd; de opdrachtgevers en adviseurs zijn geïnterviewd; daarnaast zijn betrokkenen geïnterviewd. Er zijn dan ook gegevens beschikbaar gekomen die uniek zijn. Wij kennen geen onderzoek (ook niet in het buitenland), dat over dergelijke robuuste gegevens kan beschikken. Om alle gegevens te verzamelen is waar speurwerk nodig geweest om de juiste personen te vinden en afspraken met ze te maken. De doorlooptijd van het onderzoek was dan ook aanzienlijk langer dan wij hadden gedacht. Er zijn vele mensen op een af andere manier betrokken geweest bij dit onderzoek. Dat zijn de Secretarissen Generaal, de bureaus S.G. van alle departementen die samen met financiële afdelingen lijsten voor ons hebben opgesteld van adviesopdrachten, de 161 opdrachtgevers, betrokkenen en adviseurs die door ons zijn geïnterviewd, de ‘founders’, de tien adviesbureaus die het onderzoek hebben begeleid en gefinancierd, de wetenschappelijke commissie en de student assistenten die het onderzoek hebben begeleid, en de medewerkers die afspraken hebben gemaakt en de rapportages hebben verzorgd. Wij vonden het een eer om dit onderzoek te mogen doen. We hopen dat dit onderzoek een bijdrage kan zijn aan beter inzicht in en transparantie van organisatieadvies bij de Rijksoverheid.
Amsterdam, 15 april 2002. Léon de Caluwé Annemieke Stoppelenburg
Kwaliteit van organisatieadvies bij de rijksoverheid
4
1.
SAMENVATTING
Kwaliteit van organisat ieadvies bij de Rijksoverheid In
dit
onderzoek
is nagegaan
wat
organisatieadviseurs doen
en
hoe
opdrachtgevers en adviseurs denken over de kwaliteit van organisatieadvies. In dit onderzoek zijn drie vragen onderzocht: 1. welke soorten werk doen organisatieadviseurs? 2. wat zijn de verwachtingen en criteria die opdrachtgevers en adviseurs hanteren? 3. wat levert het op: wat is de effectiviteit? Op alle departementen zijn lijsten opgesteld van organisatieadviesopdrachten die in 1999 en 2000 zijn afgerond. Daarbij is andere zakelijke dienstverlening (uitbesteden; uitzendwerk; wervingen en dergelijke) niet in de lijst opgenomen. Voor
12
departementen
is een
representatieve groep
van
opdrachten
getrokken. Van deze opdrachten zijn de dossiers bestudeerd, zijn de opdrachtgever en opdrachtnemer geïnterviewd en (in relevante gevallen) één of twee betrokkenen. Totaal
zijn 56 opdrachten bestudeerd en zijn 161
interviews gehouden. Adviseurs doen
vooral
(gezamenlijk
86%) vier
soorten werk. Het
zijn
expertadvies (met een sterke inhoudelijke component), evaluatie (met een sterke beoordelende component), ex pertadvies met processtappen (inhoud en proces zijn in evenwicht) en begeleiding (sterk nadruk op procesbijdragen). De belangrijkste criteria die door opdrachtgevers, betrokkenen en adviseurs worden gehanteerd voor de kwaliteit van advieswerk liggen op het vlak van de uitkomst van het adviesproces en de relatie tussen opdrachtgever en adviseur. De minst belangrijke criteria hebben te maken met de werkwijze in het adviesproces. De totaalindruk van de drie groepen respondenten over alle opdrachten krijgt het rapportcijfer 7,1. Opdrachtgevers geven gemiddeld een 6,8; adviseurs geven gemiddeld een 7,6. Betrokkenen geven gemiddeld een 6,8. Over het verloop van de adviesopdracht is 75% van de opdrachtgevers tevreden. 10% is ontevreden; 15% is redelijk tevreden. Er wordt geleverd conform afspraak. Adviseurs zijn hier iets positiever dan opdrachtgevers. Bij opdrachten die als goed zijn beoordeeld is er sprake van goede afstemming tussen opdrachtgever en adviseur, er is helderheid over wat men wil hebben en zal doen, er is goed samenspel en vertrouwen en er zijn heldere rollen. Faalfactoren zijn hier het (negatieve) spiegelbeeld van.
Kwaliteit van organisatieadvies bij de rijksoverheid
5
Beelden achteraf tussen opdrachtgever en adviseur stemmen overeen. Als de beelden in het begin uiteenlopen en niet worden verhelderd, is de kans op succes gering. Opdrachten met een heldere vraag, leveren de hoogste beoordelingen op. Aanbevolen wordt om een uniforme checklist te ontwikkelen die bij de start van adviesopdrachten wordt gebruikt door opdrachtgevers en adviseurs om de verwachtingen
goed
af
te
stemmen.
Ook
wordt
aanbevolen
om
het
opdrachtgeverschap en opdrachtnemerschap verder te professionaliseren. Gedacht
wordt
aan
opleidingen
en
coaching
en
kennis-
en
ervaringsuitwisseling. Ook kan de selectie- en contractering van het advieswerk worden verbeterd.
Kwaliteit van organisatieadvies bij de rijksoverheid
6
2.
Aanleiding en organisat ie van het onderzoek
2.1
Aanleiding voor het onderzoek
Op initiatief van het SG- beraad en een aantal grote adviesbureaus dat regelmatig opdrachten voor de rijksoverheid uitvoert, heeft in juni 2000 een bijeenkomst plaatsgevonden. In die bijeenkomst werd onder meer stilgestaan bij de mogelijkheden om, ondanks de onderling relatief gunstige beoordeling van de kwaliteit van advieswerk voor de rijksoverheid, antwoorden te geven op de regelmatig terugkerende publieke discussie over de inschakeling van adviseurs. Eén van de suggesties was een wetenschappelijk onderzoek te doen naar de kwaliteit van advieswerk bij de rijksoverheid en de mogelijkheden tot kwaliteitsborging. Een aantal bureaus heeft dit initiatief gestimuleerd (founders, zie Bijlage c) en met medewerking van het SG- beraad een opdracht gegeven aan het Center for Research on Consultancy (CRC) van de Postdoctorale Opleiding Management Consultant, Faculteit der Economische Wetenschappen en Bedrijfskunde van de VU, prof.dr. L.I.A. de Caluwé. Het onderzoek heeft tussen februari 2001 en maart 2002 plaatsgevonden. Het
onderzoek
is
begeleid
vertegenwoordigers
van
de
door
een
founders.
klankbordgroep Een
groep
bestaande
bestaande
uit
uit twee
vertegenwoordigers van de bureaus en twee vertegenwoordigers van het SGberaad heeft namens de founders en het SG- beraad het verloop van het onderzoek nauw gevolgd. Een wetenschappelijke commissie heeft toegezien op de wetenschappelijke kwaliteit van het onderzoek (zie paragraaf 4.4). De betaling
door de bureaus is vooraf geschied om onafhankelijkheid van het
onderzoek te waarborgen. Transparantie
en
degelijk
weerkerende vragen
met
onderzoek betrekking
is tot
noodzakelijk nut
en
om
een
aantal
vertrouwelijkheid
van
organisatieadvies te beantwoorden. Opdrachtgevers en opdrachtnemers zijn gezamenlijk gebaat bij degelijk onderzoek op basis waarvan de kwaliteit van de advieswerkzaamheden en de gezamenlijke sturing daarop verbeterd kan worden. Wordt er van de kant van de opdrachtgever of klant op een effectieve manier omgegaan met de vraag om advies: is de vraag en/ of het probleem wel goed gedefinieerd?
Kwaliteit van organisatieadvies bij de rijksoverheid
7
Is de wisselwerking tussen opdrachtgever en opdrachtnemer tijdens de uitvoering optimaal en conform de bedoelingen? Wordt er geëvalueerd en krijgt men wat men heeft gevraagd? Heeft het advies die werking en impact die was verwacht, afgesproken of gevraagd? Van de kant van adviseurs en adviesbureaus leven ook vragen: leveren wij wel de goede kwaliteit? Is het proces transparant genoeg zodat de adviseurs ook een bijdrage kunnen leveren aan een goede afstemming van vraag en aanbod? Moeten adviseurs niet kritischer zijn bij het wel of niet ‘aannemen’ van werk? Is de evaluatie en waardering van het werk van adviseurs wel zorgvuldig en objectief genoeg? Voorop moet worden gesteld dat er grote verwarring heerst over wat er allemaal onder het label ‘organisatieadvies’ of
'consultancy’ schuilgaat: het
herbergt een enorm scala van werkzaamheden en activiteiten, waarvan het nuttig is om het in kaart te brengen en te ontrafelen. Wat voor soort werk zit er onder die term, wat is de kwaliteit ervan en hoe ( via welke criteria) kun je dat werk beoordelen? In
Nederland
is
nauwelijks
wetenschappelijk
onderzoek
gedaan
naar
bovenstaande vragen. De aard en intensiteit van het debat maken dat echter wel nodig: op die manier kunnen op een valide en betrouwbare manier data en trends worden verzameld die het debat en mogelijke conclusies kunnen onderbouwen. Tegen
die achtergrond
is
besloten
de volgende onderzoeksvragen
te
beantwoorden: 1. Welk
soort
werk
wordt
verstaan
onder
organisatieadvieswerk
of
consultancy: zowel in termen van definities uit de bestaande literatuur, als ook het verzamelen van empirische gegevens van soorten werk? 2. Hoe staat het met de verwachtingen ten aanzien van de kwaliteit van dat advieswerk: wat verwachten opdrachtgevers of klanten? Welke criteria hanteren ze? Welke criteria hanteren adviseurs? 3. Wat levert het op? Wat is de beoordeling van de kwaliteit? Niet alleen in termen van klanttevredenheid, maar ook in termen van: was het ‘state of the art’ in professionele zin? Wat hebben we ervan geleerd? Wat is de impact op de organisatie? Wat levert het op langere termijn op? 4. Wat zijn aanbevelingen waardoor opdrachtgevers en opdrachtnemers beter kunnen sturen op het verbeteren van de kwaliteit?
Kwaliteit van organisatieadvies bij de rijksoverheid
8
2.2
Organisat ie van het onderzoek
Het onderzoek is uitgevoerd onder leiding van prof. dr. L.I.A. de Caluwé door het
Centre for Research in Consultancy van de Vrije Universiteit. De
meewerkende onderzoeker is een onafhankelijk adviseur, mevr. Drs. A. Stoppelenburg. Rondom het onderzoek is een klankbordgroep ingesteld van founders. De klankbordgroep heeft advies gegeven bij de nadere detaillering van het onderzoek. De klankbordgroep bestaat uit de volgende personen: mr. R.J. Haakmeester van Ordina Public bv, ir. H. Abeln van Twynstra Gudde, mr.drs. A.J.M. van der Putte van KPMG Consulting, ir. C.J.W. Landré van Andersson Elffers Felix , mevr. A. van Rooij van CMG Public Sector divisie management consultancy, drs. W. Zoeteweij van PwC Consulting bv, drs. L. Geut van Berenschot bv, J.H.M. Simons van Cap Gemini Ernst & Young Nederland bv, drs. J. Streefkerk mpa van GITP International bv, drs. E. J. Mulder van Het Ex pertisecentrum. De heren Geut en Abeln vertegenwoordigen de founders in het contact met de onderzoekers. Een wetenschappelijke commissie bestaande uit
prof. dr. J.J. Boonstra
(Universiteit van Amsterdam), prof. dr. P.G.W. Jansen (Vrije Universiteit, Amsterdam) en prof. dr. E. ten Heuvelhof (Technische Universiteit, Delft) heeft geadviseerd over de opzet, analyse van data en rapportage. Zij hebben de wetenschappelijke kwaliteit gewaarborgd. Namens het College van SG’s hebben drs. P.W.A. Veld (pSG SZW) en mevr. drs. M. Sint (SG VROM) als klankbord gediend voor de nadere detaillering van het onderzoek en de monitoring van de voortgang. Daarnaast heeft een ex pertgroep (zie paragraaf 5.2.4) alle soorten werk beoordeeld.
Kwaliteit van organisatieadvies bij de rijksoverheid
9
3.
Relevant e lit erat uur
Voor het onderzoek zijn drie theoretische modellen gebruikt. Die worden beschreven in de volgende paragraaf. Het is een model over het verloop van adviesopdrachten (3.1), indeling in soorten werk van adviseurs en dimensies daarin (3.2) en soorten en niveaus van effectiviteit van advieswerk (3.3).
3.1
Verloop en f asen in adviesprocessen
Het gehanteerde model over verloop en fasen in adviesprocessen is ontleend aan
Kubr
(1996)
opdrachtverloop.
en De
Block
(1981).
contactfase
Kubr
onderscheidt
(‘entry’ ),
waarbij
vijf
de
fasen
contact-
bij en
contractvorming tussen adviseur en cliënt(systeem) plaatsvindt. Deze fase resulteert
in
diagnosefase,
een
opdracht/ contract
waarin
het
of
probleem
niet.
wordt
De volgende fase is de verkend,
gegevens
worden
verzameld en er een gezamenlijk beeld ontstaat op de problematiek. In de fase daarna worden oplossingen ontwikkeld, alternatieven afgewogen en beslist over een aanpak. De vierde fase is de implementatiefase waarin betrokkenheid
van
de
adviseur
kan
variëren:
van
niets
naar
de
sterke
betrokkenheid. De vijfde fase is de afsluiting, evaluatie, eventuele follow- up en/ of rapportage. Block sluit hier sterk op aan. Hij onderscheidt: (1) entry and contracting, (2) data collection and diagnosis, (3) feedback and decision to act, (4) implementation en (5) ex tension, recycle or termination. Deze
indeling
in
opdrachtbeschrijvingen.
fasen
is
Wat
is er
gebruikt in
elk
voor van
de
de vijf
samenvattende fasen
gebeurd?
Bijvoorbeeld: Fase 1: Wat was de vraag van de opdrachtgever? Wat is de definitieve probleemstelling in de offerte of opdrachtbrief? Hoe en hoe frequent is er gecommuniceerd over de adviesvraag? Fase 2: Hoe zijn gegevens verzameld? Wie heeft dat gedaan? Hoe zijn ze teruggekoppeld? Is het op papier gezet? Wie zijn betrokken? Uiteraard kan het voorkomen dat een fase niet is uitgevoerd. Dat kan overigens alleen fase 2 (diagnose) of 4 (implementatie) zijn. In dat geval wordt die niet beschreven. De andere fasen komen altijd voor.
Kwaliteit van organisatieadvies bij de rijksoverheid
10
3.2
Soort en werk van adviseurs
Het categoriseren van werk van adviseurs kan waarschijnlijk het beste worden gedaan door een aantal essentiële dimensies te onderscheiden. We hebben de volgende dimensies opgespoord: a) mate van directief en non- directief handelen van de consultant. Kubr (1996) onderscheidt op deze dimensie acht verschillende activiteiten en rollen van adviseurs, variërend van: vragen stellen voor reflectie (ex treem non- directief) tot het voorstellen van richtlijnen of overtuigen (ex treem directief). b) mate waarin een vooraf geëx pliciteerde methode wordt gevolgd. Volgt de adviseur een stappenplan of fasen? In hoeverre is dat van tevoren vastgelegd? Of wordt er niet volgens een methode gewerkt? c) mate van samenwerking tussen de adviseur en het cliëntsysteem. Wie doet het werk, in welke verhouding en wat doet de adviseur, wat het cliënt(systeem)? d) wat is de globale schatting van de tijdsbesteding in de opdracht van de adviseur(s) en cliënt over activiteitencategorieën als: praten, denken, analyseren, schrijven, interviewen, lezen, informatie verzamelen. e) welke van de tien manieren om consultancy te doen is van toepassing en in welke mate. Kubr (1996) onderscheidt deze tien: ‘ providing information’, ‘providing specialist resources’, ‘establishing business contacts and linkages’, ’providing ex pert opinion’ , ‘doing diagnostic work’, ‘ developing action proposals’, ‘ improving systems and methods’, ‘planning
and
managing
organizational
changes’,
‘training
and
developing management and staff’, ‘ providing personal counseling’. Daarnaast zijn er overzichten van Quinn (1988), Cummings & Worley (1993) en Doppler & Lautenburg (1996). Zoals reeds eerder gesteld is dit onderzoek mede bedoeld om langs empirische weg meer zicht te krijgen op soorten van werk van adviseurs. Vandaar dat een ordening vooraf met enige relativiteit moet worden bekeken. Het onderzoek is erop gericht proefondervindelijk vast te stellen of de genoemde dimensies de essentiële zijn en of daarbij voldoende gegevens gevonden kunnen worden.
Kwaliteit van organisatieadvies bij de rijksoverheid
11
3.3
Ef f ect iviteit van adviseurs
Er zijn drie publicaties gevonden die hebben geholpen effectiviteitscriteria m.b.t.
organisatieadvieswerk
te definiëren. Eén
gaat
over
niveaus van
effectiviteit en twee gaan over soorten effectiviteit. Phillips (2000) onderscheidt zes ‘ performance indicators’ voor adviseurs. Hij onderscheidt ze in niveaus.
Type of data
Description
Satisfaction/ reaction
Measures the satisfaction/reaction directly involved in the consulting intervention
Learning
Measures the actual learning taking place for those individuals who must implement or support the process
Implementation/ application
Measures the success of implementation and the utilization of the consulting intervention solution
Business impact
Measures the change in the business impact measures directly related to the consulting intervention
ROI
Measures the actual cost versus benefits of the consulting intervention
Intangible benefits
Measures important intangible benefits not utilized in the benefit-cost formula ( knowledge base, job satisfaction, work climate, cooperation, customer complaints, decisiveness etc.)
Tabel 3.3.1 Perf orm ance indicat oren voor adviseurs
Deze indeling in niveaus achten wij bruikbaar. Op elk van de niveaus is het mogelijk om gegevens of meningen te verzamelen. Elk van de niveaus geeft een dimensie aan het begrip effectiviteit. De niveaus ‘Business impact’ en ‘ROI’ lijken op het eerste gezicht wat minder bruikbaar voor een overheidsomgeving. Niettemin veronderstellen we dat vragen als: ‘wat heeft het voor de organisatie en het werk wat jullie doen betekend?’ en ‘maak eens een kosten/ baten analyse’ zinvol zijn in het licht van de effectiviteit van adviseurs. Een andere bruikbare indeling is die naar soorten van effectiviteit. In een nog steeds actueel artikel van Quinn en Rohrbaught (1983) zijn op empirische wijze clusters van effectiviteitscriteria vastgesteld.
Door managers te vragen naar
criteria die gelijkenis vertonen hebben zij vier clusters van effectiviteitscriteria gevonden.
Deze vier clusters komen overeen met drie clusters uit het
zogenaamde kleurenmodel (Caluwé,1998). De effectiviteitscriteria hebben betrekking op effectiviteit
van organisaties (Quinn en Rohrbaught), op
‘werkingsgebieden’ van veranderingsprocessen (is ook effectiviteit), maar zijn
Kwaliteit van organisatieadvies bij de rijksoverheid
12
eigenlijk moeiteloos over te brengen naar effectiviteit van (interventies van) adviseurs. De wijze waarop Quinn heeft onderzocht spreekt aan: hij heeft uit de
literatuur
een
nagenoeg
complete
verzameling
van
mogelijke
effectiviteitscriteria gehaald, die elk op een kaart gezet en managers een sorteeroefening laten doen: ‘ welke effectiviteitscriteria vind ik belangrijk en stuur ik op en welke niet?’. Vervolgens heeft Quinn criteria geclusterd via factoranalyse. Dat leverde vier clusters op van ‘families’ van criteria. De modellen van De Caluwé zijn ontstaan op grond van literatuurstudie en praktijkervaringen. Ze zijn niet empirisch getoetst. Het blijkt goed mogelijk om een vernieuwde groslijst van effectiviteitscriteria te maken op grond van bovenstaande literatuur. Deze lijst kan dienen om opdrachtgevers en opdrachtnemers van adviesopdrachten te vragen: “welke criteria vind
ik
belangrijk?”;
”welke vind
ik
van
toepassing
op
deze
adviesopdracht?” en “in welke mate is aan dit criterium voldaan?”. Zo brengen wij op empirische wijze in kaart waar adviseurs en opdrachtgevers op
letten,
de
onderlinge
verschillen,
bij
welk
soort
werk
welke
effectiviteitscriteria blijkbaar passen en in welke mate ze voldoende worden bereikt.
Kwaliteit van organisatieadvies bij de rijksoverheid
13
4.
Onderzoeksopzet
In het onderzoek is het van belang evenwicht te vinden tussen voldoende zorgvuldigheid (voldoende valide gegevens en meningen) en een voldoende overzicht van de kaart van adviesopdrachten. Dit vereist een zorgvuldige procedure van
selectie,
beschrijving,
beoordeling,
gegevensverzameling,
interviewen en categorisering.
4.1
Overwegingen t en aanzien van de onderzoeksopzet
Ingang via de klant In dit onderzoek is er voor gekozen om primair via de ontvanger van het advies en het advieswerk in te gaan op de vraagstukken. Verondersteld is dat de klant/ opdrachtgever er minder belang bij heeft een waardeoordeel te geven. Hij is ontvanger van het advies en kan vanuit die positie belangrijke informatie geven over de mate van tevredenheid en vooral over de doorwerking van het advieswerk in de eigen organisatie (de impact). De mogelijkheid om onderzoek uitsluitend te verrichten onder adviseurs of via adviesbureaus is door ons verworpen op grond van veronderstelde nadelen: adviseurs hebben misschien de neiging om de kwaliteit van het werk rooskleuriger af te schilderen. Mogelijk hebben zij, zelfs onbedoeld, een subjectief beeld van het werk en het effect ervan. In het onderzoek is derhalve de klant/ opdrachtgever als primaire ingang te hanteren en vanuit het oordeel uit de professie mee te nemen door de betrokken adviseur(s) naar hun oordeel te vragen. De weging van beide oordelen heeft indicaties van kwaliteit gegeven en het mogelijk gemaakt verschillen op het spoor te komen. Post mortem evaluatie In het onderzoek is er voor gekozen adviesopdrachten te beschrijven en te evalueren die reeds zijn afgerond. Dit maakt het mogelijk om door een proces van reconstructie het totale opdrachtverloop (incl. de contactlegging, acquisitie, contract, opdrachtverloop, afronding, evaluatie) te beschrijven. Daarnaast is het ook mogelijk om tevredenheid, wat er is geleerd en de impact vast te stellen. Vanuit dit gezichtspunt zijn opdrachten die bij de start van het onderzoek enige maanden tot zes maanden geleden zijn afgerond het beste. Verder terug zal het moeilijk worden om de relevante opdrachtgever en opdrachtnemer op te sporen en zullen vertekeningen in het geheugen of de
Kwaliteit van organisatieadvies bij de rijksoverheid
14
herinnering een te grote rol gaan spelen. Gekozen is voor opdrachten die in 1999 en 2000 zijn afgerond.
Dossierstudie Een goede en objectieve manier om de opdracht te reconstrueren is om het totale opdrachtdossier te bekijken en een samenvatting te maken van alle relevante aspecten van het verloop van de adviesopdracht. In zo’n dossier kunnen de verschillende fasen in het adviesproces worden gereconstrueerd, kunnen de gewenste gegevens worden opgetekend en eventuele markante punten worden opgespoord. Interviews Een manier om gegevens te krijgen over het effect van de adviesopdrachten is om opdrachtgevers/ klanten te vragen naar verschillende aspecten van effectiviteit. Het gaat dan om tevredenheid, maar ook om wat er geleerd is en om de impact op de organisatie en op de langere termijn. Teneinde de objectiviteit (beter: intersubjectiviteit) te verhogen en ook een ander perspectief in te brengen naast dat van de opdrachtgever zijn aanvullende interviews gehouden met andere betrokkenen dan de directe opdrachtgevers uit de cliëntorganisatie. De opdrachtnemer/ adviseur is ook geïnterviewd op die aspecten van effectiviteit. Diepte en breedte van de studie Om de onderzoeksvragen te kunnen beantwoorden is het nodig om de adviesopdrachten met voldoende diepgang maar niet en detail te bestuderen. Zo moet over iedere opdracht in het onderzoek gegevens worden verzameld over het totale verloop en dient er een beschrijving te zijn van de cruciale kenmerken. Van iedere opdracht hebben we gegevens uit interviews verzameld op de aspecten van effectiviteit, de toelichting daarop en voorbeelden. We hebben per opdracht een interview gehouden met de opdrachtgever, één of twee met andere betrokkenen uit de cliëntorganisatie en met een betrokken adviseur(s) (opdrachtnemer). Wat betreft de breedte is gekozen voor een steekproef van circa 50 opdrachten: dat garandeert dat toevalligheden grotendeels uitgesloten worden, dat een representatief beeld ontstaat en dat de conclusies gebaseerd zijn op redelijk grote aantallen. Dat maakt conclusies of uitspraken mogelijk als: “Tachtig
procent
van
de adviesopdrachten
Kwaliteit van organisatieadvies bij de rijksoverheid
heeft
grote impact
op
de
15
organisatie” of “In dertig procent van de gevallen is sprake van betrokkenheid van de adviseur bij de implementatie van het advies”. Alle ministeries zijn betrokken bij de steekproef. De betrouwbaarheid
van het
onderzoek
is hoog. Dat
komt
door het
meervoudig onderzoeksdesign, de zorgvuldige uitvoering van het onderzoek door
de
onderzoekers,
de
hoge
constructvaliditeit,
de
hoge
interne
beoordelaarsvaliditeit, de hoge gelijktijdige validiteit en de hoge interne validiteit.
Het
onderzoek
generaliseerbaarheid
van
heeft
ook
een
de uitkomsten
hoge
is
hoog
ex terne binnen
validiteit.
De
het
gekozen
onderzoeksdomein en binnen het steekproefkader. (zie Bijlage h
voor de
gedetaileerde toelichting hierop).
Afbakening Het onderzoek gaat over organisatieadvieswerk. Dat betekent dat financieel advies of accountancy en belastingadvies buiten beschouwing blijven. Ook advies gericht op een specifiek inhoudelijk deelgebied sluiten we uit (bijv. bouwadvies, milieuadvies). Dergelijke advisering richt zich op een specifiek functioneel gebied, is meestal uitsluitend inhoudelijk van aard en wordt gegeven aan specialisten door specialisten. Uitbesteed werk, zoals het uitvoeren van wervingen, interim- management, opleidingen en dergelijke laten we eveneens buiten beschouwing, omdat het een ander type werk is dan organisatieadvies en omdat de criteria voor en evaluatie van kwaliteit relatief eenduidig zijn, waardoor een wetenschappelijk onderzoek relatief weinig toegevoegde waarde heeft. (Is er geleverd wat besteld is?). Het onderzoek is derhalve beperkt tot een deel van de zakelijke dienstverlening. Organisatieadvieswerk is gericht op:
besturings- en/ of managementvraagstukken; veranderkundige vragen; implementatie vragen,
waarbij
(bij
de start) (nog) geen
besluit
is genomen
door
de
opdrachtgever over oplossingsrichtingen en keuzes daaruit (bij precieze omlijning, een uitbestedingsvraag)
en waarbij het gaat om bijdragen van de adviseur aan zowel de uitkomst als het proces. Ex pertadvies valt daar ook onder, omdat de uitkomst niet van tevoren vaststaat.
Beleidsadvies gericht op de kerntaken van een departement behoort ook tot de te bestuderen opdrachten.
Kwaliteit van organisatieadvies bij de rijksoverheid
16
Binnen de bovengenoemde omschrijving is een groot scala aan activiteiten van adviseurs denkbaar. Dat hebben we in kaart gebracht. Door de afbakening richten we ons op organisatieadvieswerk en niet op specialistische ‘advisering’ of zakelijke dienstverlening.
Anonimiteit cruciaal Door het onderzoek anoniem uit te voeren is de medewerking van alle partijen gegarandeerd en is ervoor gezorgd dat zij onbevangen en objectief aan het onderzoek hebben meegedaan. Gelet op de doelstellingen van het onderzoek was het niet nodig om anders dan anoniem gegevens te verwerken en te rapporteren. Het gaat er namelijk om een kaart van advieswerk bij de Rijksoverheid te maken en daarover indicaties voor kwaliteit te geven. Derhalve waren we niet geïnteresseerd in individuele opdrachten, individuele adviseurs, bepaalde bureaus of bepaalde ministeries. Verwijzingen hiernaar worden bij dataverwerking en rapportage uitdrukkelijk vermeden. Beperkingen van het onderzoek De gekozen onderzoeksopzet leidt tot het op een zorgvuldige wijze beantwoorden van de drie centrale onderzoeksvragen. De onderzoeksopzet en gemaakte keuzes daarbinnen leiden er echter ook toe dat niet alles is onderzocht en niet alle vragen die leven over organisatieadvies bij de rijksoverheid vanuit het onderzoek onderbouwd kunnen worden. We willen dan ook enkele beperkingen van het onderzoek aangeven: De onderzoeksopzet gaat uit van binnen departementen herkenbare organisatieadviesopdrachten, d.w.z.: opdrachten die als dusdanig in allerlei (financiële en administratieve) systemen zijn te vinden. We realiseren ons dat er ook minder zichtbare adviesprocessen plaatsvinden die vaak ook grote impact hebben (boardroom advisering). Die zijn dus niet meegenomen. De onderzoekers hebben in beperkte mate naar de inhoudelijkheid van de adviezen gekeken. Er heeft door de onderzoekers geen beoordeling van de inhoudelijke kwaliteit van de geleverde adviezen plaatsgevonden. Wel is de inhoud van de opdracht bekeken en beoordeeld door de geïnterviewden. In het onderzoek is in retro- perspectief gevraagd naar de waardering en beoordeling van het advies. We realiseren ons dat in het gegeven oordeel door de respondenten wellicht ook andere ervaringen verdisconteerd kunnen zijn en dat het geven van een oordeel lastig kan
Kwaliteit van organisatieadvies bij de rijksoverheid
17
zijn. Als een respondent gaandeweg van gedachten is veranderd vloeit dit dan voort uit de adviesopdracht? Uitkomsten van adviesopdrachten kunnen soms bedreigend zijn voor respondenten, is het dan mogelijk onafhankelijk van je positie te oordelen over de opdracht?
Het onderzoek beperkt zich tot organisatieadvies en de door de onderzoekers specifiek hiertoe opgestelde definitie. In de dagelijkse praktijk wordt er veel meer ervaren en bestempeld als organisatieadvies (zoals bijvoorbeeld ICT- gerelateerde projecten en uitbestede diensten). De onderzoeksdefinitie van organisatieadvies is dus verder toegespitst dan de beleving wat als organisatieadvieswerk binnen de rijksoverheid wordt gezien en de werkdefinities die in de praktijk gehanteerd worden.
4.2
Fasering van het onderzoek
In de eerste fase van het onderzoek hebben we het onderzoek gedetailleerd, het onderzoeksteam geformeerd, vijf adviesopdrachten geselecteerd voor het proefonderzoek,
de
formats
opgesteld
voor
de
beschrijving
van
adviesopdrachten en voor de interviews. In de tweede fase hebben we een proefonderzoek uitgevoerd van vijf adviesopdrachten bij twee ministeries. Het dossieronderzoek is gedaan en de beschrijvingen van de dossiers worden gemaakt. Interviews vinden plaats met de opdrachtgever en twee andere betrokkenen en de adviseur. De interviews worden geanalyseerd. Op grond van het proefonderzoek hebben we het definitieve ontwerp van het hoofdonderzoek gemaakt. De gehanteerde formats zijn licht herzien. De opzet van het onderzoek blijft zoals aangegeven in het onderzoeksvoorstel. In fase 3 zijn vervolgens ruim vijftig adviesopdrachten op alle ministeries onderzocht.
4.3
Gang van zaken t ijdens het onderzoek
4.3.1 Selectie van adviesopdrachten Ons streven is geweest om in het totale onderzoek een representatief beeld op te bouwen van de kaart van organisatieadvieswerk bij de Rijksoverheid. De
Kwaliteit van organisatieadvies bij de rijksoverheid
18
selectie van te bestuderen cases is daarom van groot belang. Wij hebben de volgende werkwijze gehanteerd: Via de bureaus SG en de financiële afdelingen van de Ministeries hebben we lijsten opgesteld van organisatieadviesopdrachten die in 1999 en 2000 zijn afgerond. Samen met de door de SG aangewezen contactpersonen van het ministerie is nagegaan welke opdrachten binnen en buiten het onderzoek vallen.
Overzichtslijsten Niet voor elk departement is de uitdraai uit de financiële administratie een juiste ingang om aan de benodigde gegevens te komen. Bij drie departementen moest een opgave van opdrachten per directie worden verzameld aangezien het opdrachtgeverschap en de betaalfunctie daar gedecentraliseerd zijn. Bij andere departementen werd wel gebruik gemaakt van een centrale administratie. De omvang van de lijsten verschilt sterk per departement. De lijsten variëren qua omvang tussen 650 opdrachten en 5 opdrachten over beide onderzoeksjaren. Aangezien voor het onderzoek een deelverzameling uit de administratie van belang was, moesten eerst alle voor het onderzoek niet relevante opdrachten worden verwijderd. Dit is uitgevoerd door het departement samen met de onderzoekers. We hebben dit gedaan aan de hand van de omschrijvingen van de opdracht. Bij twijfel over de omschrijving en bij twijfel of de opdracht wel of niet binnen het steekproefkader paste, hebben de onderzoekers de opdracht op de lijst gehandhaafd.
Steekproeven Vervolgens is door de onderzoekers over de lijst een a- selecte steekproef getrokken van vijf opdrachten per ministerie. Voor de meeste departementen hebben we aanzienlijk meer dan vijf dossiers bestudeerd alvorens we vijf adviesopdrachten konden selecteren die voldeden aan de omschrijving van organisatieadvies zoals die in het onderzoek is gehanteerd.
Ministerie
A
B
C
D
E
F
G
H
I
J
K
L
M
16
8
33
14
nvt
5
17
12
1
10
7
9
6
Aantal keren trekken voor 5 geschikt e opdrachten Tabel 4.3.1 Aant al t rek kingen per depar t em ent
Kwaliteit van organisatieadvies bij de rijksoverheid
19
De steekproef bestaat uit 56 adviesopdrachten. In een situatie met een steekproef van 100%, hetgeen in dit onderzoek betekent voor elk departement vijf adviesopdrachten, zou de steekproef uit 65 adviesopdrachten hebben moeten bestaan. Vanwege onderstaande redenen is de steekproef qua omvang beperkter:
bij één ministerie zijn te weinig passende adviesopdrachten over de onderzoeksperiode beschikbaar;
bij één ministerie zijn de onderzoekers er niet in geslaagd voldoende geschikte dossiers te vinden uit de gegenereerde lijsten;
bij één ministerie wordt een tweetal cases na nadere bestudering door de onderzoekers en de uitkomsten van de interviews samengevoegd tot één case.
Bij
tien
departementen
hebben
we
vijf
organisatieadviesopdrachten
bestudeerd. Door de a- selecte wijze van steekproeftrekking en de breedte van de opdrachten (56 in totaal) worden toevalligheden grotendeels uitgesloten en ontstaat een representatief beeld.
4.3.2 Dossierstudie Van de ruim vijftig op deze wijze geselecteerde adviesopdrachten onderzoeken we
het
dossier.
opdrachtbeschrijving
Op
basis
gemaakt
van
het
dossier
volgens het
is
format
een dat
samenvattende daarvoor
in
de
voorbereidingsfase van het onderzoek is opgesteld (zie Bijlage d). In het algemeen waren de dossiers binnen enkele weken beschikbaar voor nadere bestudering. Soms moesten dossiers van andere vestigingen komen of soms bevonden dossiers zich nog bij de opdrachtgever of bij de betrokkenen bij een opdracht en moesten er kopieën uit de werkdossiers worden gemaakt. Een enkele keer is het voorgekomen dat geselecteerde dossiers niet snel genoeg achterhaald konden worden. De onderzoekers hebben in die gevallen steeds na een wachttijd besloten dan het dossier van de volgende opdracht uit de steekproef te bestuderen. De aangeboden dossiers waren voor het merendeel van de 56 opdrachten compleet. Dit betekent dat er voldoende informatie in het dossier beschikbaar was over de aanleiding en voorgeschiedenis van de opdracht, dat er voldoende informatie over het selectie- en gunningproces beschikbaar was (indien van toepassing),
dat
de
formele
opdrachtdocumenten
als
offerte
en
overeenkomsten in het dossier zaten en dat er documenten waren over het
Kwaliteit van organisatieadvies bij de rijksoverheid
20
verloop van de opdracht (rapportages, tussenrapportages, notities, verslagen, notulen etc.) Voor een tiental opdrachten is slechts de offerte van het geselecteerde bureau en/ of de formele overeenkomst beschikbaar. De onderzoekers hebben de aanvullende informatie vervolgens verworven tijdens de interviews. Door het bestuderen van het dossier zijn de onderzoekers in staat geweest een dossierbeschrijving van een opdracht op te stellen. Deze dossierbeschrijving is als uitgangspunt
voor
de interviews gebruikt. In de interviews is de
opdrachtgevers en de adviseurs gevraagd de dossierbeschrijving te valideren, d.w.z. de door de onderzoekers opgestelde beschrijving goed te keuren.
4.3.3 Interviews De selectie van te interviewen personen vindt als volgt plaats: De feitelijke opdrachtgever wordt geïnterviewd. Dat is diegene die feitelijk en inhoudelijk betrokken is geweest bij de adviesopdracht. De feitelijke opdrachtgever wijst (indien mogelijk) twee anderen aan uit de cliëntorganisatie, die betrokken zijn geweest bijvoorbeeld
als
lid
van
een
in de opdrachtuitvoering,
begeleidingsgroep,
stuurgroep
of
als
eindgebruiker van het advies. Uit het dossieronderzoek kunnen hiervoor eventueel al suggesties worden gedaan. Zij worden ook geïnterviewd. Daarna wordt de betrokken adviseur geïnterviewd. Het kunnen er ook twee zijn of drie. Dan wordt het een groepsinterview. Het interview spitst zich toe op de effectiviteit van het adviestraject (zie ook Bijlage d). Er wordt een samenvattend verslag gemaakt van elk interview door de interviewer/ onderzoeker. Dit wordt niet geautoriseerd omdat het gaat om half voorgestructureerde interviews waarbij de vragen van tevoren grotendeels zijn opgesteld en details, als hiervoor aangegeven, niet relevant worden geacht. Het heeft soms veel speurwerk gevergd de toenmalige betrokken personen op te sporen. De mobiliteit onder zowel adviseurs als bij de opdrachtgevers op de departementen is hoog. Veel opdrachtgevers, adviseurs en betrokkenen hebben sinds 1999 en 2000 een nieuwe functie cq werkkring gekregen. Over het algemeen was de bereidwilligheid om mee te werken aan de interviews groot.
In
een
beperkt
aantal
gevallen
moesten
de onderzoekers
het
toegestuurde achtergrondmateriaal nogmaals telefonisch toelichten en het belang van het interview benadrukken. Dit heeft uiteindelijk in alle gevallen, op
Kwaliteit van organisatieadvies bij de rijksoverheid
21
één na, geresulteerd in afspraken voor interviews. In de onderstaande tabel is per opdracht te zien wie geïnterviewd zijn.
Opdracht
Opdracht gever
Adviseur
Bet rok kene 1
Bet rokkene 2
A1
Ja
Ja
Ja
Ja
A2
Ja
Ja
Ja
Ja
A3
Ja
Ja
3
Nvt
A4
Ja
Ja
Ja
Nvt
A5
Ja
1
Nvt
Nvt
B1
Ja
Ja
Ja
Nvt
B2
Ja
Ja
Nvt
Nvt
B3
Ja
Ja
Ja
Nvt
B4
Ja
Ja
Ja
Ja
B5
Ja
Ja
Ja
Ja
C1
Ja
Ja
Ja
Ja
C2
Ja
Ja
Ja
Nvt
C3
Ja
Ja
Ja
Nvt
C4
Ja
Ja
Nvt
Nvt
C5
Ja
Ja
3
3
D1
Ja
Ja
Nvt
Nvt
D2
Ja
Ja
Ja
Ja
D3
1
Ja
1
1
D4
Ja
Ja
2
Nvt
D5
Ja
Ja
Ja
Nvt
E1
Ja
Ja
Nvt
Nvt
F1
Ja
Ja
Ja
Nvt
F2
Ja
Ja
Ja
Ja
F3
Ja
Ja
Nvt
Nvt
F4
Ja
Ja
Ja
Nvt
F5
Ja
Ja
Ja
Nvt
G1
Ja
Ja
Nvt
Nvt
G2
Ja
Ja
Ja
2
G3
Ja
Ja
Nvt
Nvt
G4
Ja
Ja
Nvt
Nvt
G5
Ja
Ja
3
3
H1
Ja
Ja
2
Nvt
H2
Ja
Ja
Nvt
Nvt
H3
Ja
Ja
Ja
Nvt
H4
Ja
Ja
Ja
Nvt
H5
Ja
Ja
Ja
Ja
I1
Ja
Ja
Ja
Ja
Tabel 4.1 Tabel van opdracht en en gehouden int erviews
Kwaliteit van organisatieadvies bij de rijksoverheid
22
J1
Ja
Ja
Ja
Nvt
J2
Ja
Ja
Ja
Nvt
J4
Ja
Ja
Ja
Nvt
J5
Ja
Ja
Ja
Ja
J6
1
Ja
Ja
Nvt
K1
Ja
Ja
Ja
3
K2
Ja
Ja
Ja
Nvt
K3
Ja
Ja
Ja
Nvt
K4
Ja
Ja
Ja
Nvt
K5
Ja
Ja
Ja
Ja
L1
Ja
Ja
Ja
Nvt
L2- 4
Ja
Ja
Nvt
Nvt
L3
Ja
Ja
Ja
Nvt
L5
Ja
Ja
Ja
Ja
M1
Ja
Ja
Nvt
Nvt
M2
Ja
Ja
Ja
Ja
M3
Ja
Ja
Ja
Ja
M4
Ja
Ja
Ja
Ja
M5
Ja
Ja
Ja
Nvt
Tabel 4.1 (vervolg) Tabel van opdracht en en gehouden int erviews
Legenda bij de tabel: Nvt betekent dat door de opdrachtgever geen namen van betrokkenen in de opdracht werden genoemd. De redenen hiervoor zijn divers: de aard van de opdracht, betrokkenen niet meer werkzaam in de organisatie, opdracht vroegtijdig gestopt waardoor geen betrokkenheid van overige leden van de organisatie is gerealiseerd, de beperkte omvang van de opdracht. Soms is er door de opdrachtgever maar één betrokkene genoemd en staat er in het vakje betrokkene 2 eveneens Nvt. Verwijzing van cijfers in de tabel: 1. respondent langdurig ziek, overleden, onvindbaar; 2. respondent weigert medewerking aan onderzoek; 3. vanwege het verzetten van afspraken wordt de deadline van het onderzoek niet meer gehaald. De sfeer in de interviews is er over het algemeen één van grote openheid en bereidwilligheid geweest te reflecteren op het verloop van de betreffende opdracht. De voorwaarde van anonimiteit heeft hier waarschijnlijk sterk toe bijgedragen. Onderzoekers is frequent gevraagd toe te lichten hoe de vergaarde informatie in het eindrapport verwerkt zou worden. Er zijn 161 interviews afgenomen.
Kwaliteit van organisatieadvies bij de rijksoverheid
23
4.3.4 Analyse en rapportage De beschrijvingen en boordelingen zijn door de onderzoekers geanalyseerd. Daaruit is een kaart van organisatieadvieswerk samengesteld. De interviews zijn geanalyseerd. Daaruit worden antwoorden verkregen op de vraagstellingen omtrent de verwachtingen en de beoordeling van de kwaliteit. Op basis hiervan zijn aanbevelingen geformuleerd.
Kwaliteit van organisatieadvies bij de rijksoverheid
24
5.
Concret isering van het onderzoek
5.1
Vraagst elling van het onderzoek en analysekader
In dit onderzoek staan we in op de volgende vragen centraal: 1. Wat voor soorten werk doenorganisatieadviseurs? 2. Hoe staat het met de verwachtingen ten aanzien van de kwaliteit van dat advieswerk: wat verwachten opdrachtgevers of klanten ? welke criteria hanteren ze? welke criteria hanteren adviseurs? 3. Wat levert het op? Wat is de beoordeling van de kwaliteit? Niet alleen in termen van klanttevredenheid, maar ook in termen van: was het ‘state of the art’ in professionele zin? Wat hebben we ervan geleerd? Wat is de impact op de organisatie? Wat levert het op langere termijn op? 4. Wat zijn aanbevelingen waardoor opdrachtgevers en opdrachtnemers beter kunnen sturen op het verbeteren van de kwaliteit?
Het in kaart brengen van soorten werk Van 56 adviesopdrachten hebben we samenvattende beschrijvingen en validaties daarvan door opdrachtgever en adviseur. Deze 56 vallen binnen het steekproefkader. We hebben deze samenvattingen samen met het ex pertpanel opgedeeld in type opdrachten. Dit levert een indeling op van soorten werk die empirisch tot stand is gekomen. Omdat de steekproef a- select is, kunnen we uitspraken doen over wat voor soorten werk zoal gedaan wordt en in welke verhoudingen. Andere gegevens uit de dossierstudies De dossierstudie geeft ook zicht op: hoe het contact is ontstaan tussen opdrachtgever en opdrachtnemer hoe de keuze voor het bureau/ adviseur tot stand is gekomen welke motieven er zijn om te kiezen voor het bureau/ adviseur de aard van het probleem/ vraagstuk doelen/ beoogde resultaten rol adviseur tijdschema, kosten globaal opdrachtverloop gebruikte methoden bijzondere momenten tijdens het opdrachtverloop (ongeplande of onverwachte gebeurtenissen) beëindiging van de opdracht: evaluatie; uitbreiding; vervolg
Kwaliteit van organisatieadvies bij de rijksoverheid
25
Verwachtingen algemeen Aan de hand van de drie clusters van effectiviteitscriteria (zie voor details paragraaf 5.2.3) kunnen we overzichten opstellen van: 1. Wat opdrachtgevers over het algemeen verwachten: welke effectiviteitscriteria hanteren zij? 2. Welke effectiviteitscriteria hanteren over het algemeen adviseurs? 3. Welke effectiviteitscriteria hanteren andere betrokkenen? 4. Wat zijn de discrepanties en verschillen daartussen? En hoe is dat eventueel te verklaren? Verwachtingen specifiek 1. Welke verwachtingen hebben opdrachtgevers met betrekking tot de hier onderzochte opdrachten? 2. Hetzelfde voor de adviseurs? 3. En de andere betrokkenen? 4. Welke verschillen zien we en hoe is dat te verklaren? Zijn er verschillen tussen de verwachtingen in het algemeen en met betrekking tot deze opdrachten?
Beoordeling Alle geïnterviewden geven een rapportcijfer met betrekking tot de kwaliteit van de uitvoering van de adviesopdracht. We hebben de gemiddelden daarvan uitgerekend, maar interessanter is te kijken naar de verschillen en hoe die te verklaren zijn. Voorts hebben alle geïnterviewden een afzonderlijk rapportcijfer gegeven op alle criteria die zij van toepassing achten. Daarbij kijken we ook naar gemiddelden en naar verschillen. Dat kan binnen één opdracht: waar zijn grote verschillen in beoordeling en waar niet en is dit te verklaren aan de hand van de gegevens over de opdracht of het soort opdracht? We hebben ex tremen gecategoriseerd en zijn op zoek gegaan naar oorzaken van de verschillen. Die gegevens hebben we ook voor het totaal. Mate van tevredenheid In de interviews is gevraagd naar de mate van tevredenheid over een aantal aspecten, zoals: de kwaliteit van de diagnose of analyse, de rapportage, de conclusies, de toepasbaarheid van de adviezen. Hier hebben we overzichten van gemaakt, waardoor het mogelijk is de verschillen te vergelijken en te verklaren binnen zowel één opdracht als over het geheel de inzichten van opdrachtgevers, adviseurs en overige betrokkenen.
Kwaliteit van organisatieadvies bij de rijksoverheid
26
Andere effecten Ook is gevraagd naar andere effecten van de adviesopdracht, zoals: leereffecten, implementatie, impact op de organisatie, kosten/ baten en eventuele andere effecten. Financiële kaders Feiten over gemiddelde bedragen die gemoeid zijn met een adviesopdracht, gemiddelde doorlooptijd en dergelijke hebben we op een rij gezet. Overzicht van alle opdrachten We hebben een korte (anonieme) beschrijving gemaakt van alle onderzochte opdrachten, zodat er een beeld is van wat zoal is/ wordt gedaan aan organisatieadvies bij de Rijksoverheid.
5.2
Met hoden van onderzoek
5.2.1 Steekproefkader en steekproeftrekking Het steekproefkader voor dit onderzoek wordt gevormd door de definitie van organisatieadvieswerk (zie ook paragraaf 4.1 bij afbakening): Het onderzoek beslaat alle 13 ministeries (de zogenaamde buitenorganisaties als agentschappen en op afstand geplaatste onderdelen zijn buiten het onderzoek
gelaten)
in
Nederland.
Het
onderzoek
betreft
afgerond
organisatieadvieswerk over de jaren 1999 en 2000. De gehanteerde definitie in dit onderzoek past ook goed bij de algemeen aanvaarde definitie (zie onder meer Kubr, 1996; Greiner and Metzger, 1983): ‘Management consulting is an independent professional advisory service assisting managers and organizations in achieving organizational purpose and objectives by solving management and business problems, identifying and seizing new opportunities, enhancing learning and/ or implementing changes’. Kubr (1996) stelt dat een adviesopdracht altijd moet leiden tot ‘leren’ bij de klant en adviseur. Binnen de bovengenoemde omschrijving is een groot scala van werk of interventies van adviseurs denkbaar. Dat hebben we onder meer in kaart gebracht. Door de afbakening richten we ons op organisatieadvieswerk en niet op andere ‘advisering’ of zakelijke dienstverlening.
Kwaliteit van organisatieadvies bij de rijksoverheid
27
Op basis van door het departement zelf opgestelde overzichtlijsten van afgerond organisatieadvieswerk is een a- selecte steekproef getrokken van 5 adviesopdrachten per departement. De rationaliteit achter deze keuze is: a) er is een evenwichtige werklast voor de ministeries, b) er is commitment van elk ministerie, c) het is nodig om te kunnen generaliseren over de volledige rijksdienst. De ambitie van het onderzoek is niet om uitspraken te doen per ministerie.
5.2.2 Dossierstudie In de dossierstudie is een samenvattende beschrijving gemaakt van de organisatieadviesopdracht. De beschrijving volgt de verschillende fasen in het opdrachtverloop van contact tot en met evaluatie. De samenvatting wordt gemaakt op basis van het beschikbaar gestelde opdrachtdossier en eventueel in de interviews verstrekte aanvullende gegevens door opdrachtgever en adviseur(s). De dossierstudie is opgesteld door de onderzoekers. De dossierstudie is verricht aan de hand van een checklist. (zie Bijlage f) De checklist volgt de opeenvolgende fasen van een adviesopdracht: entree en contractering, verzamelen van gegevens en diagnose, feedback en plan van actie, implementatie en beëindiging opdracht. De checklist is door de onderzoekers gebruikt als lijst van mogelijke punten. Niet als een dwingende lijst van punten waaraan adviesopdrachten moeten voldoen. Validering van de dossierstudie vindt plaats tijdens de interviews met de opdrachtgever en de adviseur(s) van de betreffende opdracht. De aanvullingen of wijzigingen die tijdens het interview zijn ingebracht apart geregistreerd. Nadat alle organisatieadviesopdrachten zijn beschreven en gevalideerd vindt een categorisering plaats. In deze slag zullen de onderzoekers de opdrachten beoordelen
en
indelen.
Dit
leidt
tot
een
typologie/ classificatie.
De
categorisering door de onderzoekers is gecheckt door een drietal ervaren adviseurs.
Kwaliteit van organisatieadvies bij de rijksoverheid
28
5.2.3 Interviews: criteria en semi- gestructureerde vragen In het onderzoek worden per geselecteerde adviesopdracht gestructureerde interviews
gehouden
met
opdrachtgever,
twee
betrokkenen
uit
de
cliëntorganisatie en adviseurs. De interviews zijn een combinatie van: a) valideren van het dossieronderzoek; b) voorgestructureerd onderzoek naar de drie clusters van criteria (om vergelijkbare gegevens te verkrijgen tussen opdrachten en tussen respondenten, bijv. opdrachtgever- opdrachtnemer); c) half open interview om nuances en specifieke gegevens over de organisatieadviesopdracht te verzamelen.
Validering dossieronderzoek De validering van de dossierbeschrijving vindt plaats in de interviews met de opdrachtgever en de adviseur(s), niet in het interview met de betrokkenen. De door de onderzoekers opgestelde samenvattende beschrijving van de organisatieadviesopdracht wordt in het interview getoetst bij de opdrachtgever en adviseur(s). Aanvullingen en/ of
opmerkingen door opdrachtgever of
adviseur(s) worden door de onderzoekers apart geregistreerd.
Onderzoek naar drie clusters van effectiviteitscriteria We onderscheiden een drietal clusters van criteria:
cluster formele criteria: formele afspraken en inrichting van de organisatieadviesopdracht
(geoperationaliseerd
in
een
achttal
criteria).
cluster
inhoudelijke
criteria:
wat
wil
men
bereiken
met
de
organisatieadviesopdracht (geoperationaliseerd in vijf criteria);
cluster procescriteria: hoe gaat men te werk (geoperationaliseerd in zes criteria);
Form ele crit er ia A1
De m at e waarin de doelen worden bereikt
A2
De m at e waarin een oplossing is gevonden voor het probleem
A3
De m at e waarin deskundigheid van de kant van de adviseur is ingebracht
A4
De m at e waarin vooraf gest elde t aken worden uit gevoerd
A5
De m at e waarin het cliënt syst eem part icipeert in de opdracht
A6
De m at e waarin vereist e bronnen en m iddelen worden gebruikt
A7
De m at e waarin een gegeven t ijdpad is gevolgd
A8
De m at e waarin een gegeven budget is gevolgd
Kwaliteit van organisatieadvies bij de rijksoverheid
29
Inhoudelijke crit eria B1 B2
De m at e waarin er door het cliënt syst eem is geleerd De m at e waarin het cliënt syst eem dicht er bij een beslispunt is gebracht ; de m at e waarin belangen dicht er bij elkaar zijn gebracht
B3
De m at e waarin de sam enwerking/ sfeer/ wijgevoel is verbet erd; de m at e waarin er een
B4
De m at e waarin het cliënt syst eem doelt reffender/ efficiënt er/ planm at iger is gaan
B5
De m at e waarin er in het cliënt syst eem
bet ere com m unicat ie is werken beweging/ energie/ creat ivit eit / kaderverruim ing t ot st and is gebracht
Proces crit eria C1
De mate waarin een specifieke methode is gebruikt
C2
De mate waarin gaandeweg de aanpak wordt ontwikkeld
C3
De mate waarin adviseur en cliëntsysteem gelijkwaardig zijn
C4
De mate waarin de adviseur het cliënt systeem concrete aanwijzingen geef t over wat moet gebeuren
C5
De mate van frequente communicat ie tussen adviseur en cliëntsyst eem
C6
De mate van bet rokkenheid van adviseur en cliëntsysteem bij het advieswerk
Tabel 5.2.3.1 Overzicht ef f ect ivit eit scrit eria
De criteria staan op kaartjes. In het interview is aan de te interviewen personen het volgende gevraagd:
Geef apart voor de formele, de inhoudelijke en de procescriteria aan welke voor u (als adviseur/ als opdrachtgever/ als cliënt) in het algemeen belangrijk zijn, welke criteria u in het algemeen relevant acht. We scoren op de categorieën: niet van toepassing/ weinig van toepassing/ weet niet/ van toepassing/ sterk van toepassing.
Met betrekking tot deze opdracht. Geef aan welke formele, inhoudelijke en procescriteria in deze opdracht belangrijk/ relevant waren (ongeacht hoe u het criterium beoordeelt). We scoren op de categorieën: niet van toepassing/ weinig van toepassing/ weet niet/ van toepassing/ sterk van toepassing.
Geef voor de criteria uit de categorie ‘ van toepassing’ en ‘sterk van toepassing’ gerelateerd aan deze opdracht nu een rapportcijfer voor elk criterium. In welke mate is er aan dit criterium voldaan in deze opdracht. Rapportcijfer 1 t/ m 10; waarbij 1 laag is en 10 hoog is.
Kwaliteit van organisatieadvies bij de rijksoverheid
30
Toetsing vooraf bij groepen adviseurs heeft ons geleerd dat afhankelijk van de adviesopdracht elk van de clusters en elk van de criteria relevant kunnen zijn.
Half open interview In het deel ‘half open interview’ evalueren we de organisatieadviesopdracht door de volgende vragen te stellen (zie o.a. Phillips, 2000): Interviewvragen Mate van tevredenheid
Leereffecten Effecten m.b.t. implementatie Impact op de organisatie Kosten/baten analyse Andere effecten
A.Entree en contractering Meerdere bureaus benaderd? Waarom dit bureau/deze adviseur benaderd? B. Diagnose en analyse Was er inzicht in de specifieke aard van de organisatie? Wat is de kwaliteit van diagnose en analyse van het probleem? C. Terugkoppeling en feedback Waren de conclusies goed onderbouwd? Was de rapportage/terugkoppeling goed? D. Implementatie Is de analyse/diagnose vertaald in toepasbare conclusies en aanbevelingen? Waren de adviseurs in staat tot implementatie van door hen geadviseerde veranderingen? E. Beëindiging Is geleverd wat was afgesproken? Zou je het opnieuw doen? F. Rol Wat was de rol van de adviseur? Was dat achteraf gezien de meest adequate? Zijn er leereffecten ten gevolge van deze adviesopdrachten? Zo ja, welke? Waren deze beoogd? Is er sprake van effect ten aanzien van de implementatie van het advies/de oplossing? Zo ja, welke? Waren deze beoogd? Heeft de uitvoering van de adviesopdracht impact gehad op de organisatie? Zo ja, tot welke verandering heeft het geleid? Maak zo mogelijk onderscheid naar korte en lange termijn impact. Wat heeft de adviesopdracht/het resultaat voor de organisatie en het werk dat jullie doen betekend? Hoe ligt de kosten/baten verhouding? Welke andere effecten zijn merkbaar?
Tabel 5.2.3.2 Int erviewvragen
Van de interviews zijn door de onderzoekers verslagen gemaakt. De verkregen antwoorden zijn in een later stadium door de onderzoekers gecodeerd. Dit was echter niet voor alle antwoorden mogelijk. In die gevallen hebben de onderzoekers een kwalitatieve analyse gepleegd.
5.2.4 Vignets en ex pertbeoordeling
Kwaliteit van organisatieadvies bij de rijksoverheid
31
De twee onderzoekers hebben op basis van de samenvatting van het dossier en op basis van de validatie door de opdrachtgever en de adviseur een korte anonieme samenvatting, een zogenaamd vignet, gemaakt van elke opdracht. In de uitzonderingsgevallen, waarbij de opdracht vroegtijdig is beëindigd, is de beschrijving gemaakt alsof de opdracht is afgemaakt. Dat strookt met de bedoeling van de vignets, namelijk het categoriseren van werk van adviseurs. Alle vignets zijn in Bijlage f van dit rapport opgenomen. Aan de vertegenwoordigers van de ‘founders’ is gevraagd om drie ex perts aan te wijzen, waarvan geacht kan worden dat zij veel en brede ervaring hebben in advieswerk bij de Rijksoverheid. De volgende personen zijn aangewezen: prof. dr. M.M. Otto (Vrije Universiteit, Amsterdam en verbonden aan het GITP), drs. D.L.J. Kok (Berenschot) en drs. R.J.C. Poerstamper MBA (PwC Consulting). De ex perts zijn bijeengekomen op 13 februari 2002. In een sessie van drieënhalf uur hebben zij samen met de onderzoekers de vignets gelezen, categorieën van soorten werk opgesteld en alle vignets gecategoriseerd. De drie gasten en de twee onderzoekers fungeren als een panel van vijf ex perts. Zij zijn als volgt te werk gegaan: Eerst zijn voorlopige categorieën opgesteld op basis van literatuur en onderlinge discussie. Gezamenlijk hebben zij een paar voorbeelden bekeken om de categorieën te verhelderen. Daarna hebben ze alle vignets gelezen en toegewezen aan een categorie. Vervolgens hebben ze nogmaals gediscussieerd over de categorieën. Na vaststelling van de categorieën zijn alle vignets stuk voor stuk beoordeeld. Bij onderlinge verschillen tussen de ex perts is gepraat over de redenen van die verschillen. Dat leidt in veel gevallen tot bijstelling van een mening, zodat consensus ontstaat. Het kan ook leiden tot de constatering dat een opdracht valt in twee categorieën, omdat hij kenmerken heeft van die twee categorieën. In alle gevallen is consensus bereikt tussen de vijf ex perts. De bevindingen zijn opgenomen in paragraaf 6.1.
5.2.5 Verwerking van gegevens van de drie databronnen Dit onderzoek kent een drietal databronnen:
het dossieronderzoek;
de informatie uit de interviews: criteria en gestructureerde vragen;
vignets en ex pertbeoordeling.
Kwaliteit van organisatieadvies bij de rijksoverheid
32
Het dossieronderzoek voor de 56 cases uit het onderzoek heeft geresulteerd in 56 dossierstudies die in de interviews met opdrachtgever en adviseur(s) gevalideerd zijn. De gevalideerde dossierstudies zijn gebruikt om vignets te schrijven.
Vignets
zijn
de
geanonimiseerde
beschrijvingen
van
de
organisatieadviesopdrachten. De verzamelde informatie over de mate van belangrijkheid van de verschillende criteria
in
het
algemeen
en
specifiek
voor
de
betreffende
organisatieadviesopdracht is verwerkt in een database. Ook de beoordelingen van het verloop van de opdracht in de vorm van een rapportcijfer zijn in deze database opgenomen. Vervolgens hebben de onderzoekers diverse statistische bewerkingen uitgevoerd op dit materiaal. De verzamelde gegevens naar aanleiding van de gestructureerde vragen uit het interview zijn eveneens opgenomen in een database. Gedeeltelijk zijn de antwoorden gecodeerd en zijn er diverse kwantitatieve analyses uitgevoerd. Het overige deel van de gegevens dat meer kwalitatief van aard is, is door de onderzoekers handmatig verwerkt.
5.3
Overzicht van adviesopdracht en en kenget allen
Alvorens we in het volgende hoofdstuk ingaan op de bevindingen willen we eerst een overzicht geven van het onderzoek in kengetallen. Om de gegevens te verzamelen hebben de onderzoekers 138 dossiers bestudeerd. Uiteindelijk zijn hier de 56 adviesopdrachten van het onderzoek uit voortgekomen. Vervolgens hebben de onderzoekers 161 interviews gehouden. Dit waren 54 interviews met opdrachtgevers, 54 interviews met adviseurs en 53 interviews met betrokkenen in adviesopdrachten. De verdeling van de opdrachten naar omvang van het uitvoerende bureau is als volgt: Omvang bureau
Aantal opdrachten
%
5 13 7 30 1
9% 23% 13% 54% 1%
éénpitter klein bureau (< 10 adviseurs) middelgroot bureau (10-100 adviseurs) groot bureau (>100 adviseurs) anders
Tabel 5.3.1 Om vang bureau en aant al opdracht en
Kwaliteit van organisatieadvies bij de rijksoverheid
33
De opdrachten variëren onderling sterk qua omvang in dagen. In de onderstaande tabel hebben we de opdrachten naar dagen weergegeven. Om vang opdracht
Aant al
in dagen
Opdracht en
1- 10
9
10- 20
13
20- 30
3
30- 40
6
40- 50
2
50- 60
4
60- 70
4
70- 80
4
80- 90
3
90- 100
1
100- 120
1
120- 140
1
140- 160
4
500
1
Tabel 5.3.2 Om vang opdr acht en in dagen
De range van opdrachten naar de bestede tijd varieert dus tussen 1 adviesdag tot en met 500 adviesdagen per opdracht
Het
gemiddeld aantal dagen per
opdracht in dit onderzoek bedraagt 55 dagen. De doorlooptijd van de onderzochte opdrachten varieert van 1 week tot 15 maanden. De gemiddelde doorlooptijd bedraagt 4,3 maanden. Van de 56 opdrachten uit het onderzoek zijn 24 adviesopdrachten in concurrentie
aanbesteed.
In
totaal
zijn
32
adviesopdrachten
niet
in
concurrentie aanbesteed, waarvoor de volgende redenen waren: -
de opdracht betreft vervolg op een eerdere opdracht;
-
het betreft de uitbreiding van een bestaande opdracht;
-
de opdracht wordt vanuit een mantelcontract aanbesteed;
-
tijdsdruk maakt onmiddellijke aanbesteding noodzakelijk;
-
er zijn goede ervaringen met de adviseur in soortgelijke eerdere opdrachten;
-
de
adviseur
beschikt
over
een
voor
die
opdracht
specifieke
deskundigheid. De budgetten van de opdrachten lopen van ƒ 2.250 tot ƒ 1.400.000 ( tot
ex clusief BTW); het gemiddelde budget per opdracht bedraagt
Kwaliteit van organisatieadvies bij de rijksoverheid
34
ƒ 138.680 (
. In de onderstaande tabel hebben we de opdrachten
verdeeld naar omvang van het budget. In de laatste kolom van de tabel hebben we aangegeven hoeveel procent van de opdrachten in concurrentie is aanbesteed.
Budget in
Aant al opdracht en
0- 25.000
10
0%
25.000- 50.000
10
40 %
50.000 – 75.000
8
13 %
75.000 – 100.000
3
100 %
% in concurrent ie
100.000 – 150.000
4
75 %
150.000 – 200.000
10
70 %
200.000 – 250.000
5
60 %
250.000 – 300.000
1
0%
300.000 –400.000
2
50 %
400.000 – 500.000
2
50 %
> 1.000.000
1
100 %
Tabel 5.3.3 Om vang opdr acht en in budget
De opdrachten niet in concurrentie zijn relatief klein in omvang. De grote opdrachten zijn grotendeels in concurrentie aanbesteed. De onderstaande tabel laat de verdeling van de opdrachten zien naar soort bureau.
Omvang opdracht in hfl (x1.000)
Aantal opdrachten
waarvan % éénpitter
waarvan % klein bureau
waarvan % middelgroot bureau
waarvan % groot bureau
0-25 25-50 50-75 75-100 100-150 150-200 200-250 250-300 300-400 400-500 >1.000
10 10 8 3 4 10 5 1 2 2 1
10% 20% 10% 100% -
50% 40% 12% 67% 25% 20% -
10% 50% 25% 10% 20% -
40% 30% 38% 33% 50% 80% 60% 100% 100% 100%
Tabel 5.3.4 Percent ages omvang budget opdracht verdeeld naar cat egorieën bureaus
Kwaliteit van organisatieadvies bij de rijksoverheid
35
Uit de opdracht blijkt dat de in budget omvangrijke opdrachten vooral door de grote bureaus worden uitgevoerd. Vervolgens hebben we ook gekeken naar het niveau van de opdrachtgever, zowel naar dat van de formele opdrachtgever (veelal de budgethouder of de hiërarchische
eindverantwoordelijke)
als
naar
dat
van
de
feitelijke
opdrachtgever (die inhoudelijk betrokken was bij de opdracht). In 27% van de opdrachten zijn de formele en de feitelijke opdrachtgever niet dezelfde. In absolute aantallen levert dit levert de volgende verdeling op: Niveau formele opdrachtgever SG PSG DG Directeur Plv. directeur Hoofd afdeling Beleidsmedewerker Projectleider Buitenorganisatie
Aantal opdrachten 2 14 7 28 1 4 -
Niveau feitelijke opdrachtgever SG PSG DG Directeur Plv. directeur Hoofd afdeling Beleidsmedewerker Projectleider Buitenorganisatie
Aantal opdrachten 8 7 24 2 3 4 7 1
Tabel 5.3.5 Niveau van de opdracht gever en aant al opdracht en
6.
Bevindingen
In dit hoofdstuk beschrijven we de bevindingen van het onderzoek. We presenteren achtereenvolgens de bevindingen van onderzoeksvraag 1: Soorten werken (paragraaf 6.1), van onderzoeksvraag 2: Verwachtingen (paragraaf 6.2), van onderzoeksvraag 3: Beoordelingen (paragraaf 6.3). In 6.4 staan overige bevindingen die ontleend zijn aan de interviews. In 6.5 gaan we in op verband tussen bepaalde bevindingen.
6.1
Onderzoeksvraag 1: Soort en werk
De ex perts hebben categorieën voor soorten werk van organisatieadviseurs opgesteld. Bovendien hebben zij alle vignets gelezen en toegewezen aan een
Kwaliteit van organisatieadvies bij de rijksoverheid
36
(of meerdere) categorieën (zie 5.2.4 voor de gang van zaken bij die beoordeling). De ex perts noemden één voor één de individuele score. Was die dezelfde, dan ging men meteen door. Bij verschil van mening werd gediscussieerd over de verschillen. Na de discussie was er in alle gevallen consensus, zij het dat in 7 (12,5 %) gevallen de opdracht werd toegewezen aan twee categorieën (we noemen dit de hybride typen), omdat er kenmerken werden gezien die thuis horen
in
twee
verschillende
categorieën.
De
interbeoordelaarsovereenstemming bij de eerste stemming is hoog (Kappa: .585). Blijkbaar zijn dit categorieën waar de ex perts goed mee uit de voeten kunnen. De volgende categorieën zijn vastgesteld. De categorieën zijn geformuleerd vanuit de rol van de adviseur; het gaat immers om soorten werk van organisatieadviseurs. En het gaat uiteraard alleen om opdrachten die binnen het steekproefkader vallen. 1. Ex pertadvies. De adviseur fungeert als inhoudsdeskundige en wordt voornamelijk om die reden gevraagd. De adviseur is verantwoordelijk voor de inhoud en kwaliteit van het advies. Hij bewandelt een zorgvuldige procedure om tot het advies te komen. Het kan gaan om een algemeen advies of om een bepaald aspect (inkoop, HRM).
2. Beleidsadvies. Is een vorm van ex pertadvies. Maar specifiek hieraan is dat
het
gaat
om
een
kerntaak
van
een
departement.
De
beleidsinhoudelijke kwaliteiten van het advies en de adviseur zijn belangrijk en vaak is de adviseur een specialist op dat terrein. De adviseur is verantwoordelijk voor de kwaliteit van de inhoud en een zorgvuldige procedure. 3. Evaluatie. Is ook een vorm van ex pertadvies, maar nu ligt de nadruk sterk op een ‘second opinion’ , op ex - ante evaluatie, op legitimering, op het vellen van een oordeel. De adviseur fungeert als autoriteit, dient de specifieke casus en de praktijk goed te kennen en fungeert soms als arbiter. De kwaliteit en inhoud van het advies en de procedure is uitsluitend voor rekening van de adviseur.
Kwaliteit van organisatieadvies bij de rijksoverheid
37
4. Ex pertadvies met processtap(- pen ). Deze categorie ligt tussen de eerder genoemde en categorie 5 in. Het uiteindelijke advies is voor rekening van de adviseur, maar hij regisseert een proces, waarbij (mensen uit) het cliëntsysteem gemobiliseerd wordt om inhoudelijk bijdragen te leveren. Dat kan in de vorm van consultaties, het creëren van draagvlak, door conferenties en workshops, enzovoorts. De uitkomst wordt mede door deze inhoudelijke bijdragen bepaald. Hoewel de adviseur tenslotte verantwoordelijk is voor het eindadvies, zal hij zich laten beïnvloeden door wat er in het proces aan bijdragen naar voren komt. 5. Begeleiding . In deze categorie is het cliëntsysteem zelf verantwoordelijk voor de inhoud en uitkomst. De adviseur wordt gevraagd om bij te dragen, door middel van ondersteunende (deel- )bijdragen, door het leiden van bijeenkomsten, door begeleiding van groepen, door de regie van het proces, door begeleiding van de uitvoering, door het toepassen van methoden en dergelijke. De adviseur kan zelfs (als een soort secretaris) notities of een rapport maken. N.B.
Ex pertadvies
moet
in
specialistisch
advies,
Ex pertadvies
heeft
dit zoals
onderzoek
niet
bijvoorbeeld
betrekking
op
worden
bouw-
besturings- ,
of
verward
met
milieuadvies. management- ,
veranderings- en implementatievraagstukken.
Kwaliteit van organisatieadvies bij de rijksoverheid
38
Een voorbeeld van Ex pert advies:
Voor een st afafdeling geldt dat er beleidsont wikkelingen zijn waardoor de t aken verschuiven en zwaarder worden. Deze beleidsont wikkelingen zijn bekend. Er m oet nu een concret e organisat ie worden ont worpen m et bijbehorende form at ie (in aant allen en kwalit eit ). Aangezien dit een onderwerp is dat in de afdeling gevoelig ligt , wordt beslot en ex t ern advies t e vragen. De adviseur wordt gevraagd de nieuwe t aken en verant woordelijkheden t e om schrijven, een advies t e geven over de inricht ing van de organisat ie en uit t e werken wat dit bet ekent voor de form at ie, in kwant it eit en kwalit eit . De adviseur best udeert int erne docum ent en, houdt int erviews m et bet rokkenen en m at eriedeskundigen buit en de afdeling, bespreekt het concept rapport m et de opdracht gever en brengt daarna het definit ieve rapport uit . Na het uit brengen van het advies wordt een st andpunt geform uleerd door de opdracht gever. Dat st andpunt wordt sam en m et het advies gest uurd naar de ondernem ingsraad. Na goedkeuring wordt de nieuwe organisat ie ingevoerd.
Een voorbeeld van Ex pert advies m et processt ap(- pen):
De prim aire processen van het Direct oraat zijn recent elijk gereorganiseerd. In deze reorganisat ie zijn echt er een aant al st aven niet m eegenom en. De doorlicht ing van de st affunct ies is de ont brekende schakel. De direct e aanleiding voor het doorlicht en van deze st aven is m ede gelegen in het feit dat op een hoger organisat ieniveau eveneens een dergelijke doorlicht ing plaat svindt . Het doel van de doorlicht ing is t e kom en t ot een opt im ale afst em m ing van de st affunct ies op de prim aire beleidsrol. Dit alles om de effect ivit eit en efficiency van deze st afafdelingen en de organisat ie als geheel t e verhogen. Het plan van aanpak van de adviseur st art m et het opst ellen van een onderzoekskader. De huidige organisat ie wordt in kaart gebracht en via int erviews m et individuele m edewerkers worden de opvat t ingen en m eningen in kaart gebracht . Vervolgens wordt het onderzoek uit gevoerd. Groepen m edewerkers worden door de adviseur m et elkaar in gesprek gebracht en bevraagd over discrepant ies t ussen de huidige en gewenst e sit uat ies en over richt ingen voor oplossingen. De result at en van de bijeenkom st en worden daarna door de adviseur geanalyseerd en de conclusies en aanbevelingen
worden
voorbereid.
Deze
conclusies
worden
door
de adviseur
wederom
in
een
groepsbijeenkom st t er discussie voorgelegd. De result at en van deze bijeenkom st worden door de adviseur verwerkt in een eindrapport dat als basis dient voor de form ele besluit vorm ing.
Een voorbeeld van Begeleiding:
De adviseur is reeds geruim e t ijd bij de ont wikkeling van de organisat ie bet rokken. Jaarlijks begeleidt de adviseur een bijeenkom st van het m anagem ent t eam waarin de voort gang van de diverse project en wordt geïnvent ariseerd en de algem een gang van zaken binnen het m anagem ent t eam wordt besproken. De adviseur voert hiert oe voorafgaand aan de conferent ie invent ariserende gesprekken m et de leden van het m anagem ent t eam . Ook voert de adviseur gesprekken m et de project leiders van de lopende project en over de voort gang van de project en en de result at en. De adviseur st elt sam en m et een MT- lid de agenda op voor de conferent ie en vervult de rol van dagvoorzit t er. De invent ariserende werkzaam heden van de adviseur worden door hem opgeschreven een rapport age, die dient t er voorbereiding van de deelnem ers aan de conferent ie. De adviseur levert t enslot t e ook een bijdrage aan de t ot st andkom ing van het verslag van de conferent ie.
Kwaliteit van organisatieadvies bij de rijksoverheid
39
Een voorbeeld van Evaluat ie:
Het depart em ent heeft een cont ract m et een buit enorganisat ie die een m aat schappelijke t aak vervult . Dat cont ract loopt binnenkort af en de vraag is of en hoe het cont ract gecont inueerd m oet worden. Een ex t ern bureau wordt gevraagd een evaluat ieonderzoek t e doen en t e kom en m et aanbevelingen. Er zijn t wee basisvragen: - doet deze buit enorganisat ie zijn t aak goed - en doet deze het voor een redelijke prijs? De adviseurs pakken het aan in drie fasen: Gegevensverzam eling door docum ent en en int erviews, waaronder ook gesprekken m et gebruikers van de dienst en Analyse van de gegevens naar de t wee basisvragen en t ussent ijdse bespreking m et de opdracht gever Form uleren van conclusies en aanbevelingen. Het result aat is een rapport . Het rapport wordt aangeboden aan de opdracht gever die het kan gebruiken in de besluit vorm ing over de oorspronkelijke vraag .
Een voorbeeld van Beleidsadvies:
Privat e part ijen zijn ent housiast over een nieuwe financiële const ruct ie. De gewenst e financiële const ruct ie heeft echt er m ogelijke consequent ies voor het prim aat van de St aat . Binnen het depart em ent is t e weinig ex pert ise om t rent dit onderwerp en gezien de beleidsm at ige gevoeligheid ervan besluit de opdracht gever om ex t ern advies t e vragen. De opdracht gever vraagt beleidsadvies over de vraag of het int roduceren van deze specifieke financiële const ruct ie bevorderlijk is om de beleidsdoelst ellingen t e bereiken. De opdracht gever vraagt t evens in hoeverre de best aande t heorieën uit de privat e sect or hierom t rent bruikbaar zijn voor de publieke sect or. De adviseur st elt een aanpak voor die uit een valt in t wee fasen. In de eerst e fase wordt een beleidsm at ig rapport opgeleverd dat ant woord geeft op de vragen van de opdracht gever. In de t weede fase ` worden de diverse t echnische uit werkingen t egen het licht gehouden. De adviseur best udeert docum ent en en voert een lit erat uurst udie uit . Vervolgens worden door de adviseur een aant al m ogelijke m odellen ont wikkeld en worden de gevolgen van de gewenst e financiële const ruct ie beredeneerd. De adviseur levert een rapport op waarin voorst ellen gedaan worden voor een veilige t oepassing van de financiële const ruct ie. Deze voorst ellen worden in het rapport ook t heoret isch onderbouwd. De werking en aandacht spunt en van de const ruct ie worden t oegelicht en ook de belangen van de verschillende bet rokken part ijen worden in kaart gebracht . Tenslot t e volgen er conclusies en aanbevelingen.
Kwaliteit van organisatieadvies bij de rijksoverheid
40
De opdrachten zijn als volgt door de ex perts verdeeld over deze categorieën: Categorie 1 expertadvies 2 beleidsadvies 3 evaluatie 4 expert met proces 5 begeleiding 4 en 2 1 en 3 3 en 4 4 en 5 5 en 4 1 en 4
Aantal
Percentage
14 1 7 13 14 1 1 1 2 1 1
25% 2% 13% 23% 25%
12%
Tabel 6.1 Soor t en werk en verdeling van aant allen daarover
Type 1 (ex pertadvies), 4 (ex pertadvies met processtap) en 5 (begeleiding) komen elk in een kwart van de gevallen voor. Type 3 (evaluatie) in 13 %. De overigen, d.w.z. beleidsadvies en de hybride typen, komen zeer weinig voor. We kunnen stellen dat van al het organisatieadvieswerk bij het Rijk in 86 % van de gevallen sprake is van type 1, 3, 4 of 5. De typen zijn helder. Ex perts kunnen er goed mee werken.
6.2
Onderzoeksvraag 2: Verwacht ingen
6.2.1 Algemeen In
deze
paragraaf
beschrijven
we
de
uitkomsten
op
de
vraag
wat
opdrachtgevers, betrokkenen en adviseurs verwachten: welke criteria hanteren ze? We hebben dit onderzocht door aan alle geïnterviewden de vraag voor te leggen welke van de 19 criteria (zie 5.2.3) zij van toepassing achten op organisatieadvieswerk in het algemeen. De mogelijke antwoorden zijn: ‘ sterk van toepassing’ , ‘van toepassing’, ‘ weet niet’, ‘weinig van toepassing’ en ‘niet van toepassing’.
Kwaliteit van organisatieadvies bij de rijksoverheid
41
Crit erium
Opdracht gever
Bet r okkene
Adviseur
Tot aal
Form ele
A1: Doelen bereikt
4.6
4.7
4.8
4.7
crit eria
A2: Oplossing
4.2
4.5
4.7
4.5
4.5
4.3
4.2
4.3
3.5
3.8
3.4
3.5
4.0
3.9
4.6
4.2
3.5
3.0
3.4
3.3
A7: Tijdpad
3.8
3.8
3.8
3.8
A8: Budget
3.9
4.0
3.8
3.9
B1: Geleerd door
3.9
4.0
4.5
4.2
4.1
4.2
4.5
4.3
3.4
3.6
4.1
3.7
B4: Efficiënt er werken
3.4
3.5
3.9
3.6
B5: Kaderverruim ing,
3.8
3.8
4.5
4.0
gevonden A3: Ex pert ise ingebracht A4: Voorafgest elde t aken A5: Part icipat ie cliënt syst eem A6: Vereist e m iddelen en bronnen
Inhoudelijke crit eria
cliënt syst eem B2: Dicht er bij beslispunt B3: Sam enwerking verbet erd
e.d.
Proces
C1: Specifieke m et hode
2.6
2.9
2.5
2.7
crit eria
C2: Aanpak gaandeweg
3.5
3.6
4.0
3.7
3.2
3.6
3.8
3.6
3.3
3.7
3.5
3.5
4.4
4.4
4.7
4.5
4.4
4.5
4.8
4.6
veranderd C3: Gelijkwaardig adviseur/ cliënt syst eem C4: Mat e van concret e aanwijzingen C5: Frequent e com m unicat ie C6: Bet rokkenheid adviseur
Tabel 6.2.1. Mat e van belang van de ef f ect ivit eit scrit eria voor het t ot aal en per r ol (algem een)
De criteria, die over het totaal het hoogst scoren (en dus sterk van toepassing zijn)zijn: ‘ de mate waarin de doelen zijn bereikt’ (scoort heel hoog), ‘de mate waarin een oplossing is gevonden voor een probleem’ , ‘ de mate waarin deskundigheid van de kant van de adviseur is ingebracht’ , ‘de mate waarin het cliëntsysteem participeert in de opdracht’, ‘de mate waarin er door het cliëntsysteem is geleerd’, ‘de mate waarin het cliëntsysteem dichter bij een beslispunt is gebracht’, ‘de mate van frequente communicatie tussen adviseur
Kwaliteit van organisatieadvies bij de rijksoverheid
42
en cliëntsysteem’ en ‘ de mate van betrokkenheid van adviseur en cliëntsysteem bij het advieswerk’. Zij scoren alle boven 4. Laag scoren: ‘ de mate waarin een specifieke methode is gebruikt’ (heel laag), ‘de mate waarin vereiste bronnen en middelen worden gebruikt’, ‘de mate waarin vooraf gestelde taken worden uitgevoerd’ en ‘de mate waarin de adviseur het
cliëntsysteem concrete aanwijzingen geeft over wat moet
gebeuren’. Zij scoren alle 3,5 of minder. Deze criteria worden als minder belangrijk gezien. Als we de gemiddelden van de opdrachtgevers en adviseurs vergelijken, dan zien
we kleine verschillen. Die zijn
voor
11
criteria niet
significant.
Opdrachtgevers en adviseurs hebben gelijke verwachtingen, behalve bij criterium A2: ‘de mate waarin een oplossing is bereikt voor een probleem’, A5: ‘de mate waarin het cliëntsysteem participeert in de opdracht’, C6: ‘ de mate van betrokkenheid van adviseur en cliëntsysteem’ en ALLE inhoudelijke criteria: B1, B2, B3, B4 en B5. Deze criteria zijn volgens de adviseurs meer van toepassing
dan
volgens de opdrachtgevers.
Tussen
opdrachtgevers en
betrokkenen treffen we geen significante verschillen aan. Die zijn het eens over de verwachtingen. Als we per groep criteria (formeel, inhoudelijk, proces) rangordes toekennen, dan zien we dat opdrachtgevers en adviseurs ongeveer dezelfde criteria belangrijk
en onbelangrijk
vinden. Ze stemmen overeen welke criteria
belangrijk zijn en welke niet. Als we tabel 6.2.1 voor het totaal over alle rollen (opdrachtgever, adviseur, betrokkenen) samenvatten, kunnen we stellen dat de in volgorde van belangrijkheid de criteria als volgt kunnen worden gerangschikt: Criteria 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17 18. 19.
de mate waarin de doelen worden bereikt de mate van betrokkenheid van adviseur en cliëntsysteem bij het advieswerk de mate van frequente communicatie tussen adviseur en cliëntsysteem de mate waarin een oplossing is gevonden voor het probleem de mate waarin deskundigheid van de kant van de adviseur is ingebracht de mate waarin het cliëntsysteem dichter bij een beslispunt is gebracht de mate waarin er door het cliëntsysteem is geleerd de mate waarin het cliëntsysteem participeert in de opdracht de mate waarin er in het cliëntsysteem kaderverruiming tot stand is gebracht de mate waarin een gegeven budget is gevolgd de mate waarin een gegeven tijdpad is gevolgd de mate waarin de samenwerking is verbeterd de mate waarin gaandeweg de aanpak wordt ontwikkeld de mate waarin de adviseur het cliëntsysteem concrete aanwijzingen geeft over wat moet gebeuren de mate waarin adviseur en cliëntsysteem gelijkwaardig zijn de mate waarin het cliëntsysteem doeltreffender is gaan werken de mate waarin vooraf gestelde taken worden uitgevoerd de mate waarin vereiste bronnen en middelen worden gebruikt de mate waarin een specifieke methode is gebruikt.
Kwaliteit van organisatieadvies bij de rijksoverheid
43
Tabel 6.2.2 Rangorde van belang van ef f ect ivit eit scrit eria (algem een)
Uit het overzicht blijkt dat de vier criteria die het hoogst scoren, criteria zijn die te maken hebben met de uitkomst van het adviesproces (doelen en oplossing) en met de relatie tussen opdrachtgever en adviseur (betrokkenheid en frequente communicatie). De laagste drie criteria hebben te maken met de werkwijze in het adviesproces (taken, bronnen en middelen en methode). Over het algemeen zijn er geen verschillen tussen opdrachtgevers en betrokkenen
in
de mate van belangrijkheid
van de criteria. Tussen
opdrachtgevers en adviseurs is dat ook zo. Hier zijn echter, naast
criterium
A2, A5, en C6 en alle B criteria de verschillen wel significant: adviseurs vinden deze belangrijker dan de opdrachtgevers. De onderstaande figuur laat nog eens zien, hoe dicht de oordelen ten opzichte van elkaar liggen.
5 4
Algemeen
3
O
B
A
2
O = Opdrachtgever
B = Bet rokkene
A = Adviseur
Figuur 6.2.1 Graf iek van het belang van de ef f ect ivit eit scrit eria per rol (algemeen)
6.2.2 Deze opdracht Naast de vraag welke verwachtingen men in het algemeen heeft, hebben we met betrekking tot de 19 criteria ook gevraagd, welke specifiek op deze
Kwaliteit van organisatieadvies bij de rijksoverheid
44
casus/ opdracht van toepassing zijn. Ook hier wordt bij ieder criterium gevraagd: ‘ sterk van toepassing’ , ‘ van toepassing’, ‘ weet niet’, ‘weinig van toepassing’ en ‘ niet van toepassing’. In onderstaande tabel staan de gemiddelde uitkomsten per rol.
Crit erium
Opdracht gever
Bet rokkene
Adviseur
Tot aal
Form ele
A1: Doelen bereikt
4.5
4.4
4.7
4.5
crit eria
A2: Oplossing gevonden
4.0
3.9
4.2
4.0
A3: Ex pert ise ingebracht
4.3
4.1
4.3
4.3
A4: Voorafgest elde
3.4
3.4
3.3
3.4
4.0
3.8
4.0
4.0
3.4
3.2
3.4
3.3
A7: Tijdpad
3.7
3.7
4.1
3.8
A8: Budget
3.7
3.2
3.8
3.6
B1: Geleerd door
3.7
3.6
3.8
3.7
B2: Dicht er bij beslispunt
3.9
3.7
4.1
3.9
B3: Sam enwerking
3.5
3.4
3.7
3.5
B4: Efficiënt er werken
2.9
2.9
3.1
3.0
B5: Kaderverruim ing,
3.5
3.2
3.8
3.5
t aken A5: Part icipat ie cliënt syst eem A6: Vereist e m iddelen en bronnen
Inhoudelijke crit eria
cliënt syst eem
verbet erd
e.d.
Proces
C1: Specifieke m et hode
3.1
2.9
2.9
3.0
crit eria
C2: Aanpak gaandeweg
3.0
3.1
3.3
3.1
3.0
3.6
3.8
3.5
3.4
3.4
3.7
3.5
4.0
4.2
4.3
4.1
4.2
4.0
4.5
4.3
veranderd C3: Gelijkwaardig adviseur/ cliënt syst eem C4: Mat e van concret e aanwijzingen C5: Frequent e com m unicat ie C6: Bet rokkenheid adviseur
Tabel 6.2.3 Mat e van belang van ef f ect ivit eit scrit eria voor het t ot aal en per rol (deze opdracht )
Voor alle criteria geldt met betrekking tot ‘deze specifieke opdracht’ dat de gemiddelden lager zijn dan bij de algemene verwachtingen (14 keer van 19), vier keer is het hetzelfde, één keer is het hoger (bij criterium C1: de mate waarin een specifieke methode is gebruikt). De verschillen tussen algemeen en
Kwaliteit van organisatieadvies bij de rijksoverheid
45
deze casus zijn opvallend groot bij alle inhoudelijke (B1 tot en met B5) criteria. En dan vooral bij de adviseurs. Ze achten de inhoudelijke criteria minder van toepassing op deze casus dan in het algemeen. Als we de verschillen bekijken tussen opdrachtgevers en adviseurs, zijn die bij deze specifieke casus veel kleiner dan bij de verwachtingen. En nergens meer significant (behalve bij criterium C3). ( zie Bijlage g) Als we de verschillen tussen ‘ algemeen’ en ‘deze casus’ toetsen per criterium, dan vinden we 4 (van de 19) significante verschillen bij de opdrachtgever (B4, C1, C2 en C5), 8 bij de betrokkene (A1, A2, A4, A8, B2, B5, C2, C6) en 11 bij de adviseur (A2, A5, B1, B2, B3, B4, B5, C1, C2, C5, C6). (zie Bijlage g) Als men dus praat over een specifieke casus, dan wordt het van toepassing zijn van deze criteria gemiddeld lager. De adviseurs wijken daarbij meer af in hun standpunt dan de opdrachtgever. Opdrachtgevers zijn met betrekking tot algemene verwachtingen en specifieke casus realistischer dan adviseurs. Opdrachtgevers en adviseurs stemmen bij de specifieke casus meer overeen (geen significante verschillen) dan bij de verwachtingen. De criteria die men in het algemeen belangrijk vindt en die men bij deze casus belangrijk vindt, stemmen overeen. De correlaties tussen de scores van de antwoorden bij ‘algemeen’ en ‘deze casus’ zijn significant: 51 van in totaal 57. De antwoorden stemmen dus sterk overeen.
Kwaliteit van organisatieadvies bij de rijksoverheid
46
In onderstaande figuur zien we de lijnen dicht bij elkaar. Het laat zien dat opdrachtgevers, betrokkenen en adviseurs overeenstemmen.
5
4
3
Specifiek O
B
A
2
O = Opdrachtgever
B + Betrokkene
A = Adviseur
Figuur 6.2.2 Graf iek van het belang van ef f ect ivit eit scrit eria per rol (deze opdracht )
6.3
Onderzoeksvraag 3: beoordeling
Voor die criteria, die volgens de geïnterviewde van toepassing zijn of sterk van toepassing zijn, is een rapportcijfer gevraagd. Ook is een totaalcijfer gevraagd. Een 1 staat voor zeer slecht; een 10 voor uitmuntend. Het gemiddelde cijfer (totaalindruk), dat een opdrachtgever toekent aan de adviesopdrachten is 6,8 (standaarddeviatie 1.6). De betrokkenen geven ook een 6,8 (standaarddeviatie 1.1). De adviseurs geven een 7,6 (standaarddeviatie 1.0). Het gemiddelde over de drie rollen is 7,1 (standaarddeviatie 1.3). Het gemiddelde oordeel van alle respondenten ligt daarmee boven de ruim voldoende. De opdrachtgevers alleen geven ruim boven de voldoende, maar net geen ruim voldoende. Hetzelfde geldt voor de betrokkenen. De adviseurs zijn (0,8) positiever over de opdracht dan opdrachtgevers. De scores van opdrachtgevers variëren van 1,5 (laagste cijfer) tot en met 8,5 (hoogste cijfer). De scores van de adviseurs variëren van 5,0 tot en met 9,5. Betrokkenen geven als laagste cijfer 3,5; als hoogste 8,5. De standaarddeviatie bij opdrachtgevers is hoger dan bij betrokkenen en adviseur(s). Dit wordt veroorzaakt doordat opdrachtgevers meer uiteenlopende rapportcijfers geven.
Kwaliteit van organisatieadvies bij de rijksoverheid
47
We kunnen de beoordeling ook categoriseren naar de cijfers en het aantal gevallen voor opdrachtgever, adviseur en betrokkene.
Rol Opdracht gever
Bet rokkene
Adviseur
Tot aal
7,8 %
8,5 %
19,2 %
12,0 %
72,5 %
83,1 %
75 %
76,6 %
19,6 %
8,5 %
5,8 %
11,4 %
Beoordeling Aant al gevallen beoordeeld m et m eer dan 8 Aant al gevallen beoordeeld m et 6, 7, 8 Aant al gevallen beoordeeld m et 5 of m inder
Tabel 6.3.1 Aant al gevallen per cat egoriecijf ers voor t ot aal en per rol
Onderstaande
tabel
geeft
voor
alle
criteria,
de
rapportcijfers
van
opdrachtgevers, adviseurs en betrokkenen.
Crit erium
Opdrachtgever Bet rokkene
Adviseur
Tot aal
Form ele
A1: Doelen bereikt
6.8
6.8
7.3
7.0
crit eria
A2: Oplossing gevonden
6.9
6.4
7.1
6.9
A3: Ex pert ise ingebracht
6.7
6.6
7.8
7.0
A4: Voorafgest elde
6.8
7.0
7.6
7.1
7.2
6.9
7.4
7.2
7.2
6.3
7.6
7.1
A7: Tijdpad
6.7
7.0
7.5
7.1
A8: Budget
7.5
7.3
7.9
7.6
B1: Geleerd door
6.7
6.3
6.8
6.6
B2: Dicht er bij beslispunt
6.8
6.6
7.5
7.0
B3: Sam enwerking
6.5
6.5
7.0
6.7
B4: Efficiënt er werken
6.5
6.7
6.9
6.7
B5: Kaderverruim ing,
6.7
6.7
7.1
6.9
t aken A5: Part icipat ie cliënt syst eem A6: Vereist e m iddelen en bronnen
Inhoudelijke crit eria
cliënt syst eem
verbet erd
e.d.
Proces
C1: Specifieke m et hode
6.6
6.5
7.9
7.0
crit eria
C2: Aanpak gaandeweg
7.2
7.1
7.6
7.3
6.3
7.0
7.7
7.1
6.7
6.7
7.8
7.2
veranderd C3: Gelijkwaardig adviseur/ cliënt syst eem C4: Mat e van concret e aanwijzingen
Kwaliteit van organisatieadvies bij de rijksoverheid
48
Opdrachtgever Bet rokkene
Crit erium C5: Frequent e
Adviseur
Tot aal
6.6
6.8
7.7
7.1
6.8
7.0
7.8
7.2
com m unicat ie C6: Bet rokkenheid adviseur
Tabel 6.3.2 Beoordeling per ef f ect ivit eit scrit erium per rol
Als we opdrachtgever en adviseur vergelijken, dan is over de hele linie de adviseur positiever in de rapportcijfers. De grootste verschillen (meer dan één punt) zijn er bij criterium A3: ex pertise adviseur ingebracht; C1: specifieke methode ingebracht; C3: gelijkwaardig adviseur/ cliëntsysteem); C4: mate van concrete aanwijzingen;
C5:
frequente communicatie;
C6:
betrokkenheid
adviseur. De kleinste verschillen zijn bij A2: oplossing gevonden; A5: participatie cliëntsysteem en B1: geleerd door het cliëntsysteem. Toetsen we de verschillen dan vinden we significante verschillen tussen opdrachtgever en adviseur bij A3: ex pertise adviseur ingebracht en bij ALLE procescriteria. Adviseurs beoordelen de inbreng van de ex pertise en het omgaan met het adviesproces positiever dan opdrachtgevers. (zie bijlage g)
Opdracht gever
Bet rok kene
Adviseur
Tot aal
Form ele crit eria
6.8
6.8
7.3
7.0
Inhoudelijke crit eria
6.9
6.4
7.1
6.9
Procescrit eria
6.7
6.6
7.8
7.0
Tot aalindruk
6.8
7.0
7.6
7.1
Crit eria
Tabel 6.3.3 Beoordeling per clust er van ef f ect ivit eit scrit eria voor het t ot aal en per rol
Voegen
we
opdrachtgever
criteria en
bij
elkaar
adviseur
dan
significant
zijn bij
alleen
de
verschillen
de procescriteria en
tussen bij
de
totaalindruk. De andere verschillen zijn niet significant. (zie bijlage g)
Kwaliteit van organisatieadvies bij de rijksoverheid
49
Een ander belangrijk gegeven betreft de correlaties. Voor bovenstaande tabel geldt dat de correlaties tussen opdrachtgever en adviseur, tussen betrokkene en opdrachtgever en tussen betrokkene en adviseur ALLEMAAL significant zijn. Dat wil zeggen: dat er een grote mate van overeenstemming is over de rapportcijfers: als de één een hoog cijfer geeft voor een bepaalde opdracht en een laag cijfer voor een andere, dan doen de andere respondenten dat ook ongeveer zo. Ongeacht het feit dat adviseurs gemiddeld hogere cijfers geven, is er grote mate van overeenstemming over de relatieve cijfers. Opdrachtgever, adviseur en betrokkene beoordelen de opdrachten op vrijwel dezelfde wijze. Het feit dat verschillende partijen in de opdracht zo sterk overeenstemmen in hun beoordeling, maakt dat er eigenlijk sprake is dat partijen vrijwel dezelfde dimensie hanteren. Zetten we de bevindingen weer om in een grafiek, dan ziet die er als volgt uit:
Rapportcijfer O
10
B
A
9 8 7 6 5
O = Opdrachtgever
B = Bet rokkene
A = Adviseur
Figuur 6.3 Graf iek van de beoordeling van ef f ect ivit eit scrit eria per rol
6.4
Overige bevindingen
In deze paragraaf zullen we de resultaten uit de interviews beschrijven. Deze resultaten vallen in twee categorieën uiteen, namelijk in antwoorden die te coderen waren en daardoor statistisch verwerkt konden worden. En een
Kwaliteit van organisatieadvies bij de rijksoverheid
50
categorie waarbij de antwoorden kwalitatief zijn, niet codeerbaar en niet statistisch te verwerken. In de volgende paragraaf (6.4.1) nemen we de eerste categorie op; in de paragraaf (6.4.2) daarna de tweede.
6.4.1 Kwantitatieve bevindingen uit de interviews De
interviews
bevatten
een
aantal
standaardvragen.
Die
vragen
zijn
opgenomen in 5.2.3. De antwoorden op die vragen zijn gecodeerd op meestal drie mogelijkheden: ‘ slecht’ of ‘nee’, ‘redelijke’ of ‘ gering’ en ‘ goed’ of ‘ ja’. De eerste antwoordmogelijkheid representeert een duidelijke negatief antwoord; de tweede mogelijkheid representeert een twijfel tussen negatief en positief of deels positief, deels negatief. De derde antwoordmogelijkheid representeert een duidelijk positief antwoord.
A. Hoe was het inzicht in de specif iek e aard van de organisat ie? Opdracht gever
Bet rok kene
Adviseur
slecht
11 %
8%
2%
Tot aal 7%
redelijk
11 %
16 %
2%
10 %
goed
78 %
76 %
96 %
83 %
B. Hoe was de k walit eit van de diagnose en analyse van het probleem ? Opdracht gever
Bet rok kene
Adviseur
slecht
9%
6%
-
Tot aal 5%
redelijk
13 %
33 %
4%
17 %
goed
78 %
61 %
96 %
78 %
Tot aal
C. Waren de conclusies goed onderbouwd? Opdracht gever
Bet rok kene
Adviseur
slecht
9%
17 %
2%
9%
redelijk
16 %
29 %
7%
17 %
goed
75 %
54 %
91 %
74 %
Tabel 6.4.1 St andaardvragen in de int erviews en ant woorden (t ot aal en per rol)
Kwaliteit van organisatieadvies bij de rijksoverheid
51
D. Wat was de k walit eit van de rapport age/ t erugk oppeling? Opdracht gever
Bet rok kene
Adviseur
slecht
11%
14%
-
Tot aal 8%
redelijk
13%
43%
6%
20%
goed
76%
43%
94%
72%
E. Is de analyse/ diagnose vert aald in t oepasbare conclusies en aanbevelingen? Opdracht gever
Bet rok kene
Adviseur
Tot aal
slecht
10%
9%
2%
7%
redelijk
21%
37%
11%
23%
goed
69%
54%
87%
70%
F. Waren de adviseurs in st aat t ot im plem ent eren van de door hen geadviseerde veranderingen? Opdracht gever
Bet rok kene
Adviseur
nee
17 %
7%
-
Tot aal 8%
redelijk
-
33 %
23 %
20 %
ja
83 %
60 %
77 %
72 %
N.B. kleine aant allen
G. Is er geleverd wat er is af gesprok en? Opdracht gever
Bet rok kene
Adviseur
Tot aal
nee
9%
18 %
6%
11 %
ja
91 %
82 %
94 %
89 %
Tot aal
H. Zou je het opnieuw doen m et deze adviseurs?
I.
Opdracht gever
Bet rok kene
Adviseur
nee
19 %
25 %
6%
16 %
ja, m it s
22 %
25 %
9%
19 %
ja
59 %
50 %
85 %
65 %
Tot aal
Was de rol van de adviseur adequaat ? Opdracht gever
Bet rok kene
Adviseur
nee
4%
6%
-
3%
redelijk
4%
-
4%
3%
ja
92 %
94 %
96 %
94 %
Tabel 6.4.1 (vervolg) St andaar dvragen in de int erviews en ant woor den (t ot aal en per rol)
Kwaliteit van organisatieadvies bij de rijksoverheid
52
J. Zij n er leeref f ect en opget reden t en gevolge van de adviesopdracht ? Opdracht gever
Bet rok kene
Adviseur
Tot aal
nee
24 %
16 %
2%
14 %
redelijk
14 %
11 %
18 %
14 %
ja
62 %
73 %
80 %
72 %
K. Is er sprak e van ef f ect t en aanzien van de im plem ent at ie van het advies? Opdracht gever
Bet rok kene
Adviseur
nee
8%
6%
6%
Tot aal 7%
redelijk
14 %
4%
11 %
9%
ja
78 %
90 %
83 %
84 %
L. Heef t de uit voering van de adviesopdracht im pact gehad op de organisat ie?
Opdracht gever
Bet rok kene
Adviseur
nee
16 %
4%
6%
Tot aal 9%
redelijk
25 %
29 %
31 %
28 %
ja
59 %
67 %
63 %
63 %
Tot aal
M. Hoe ligt de k ost en/ bat en verhouding? Opdracht gever
Bet rok kene
Adviseur
slecht
15 %
15 %
13 %
14 %
redelijk
14 %
29 %
4%
15 %
goed
71 %
56 %
83 %
71 %
Tabel 6.4.1 (vervolg) St andaardvragen in de int erviews en ant woorden (t ot aal en per rol)
Systematisch beschouwen van de uitkomsten geeft het volgende beeld. We kijken eerst naar de vragen A tot en met E. Deze vragen gaan over (onderdelen van het) werk van adviseurs en de antwoorden oordelen over de kwaliteit van dat werk vanuit de positie van de respondent. We zien hier een tendens die we al eerder signaleerden ( zie 6.3): adviseurs zijn positiever over het verloop van de opdracht dan opdrachtgevers. In gemiddeld 75% van de gevallen antwoorden de opdrachtgevers op vraag A tot en met E: ‘goed’. Zij zijn in driekwart van de gevallen tevreden over het inzicht van de adviseurs in de organisatie, de kwaliteit van de diagnose, de onderbouwing van de conclusies, de kwaliteit van de rapportage, en de toepasbaarheid van conclusies en aanbevelingen. Adviseurs geven in 90% van de gevallen dit antwoord. Betrokkenen zijn kritischer dan opdrachtgevers,
Kwaliteit van organisatieadvies bij de rijksoverheid
53
zeker over de onderbouwing van de conclusies, de kwaliteit van de rapportage en de toepasbaarheid van conclusies en aanbevelingen. Vraag F verdient bijzondere aandacht, vanwege de kleine aantallen. Slechts in 12 gevallen (van de 54) zeggen opdrachtgevers dat adviseurs de door hen geadviseerde veranderingen ook mochten implementeren. In de overige gevallen is implementatie door de adviseurs niet van toepassing. Het antwoord ‘ja’ van opdrachtgevers is hoog en in dit geval hoger dan van de adviseurs. Betrokkenen zijn weer kritischer dan opdrachtgevers. Er is geleverd wat is afgesproken, zegt 91% van de opdrachtgevers (vraag G), en 82 %van de betrokkenen. Vraag H: 59 % van de opdrachtgevers zou opnieuw met deze adviseurs werken. 19 % zou dat niet doen en 22 % onder voorwaarden. Voorwaarden zijn dan: betere afspraken vooraf, afspraken over contactmomenten gedurende de opdracht,
bredere oriëntatie op
de
markt
van
aanbieders.
Weer
zijn
betrokkenen iets kritischer. De rol van de adviseur was adequaat, vindt meer dan 90 % van de opdrachtgevers, betrokkenen en adviseurs. Wat die rol is in hun ogen, hebben we uitgewerkt in paragraaf 6.4.2. Tenslotte hebben we vragen gesteld ten aanzien van de effecten op de organisatie (zie Phillips in paragraaf 3.3). 63 % van de opdrachtgevers vindt dat er leereffecten zijn opgetreden ten gevolge van de adviesopdracht. Betrokkenen zijn positiever op dit punt (73 %). Welke die leereffecten zijn, wordt uitgewerkt in paragraaf 6.4.2. Is er sprake van effect ten aanzien van de implementatie van het advies (vraag K)? De opdrachtgevers vinden van wel in 78 % van de gevallen. Ook hier zijn betrokkenen nog positiever en zijn de adviseurs kritischer dan betrokkenen. Impact op de organisatie komt in 59 % van de gevallen voor (volgens opdrachtgevers), in 67 %volgens betrokkenen, en in 63 %volgens adviseurs. Kosten/ baten
verhoudingen
(vraag
M)
zijn
in
71
% goed,
volgens
opdrachtgevers. We
zien
een
opvallende
tendens.
Betrokkenen
zijn
kritischer
dan
opdrachtgevers over het werk van adviseurs (vraag A tot en met E), maar zijn positiever over de effecten van de adviezen (vraag J tot en met L) dan opdrachtgevers. In twee van de drie gevallen zelfs positiever dan adviseurs. Dit kan te maken hebben met het feit dat betrokkenen de effecten zelf meemaken
Kwaliteit van organisatieadvies bij de rijksoverheid
54
(adviseurs niet) of dat ze zelf meegewerkt hebben aan de implementatie, en dus ook de eigen bijdrage evalueren. We hebben clusters van vragen gemaakt om te kunnen toetsen op verschillen en om correlaties te kunnen berekenen. Daarbij hebben we vraag A tot en met E samengevoegd (dat noemen we verloop van de opdracht), vraag F, G en H hebben we samengevoegd (dat noemen we afloop van de opdracht) en vraag J tot en met K (dat noemen we impact van de opdracht). De oordelen van de respondenten verschillen significant over alle casussen bij de drie groepen vragen (verloop van opdracht A tot en met E, de impact J tot en met K, afloop van de opdracht F,G,H). De opdracht doet er dus toe bij de beoordeling.
We
zien
een
significant
verschil
tussen
de
scores
van
opdrachtgever en adviseur en van betrokkene en adviseur bij de eerste cluster van vragen (verloop van de opdracht). Bij de andere clusters is het verschil niet significant tussen opdrachtgever en adviseur. De verschillende groepen respondenten verschillen dus duidelijk in de beoordeling op het aspect: verloop van de opdracht. Als we correlaties berekenen zien we lage, niet significante correlaties bij verloop van de opdracht. Beoordelaars hanteren dus een andere invulling van ‘verloop’ . Maar we zien wel significante correlaties tussen respondenten op het cluster afloop van de opdracht en het cluster impact van de opdracht. Hier stemmen geïnterviewden dus sterk overeen en hanteren ze eenzelfde begrip bij de beoordeling.
6.4.2
Overige kwalitatieve bevindingen
De interviews zijn semi- gestructureerd. De meeste antwoorden zijn gecodeerd en statistisch bewerkt. Die bevindingen staan in paragraaf 8.4.1. Een aantal antwoorden zijn kwalitatief van aard. Deze bevindingen hebben we handmatig verwerkt. Om die reden moeten ze zorgvuldig en met enige relativering worden bekeken en geïnterpreteerd. Niettemin zijn de uitkomsten interessant. Het gaat zoals bekend om totaal 161 interviews.
Waarom deze adviseur of bureau gekozen? De vraag: “Waarom is dit bureau/ deze adviseur gekozen?” is in alle interviews aan de orde geweest. Alle inhoudelijke antwoorden hebben we genoteerd en we hebben dezelfde of nagenoeg dezelfde antwoorden bijeengezet. Meerdere
Kwaliteit van organisatieadvies bij de rijksoverheid
55
antwoorden zijn mogelijk. We hebben alle genoemde redenen geteld. Motieven die 5 keer of minder zijn genoemd hebben we weggelaten. Het zijn antwoorden van opdrachtgevers, betrokkenen en adviseurs.
Motief
Aantal keren genoemd 36 34 27 21 13 13 11 10 10 9 9 6 6
1. Goede ervaringen met de adviseur 2. De adviseur is bekend 3. Kennis van het onderwerp 4. Kent de cliëntorganisatie goed 5. De snelheid van start van de opdracht 6. Ervaring met soortgelijk werk elders 7. Bekendheid en ervaring van het bureau 8. Goede prijs/kwaliteit verhouding 9. Goede offerte/aanpak 10. Goed instrument of methode 11. Onafhankelijk 12. Kennis van het veld of de branche 13. Raamovereenkomst
Tabel 6.4.2.1 Fr equent ies van m ot ieven voor keuze bureau/ adviseur
Opvallend zijn de hoge scores van de eerste vier motieven. De meeste geïnterviewden vertrouwen het meest op goede (eerdere) ervaringen met de adviseur, kennen hem. Nemen hem om de gedegen kennis van het onderwerp en van de cliëntorganisatie. Dat ligt niet verschillend tussen opdrachtgevers en adviseurs. Dat blijkt uit het volgende overzicht. We hebben de motieven opgesomd per rol. Motief 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
goede ervaring adviseur bekend kennis onderwerp kent cliëntorganisatie snelheid start ervaring soortgelijke bekend bureau goede prijs goede offerte goed instrument onafhankelijk kennis veld raamovereenkomst
Opdrachtgevers
Adviseurs
Betrokkenen
15 14 12 8 7 6 5 6 7 6 3 3 3
13 15 10 6 3 5 3 2 1 2 3 2 2
8 5 5 7 3 2 3 2 2 1 3 1 1
Tabel 6.4.2.2 Fr equent ies m ot ieven voor k euze bureau/ adviseur per r ol
We zien niet veel verschillen. Welke motieven een rol spelen komt sterk overeen. Zeker de vier meest genoemde liggen dicht bij elkaar. Er zijn een paar verschillen tussen opdrachtgevers en adviseurs. Opdrachtgevers noemen vaker het motief: ‘snelheid start’, ‘goede prijs’ , ‘goede offerte’ en ‘goed instrument’.
Kwaliteit van organisatieadvies bij de rijksoverheid
56
Verondersteld kan worden dat de motieven om dit bureau/ deze adviseur te nemen verschilt onder invloed van het feit of er wel of niet in concurrentie is geoffreerd. Dit is duidelijk het geval.
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
Motief
Concurrentie ja
Concurrentie nee
goede ervaring adviseur bekend kennis onderwerp kent cliëntorganisatie snelheid start ervaring soortgelijke bekend bureau goede prijs goede offerte goed instrument onafhankelijk kennis veld raamovereenkomst
12 8 9 15 3 10 6 9 10 8 7 3 -
24 26 18 6 10 3 5 1 1 2 3 6
Tabel 6.4.2.3 Frequent ies van m ot ieven voor keuze bureau/ adviseur bij wel of geen concurrent ie
Daar waar een streepje staat, is het motief niet genoemd. Wat leiden we hier uit af? Als er concurrerende offertes worden gevraagd, wegen de motieven: ‘kent de cliëntorganisatie’, ‘ervaring met soortgelijk werk’, ‘goede prijs’, ‘gedegen offerte’, ‘goed instrumentarium of methode’ en ‘onafhankelijk’ zwaarder in vergelijking met de situatie waarin geen concurrerende offertes worden gevraagd. In de laatste situatie wegen de motieven: ‘goede ervaring’, ‘bekendheid van de adviseur’, ‘kennis van het onderwerp’ , ‘snelheid van de start’, en ‘ raamovereenkomst’ zwaarder.
Welke leereffecten zijn opgetreden? We hebben in de interviews gevraagd of er leereffecten zijn opgetreden. In 72% wordt ‘ja’ geantwoord op deze vraag, in 14 % ‘nee’ en in 14 % ‘redelijk’. Bij het antwoord ‘ja’ hebben we gevraagd om aan te geven welke de leereffecten waren. Ook hier zijn meerdere antwoorden mogelijk. En ook hier hebben we dezelfde of nagenoeg dezelfde antwoorden op een rij gezet. Het zijn antwoorden van opdrachtgevers en betrokkenen. De meeste geïnterviewden, die “ja” antwoorden zeggen, dat ze hadden geleerd in relatie tot de inhoud van de opdracht: ze hebben geleerd over het specifieke onderwerp of vraagstuk, er is kennis overgedragen, ze hebben het probleem of de oplossing scherper (dit is 30 keer genoemd). De antwoorden die daarna het meest (8 of 9 keer) voorkomen zijn: “Het belang van communicatie”
Kwaliteit van organisatieadvies bij de rijksoverheid
57
“Processturing en procesbegeleiding”
“Het belang van samenwerken”
Daaronder komen de volgende antwoorden (3 of 4 keer genoemd): “Projectmethoden en verandermanagement”
“Opkomen voor eigen ideeën en wensen”
“Interne besluitvorming”
“Openheid, dingen bespreekbaar maken”.
De rol van de adviseur Soortgelijke gegevens hebben we over de rol van de adviseur. Meerdere antwoorden per geïnterviewde zijn mogelijk. We hebben dezelfde of nagenoeg dezelfde antwoorden bij elkaar gezet. In de analyse valt op, dat een groot deel van de antwoorden weliswaar gaan over de rol, maar ook een groot deel over het werk of taak van de adviseur. Dat hebben we geconstateerd bij de analyse en we vinden het zinvol om dat hier te scheiden. Rollen of taken die minder dan vijf keer zijn genoemd, zijn niet opgenomen. Rol van de adviseur 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Aantal keren genoemd
Deskundigheid inbrengen Procesbegeleiding (Bege)leiden workshops/ conferenties Buitenstaander/ vreemde ogen Onafhankelijk/ objectief Werken aan draagvlak Kennis overdragen Projectleider Regisseur Handjes Facilitator
48 36 20 12 11 9 8 8 6 6 5
Tabel 6.4.2.4 Rollen van adviseurs
Organisatieadviseurs vervullen het meest een ex pertrol of een rol van procesbegeleiding. Ze (bege- )leiden regelmatig bijeenkomsten. In een aantal gevallen is de buitenstaanderrol en de onafhankelijkheid belangrijk.
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Werk van de adviseur
Aantal keren genoemd
Rapport en aanbevelingen maken Interviewen Notities/ verslagen maken Onderzoeken Analyseren Blauwdruk maken Beoordeling/ ‘second opinion’ Doorlichten/ evalueren Traject ontwerpen Ordenen
43 26 12 10 9 9 8 8 6 5
Kwaliteit van organisatieadvies bij de rijksoverheid
58
Tabel 6.4.2.5 Wer k van adviseurs
Rapporteren en komen met aanbevelingen springt er bovenuit. Interviewen doen adviseurs vaak.
6.4.3 Afwijkende casussen De beoordelingen van de opdrachten lopen ver uiteen. De laagste gemiddelde beoordeling is het rapportcijfer 4.8; het hoogste is 8.7. Maar daarnaast lopen ook de beoordelingen vanuit de verschillende rollen uiteen: er zijn in een aantal
gevallen
grote
discrepanties
tussen
de
beoordelingen
van
opdrachtgever, adviseur en betrokkene. Maar er zijn ook gevallen met grote overeenstemming. We hebben twee lijsten opgesteld. Eén met de casussen en het gemiddeld rapportcijfer (het totaalcijfer) en één met de mate van discrepantie tussen opdrachtgever, adviseur en betrokkene(- n). Vervolgens hebben we gekeken naar hoge en lage scores op beide lijsten. De combinatie: ‘grote discrepantie’ en ‘hoog cijfer’ komt niet voor. Dat geldt ook voor de combinatie: ‘weinig discrepantie’ en ‘laag cijfer’ . Beide andere combinaties : ‘grote discrepantie’ en ‘laag cijfer’ en ‘weinig discrepantie’ en ‘hoog cijfer’ komen wel vaak voor. Van de lijst van rapportcijfers hebben we bij de laagste 13 rapportcijfers zes casussen aangetroffen met hoge discrepantie tussen opdrachtgever, adviseur en (eventuele) betrokkene. Bij de hoogste 10 rapportcijfers treffen we zeven casussen aan met lage discrepantie. Deze casussen zijn we nader gaan bekijken. Doel daarvan is of we factoren kunnen vinden die falen of succes beïnvloeden: zijn er bepaalde factoren die we terug zien in deze casussen die de verschillen kunnen verklaren. De gegevens zijn ontleend aan de kwalitatieve onderdelen van de interviews. Bij de zes opdrachten met een laag rapportcijfer en hoge discrepantie, vertellen opdrachtgevers dat ze de adviseur onprofessioneel vinden, te eigenzinnig, dat de samenwerking slecht verloopt, dat adviseurs de vraag niet goed hadden begrepen, dat de verwachtingen tegengesteld waren. Adviseurs zeggen dat ze een ander proces wilden, dat de rolverdeling onhelder was, dat er te weinig afstemming was, dat de opdrachtgever niet open stond voor advies, dat ze het zelf verkeerd hadden aangepakt (achteraf beschouwd), dat er een disfunctionele relatie was met de opdrachtgever en dat er sprake was
Kwaliteit van organisatieadvies bij de rijksoverheid
59
van een interne machtsstrijd. Betrokkenen vertellen, dat de opdrachtgever te weinig weet wat hij wil, dat de chemie niet goed is, dat de relatie onhelder is, geen heldere rollen, dat het opdrachtgeverschap slecht is ingevuld, dat de adviseurs arrogant zijn en niet luisteren. Bij de zeven casussen met hoge rapportcijfers en lage discrepantie vertellen opdrachtgevers, dat er een goede verstandhouding is met de adviseurs, dat ze betrouwbaar zijn, dat er snel vertrouwen ontstond, dat de vraag helder was, dat de adviseurs voorwaarden stelden (en dat dat prima was), dat de adviseur de opdrachtgever frequent informeerde, dat adviseurs ook vertelden waar de beperkingen lagen van de aanpak, dat ze meedachten en geen meepraters waren. Adviseurs hebben het over een goed samenspel met de opdrachtgever, een opdrachtgever die weet wat hij wil, met wie het goed klikt, die constructief denkt, die tijd neemt voor afstemming, een hoge betrouwbaarheid heeft, betrokkenheid toont. Betrokkenen zeggen dat de adviseurs betrokken en gedreven waren, dat de opdracht goed is voorbereid, dat de adviseurs een eigen mening hadden die ze onderbouwden. Eenduidige conclusies trekken uit bovenstaande fragmenten is lastig. Toch zien we wel patronen. Faalfactoren voor adviesopdrachten zijn: er zijn tegengestelde verwachtingen tussen opdrachtgever en adviseur en die zijn niet goed uitgesproken; de opdrachtgever weet niet zo goed wat hij wil; de relatie tussen opdrachtgever en adviseur is niet goed; er zijn onheldere rollen. Succesfactoren lijken het spiegelbeeld hiervan te zijn. Daar is sprake van goede afstemming en daar neemt men tijd voor, helderheid over wat men wil en zal doen, goed samenspel en vertrouwen; heldere rollen.
6.4.4 Opvallende punten uit de interviews In de interviews hebben we een grote hoeveelheid uitspraken opgetekend. Die zijn in een onderzoek als het onderhavige moeilijk te verwerken, omdat ze niet te kwantificeren zijn en omdat de weging ervan moeilijk is. Toch menen we dat we een aantal uitspraken die we frequent hebben gehoord hier te moeten vermelden, omdat ze aanwijzingen geven voor verbetering. Zo hebben we beelden opgetekend van opdrachtgevers over adviseurs en over zichzelf. En van adviseurs over opdrachtgevers en over zichzelf.
Kwaliteit van organisatieadvies bij de rijksoverheid
60
Opdrachtgevers vinden, dat adviseurs helder moeten zijn over wat ze (gaan) doen en welke rol ze nemen. Ze mogen daar ook grenzen in aangeven. Dat wordt op prijs gesteld. Ze vinden dat ze beter moeten letten op de ex pertise en ervaring van de adviseur. Opdrachtgevers vinden over zichzelf dat het opdrachtgeverschap niet altijd professioneel is ingevuld, dat de opdracht beter geformuleerd had kunnen worden en dat de aansturing beter had gekund. Adviseurs vinden, dat opdrachten soms onduidelijk zijn, dat zij last hebben van interne ‘strijd’ en dat heldere, betrokken en sterke opdrachtgevers belangrijk zijn. Adviseurs vinden over zichzelf, dat ze onhelderheid over rollen en bijdragen laten doorbestaan, dat de rol ondoordacht is en dat ze te weinig hebben gecommuniceerd.
6.5
Verbanden
We zijn nagegaan of
we nieuwe verbanden kunnen vaststellen in de
beschikbare gegevens. We zijn daarbij benieuwd, of de typen adviesopdrachten verschillen in soorten criteria die van toepassing zijn en in gemiddeld rapportcijfer. In de verwachtingen algemeen vinden we geen verschillen in toepassing van de criteria (formeel, inhoudelijk en proces) voor de totale groep tussen de 11 typen adviesopdrachten (zie 6.1). Dat is voor de hand liggend, omdat deze verwachtingen zijn geformuleerd los van een concrete casus. Bij de vraag: welke criteria zijn al dan niet van toepassing op deze casus, zien we wel verschillen. Niet bij de formele en de proces criteria: die zijn blijkbaar in dezelfde mate van toepassing op alle typen. Er zijn wel significante verschillen in de mate van toepassing van de inhoudelijke criteria. Deze criteria zijn meer van toepassing op type 4 (ex pertadvies met proces) en op type 5 (begeleiding) dan op de andere typen. Ze wegen bij dit type opdrachten dus zwaarder. Dat is te verklaren, omdat deze criteria gaan over processen in de cliëntorganisatie
(leren,
beslissen,
samenwerking,
efficiënt
werken,
kaderverruiming). Opdrachttype 4 en 5 leveren bijdragen aan die processen. In onderstaande tabel hebben we de gemiddelden neergezet voor de clusters van criteria en voor de rapportcijfers voor de vier typen die het vaakst
Kwaliteit van organisatieadvies bij de rijksoverheid
61
voorkomen. Type 2 beleidsadvies is weggelaten omdat dit slechts voor één opdracht geldt. Criteria Form. crit.
Type 1. expertadvies 3. evaluatie 4. expert met proces 5. begeleiding
DEZE CASUS Inhoud. Proces crit. crit.
3.9 4.0 3.8 4.0
3.3 3.3 3.8 3.8
RAPPORTCIJFER InProces houd. crit. crit.
Form. crit.
3.6 3.3 3.7 3.7
7.2 7.8 6.6 7.2
6.8 7.5 6.3 7.1
7.2 7.8 7.0 7.1
Totaal indruk
7.1 7.9 6.6 7.1
Tabel 6.5.1 Gem iddelden per t ype opdracht over belang ef f ect ivit eit scrit eria en rapport cijf ers (
= signif icant verschil per crit erium t ussen t ypen)
We zien hier hetzelfde beeld. Bij type 4 en 5 worden de inhoudelijke criteria het belangrijkst gevonden. De rapportcijfers laten een significant verschil zien tussen de vier typen. Bij de formele criteria is er een significant verschil. Bij de inhoudelijke niet. Bij de totaalindruk is het verschil significant. Type 3 scoort de hoogste rapportcijfers op alle criteria en het totaal. Type 4 scoort het laagst. Type 1 en 5 hebben vergelijkbare rapportcijfers (maar verschil in belang van de criteria). We verklaren dat als volgt: type 1, 2 en 3 zijn veelal heldere adviesopdrachten in termen van de vraag die wordt gesteld en het (soort) antwoord of advies dat wordt verwacht. Type 3 (evaluatie, beoordeling, second opinion) is op dat punt nog het meest uitgesproken. Bij type 4 en 5 zijn processen in de cliëntorganisatie en tussen opdrachtgever en adviseur sterk van toepassing. Die processen laten zich moeilijker voorspellen en het is niet makkelijk om de verwachtingen op deze punten scherp te ex pliciteren (bijvoorbeeld: wat kun je daar wel en niet in bereiken, hoe realistisch moet/ kun je hierin zijn?). Men weet dus dat op dit type opdrachten de inhoudelijke criteria meer van toepassing zijn, maar tegelijk beoordeelt men het gemiddeld lager dan de andere typen. Dat geldt in het bijzonder voor type 4. Verdelen we de typen opdrachten naar twee hoofdtypen, namelijk type 1, 2 en 3 samen (waaraan de eerste keuze van de hybride opdrachten is toegevoegd) en 4 en 5 samen (waarbij ook de eerste keuze van de hybride opdrachten is toegevoegd), dan versterkt zich het patroon wat we hierboven hebben beschreven.
Op
procesopdrachten
(hoofdtype
Kwaliteit van organisatieadvies bij de rijksoverheid
2)
zijn
de
zogenaamde
62
inhoudelijke criteria meer van toepassing dan op ex pertopdrachten (hoofdtype 1). Maar tegelijkertijd is de beoordeling op deze inhoudelijke criteria en de zogenaamde procescriteria gemiddeld lager. Op een soortgelijke manier hebben we naar een verband gezocht tussen type opdracht en antwoorden uit de interviews (zie 6.4.1). Hier vinden we over het algemeen geen significante verschillen. Er is één uitzondering. Als we twee hoofdtypen vergelijken op het cluster ‘afloop van de opdracht’ (dat gaat over de volgende vragen: waren de adviseurs in staat tot implementatie; is er geleverd conform afspraak en zou je opnieuw met ze werken?), dan zien we een verschil tussen de twee typen. De antwoorden voor hoofdtype 1 (ex pertadvies) zijn positiever dan die voor hoofdtype 2. Dit is waarschijnlijk hetzelfde verschijnsel als hierboven genoemd: type 1 gaat over (relatief) heldere vragen en antwoorden. Daarnaast hebben we gezocht naar een verband tussen soorten werk en de verdeling over categorieën bureaus. Beleidsadvies en de Hybride opdrachten zijn vanwege de kleine aantallen weggelaten.
Categorie
1. expertadvies 3. evaluatie 4. expert met proces 5. begeleiding
Aantal opdrachten
waarvan % éénpitter
waarvan % klein bureau
waarvan % middelgroot bureau
waarvan % groot bureau
14 7 13 14
21%
14% 43% 31% 21%
22% 14% 7% 15%
64% 43% 62% 43%
Tabel 6.5.2 Verdeling soort en wer k over cat egorieën bureaus
Ex pertadvies, zoals ook ex pertadvies met processtappen, gebeurt vooral door de grote bureaus. Evaluatie opdrachten worden even vaak uitgevoerd door kleine bureaus als grote bureaus. Eénpitters doen uitsluitend Begeleiding. Het met elkaar in verband brengen van soorten werk en het percentage van het budget levert het volgende beeld op. Categorie
% volume in geld
Kwaliteit van organisatieadvies bij de rijksoverheid
63
1. expertadvies 3. evaluatie 4. expert met proces 5. begeleiding
30% 6% 19% 37%
Tabel 6.5.3 % van het budget van de adviesopdracht verdeeld over de cat egorieën werk
De grootste volumes hebben betrekking op de categorieën begeleiding en ex pertadvies.
Kwaliteit van organisatieadvies bij de rijksoverheid
64
7. Conclusies en aanbevelingen In dit hoofdstuk geven we de belangrijke conclusies weer (paragraaf 7.1) en geven we aanbevelingen (paragraaf 7.2)
7.1 Conclusies Adviseurs doen vooral (86 %) vier soorten werk bij de Rijksoverheid. Ze geven ex pertadvies, verrichten evaluaties, doen ex pertadvies met processtappen en geven begeleiding. Deze categorieën zijn helder te omschrijven (zie paragraaf 6.1). De belangrijkste criteria die opdrachtgevers, betrokkenen en adviseurs hanteren voor advieswerk hebben te maken met de uitkomst van het adviesproces en de relatie tussen opdrachtgever en adviseur: zijn de doelen bereikt; is er een oplossing gevonden; is er betrokkenheid bij het werk en is er frequente communicatie. De minst belangrijke criteria hebben te maken met de werkwijze in het adviesproces: zijn de juiste taken verricht; is een specifieke methode gevolgd en zijn bronnen en middelen gebruikt. Opdrachtgevers en betrokkenen stemmen sterk overeen. Opdrachtgevers en adviseurs ook, zij het dat adviseurs een aantal criteria meer van toepassing vinden (zie paragraaf 6.2) Bij
de
afzonderlijke
analyses
van
de
specifieke
opdracht
wordt
de
overeenstemming tussen de opdrachtgever en de adviseurs over het belang van de criteria groter. Die overeenstemming neemt nog verder toe als er rapportcijfers worden gevraagd. De
totaalindruk
over
alle
opdrachten
krijgt
het
rapportcijfer
7,1.
Opdrachtgevers geven gemiddeld 6,8; betrokkenen ook 6,8; adviseurs geven een hoger cijfer: 7,6. Het laagste cijfer is 1,5; het hoogste is 9,5: een grote spreiding. Opdrachtgevers geven cijfers van 1,5 tot en met 8,5. Adviseurs geven cijfers van 5,0 tot en met 9,5. De overeenstemming tussen opdrachtgevers en adviseurs is frappant: ze geven of beiden hoge of beiden lage cijfers bij dezelfde opdrachten (zij het dat adviseurs iets positiever zijn en opdrachtgevers iets kritischer). Rapportcijfers geven een scherp beeld over de kwaliteit van de uitgevoerde opdracht.
Kwaliteit van organisatieadvies bij de rijksoverheid
65
Over het verloop van de adviesopdracht is 75% van de opdrachtgevers tevreden. Er wordt geleverd conform afspraak. Adviseurs zijn gemiddeld genomen ook op dit punt iets positiever dan opdrachtgevers. Betrokkenen zijn kritischer dan opdrachtgevers over het verloop van de adviesopdracht, maar zijn positiever over de effecten ervan. De belangrijkste motieven om een bepaald bureau of adviseur te kiezen zijn: goede ervaringen met de adviseur, de adviseur is bekend, er is kennis van het onderwerp en kennis van de cliëntorganisatie Als er sprake is van concurrentie wordt meer gelet op een goede prijs, een gedegen offerte, een goed instrumentarium of methode en bekendheid en ervaring van het bureau. Welke factoren beïnvloeden succes of falen van een adviesopdracht? Bij opdrachten die goed zijn beoordeeld is er sprake van goede afstemming tussen opdrachtgever en adviseur, er is tijd voor elkaar, er is helderheid over wat men wil en zal doen, er is goed samenspel en vertrouwen en er zijn heldere
rollen.
Faalfactoren
zijn
hier
het
spiegelbeeld
van:
er
zijn
tegengestelde verwachtingen en die zijn niet uitgesproken; de opdrachtgever weet niet goed wat hij wil; de relatie tussen opdrachtgever en adviseur is niet goed en er zijn onheldere rollen. De beelden achteraf zijn helder: rapportcijfers tussen opdrachtgevers en adviseurs stemmen overeen. Maar als de beelden aan het begin van een opdracht uiteen lopen, is de kans op succes gering. Ze vergen meer energie bij de start. Opdrachten met een duidelijke vraagstelling, leveren de hoogste beoordelingen op. Van groot belang is transparantie van wederzijdse verwachtingen, helderheid over wat men wil en zal doen, wederzijdse betrokkenheid en helder met elkaar communicerende opdrachtgevers en adviseurs.
7.2 Aanbevelingen Dit onderzoek geeft een goed beeld van een groot aantal aspecten van de kwaliteit van organisatieadvieswerk. Het geeft duidelijke proporties aan in die kwaliteit. Teneinde tendenties in de ontwikkeling van die kwaliteit te zien, zou een dergelijk onderzoek periodiek (elke drie jaar) herhaald moeten worden. Internationale vergelijkingen zijn erg zinvol. De communicatie vooraf en aan het begin van een adviesopdracht
tussen
opdrachtgevers en adviseurs is cruciaal voor een bevredigend verloop van de
Kwaliteit van organisatieadvies bij de rijksoverheid
66
adviesopdracht. Het verdient dan ook aanbeveling tijd en energie te steken in deze fase. Het is daarbij behulpzaam eenzelfde lijst van soorten werk, rollen en mogelijke criteria te gebruiken om die communicatie te bevorderen. Dit onderzoek levert ingrediënten voor een dergelijke checklist. Het opstellen van een dergelijke lijst kan dan ook snel gebeuren. Ook een lijst van ‘irritators' die over en weer spelen en die afbreuk doen aan de kwaliteit kan zinvol zijn. Een dergelijke lijst is op te stellen aan de hand van de uitkomsten van de interviews. Het is in dit verband eveneens belangrijk aandacht te besteden aan selectie- en aanbestedingsmethoden. Wanneer Europees moet worden aanbesteed, dient bij de aanbesteding duidelijkheid te worden gegeven over de wijze waarop van de kant van de opdrachtgever toelichting wordt gegeven over de aard en inhoud van de opdracht en of (en op welke wijze) in een latere fase ruimte is voor toelichting op de offerte van de kant van geselecteerde opdrachtnemer(s). Dit is temeer van belang omdat bij Europese aanbesteding in de offertefase sprake is van anonieme werkwijze en beperkt (persoonlijk) contact waardoor het risico van uiteenlopende verwachtingen aanwezig is. Ook wanneer geen sprake
is
van
Europese
aanbesteding
omdat
de
opdracht
onder
het
drempelbedrag van de Richtlijn Diensten blijft, is het zinvol te bezien hoe concurrentie en mededinging kan worden vergroot, ook in gevallen waarin bekendheid, ervaring en snelheid van doorslaggevend belang zijn. Het opdrachtgeverschap en opdrachtnemerschap bij adviesopdrachten in een overheidsomgeving kan verder worden geprofessionaliseerd teneinde de opbrengst en kwaliteit van advieswerk verder te vergroten. Te denken valt aan opleidingen
specifiek
gericht
op
professioneel
opdrachtgever-
en
opdrachtnemerschap en aan coaching van beginnende opdrachtgevers en – nemers door ervaren personen. Met name het leren omgaan met opdrachten die noodzakelijkerwijs ambiguïteit bevatten, die complex e processtappen omvatten of die een lastige contex t hebben is voor zowel opdrachtgevers als opdrachtnemers van belang.
Kwaliteit van organisatieadvies bij de rijksoverheid
67
Bijlage a
Lijst van t abellen
Tabel 3.3.1
Performance indicatoren voor adviseurs
Tabel 4.1
Overzicht opdrachten en gehouden interviews
Tabel 4.3.1
Aantal trekkingen per departement
Tabel 5.2.3.1
Overzicht effectiviteitscriteria
Tabel 5.2.3.2
Interviewvragen
Tabel 5.3.1
Omvang bureaus en aantal opdrachten
Tabel 5.3.2
Omvang opdrachten in dagen
Tabel 5.3.3
Omvang opdrachten in budget
Tabel 5.3.4
Percentages omvang budget verdeeld naar categorieën bureaus
Tabel 5.3.5
Niveau van de opdrachtgever en aantal opdrachten
Tabel 6.1
Soorten werk en verdeling van aantallen daarover
Tabel 6.2.1
Mate van belang van effectiviteitscriteria voor het totaal en per rol (algemeen)
Tabel 6.2.2
Rangorde van belang van effectiviteitscriteria (algemeen)
Tabel 6.2.3
Mate van belang van effectiviteitscriteria voor het totaal en per rol (deze opdracht)
Tabel 6.3.1
Aantal gevallen per categorie cijfer voor totaal en per rol
Tabel 6.3.2
Beoordeling per effectiviteitscriterium voor het totaal en per rol
Tabel 6.3.3
Beoordeling per cluster van effectiviteitscriteria en per rol
Tabel 6.4.1
Standaardvragen in de interviews en antwoorden (totaal en per rol)
Tabel 6.4.2.1
Frequenties van motieven voor keuze bureau/ adviseur
Tabel 6.4.2.2
Frequenties van motieven voor keuze bureau/ adviseur per rol
Tabel 6.4.2.3
Frequenties van motieven voor keuze bureau/ adviseur bij wel of geen concurrentie
Tabel 6.4.2.4
Rollen van adviseurs
Tabel 6.4.2.5
Werk van adviseurs
Tabel 6.5.1
Gemiddelden per type opdracht over belang effectiviteitscriteria en rapportcijfers
Tabel 6.5.2
Verdeling soorten werk over categorieën bureaus
Tabel 6.5.3
Percentage budget verdeeld naar categorieën bureaus
Kwaliteit van organisatieadvies bij de rijksoverheid
68
Bij lage b
Lijst van f iguren
Figuur 6.2.1Graf i ek van het bel ang van ef f ect i vit eit scri t eria (al gem een) Figuur 6.2.2 Grafiek van het belang van effectiviteitscriteria per rol (deze casus)
Figuur 6.3
Grafiek van de beoordeling van effectiviteitscriteria per rol
Kwaliteit van organisatieadvies bij de rijksoverheid
69
Bijlage c
Lijst van ‘ f ounders’ van het onderzoek
Andersson Elffers Felix
Ir. C.J.W. Landré
Berenschot b.v.
Drs. L. Geut
CMG Public Sector, Divisie Management Consultancy
Mevr. A. van Rooij
Cap Gemini Ernst & Young
De heer J.H.M. Simons
Nederland b.v GITP International b.v.
Drs. J. Streefkerk mpa
Het Ex pertisecentrum
Drs. E.J. Mulder
KPMG Consulting
Mr. drs. A.J.M. van der Putte
Ordina Public b.v.
Mr. R.J. Haakmeester
PwC Consulting b.v.
Drs. W. Zoeteweij
Twynstra Gudde
Ir. H. Abeln
Ministerie van Sociale Zaken en
Drs. P.W.A. Veld
Werkgelegenheid Ministerie van Volkshuisvesting,
Mevr. drs. M. Sint
Ruimtelijke Ordening en Milieubeheer
Kwaliteit van organisatieadvies bij de rijksoverheid
70
Bijlage d
Gebruikt e f orm at s
f.1
Samenvatting steekproefkader
f.2
Checklist dossierstudie
f.3
Instructie interview
Kwaliteit van organisatieadvies bij de rijksoverheid
71
Bijlage d.1
Sam envat ting st eekproef kader
Organisat ieadvieswerk
Wel
Niet
Adviesopdrachten met als onderwerp: het veranderen van het organiseren van het managen van het ontwikkelen van het implementeren van
Uitbesteed werk: uitzendkrachten interim management opleidingen wervingen
Waarbij bij de start nog geen besluit is genomen door de opdrachtgever over de uitkomst.
Specialistisch advies voor functiegebieden: milieuadvies bouwadvies financieel advies
En waar het gaat om bijdragen van de adviseur aan zowel de uitkomst als het proces.
Wetenschappelijk onderzoek
Beleidsadvies Expertadvies/second opinions
Advies aan individuele medewerkers: assessments individuele coaching begeleidingstrajecten therapie
Kwaliteit van organisatieadvies bij de rijksoverheid
72
Bijlage d 2
In
het
Checklist dossierst udie
dossieronderzoek
wordt
de
opdracht
via
het
opdrachtdossier
gereconstrueerd. Deze reconstructie volgt alle relevante aspecten van het verloop van de adviesopdracht. De beschrijving bevat de verschillende fasen in het adviesproces, gegevens over het totale verloop van de opdracht en eventuele markante punten. De beschrijving vindt plaats aan de hand van een format dat is opgesteld op grond van een theoretisch model.
DOSSIERONDERZOEK Algem ene gegevens Opdrachtgever, Adviesbureau, Tijd, Budget
FASE 1: ENTREE EN CONTRACTERING Eerste cont act(en)
Aanleiding om een adviesbureau in te schakelen?
Aantal en inhoud cont acten
Meerdere bureaus benaderd? En waarom voor dit bureau gekozen?
Cont ract Is er een contract? Ja / nee. Zo ja, wat is vastgelegd over: Wie is de cliënt?, aard van het probleem , doelen, beoogd result aat/ product/ uitkom st , rol van de adviseur, rol van de cliënt , tijdschem a, afspraken t.a.v. prijs. Overige afspraken (steun cliëntorganisatie, vertrouwelijkheid, feedback).
FASE 2: HET VERZAMELEN VAN GEGEVENS EN DIAGNOSE Ident if icat ie probleem
Technisch/ inhoudelijk vaststellen van aanvankelijk probleem : stand van zaken
Hoe wordt erm ee om gegaan, besluit nem en om door te gaan of niet
Rollen van adviseur en cliënt in fase 2
Kwaliteit van organisatieadvies bij de rijksoverheid
73
FASE 2: HET VERZAMELEN VAN GEGEVENS EN DIAGNOSE Gegevensverzam eling
Welk e soort gegevens/ onderwerpen zijn onderzocht
Methoden
van
gegevensverzam eling
(interviews,
vragenlijst,
docum enten,
observatie, eigen ervaring)
Betrokkenen in/ buit en organisatie en uitvoerenden
Herdef iniëring probleem Op welke punten herdefiniëring
FASE 3: FEEDBACK EN PLAN VAN ACTIE Feedback
Wijze van t erugkoppeling en geven van aanbevelingen om t rent diagnose
Aan wie t erugkoppeling
Wanneer en in welke volgorde
Reactie van de cliënt
Bijst ellingen, aanpassingen en besluiten over vervolgtraject
Plan van act ie Activiteiten en interventies
Betrokkenen
Besluit
FASE 4: IMPLEMENTATIE Im plem entat ie
Welk e activit eit en en interventies, op welk organisatie niveau
Sturing en m onitoring m et betrekking tot:
Rolverdeling adviseur/ cliënt
Mijlpalen
Kwaliteit van organisatieadvies bij de rijksoverheid
74
directe
FASE 5: BEEINDIGING OPDRACHT Evaluat ie
Vorm van beëindiging: volt ooiing, voortijdig afbreken, herstart, voortzetting zonder consultant , uitbreiding traject m et consultant
Wanneer en op welke wijze geëvalueerd
Resultaat van evaluatie Is bereikt wat afgesproken is in het contract t.a.v. doelen, resultaten, tijd en kost en ?
Uit breiding
Is sprake van uitbreiding? Zo ja, waarnaar t oe?
Betrokkenheid adviseur
Opnieuw beginnen
Heeft evaluatie geleid tot herstart? Zo ja, wat waren redenen?
Betrokkenheid adviseur
Nieuw contract
Kwaliteit van organisatieadvies bij de rijksoverheid
75
Bijlage d.3
Inst ruct ie int erview
1.
Inleiding
Voor
elke
geselecteerde
adviesopdracht
worden
een
drietal
interviews
gehouden, te weten:
een interview met de opdrachtgever (= de feitelijke og);
een interview met 0, 1 of 2 door de opdrachtgever aangewezen betrokkenen/ slachtoffers (die mogelijk verschillend naar de opdracht en uitvoering kijken);
De
een interview met de betrokken adviseur(s).
agenda
voor
deze
interviews
wordt
gevormd
door
de
volgende
onderwerpen:
In
Validatie van het dossieronderzoek
Onderzoek naar de effectiviteitscriteria
Niveaus van evaluatie
deze bijlage worden
de verschillende onderwerpen
in
meer
detail
uitgewerkt.
2. In
Validatie dossieronderzoek het
dossieronderzoek
wordt
de
opdracht
via
het
opdrachtdossier
gereconstrueerd. Deze reconstructie volgt alle relevante aspecten van het verloop van de adviesopdracht. De beschrijving bevat de verschillende fasen in het adviesproces, gegevens over het totale verloop van de opdracht en eventuele markante punten. De beschrijving vindt plaats aan de hand van een format dat is opgesteld op grond van een theoretisch model. (zie ook bijlage f2) In het interview wordt de dossierbeschrijving voorgelegd aan de opdrachtgever en de adviseur en wordt om eventuele wijzigingen dan wel aanvullingen verzocht. Vervolgens wordt de dossierstudie vastgesteld.
Kwaliteit van organisatieadvies bij de rijksoverheid
76
3.
Onderzoek naar ef f ect ivit eitscrit eria
In dit deel van het interview doen we onderzoek naar de effectiviteiscriteria die de adviseur heeft aangelegd, in het algemeen én voor de opdracht in het bijzonder. Ook vragen we naar de beoordeling van die criteria in de betreffende opdracht.
3.1
Drie clust ers ef f ect iviteit scrit eria
We onderscheiden een drietal clusters effectiviteitscriteria gerelateerd aan de adviesopdracht: a. Formele criteria: deze criteria hebben te maken met de wijze waarop b. het verloop van de opdracht gemanaged wordt; c. Inhoudelijke criteria: deze criteria betreffen de doelen die beoogd zijn; d. Procescriteria: deze criteria gaan over de wijze waarop een opdracht is ingericht.
Form ele crit eria De mate waarin de doelen worden bereikt De mate waarin een oplossing is gevonden voor het probleem De mate waarin deskundigheid van de kant van de adviseur is ingebracht De mate waarin vooraf gest elde t aken worden uit gevoerd De mate waarin het cliëntsysteem participeert in de opdracht De mate waarin vereist e bronnen en middelen worden gebruikt De mate waarin een gegeven tijdpad is gevolgd De mate waarin een gegeven budget is gevolgd
Inhoudelijke crit eria De mate waarin er door het cliënt systeem is geleerd De mate waarin het cliëntsysteem dichter bij een beslispunt is gebracht; de mat e waarin belangen dichter bij elkaar zijn gebracht
Kwaliteit van organisatieadvies bij de rijksoverheid
77
De mate waarin de samenwerking/ sf eer/ wijgevoel is verbet erd; de mate waarin er een bet ere communicatie is De mate waarin het cliëntsysteem doeltreffender/ ef ficiënter/ planmatiger is gaan werken De mate waarin er in het cliëntsysteem beweging/ energie/ creat iviteit / kaderverruiming t ot stand is gebracht
Proces crit eria De mate waarin een specifieke met hode is gebruikt De mate waarin gaandeweg de aanpak wordt ontwikkeld De mate waarin adviseur en cliëntsyst eem gelijkwaardig zijn De mate waarin de adviseur het cliëntsysteem concret e aanwijzingen geef t over wat moet gebeuren De mate van frequente communicatie tussen adviseur en cliëntsyst eem De mate van bet rokkenheid van adviseur en cliëntsyst eem bij het advieswerk
De criteria zijn op kaartjes gezet. In het interview is aan de te interviewen personen het volgende gevraagd:
Geef apart voor de formele, de inhoudelijke en de procescriteria aan welke voor jou (als adviseur/ als opdrachtgever/ als cliënt) in het algemeen belangrijk zijn, welke criteria jij in het algemeen relevant acht. We
scoren
op
de
categorieën:
niet
van
toepassing/ weinig
van
toepassing/ ?/ van toepassing/ sterk van toepassing.
Met betrekking tot deze opdracht. Geef aan welke formele, inhoudelijke en procescriteria in deze opdracht belangrijk/ relevant waren (ongeacht hoe je het criterium beoordeelt). We scoren op de categorieën: niet van toepassing/ weinig
van
toepassing/ ?/ van
toepassing/ sterk
van
toepassing.
Geef voor de criteria uit de categorie ‘ van toepassing’ en ‘sterk van toepassing’ gerelateerd aan deze opdracht nu een rapportcijfer voor elk criterium. In welke mate is er aan dit criterium voldaan in deze opdracht. Rapportcijfer 1 t/ m 10; waarbij 1 laag is en 10 hoog is.
Kwaliteit van organisatieadvies bij de rijksoverheid
78
4.
St andaardvragen
Interviewvragen Mate tevredenheid
van
Leereffecten Effecten m.b.t. implementatie Impact op de organisatie Kosten/baten analyse Andere effecten
A.Entree en contractering Meerdere bureaus benaderd? Waarom dit bureau/deze adviseur benaderd? B. Diagnose en analyse Was er inzicht in de specifieke aard van de organisatie? Wat is de kwaliteit van diagnose en analyse van het probleem? C. Terugkoppeling en feedback Waren de conclusies goed onderbouwd? Was de rapportage/terugkoppeling goed? D. Implementatie Is de analyse/diagnose vertaald in toepasbare conclusies en aanbevelingen? Waren de adviseurs in staat tot implementatie van door hen geadviseerde veranderingen? E. Beëindiging Is geleverd wat was afgesproken? Zou je het opnieuw doen? F. Rol Wat was de rol van de adviseur? Was dat achteraf gezien de meest adequate? Zijn er leereffecten ten gevolge van deze adviesopdrachten? Zo ja, welke? Waren deze beoogd? Is er sprake van effect ten aanzien van de implementatie van het advies/de oplossing? Zo ja, welke? Waren deze beoogd? Heeft de uitvoering van de adviesopdracht impact gehad op de organisatie? Zo ja, tot welke verandering heeft het geleid? Maak zo mogelijk onderscheid naar korte en lange termijn impact. Wat heeft de adviesopdracht/het resultaat voor de organisatie en het werk dat jullie doen betekend? Hoe ligt de kosten/baten verhouding? Welke andere effecten zijn merkbaar?
Kwaliteit van organisatieadvies bij de rijksoverheid
79
Bijlage d4
Form ulier eff ect ivit eit scrit eria respondent
Respondent :
Score
Dat um :
Onder zoeker:
niet
weinig
van
st erk
niet
weinig
van
st erk
van
van
?
t oe-
van
van
van
?
t oe-
van
t oe-
t oe-
passing
t oe-
t oe-
t oe-
passing
passing
passing
passing
passing
passing
t oepassing
Form ele cr it eria A1 Doelen bereikt A2 Oplossing gevonden A3 Ex pert ise adviseur ingebracht A4 Voorafgest elde t aken A5 Part icipat ie cliënt syst eem A6 Vereist e m iddelen en bronnen A7 Tijdpad A8 Budget Inhoud elijke crit eria B1 Geleerd door cliënt syst eem B2 Dicht er bij beslispunt B3 Sam enwerking verbet erd B4 Efficiënt er werken B5 Kaderverruim ing e.d. Proces cr it eria C1 Specifieke m et hode C2 Aanpak gaandeweg ont wikkeld C3 Gelijkw. adviseur/ cliënt syst eem C4 Mat e van concret e aanwijzingen C5 Frequent e com m unicat ie C6 Bet rokkenheid adviseur
1=zeer slecht; 2= slecht;3=ruim onvoldoende;4=onvoldoende;5=matig;6=voldoende;7=ruim voldoende;8=goed;9=zeer goed;10=uitmuntend
Kwaliteit van organisatieadvies bij de rijksoverheid
rapport cijfer 1
Bijlage e
1.
Beschrij vingen van steekproef trekkingen
Minist erie A
De aangeleverde uitdraaien met alle gegevens over de jaren 1999 en 2000 die betrekking hadden op organisatieadvieswerk zijn samen met het hoofd Bureau SG gescreend. Opdrachten die bij lezing van de omschrijving duidelijk buiten het steekproefkader vielen, zijn weggestreept. Dit opschonen van de lijsten is in twee rondes geschiedt. Uiteindelijk bleef een lijst over met 387 relevante opdrachten. Voor dit ministerie hebben we in totaal 3 steekproeven getrokken. De omvang van de steekproeven betrof respectievelijk 10, 4 en 2 dossiers. De redenen waarom een aantal opdrachten niet binnen de steekproef valt zijn:
de werkzaamheden
binnen
de opdracht
zijn
verricht
buiten
de
onderzoeksperiode;
het betreft inhuur van personeel (uitzendkrachten, detachering);
betreft een werkdrukonderzoek met gevoelige persoonlijke informatie (geheim);
is het aanleveren van cijfermateriaal voor een nota;
is een enquête/ onderzoek;
is specialistisch advies;
dossier is onvindbaar.
2.
Minist erie B
De screening van de uitdraaien is gebeurd door de pSG samen met FEZ. Dit leverde een lijst op met 39 relevante organisatieadviesopdrachten. Toen heeft de steekproeftrekking van 10 opdrachten plaatsgevonden. Het 8 e getrokken dossier completeert het totale aantal van 5 benodigde dossiers. De totale lijst bevat 18 opdrachten over 1999 en 21 opdrachten over 2000. De redenen waarom een aantal opdrachten buiten het onderzoekskader vallen zijn:
inhuur van personeel;
dossier is niet meer te traceren het organisatieonderdeel is opgeheven;
onderzoek (analyse van materialen en statistische conclusies).
Kwaliteit van organisatieadvies bij de rijksoverheid
3.
Minist erie C
Samen met het bureau SG is een lijst uitgedraaid uit de financiële systemen, met gegevens die inhuur van ex ternen zouden betreffen. De lijst telde 42 pagina’s en 583 opdrachten. Er is een eerste steekproef getrokken van 20 opdrachten. De steekproef was zo groot omdat bij het Ministerie de verwachting bestond dat de lijsten enorm vervuild waren. De eerste steekproef levert 4 onderzoekscases op. Vervolgens is een tweede steekproef getrokken van 7 dossiers. Alle dossiers vallen buiten het onderzoekskader. Daarop hebben de onderzoekers een derde steekproef van 6 dossiers getrokken. Het laatste dossier levert de laatste benodigde casus. De redenen om opdrachten buiten de steekproef te laten vallen waren bij dit ministerie zijn:
is interim- management of inhuur personeel;
is specialistisch advies;
opdracht valt buiten het tijdsbestek van het onderzoek;
dossier is onvindbaar;
is overige zakelijke dienstverlening (onderhoud website);
is onderzoek (literatuurstudies);
betreft een vaardigheidstraining.
4.
Minist erie D
De lijst is opgesteld door BSG en het bedrijfsbureau. De lijst is sprokkelend tot stand gekomen. De lijst bevat 48 adviesopdrachten over 1999 en 2000. Toen heeft de eerste steekproeftrekking van 10 opdrachten plaatsgevonden. Dit leverde 4 geschikte dossiers op. Een tweede steekproeftrekking van 3 ex tra opdrachten leverde geen geschikt dossier op. Een derde steekproef van nog eens twee opdrachten completeerde de vijf dossiers al bij het eerste dossier. Dus we hebben 14 opdrachten moeten lichten om 5 geschikte dossiers over te houden. De redenen voor het afvallen van dossiers zijn:
betreft specialistisch advies;
er is een opdrachtbrief geschreven en er is een opdracht verstrekt maar het ministerie heeft geen gebruik gemaakt van het bureau;
is onderzoek (literatuurstudie);
is inhuur personeel.
Kwaliteit van organisatieadvies bij de rijksoverheid
82
5.
Minist erie E
Na overleg met de directeur P&O en een interne organisatieadviseur is een lijst opgesteld van mogelijke onderzoeksopdrachten. De lijst is tot stand gekomen na een snelle inventarisatie vanuit de registratie zoals deze door de directies aan de financiële directie werden toegezonden. De lijst bevat 27 opdrachten. De eerste steekproef van 10 dossiers levert één te onderzoeken casus op. De tweede steekproef is vier dossiers groot, maar levert geen casus op. Vanwege het verstrijken van de onderzoeksperiode zijn de onderzoekers er niet in geslaagd vijf relevante dossiers te vinden.
De redenen voor uit sluit en van opdracht en zijn:
6.
opdracht uitgevoerd door ander onderdeel rijksdienst;
opdracht uitgevoerd door eigen personeel;
wetenschappelijk onderzoek;
betreft specialistisch advies.
Minist erie F
Het ministerie heeft na een vooroverleg met hoofd bedrijfsbureau een lijst opgesteld van alle inhuur over 1999 en 2000. Aan de hand van de omschrijvingen en de kennis vanuit de organisatie over de opdrachten is een tweede screening toegepast. De oorspronkelijke lijst van 79 opdrachten is toen teruggebracht tot een zuiverder lijst met 22 organisatieadviesopdrachten. Uit de eerste lijst zijn de ‘handjes’- opdrachten, softwareachtige diensten en interim
opdrachten
verwijderd.
We
hebben
vervolgens
een
steekproef
we de vijf
benodigde
getrokken van 8 dossiers. Bij
het
lichten
van
het
vijfde dossier
hadden
onderzoekscases verzameld. Bij dit ministerie hebben we geen opdrachten hoeven uitsluiten.
7.
Minist erie G
Bureau SG en de centrale directie informatievoorziening hebben na overleg per sector lijsten uitgedraaid uit het financiële systeem. Dit levert in totaal 190 items inhuur ex ternen op (Omdat het systeem alleen rekeningen uitdraait moesten sommige items door onderzoekers in samenspraak met medewerkers van het ministerie worden samengevoegd). De eerste steekproef betrof 15 dossiers. De tweede steekproef 5 dossiers. De eerste steekproef leverde 4 relevante casus op. Het tweede dossier uit de
Kwaliteit van organisatieadvies bij de rijksoverheid
83
tweede steekproef completeerde voor dit ministerie het benodigde aantal van vijf dossiers. De redenen om opdrachten uit te sluiten zijn:
inhuur personeel;
wetenschappelijk onderzoek;
specialistisch advies;
individuele coaching;
afnemen vragenlijst en verwerken resultaten.
8.
Minist erie H
Een interne organisatieadviseur heeft alle directies van het ministerie benaderd en verzocht opgave te doen van de inhuur van ex ternen over 1999 en 2000. Dit heeft een totaal lijst van 24 opdrachten opgeleverd. We hebben in totaal 12 dossiers moeten lichten om 5 geschikte dossiers over te houden. De redenen waarom opdrachten afvallen, zijn:
inhuur personeel;
voorbereiding onderzoek;
specialistisch advies.
9.
Minist erie I
De lijst met afgeronde adviesopdrachten over 1999 en 2000 bij dit Ministerie bevat 5 opdrachten. Bij bestudering van de lijst met de definitie uit het onderzoek, blijft er slechts een dossier over. De overige dossiers vallen af want deze betreffen specialistisch advies en inhuur personeel.
10.
Minist erie J
Dit Ministerie heeft per DG en via aangestelde contactpersonen de lijst voor adviesopdrachten opgesteld. Dit heeft geresulteerd in een groslijst van 118 adviesopdrachten over 1999 en 2000. In 2000 zijn 53 opdrachten uitgezet en in 1999 65 opdrachten. De onderzoekers hebben vervolgens een steekproef getrokken van 10 dossiers, om 5 passende dossiers voor onderzoek over te houden. De redenen om dossiers uit te sluiten zijn:
opdracht valt buiten het tijdsbestek(1999- 2000) van het onderzoek;
Kwaliteit van organisatieadvies bij de rijksoverheid
84
betreft inhuur personeel, uitbesteding;
betreft beleidsonderzoek.
11.
Minist erie K
Het Ministerie heeft na een vooroverleg met hoofd Bureau SG en een senior beleidsadviseur
een
uitdraai
aangeleverd
met
alle
afgeronde
organisatieadviesopdrachten over 1999 en 2000. De lijst zag er bij eerste bestudering heel zuiver uit, dus we hebben geen tweede screening toegepast. We hebben vervolgens een steekproef getrokken van 8 dossiers. De groslijst telde 59 adviesopdrachten over beide jaren. Uit de lijst van 59 opdrachten hebben we een steekproef van 7 dossiers moeten trekken om 5 adequate dossiers te vinden. De redenen om dossiers uit de steekproef voor dit ministerie uit te sluiten zijn:
interim management;
een cursus.
12.
Minist erie L
Het Mini st erie heef t vanuit het bureau SG een lij st opgest eld van all e aangegane verplicht ingen m et ex t ernen. Het bet ref t ui t draai en ui t het f inanciële syst eem . De onderzoek ers hebben hiervan een overzicht slij st opgest eld. De l ij st is in overleg m et BSG li cht eli j k opgeschoond. De overzicht sl ij st bevat 69 opdracht en. We hebben vervolgens een steekproef getrokken van 9 dossiers, om 5 passende dossiers voor onderzoek over te houden. De redenen waarom voor dit ministerie opdrachten afvallen, zijn:
13. De
opdracht betreft individuele training en coaching;
een niet meer te traceren dossier en verplichting
betreft inhuur personeel;
betreft leveren kengetallen voor een onderzoek.
Minist erie M financiële
directie
van
dit
Ministerie
heeft
op
basis
van
de
onderzoeksdefinitie een lijst opgesteld met afgerond advieswerk over 1999 en 2000. Dit heeft geresulteerd in een groslijst van 19 adviesopdrachten over 1999 en 2000.
Kwaliteit van organisatieadvies bij de rijksoverheid
85
We hebben vervolgens een steekproef getrokken van 8 dossiers. Om 5 te onderzoeken dossiers te vinden hebben we 6 dossiers moeten lichten. In de steekproef voor dit ministerie wordt één dossier uitgesloten omdat het geen
advieswerk
betreft
maar
het
optreden
als gespreksleider
zonder
inhoudelijke inbreng in een bijeenkomst.
Kwaliteit van organisatieadvies bij de rijksoverheid
86
Bijlage f
Vignet s: beschrijvingen van alle opdracht en
1. Vanuit de departementsleiding is aangegeven dat de organisatie van de primaire processen binnen het departement en met name de ondersteuning door documentaire informatievoorziening daarvan, voor verbetering vatbaar is. Binnen een directie van het departement lopen verschillende projecten die hier reeds mee te maken hebben. De adviseur wordt gevraagd een plan van aanpak op te stellen voor de reeds lopende projecten, een vooronderzoek uit te voeren naar de primaire processen
en
te
bepalen
welke
ondersteuning
door
documentaire
informatievoorziening gewenst is. Naast het doen van het onderzoek wordt de adviseur ook gevraagd ondersteuning te bieden aan de stuurgroep en de interne projectmanager. Als vervolg op het vooronderzoek wordt de adviseur gevraagd een verbeterplan op te stellen. De adviseur stelt als eerste stap een communicatieplan op, waarin hij vastlegt wie op welk moment over de voortgang van het project geïnformeerd wordt. Vervolgens legt hij de primaire processen in de organisatie vast en beschrijft hij
de
documentaire
informatievoorziening.
Dit
gebeurt
op
basis
van
documentenstudie en interviews met betrokkenen. De adviseur identificeert de knelpunten binnen de informatievoorziening en bepaalt naar aanleiding van de interviews welke ondersteuning vanuit de primaire processen gewenst en nodig is ten behoeve van de primaire processen. De resultaten van deze inventarisatie legt
de adviseur voor aan een
klankbordgroep. In een verbeterplan presenteert de adviseur een visie op de documentaire informatievoorziening en de ondersteunende functie hiervan voor het primaire proces. Van de in de inventarisatiefase uitgevoerde nulmeting worden normen afgeleid. Het verbeterplan bevat concrete verbeteracties voor de korte- , middellange en lange termijn en een aantal suggesties voor te starten pilots.
2. De opdracht betreft het uitvoeren van een evaluatie naar de concentratie van specialistische diensten. In fase 1 zijn voor een tweetal
directies de
specialistische afdelingen geconcentreerd. Alvorens nu over te gaan tot een concentratie van de overige specialistische afdelingen heeft de opdrachtgever
Kwaliteit van organisatieadvies bij de rijksoverheid
87
behoefte aan een evaluatie van de eerste fase en het toetsen van draagvlak voor een verdere concentratie. De aanpak van de adviseur concentreert zich rondom het beantwoord krijgen van een aantal vragen. De vragen betreffen de ambities van de directie en in hoeverre de ambities zijn waargemaakt of alsnog waargemaakt kunnen worden. Het betreft de communicatie, afstemming en sturing tussen directie en diensten. Ook de ervaringen van de klanten van de afdelingen worden onderzocht. Voorts wordt door de adviseur gekeken naar de mate van centralisatie en
decentralisatie en
de vertaalslag
van
naar
de interne
met
betrokkenen
organisatie. De
adviseur
voert
een
honderdtal
interviews
en
opdrachtgevers/ klanten van de directie. Daarnaast houdt de adviseur een enquête onder klanten. Tevens voert de adviseur procesaudits uit. Het resultaat van de opdracht is een eindrapport waarin de bevindingen en aanbevelingen worden gepresenteerd. De adviseur heeft ook verschillende presentaties gehouden om de resultaten te verspreiden onder de betrokkenen.
3. Binnen het DG lopen een tweetal reorganisaties. In het andere traject zijn adviseurs betrokken, in dit traject niet. De ambtelijke leiding besluit ook in dit traject ex ternen te betrekken. Het traject betreft het integreren van een aantal afdelingen tot een nieuwe directie. De adviseur is gevraagd een adviserende rol te vervullen in de organisatieontwikkelingtrajecten bij de vorming van de nieuwe directie. De beleidsvoornemens moeten worden omgewerkt naar organisatie- en formatierapporten. De
adviseur
ondersteunt
de
werkgroepjes
in
het
schrijven
van
organisatierapporten voor een drietal deelterreinen. Per deelterrein worden werkgroepjes gevormd die de adviseur begeleidt. De adviseur bereidt hiertoe een startbijeenkomst voor die hij tevens bijwoont. Hij adviseert bij de inhoudelijke en procesmatige voorbereiding en begeleiding van een 2 daagse conferentie om alle resultaten in samenhang te bespreken. Daarnaast adviseert hij inhoudelijk bij het opstellen van organisatierapporten per deelterrein. Het resultaat is een eindrapport in de vorm van een organisatierapport dat de uitvoering van het werk, de aspecten ‘personeel, informatie, organisatie, financiën, automatisering en huisvesting’ , en “Beleid, financiën en informatie “ behandelt.
Kwaliteit van organisatieadvies bij de rijksoverheid
88
4. Sinds een aantal maanden zijn alle vacatures vervuld en is de staf van een directie compleet. De nieuwe staf moet als team gaan functioneren. De kwaliteiten van de teamleden moeten in kaart worden gebracht en gezamenlijk moet gekeken worden hoe de individuele teamleden en het team zich verder gaan ontwikkelen. De
vraagstelling
luidt:
Verzorg
de
teambegeleiding
en
adviseer
het
managementteam bij haar interne veranderingstraject. De adviseur heeft een aanpak voorgesteld met een voorbereidingsfase waarin het team nader gedefinieerd wordt in termen van rollen, capaciteiten en ambities. Vervolgens start een leerfase waarin de individuele leden kunnen ontwikkelen in de gewenste rol en tenslotte een fase van Doen, waarin de ontwikkelingen geëvalueerd en verder vervolgd worden. De voorbereidingsfase heeft
plaatsgevonden
tijdens
een
conferentie
met
het
voltallige
managementteam. De conferentie is op voornoemde thema’s voorbereid in nauwe samenwerking met de medewerkers en gefaciliteerd door de adviseur. De adviseur heeft een verslag gemaakt over de resultaten van de bijeenkomst met het managementteam.
5. Voor een
stafafdeling geldt dat er beleidsontwikkelingen zijn waardoor de
taken verschuiven en zwaarder worden. Deze beleidsontwikkelingen zijn bekend. Er moet
nu een concrete organisatie worden ontworpen met
bijbehorende formatie (in aantallen en kwaliteit). Aangezien dit een onderwerp is dat in de afdeling gevoelig ligt, wordt besloten ex tern advies te vragen. De adviseur wordt gevraagd de nieuwe taken en verantwoordelijkheden te omschrijven, een advies te geven over de inrichting van de organisatie en uit te werken wat dit betekent voor de formatie, in kwantiteit en kwaliteit. De adviseur bestudeert interne documenten, houdt interviews met betrokkenen en materiedeskundigen buiten de afdeling, bespreekt het concept rapport met de opdrachtgever en brengt daarna het definitieve rapport uit. Na het uitbrengen van het advies wordt een standpunt geformuleerd door de opdrachtgever. Dat standpunt wordt samen met het advies gestuurd naar de ondernemingsraad. Na goedkeuring wordt de nieuwe organisatie ingevoerd.
6. De directie bevindt zich in een groot veranderingsproces. De opdrachtgever onderkent de mogelijkheid om in deze fase van het proces het zicht te
Kwaliteit van organisatieadvies bij de rijksoverheid
89
verliezen op de reguliere activiteiten, de activiteiten in het kader van het veranderingsproces en de samenhang tussen beide. Een plan dat deze activiteiten uitvoerig beschrijft helpt de directie beter zicht te krijgen op wat er zich afspeelt binnen de totale organisatie en helpt eventuele ‘witte vlekken’ zichtbaar te maken. De opdracht betreft het opstellen van een organisatie- en bedrijfsvoeringplan voor een directie. De adviseur stelt een coproductie met de betreffende afdeling voor. Er wordt een kernteam met zowel de adviseur als leden van de directie opgericht. De adviseur bestudeert de beschikbare documenten. Daarnaast worden een vijftal workshops georganiseerd met het kernteam om de reguliere activiteiten in beeld te krijgen. Het resultaat is een bedrijfsvoeringplan opgesteld door de adviseur dat de activiteiten voor de primaire en ondersteunende processen beschrijft in een meerjarig perspectief. Daarnaast wordt de beheersing, communicatie en realisatie van het veranderingsproces beschreven.
7. Binnen het departement wordt overwogen om de inhuur van uitzendkrachten uit te besteden aan derden, om het intern te centraliseren of om het te laten zoals het nu is, dat wil zeggen ieder onderdeel doet het zelf in overleg met P & O. De vraag aan de adviseur is: breng de actuele praktijk in kaart binnen het departement met betrekking tot inhuur van uitzendkrachten; wat zijn de ervaringen
hierbij van medewerkers en dienstverleners; wat zou je ons
aanbevelen als constructie voor de toekomst? De
adviseur
bestudeert
beschikbaar
materiaal.
Voert
gesprekken
met
medewerkers die uitzendkrachten inhuren. Voert gesprekken met onderdelen die uitzendkrachten hebben. Doet een ‘ quick scan’ bij andere departementen die een nieuwe constructie gemaakt hebben. Doet een ‘quick scan’
bij
uitzendbureaus en stelt ten slotte een rapport op. In dat rapport staan een aantal alternatieven geschetst met voor- en nadelen.
8. Het departement heeft een aantal werkgroepen ingesteld om een besparing op de inkoop te genereren. Een van de werkgroepen heeft een rapportage opgesteld waarin een analyse van de inkoopfunctie is gegeven. De formele
Kwaliteit van organisatieadvies bij de rijksoverheid
90
opdrachtgever vindt het van belang de rapportage ex tern te legitimeren bij inhoudelijke deskundigen. De ambtelijke leiding van het departement acht een second opinion op de rapportage gewenst en vraagt de adviseur een ex pertvisie te geven op het document. De
adviseur
leest
de
rapportage
en
formuleert
vervolgens
de
eigen
bevindingen in een notitie. De
adviseur
onderschrijft
in
hoofdlijnen
inkoopfunctie binnen het departement.
de
herpositionering
van
de
Daarnaast vraagt de adviseur ook
aandacht voor de financiële, organisatorische en personele consequenties van de verandering. De second opinion bevestigt de ingezette lijn. Vervolgens is door het departement zelf een plan van aanpak geschreven om de verandering in gang te zetten.
9. Bij een directie zijn een aantal tekortkomingen
geconstateerd in financieel
beheer. Daar moet verbetering in komen. De adviseur wordt gevraagd om:
de financiële processen vast te stellen (vooral ‘interfaces’ );
de taken, verantwoordelijkheden en bevoegdheden daarbij te omschrijven.
Belangrijk is dat medewerkers meewerken met de adviseur en van hem leren naar de eigen processen te kijken en beter met elkaar te communiceren. De adviseur werkt veelvuldig met workshops met deelnemers uit de directie. Medewerkers Organisatie.
schrijven De
bewustwording
bijdragen
adviseur bij
aan
coördineert
het de
medewerkers optreedt
handboek
bijdragen. van wat
Administratieve
Belangrijk
is
dat
financiële processen
inhouden en hoe ze samenhangen. Wekelijks is er terugkoppeling van de adviseur aan de opdrachtgever.
10. In een onderdeel van het departement wil men de ontwikkeling van de organisatie en medewerkers in gang zetten om aan te kunnen (blijven) sluiten bij de veranderde strategie van dit onderdeel. Gekozen wordt voor een aanpak waarbij competentiemanagement een belangrijke rol speelt. De adviseur wordt gevraagd om inhoudelijk en procesmatig een rol te spelen.
Kwaliteit van organisatieadvies bij de rijksoverheid
91
Eerst worden er competentieprofielen opgesteld die passen bij de toekomst van de organisatie. Die profielen worden uitvoerig bediscussieerd en door de adviseur opgeschreven. Vervolgens wordt er door middel van 360 graden feedback gekeken welke competenties per afdeling en per persoon aanwezig zijn. Daarna wordt per afdeling en per individu een ontwikkelingsplan opgesteld. In deze laatste twee fasen verricht de adviseur hand- en spandiensten (terugkoppeling gegevens) en adviseert de leiding bij het uitvoeren van het proces. De vorderingen met betrekking tot het ontwikkelingsplan worden daarna getoetst. Hierbij is de adviseur niet betrokken.
11. Het departement voert een nieuwe vorm van personeelsmanagement in. Om de precieze werking van deze manier van personeelsmanagement te ex ploreren worden een tweetal pilots bij organisatieonderdelen gestart. Voor de pilot is behoefte aan een instrument
dat
er
voor zorgt
dat
medewerkers en
leidinggevenden op een gestructureerde wijze feedback kunnen verkrijgen uit hun omgeving gerelateerd aan de eisen die hun functie aan hen stelt. De
adviseur
wordt
gevraagd
een
instrumentarium
te
ontwerpen
dat
ondersteunt in het inschatten van de huidige en nog te ontwikkelen kwaliteiten van medewerkers. De adviseur start met het uitwerken van scenario’ s voor het verkrijgen van feedback. Deze scenario’ s bespreekt hij met de begeleidingsgroep, waarin zowel de opdrachtgever als de betrokkenen vanuit de pilotorganisatie zijn vertegenwoordigd. Vervolgens ontwerpt de adviseur een prototype van het instrument
en
worden
allerlei
procedures
voor
het
gebruik
van
het
instrumentarium ontwikkeld. Het prototype wordt met vertegenwoordigers van de pilot- organisaties getoetst. De adviseur presenteert de resultaten aan de stuurgroep en adviseert over de invoering van het instrumentarium in het kader van het nieuwe personeelsmanagement.
12. Binnen het departement zijn discussies gaande over de functie en organisatie van de dienst waar deze afdeling onderdeel van uitmaakt. Om zich voor te bereiden op de dienstbrede discussies wenst de leiding van de afdeling de strategische en operationele doelstellingen te actualiseren en aan te scherpen.
Kwaliteit van organisatieadvies bij de rijksoverheid
92
De vraagstelling luidt: Voer een onderzoek uit naar de positionering van het organisatieonderdeel door te spreken met afnemers, samenwerkingspartners en sleutelfiguren. De adviseur bestudeert en analyseert het aanwezige schriftelijke materiaal. Daarnaast maakt de adviseur gebruik van zijn eerdere ervaringen met het betreffende organisatieonderdeel. De adviseur stelt een vragenlijst op die in gesprekken
door
de
adviseur
wordt
afgenomen
bij
afnemers,
samenwerkingspartners en sleutelfiguren. De resultaten van de gesprekken worden door de adviseur gebruikt als input voor een werkconferentie. Alle medewerkers van het organisatieonderdeel nemen tijdens de werkconferentie deel aan de discussies over de bevindingen uit de door de adviseur gehouden interviews. Het eindresultaat van de opdracht is een rapport van de hand van de adviseur over de strategische en operationele doelstellingen van de afdeling, inclusief een positioneringonderzoek.
13. Er is op het departement behoefte aan scenario’s op een beleidsterrein dat meerdere departementen raakt. Eén departement heeft het voortouw en trekt een ex terne adviseur aan. De vraagstelling luidt: ontwikkel scenario’s: wat is de huidige situatie en wat de toekomstige gewenste situatie ten aanzien van een aantal inhoudelijke aspecten. Kom met beleidsaanbevelingen en randvoorwaarden die door de overheid, bedrijfsleven en maatschappelijke organisaties uitgevoerd kunnen worden. Er vinden interviews plaats op verschillende departementen. Er is een stuurgroep (van vertegenwoordigers van verschillende departementen), die regelmatig bijeenkomt om het groeidocument te bespreken. De adviseur worden geholpen door medewerkers van het betreffende onderdeel. Het eindrapport valt onder de verantwoordelijkheid van de adviseur. Het rapport wordt met een begeleidende brief integraal aangeboden aan de Tweede Kamer.
14. Het departement maakt zich zorgen om de kwaliteit van het werk dat buitenorganisaties namens de staat verrichten op een specifiek beleidsterrein. Opdrachtgever heeft daarom besloten een begeleidings- en cursustraject op te starten om de buitenorganisaties een ISO certificaat te laten verwerven.
Kwaliteit van organisatieadvies bij de rijksoverheid
93
Het departement heeft het traject eerst intern begeleid, maar dit verloopt niet voorspoedig genoeg. Er wordt besloten ex terne ex pertise in te huren om de buitenorganisaties in het ISO- traject op te leiden en te begeleiden. De adviseur heeft samen met de buitenorganisaties een inspanningsverplichting opgesteld om een basis voor samenwerking te scheppen. De adviseur is een proefproject gestart met een van de buitenorganisaties. De adviseur beschrijft samen met een werkgroep de processen in de organisatie en legt deze vast in protocollen. Dit gebeurt in een serie bijeenkomsten met tussentijdse individuele begeleiding. Vervolgens heeft de adviseur het traject met de overige organisaties vervolgd. Het resultaat van het traject is te omschrijven als een organisatie die voorbereid is om geaudit te worden met als doel het ISO- certificaat te behalen. Inmiddels hebben 3 ex terne partijen het ISO- certificaat behaald.
15. In voorgaande jaren hebben zich regelmatig problemen voorgedaan in de aansturing van de afdeling. Een oplossing wordt tweemaal gezocht in het benoemen van een nieuw ex tern afdelingshoofd. De problemen worden daarmee echter niet opgelost. Het vertrek van vier nieuw aangestelde medewerkers na een kort dienstverband vormt voor de directeur aanleiding een
onderzoek
te
laten
verrichten
naar
de
oorzaken
en
mogelijke
oplossingsrichtingen. Vraagstelling: Lever begeleiding bij het inventariseren van maatregelen voor een verbetering van de werksfeer en doe voorstellen voor de wijze waarop de afdeling met de geschetste maatregelen aan de slag kan. De adviseur organiseert een individuele gespreksronde met de medewerkers van de afdeling. De resultaten van de gespreksronde rapporteert hij aan het hoofd van de afdeling. Daarna volgt een bijeenkomst waarin de resultaten door de adviseur gepresenteerd worden aan alle medewerkers. Het verloop van de bijeenkomst vormt voor de adviseur aanleiding voor een gesprek met de formele opdrachtgever (de directeur). De adviseur stelt een rapport op met de bevindingen over de situatie binnen de afdeling en mogelijke aangrijpingspunten en maatregelen voor verbetering. De bevindingen zijn een samenvatting van datgene dat door medewerkers, vertrokken medewerkers, het hoofd en ex ternen buiten de afdeling is gezegd.
Kwaliteit van organisatieadvies bij de rijksoverheid
94
16. Het betreft een stafafdeling. Er wordt overwogen om bepaalde activiteiten van die afdeling te outsourcen. De vraag is of dat haalbaar is en hoe dat dan zou moeten. De vraagstelling aan de ex terne adviseur valt in twee achtereenvolgende fasen uiteen:
eerst een quick scan over de haalbaarheid van outsourcen van enkele activiteiten;
indien dat positief zou zijn: hoe moet dat dan?
Een projectteam bestaande uit twee medewerkers en twee adviseurs hebben alle activiteiten geanalyseerd
op
een aantal
aspecten zoals uniekheid,
uitbesteedbaarheid e.d. De adviseurs brengen daar veel materiekennis in en kennis van andere organisaties. Dit resulteert in een rapport (projectplan) van de adviseurs over de aspecten die in de vervolgfase nader onderzocht moeten worden. Deze fase wordt met dat gedetailleerde projectplan afgesloten. In de tweede fase wordt gedetailleerd gekeken naar bepaalde activiteiten. Medewerkers
krijgen
van
de
adviseurs
opdrachtjes
om
processen
te
beschrijven volgens bepaalde richtlijnen en gegevens te verzamelen. De oorspronkelijke opdracht ‘verschuift’ van een beslissing van wel of niet outsourcen naar het op orde brengen van het onderdeel, het beschrijven van processen en procedures en het professionaliseren van medewerkers. Dit gebeurt in goed overleg tussen opdrachtgever en adviseur. De adviseur gebruikt procesvormen als workshops, data review en dergelijke. De adviseur heeft een eindrapport gemaakt voor de opdrachtgever over de resultaten en de verdere voortgang. Hij heeft presentaties gegeven aan het management en personeel. Intern is er veel verbeterd: processen beschreven, professioneler geworden, inhoudelijk wijzer geworden. De beslissing voor outsourcen is niet genomen.
17. In
een
eerdere
reorganisatie
is
getracht
de
werkprocessen
van
dit
organisatieonderdeel effectiever en efficiënter vorm te geven en de organisatie te herstructureren. De reorganisatie is echter afgeblazen. De wens om de veranderingen door te voeren blijft. Inmiddels zijn de omstandigheden en de sfeer
binnen
het
onderdeel
enorm
verslechterd
en
is er
sprake van
ontoelaatbare praktijken. De onderzoeksvraag luidt: “Hoe dienen de werkprocessen en de besturing daarvan (op hoofdlijnen), de organisatiestructuur en de formatie eruit te zien, uitgaande van de toekomstige taken van het organisatieonderdeel en rekening
Kwaliteit van organisatieadvies bij de rijksoverheid
95
houdend met een eventuele onderbrenging van het onderdeel in een grotere zelfstandige eenheid.” Het advies moet een houtskoolschets bevatten voor een efficiëntere en effectievere vormgeving van de organisatie. Relevant materiaal verzameld door de opdrachtgever wordt door de adviseur bestudeerd en geanalyseerd. De huidige structuur van de organisatie wordt door de adviseur beschreven en voorgelegd aan de organisatie. Een lijst van te interviewen personen wordt in samenspraak met een klankbordgroep door de adviseur opgesteld en de adviseur houdt de interviews. De interviews zijn gericht op de processen zoals ze vorm moeten krijgen in de nieuwe organisatie. Daarnaast zijn de interviews bedoeld om de spanningen die in de organisatie leven bespreekbaar te maken en daarmee te werken aan het verbeteren van de sfeer. De resultaten van de analyse en de interviews worden besproken
in
een
werkconferentie met
het
managementteam
van
het
onderdeel en staat onder leiding van de adviseur. Vervolgens schrijft de adviseur de resultaten op in een eindrapport. De
adviseur
heeft
tussentijds
intensief
contact
onderhouden
met
de
opdrachtgever over de observaties. De adviseur levert een organisatierapport waarin de taken van het onderdeel worden beschreven. De primaire processen van de organisatie worden vastgesteld. Er wordt een organisatiestructuur op hoofdlijnen weergegeven en de
benodigde
toekomstige
formatie
wordt
uitgewerkt.
De
door
de
opdrachtgever en zijn organisatie te nemen beslissingen worden beschreven.
18. Het departement wil over de hele breedte een nieuwe managementfilosofie introduceren en doen beklijven. Men kiest (naast andere dingen) voor de ontwikkeling en uitvoering van een intensief opleidingenprogramma. De vraagstelling is: het ondersteunen van het departementale projectteam in het opstellen van het plan voor de opleidingen. Daarna moet de adviseur de opleidingen ook ontwikkelen, maar dat valt buiten dit kader. De adviseur doorloopt de volgende stappen: opleidingsdoelen vaststellen, doelgroepen vaststellen, bepalen van curriculum en werkvormen. Tezamen vormen deze het plan. Het werk is verricht onder toezicht van een projectteam, die formeel alle beslissingen nam op de voorstellen van de adviseur.
Kwaliteit van organisatieadvies bij de rijksoverheid
96
19. Een gemeente heeft bij een kenniscentrum van het departement een verzoek om subsidie ingediend. Het kenniscentrum heeft echter behoefte aan een objectieve beoordeling van de plannen op haalbaarheid, duurzaamheid en continuïteit. De vraagstelling luidt: Voer een quick scan uit naar de kwaliteit van het plan, waaronder de financiële aspecten van het plan. Doe daarnaast suggesties voor alternatieven of verbeteringen in de procesgang en organisatievorm. De opdracht staat onder grote tijdsdruk want de Ministerraad moet op korte termijn
over
de plannen
geadviseerd
worden.
De adviseur
heeft
alle
beschikbare documenten over de case (tientallen) bestudeerd. Vervolgens heeft hij, gebruikmakend van zijn eigen ex pertise een second opinion gegeven op het voorliggende plan. Het concept plan en het definitieve plan zijn door de opdrachtgever met de adviseur doorgesproken. De
adviseur
levert
een
rapport
met
een
globale
toets
van
de
planuitgangspunten en suggesties voor verbetering van het plan. De adviseur geeft advies aan de rijksoverheid over hoe te handelen in het vervolg. Het rapport is bedoeld als input voor een beleidsstuk aan de Ministerraad dat door de opdrachtgever zelf wordt geschreven.
20. Het betreffende organisatieonderdeel staat voor grote veranderingen. Een nieuwe Directeur
Generaal, verbeterings-
en
bezuinigingsoperaties, een
grotere beheersmatige zelfstandigheid ten opzichte van het departement en een interne organisatie die niet voldoet. Aan het adviesbureau wordt gevraagd in deze fase een advies uit te brengen over de wenselijke topstructuur van het organisatieonderdeel. Binnen het ministerie en het organisatieonderdeel bestaan reeds duidelijke ideeën over de topstructuur. De adviseur spreekt zich in de opstartfase uit over zijn visie op de huidige organisatie. Hij vindt dat verbetering van management en bestuur nodig is omdat de top te breed is, de staven te versnipperd en er in de organisatie te veel sprake is van eilandvorming. De verankering binnen en de communicatie met het departement vraagt aandacht. De adviseur voert een inventarisatie uit naar de situatie en problematiek binnen de organisatie. Dit doet hij door documenten te bestuderen en interviews te houden met betrokkenen uit de organisatie. Op basis van de inventarisatie ontwikkelt de adviseur modellen voor mogelijke topstructuren.
Kwaliteit van organisatieadvies bij de rijksoverheid
97
Vervolgens formuleert hij zijn advies over de wijze waarop de topstructuur het best vorm gegeven kan worden. De adviseur leggen de verschillende concepten voor aan de opdrachtgever. De resultaten worden uiteindelijk in een eindrapport gepresenteerd aan de opdrachtgever.
21. Enkele jaren geleden is er een beleidsoverleg ingesteld om de veranderingen en
ontwikkelingen
ten
aanzien
van
informatiebeleid
in
een
specifiek
beleidsveld te volgen. De opdrachtgever wil evalueren of dit beleidsoverleg door het veld en het ministerie gezien wordt als het meest geschikte platform voor overleg over informatiebeleid. Ook verzoekt de opdrachtgever om voorstellen voor het verbeteren van het functioneren en vraagt advies over de inrichting van het platform. De adviseur voert een documentenstudie uit. De verzamelde informatie wordt door de adviseur geanalyseerd en verwerkt tot een interviewopzet. Vervolgens voert de adviseur een serie interviews uit met de deelnemers aan het overleg en met beleidsbepalers uit de omgeving van het overleg. De voorlopige bevindingen van de adviseur worden tussentijds aan de opdrachtgever teruggekoppeld. De adviseur vervolgt de werkzaamheden met het analyseren van de resultaten van het onderzoek en velt een oordeel over het functioneren van het beleidsoverleg. De adviseur stelt een eindrapport op met de bevindingen op hoofdlijnen, met het gevraagde oordeel over het functioneren en met adviezen over de aard, inhoud en inrichting voor de komende jaren.
22. Het departement kent een zeer gefragmenteerde inkoopfunctie. Er is een decentrale uitvoering. Er is wel een centraal centrum dat de budgethouders adviseert en de uitvoering monitort. De behoefte aan controle op de inkoop is toegenomen. Het is echter eerst nodig om inzicht te krijgen in de stand van zaken. Vraagstelling aan de adviseur is tweeledig:
genereer inzicht in wat door wie, bij wie en voor wie wordt ingekocht;
identificeer mogelijke verbeterpunten en besparingen in de inkoopfunctie.
Kwaliteit van organisatieadvies bij de rijksoverheid
98
De adviseur werkt in twee stappen: eerst doet hij een verkenning, praat met ex perts en doet een voorstel voor vervolgstappen. Daarna volgt het eigenlijke onderzoek, met advies en eindrapport. De gegevens worden verzameld met behulp van een tweetal software- instrumenten. Het rapport bevat ook een kwantitatief overzicht van inkoop. Daarnaast aanbevelingen voor een nieuwe organisatie van de inkoopfunctie.
23. Een aantal instellingen is verzelfstandigd. Dit proces van verzelfstandiging is door een werkgroep van het departement en de instellingen zelf geëvalueerd. Een
van
de
aanbevelingen
referentiekader
voor
de
betreft
het
opzetten
vermogenspositie
van
van
de
een
objectief
instellingen.
Een
onafhankelijk oordeel op dit onderwerp acht de opdrachtgever nodig en derhalve wordt een adviesbureau ingeschakeld. De adviseur
wordt
gevraagd
een
workshop
over
risicomanagement
te
faciliteren voor een aantal verzelfstandigde instellingen. Het doel van de workshop is te komen tot een gezamenlijke inventarisatie van risico’ s en deze te rangschikken in een algemeen profiel voor de bedrijfsvoering van de instellingen De adviseur bereidt een presentatie over het onderwerp voor. De adviseurs maakt een opzet voor een model in samenspraak met werkgroepleden om er voor te zorgen dat het voldoende is toegesneden op non- profit organisaties. De instellingen krijgen een schriftelijke vragenlijst die input vormt voor de workshop. De adviseur stemt de workshop af met de projectleider. Vervolgens faciliteert de adviseur de workshop. De adviseur maakt een verslag van het verloop en de resultaten van de workshop.
24. Een drietal directeuren van diensten van ministeries heeft plannen voor interdepartementale samenwerking. Eerder is een vooronderzoek uitgevoerd. In het vooronderzoek zijn een aantal scenario’ s om te komen tot een concentratie en integratie van de dienstverlening. De directeuren hebben op grond van dit onderzoek besloten dat een verdere onderbouwing van het geadviseerde scenario nodig is in de vorm van een haalbaarheidsstudie. De vraag aan de adviseur is: Voer een haalbaarheidsstudie uit naar de interdepartementale samenwerking en integratie van de betrokken afdelingen. Kijk hierbij naar soort dienstverlening om een succesvolle bedrijfsvoering te
Kwaliteit van organisatieadvies bij de rijksoverheid
99
realiseren, een gefaseerde implementatie, blauwdruk van de best passende samenwerkingsvorm
gezien
de
cultuur,
de
randvoorwaarden
voor
een
businessplan, de meerwaarde van samenwerking op korte en lange termijn, wat
zijn
de
consequenties
haalbaarheidsstudie
vormt
voor
de
de
basis
participerende
voor
de
ministeries.
besluitvorming
bij
De de
participerende ministeries. De adviseur stelt een gefaseerde projectmatige aanpak voor. De eerste stap betreft het bereiken van een onderbouwd inzicht in de huidige situatie bij de participerende ministeries. De adviseur maakt hiertoe gebruik van in eerdere onderzoeken verzamelde gegevens en de resultaten van het vooronderzoek. Vervolgens benoemt de adviseur op basis van het onderbouwde inzicht korte termijn
activiteiten.
Daarna
stelt
de
adviseur
de
uitgangspunten
en
doelstellingen voor het samenwerkingsverband vast en maakt een blauwdruk voor de organisatie. Hierbij maakt hij gebruik van door hemzelf ontwikkelde kengetallen, methodieken en modellen. Aan de hand van de blauwdruk maakt de
adviseur
een
overzicht
van
de
financiële
consequenties
voor
de
departementen en de sociale gevolgen voor de betrokken medewerkers. Ter afsluiting legt de adviseur de resultaten vast in een beknopte rapportage en een korte beleidsnotitie. Er fungeert een projectgroep met vertegenwoordigers van de betrokken departementen die op beslismomenten kennis nemen van tussenresultaten en besluiten over de voortgang. De adviseur levert een eindrapport waarin het samenwerkingsverband wordt beschreven. Onderdeel van het eindrapport is een globaal implementatieplan voor
het
vervolg
een
voorzet
voor
het
bedrijfsplan
voor
het
samenwerkingsverband.
25. In een onderdeel van het departement is de informatievoorziening sterk aan verbetering toe. Na een reorganisatie waarbij delen zijn samengevoegd is er nu een éénhoofdige leiding. Maar er is versnippering van informatievoorziening en er dreigt een millennium probleem. Er is behoefte om eerst de zaak te stabiliseren en op orde te krijgen. De adviseur wordt gevraagd om vanuit de huidige situatie een stabiele samenhangende situatie te creëren voor wat betreft de techniek, organisatie en management van het onderdeel. De kern is om mensen (medewerkers) actief mee te laten doen aan het maken van het plan en aan het implementeren. Er is een projectteam gemaakt van adviseurs en medewerkers. Er zijn diverse metaplansessies georganiseerd. Medewerkers leren spreken over de resultaten die ze willen bereiken en wat daarvoor nodig is. Er is een verbeterplan
Kwaliteit van organisatieadvies bij de rijksoverheid
100
informatievoorziening, maar de procesresultaten (meer openheid, kritiek op elkaar, transparantie) zijn verreweg het belangrijkste.
26. Binnen het departement bestaat het idee dat in een beleidsveld nog relatief weinig gebruik wordt gemaakt van informatie en communicatietechnologie. De ontwikkeling lijkt in ieder geval te stagneren. Als mogelijke oorzaken worden gezien het ontbreken van middelen, kennis en ervaring. Het departement wil hier graag een beter beeld van krijgen en wil ook weten of er ex tra diensten aangeboden moeten worden aan het beleidsveld. De vraagstelling luidt: Voer een haalbaarheidsstudie uit naar de realisatie van een instituut om de betrokkenen uit het beleidsveld ex tra te ondersteunen in de vernieuwing via ict. Breng de behoefte van het veld in termen van nut en noodzaak in kaart en toets het draagvlak voor de bestaande ideeën. De adviseur start met een inventarisatiefase, waarin een literatuuronderzoek wordt verricht en diverse gesprekken met betrokkenen worden gevoerd. Vervolgens worden de verkregen gegevens door de adviseur geanalyseerd. Dit resulteert in een beeld van de huidige situatie en inzicht in behoeften en belemmeringen. De informatie wordt door de adviseur ook verwerkt tot een conceptueel model. Daarna gaat de adviseur over tot invulling. De adviseur komt met een voorstel voor de positionering, de opzet, de inrichting en de realisatie van een dergelijk instituut. Eerst stelt de adviseur een concept rapport op. Dit concept wordt meerdere
malen
besproken
met
de
feitelijke
opdrachtgever
en
een
begeleidingsgroep (vertegenwoordigers departement en het veld). De adviseur levert een tussenrapportage en een eindrapportage op.
27. Een kenniscentrum heeft publiek private samenwerking voor een specifieke sector verkend. De verkenning heeft geresulteerd in duidelijke mogelijkheden om samenwerking met private partijen vorm te geven. Voor de afronding van de verkenning vraagt de opdrachtgever ondersteuning bij het beschrijven van de huidige innovatieve samenwerkingspraktijk en vraagt om concrete projecten te identificeren met potentieel voor publiek private samenwerking. De adviseur splitst zijn aanpak in twee fasen. In de eerste fase analyseert de adviseur de huidige betrokkenheid van private partijen in diverse projecten. De adviseur maakt gebruik van zijn eigen ervaringen opgedaan in projecten
Kwaliteit van organisatieadvies bij de rijksoverheid
101
waarbij hij zelf recentelijk betrokken is geweest. Daarnaast worden ex terne partijen benaderd door de adviseur om aanvullende informatie te verzamelen. In de tweede fase identificeert de adviseurs een tiental concrete projecten. Door het uitvoeren van een scan bepaalt de adviseur of de projecten zich ook daadwerkelijk lenen voor toepassing van pps. De adviseur schrijft een rapport met een verkenning van de huidige praktijk, een inventarisatie van projecten en een beoordeling van de meest kansrijke projecten.
28. Op het departement is besloten om de documentaire informatievoorziening te verbeteren en te moderniseren. Deze functie wordt
daarom
(opnieuw)
gecentraliseerd en gemoderniseerd. Ook moet gekeken worden naar de inrichting van de afdeling en naar de gewenste functieprofielen. Vraagstelling: kom met veranderings- en verbetervoorstellen voor de afdeling informatievoorziening. Een projectleider van hetzelfde adviesbureau wordt tegelijkertijd interim hoofd van de nieuwe afdeling. De opdrachtgever van de interim- manager en de adviseur is dezelfde persoon De adviseur doet interviews, brengt werkprocessen in kaart, stelt gewenste dienstverlening op per werkproces en maakt een blauwdruk voor de inrichting van de afdeling. Dat staat in een eindrapport van de adviseur. Dit rapport wordt daarna geïmplementeerd.
29. Op
een
inhoudelijk
beleidsterrein
moet
beleid
worden ontwikkeld. De
opdrachtgever heeft dat globaal voor ogen, maar is onzeker over de gevolgen van dat beleid voor bepaalde maatschappelijke doelgroepen. Aan de adviseur wordt gevraagd om de mogelijk gevolgen van bepaalde scenario’s in kaart te brengen en op grond daarvan beleidsaanbevelingen te doen (ex
ante
evaluatie). De adviseur bestudeert relevante documenten, doet verkennende interviews, stelt een onderzoeksmethode op, verzamelt gegevens, analyseert cases, stelt aanbevelingen op en maakt een eindrapport. De opdrachtgever en een veldvertegenwoordiger zitten in het projectteam en hebben frequent contact met de adviseur. Het rapport ondersteunt het beleidsvoornemen en geeft door de uitkomsten van het onderzoek tevens draagvlak bij vertegenwoordigers van het veld.
Kwaliteit van organisatieadvies bij de rijksoverheid
102
30. De verandering van de centrale stafafdeling is ingegeven door een te grote invloed die de afdeling binnen de organisatie heeft gekregen ten opzichte van de beleidsafdelingen. Verandering in deze situatie is noodzakelijk. Het idee is om de bestaande afdeling te splitsen in twee aparte afdelingen. De vraagstelling luidt: Begeleid de centrale stafafdeling bij het bepalen van een visie voor de toekomstige positie binnen het departement en bij het verder invulling geven aan het reorganisatieproces. Dit alles met evenwichtige aandacht
voor
organisatieontwikkeling,
cultuurontwikkeling
en
het
inhoudelijke vakgebied. De adviseur onderscheidt twee fasen. De eerste fase is gericht op het opstellen van een blauwdruk voor de nieuwe organisatie. Fase 2 houdt een traject in om de gemaakte blauwdruk tot ontwikkeling te brengen. In de eerste fase voert de adviseur een omgevingsanalyse uit. De adviseur voert verschillende gesprek met de klanten van de afdeling en sleutelfiguren. In een notitie doet de adviseur hierover verslag aan de opdrachtgever. De resultaten van de interviews
worden
door
computerondersteunde
de
adviseur
groepssessie
als
waarin
input de
gebruikt verschillende
voor
een
thema’s
bediscussieerd worden. Vervolgens wordt in een volgende groepssessie gezamenlijk met de medewerkers een visie, doelstellingen en benodigde inspanningen geformuleerd. Binnen de organisatie worden werkgroepen opgericht die elk een deelgebied verder uitwerken, onder begeleiding van de adviseur. De werkgroepen ontwikkelen een strategie en stellen verbeteracties op. De resultaten worden in een derde groepssessie besproken. Nadat het conceptplan over de toekomst van de organisatie is opgeleverd begeleiden de adviseur een discussiebijeenkomst over hoe nu verder te gaan met de blauwdruk. Na iedere fase in de opdracht is er een gezamenlijk overleg tussen adviseur en opdrachtgevergroep om vanuit een strategische invalshoek vast te stellen, wat de stand van zaken is, wat de ontwikkelingsrichting is, en of het departement het vervolg verder zelf ter hand zal nemen of dat de adviseur nog betrokken blijft. De adviseur schrijft een rapport waarin hij het plan voor de toekomst van de afdeling uitwerkt.
Kwaliteit van organisatieadvies bij de rijksoverheid
103
31. Ter voorbereiding van een meerjarenbeleidnota wordt inhoudelijke inbreng gezocht door middel van een drietal conferenties. Aan de conferenties wordt deelgenomen door een mix van ambtenaren, veldvertegenwoordigers en wetenschappers. Aan een adviseur met ervaring in toekomstvisietrajecten wordt gevraagd om de conferenties voor te bereiden (inhoudelijk en procesmatig), te leiden en de coördinatie te doen over de verslaglegging. De adviseur heeft intensief overleg met de opdrachtgever. Door de adviseur worden methoden ingebracht volgens welke de conferenties verlopen. De verslagen zijn gemaakt door een medewerker van het betreffende onderdeel van het departement. De adviseur heeft de verslagen gecheckt. Deze documenten zijn door de opdrachtgever gebruikt als input voor (hoofdstukken van de) meerjarenbeleidnota.
32. Op het departement wordt een project voorbereid op het terrein van “human resources”. Er is behoefte aan specifieke, inhoudelijke kennis op dit terrein. Daarnaast is behoefte aan iemand die discussies kan faciliteren en die inspirerend kan werken op deelnemers. De adviseur heeft
discussies met
groepen van binnen en buiten het
departement geleid en gestuurd. Hij heeft inhoudelijke bijdragen geleverd op zijn thematiek. Er zijn workshops gehouden met gerenommeerde bedrijven. De adviseur heeft schriftelijke notities beoordeeld. Wat de adviseur doet is ter voorbereiding van genoemd project. Door de acties is het gedachtengoed geland, zijn meerdere perspectieven meegenomen en zijn nieuwe alternatieven ter tafel gekomen. De opdrachtgever heeft met de opbrengst van deze acties het betreffende project plan gemaakt en het project opgestart.
33. Het departement heeft een contract met een buitenorganisatie die een maatschappelijke taak vervult. Dat contract loopt binnenkort af en de vraag is of en hoe het contract gecontinueerd moet worden. Een ex tern bureau wordt gevraagd een evaluatieonderzoek te doen en te komen met aanbevelingen. Er zijn twee basisvragen:
doet deze buitenorganisatie zijn taak goed
en doet deze het voor een redelijke prijs?
Kwaliteit van organisatieadvies bij de rijksoverheid
104
De adviseurs pakken het aan in drie fasen: Gegevensverzameling
door
documenten
en
interviews,
waaronder
ook
gesprekken met gebruikers van de diensten Analyse van de gegevens naar de twee basisvragen en tussentijdse bespreking met de opdrachtgever Formuleren van conclusies en aanbevelingen. Het
resultaat
opdrachtgever
is een die
het
rapport. Het kan
rapport
gebruiken
in
wordt de
aangeboden aan
besluitvorming
over
de de
oorspronkelijke vraag.
34. In tegenstelling tot de algemene taakstellende beweging van afslanking, is binnen deze directie, gezien de ex terne ontwikkelingen juist capacitaire uitbreiding noodzakelijk. Ook van ex tern (ombudsman, kamer, pers) komen objectieve signalen dat uitbreiding van personeel noodzakelijk is. Binnenkort vindt een officiële doorlichting van de directie plaats. Om goed voorbereid te zijn voor deze doorlichting besluit de opdrachtgever dat een ex tern bureau naar dit probleem moet kijken. De opdrachtgever stelt de adviseur de vraag of het gelet op de ex terne ontwikkelingen en de intern levende wensen aanbeveling verdient
een
wijziging aan te brengen in de taakverdeling tussen de centrale directie, de beleidsdirecties en de uitvoerende organisaties. De adviseur verdeelt de opdracht in twee fasen. In de eerste fase werkt de adviseur aan overeenstemming over de omvang van de kerntaken en de variabele taken, inclusief de bijbehorende capaciteit en competenties. In de tweede fase wordt een monitoringsmethodiek ontwikkeld en wordt een beschrijving gemaakt voor de allocatie van beschikbare capaciteit. De adviseur verzamelt de benodigde gegevens door het analyseren van documenten en het houden
van interviews met
alle betrokkenen. De adviseur
houdt
ook
paneldiscussies met groepen ‘klanten’. Het resultaat is inzicht in de wijze waarop het werk op een hoogwaardige wijze nu en in de toekomst kan worden gewaarborgd en een monitoringsmethodiek om flex ibel te kunnen reageren op veranderingen in de omgeving. Dit alles legt de adviseur vast in een aantal rapportages: een analyse van de taken, een monitoringsmethodiek en een rapport over allocatiecriteria en besturingsmodellen.
Kwaliteit van organisatieadvies bij de rijksoverheid
105
35. Private partijen zijn enthousiast over een nieuwe financiële constructie. De gewenste financiële constructie heeft echter mogelijke consequenties voor het primaat van de Staat. Binnen het departement is te weinig ex pertise omtrent dit onderwerp en gezien de beleidsmatige gevoeligheid ervan besluit de opdrachtgever om ex tern advies te vragen. De opdrachtgever vraagt beleidsadvies over de vraag of het introduceren van deze
specifieke
financiële
constructie
bevorderlijk
is
om
de
beleidsdoelstellingen te bereiken. De opdrachtgever vraagt tevens in hoeverre de bestaande theorieën uit de private sector hieromtrent bruikbaar zijn voor de publieke sector. De adviseur stelt een aanpak voor die uiteen valt in twee fasen. In de eerste fase wordt een beleidsmatig rapport opgeleverd dat antwoord geeft op de vragen van de opdrachtgever. In de tweede fase ` worden de diverse technische uitwerkingen tegen het licht gehouden. De adviseur bestudeert documenten en voert een literatuurstudie uit. Vervolgens worden door de adviseur een aantal mogelijke modellen ontwikkeld en worden de gevolgen van de gewenste financiële constructie beredeneerd. De adviseur levert een rapport op waarin voorstellen gedaan worden voor een veilige toepassing van de financiële constructie. Deze voorstellen worden in het rapport ook theoretisch onderbouwd. De werking en aandachtspunten van de constructie worden toegelicht en ook de belangen van de verschillende betrokken partijen worden in kaart gebracht. Tenslotte volgen er conclusies en aanbevelingen.
36. Binnen het departement is het beheer van goederen weer gecentraliseerd. Dit beheer moet worden verbeterd. De adviseur is gevraagd een plan van aanpak voor dit beheer op te stellen en dit plan uit te voeren. Medewerkers van de opdrachtgever werken actief mee met de adviseur. Er is tevens een klankbordgroep geformeerd met relevante personen uit de organisatie. De
adviseur
doet
de
volgende
stappen:
ontwikkelen
van
visie
en
uitgangspunten voor beheer, opstellen integraal verbeterplan, uitvoering van actiepunten, monitoring en bewaken voortgang. Aan het eind van elke stap wordt de klankbordgroep bijeengeroepen(maandelijks) en wordt door de opdrachtgever beslist. Bij het uitvoeren en monitoren is veel geparticipeerd door eigen medewerkers van het departement. De adviseur leidt het proces. De
Kwaliteit van organisatieadvies bij de rijksoverheid
106
adviseur
heeft
een
methodische benadering
van beheer
van goederen
ingebracht: dat is de inhoudelijke inbreng. De opdracht is afgesloten met een eindrapport, waarin de methode van beheer is neergelegd.
37. Op een departement wordt een nieuwe directie opgericht. Er is behoefte aan een document dat in detail beschrijft hoe de planning en control functie binnen de nieuwe directie vorm en inhoud zal worden gegeven. Het document dient als een richtlijn voor de inrichting van de nieuwe directie en de samenwerking met de bestaande directies. Er moet een blauwdruk worden opgeleverd. De adviseur heeft om deze opdracht te vervullen de planning en control functies bij andere organisaties bestudeerd en vervolgens de kwaliteitseisen opgesteld voor de planning en control van de nieuwe directie. De bevindingen zijn steeds voorgelegd aan een groep controllers en de opdrachtgever. Tijdens die bijeenkomsten worden beslissingen genomen over de blauwdruk en vervolg onderzoeksvragen opgesteld. Het resultaat is een organisatieplan dat de inrichting van de planning en control functie beschrijft. Het rapport heeft als werkdocument gefungeerd bij de inrichting van de nieuwe organisatie.
38. Een stafafdeling van het departement heeft een interne werkgroep ingesteld om knelpunten met betrekking tot informatievoorziening te inventariseren en na te gaan hoe die kunnen worden opgelost. Aan de werkgroep wordt een ex tern
adviseur
toegevoegd.
Deze
adviseur
is
bekend
met
allerlei
ontwikkelingen op het departement op dit onderwerp en doet al soortgelijke opdrachten bij andere afdelingen. De adviseur praat met de werkgroepleden, werkt met hen de knelpunten door, brengt kennis in en bespreekt oplossingen. De adviseur schrijft daarna een rapport, dat wordt aangeboden aan het hoofd van de stafafdeling.
39. De twee betrokken ministeries willen de verzelfstandigingoperatie van een onderdeel
van
het
ministerie objectief
laten onderzoeken. Net
na de
verzelfstandiging zijn grote problemen ontstaan met de op afstand geplaatste
Kwaliteit van organisatieadvies bij de rijksoverheid
107
dienst. Bij alle betrokkenen bestaat grote behoefte om het proces te evalueren, de juistheid van het verzelfstandigingbesluit vast te stellen en hier lessen voor de toekomst uit te trekken. De vraagstelling van deze opdracht is onderzoek te verrichten naar het veranderingsproces dat heeft geleid tot de verzelfstandiging van een deel van het ministerie. Het doel van het onderzoek is enerzijds om leerpunten voor de toekomst te genereren over het opzetten en managen van grootschalige veranderingsprocessen. Anderzijds betreft het onderzoek het identificeren van heel concrete, technische aspecten bij het verzelfstandigen van onderdelen van de rijksoverheid. De adviseur stelt een aanpak voor die start met het analyseren van het veranderingsproces. Vervolgens stelt hij vast wat de meer specifieke en de meer generieke karakteristieken van dit veranderingsproces zijn. Hij sluit af met het verdiepen van de bestaande kaders en procedures. De adviseur heeft een vijftigtal individuele interviews gehouden. Daarnaast zijn alle beschikbare documenten bestudeerd. Het eindresultaat is een rapport waarin het veranderingsproces in detail is beschreven
en
waarin
lessen
worden
getrokken
voor
toekomstige
veranderingen.
40. De opdrachtgever wil vanuit de ex terne ontwikkelingen en de interne evaluatie van een reeds afgeronde reorganisatie een beeld krijgen van de organisatie in de toekomst, qua rol, functioneren, kerntaken en organisatie. Dit proces is in eerste instantie zonder hulp van ex ternen gestart. Om het proces ex tra impulsen te geven heeft de opdrachtgever besloten een ex terne in te huren. De aanpak van de adviseur valt uiteen in twee fasen. In de eerste fase staat het uitvoeren van een ex terne analyse centraal. Er vindt een verdiepingsslag plaats op de bestaande strategie, waarbij ook het formuleren van de output en de sturing op output wordt meegenomen. Door het bestuderen van beschikbaar materiaal en het organiseren van bijeenkomsten met ‘klanten’ wordt de benodigde informatie door de adviseur verzameld. De diverse bijeenkomsten met ‘klanten’ leveren een ex terne toetsing van de bestaande beleidsvisie op. De (tussen)resultaten worden door de adviseur steeds schriftelijk vastgelegd en besproken in een informele stuurgroep die door de opdrachtgever is geformeerd. Rondom een aantal centrale thema’s worden door de adviseur conferenties met het managementteam voorbereid en begeleid. Met behulp van een aantal interne werkgroepen worden outputbeschrijvingen opgesteld. De adviseur begeleidt de werkgroepen.
Kwaliteit van organisatieadvies bij de rijksoverheid
108
41. Een grote uitvoeringsorganisatie van een departement wordt gereorganiseerd. De implementatie ervan moet binnen een aantal jaren zijn afgerond. Omdat er bij de reorganisatie veel mensen betrokken zijn en omdat het van belang wordt geacht hen mee te nemen in het proces en de menselijke maat niet te verliezen, is communicatie essentieel. Aan
een
ex terne
adviseur
wordt
gevraagd
te
adviseren
over
een
communicatiestrategie die past bij dit veranderproces. Er moet aandacht zijn voor actoren, middelen en kanalen, organisatie van de communicatie, en dergelijke. De adviseur praat met sleutelfiguren en spraakmakers, bestudeert relevante documenten, brengt netwerken in kaart, inventariseert beschikbare kanalen en middelen, stelt een rapport op en voert terugkoppelingsgesprekken met de opdrachtgever. Het rapport is eerst concept en wordt later definitief. De strategie wordt daarna uitgevoerd.
42. Vanuit het regeerakkoord zijn taakstellingen op het gebied van personeel opgelegd. Deze directie heeft die uitgewerkt in een notitie en heeft een werkgroep ingesteld om een voorstel te ontwikkelen voor de toekomstige organisatie- en afdelingsstructuur van de directie binnen de taakstelling. De (interne) werkgroep maakt gebruik van de mogelijkheid tot ex terne ondersteuning. De adviseur faciliteert de brainstormsessies van de werkgroep. De adviseur denkt inhoudelijk mee over de nieuwe structuren en de inventarisatie van de voor- en nadelen per structuur. Daarnaast denkt de adviseur inhoudelijk mee over de gewenste veranderingen en gevolgen voor het functioneren van de afdelingen en levert hij bijdragen aan rapportages van de werkgroep.
43. Er is verschil van inzicht tussen het departement en de brancheorganisatie over hoe doelmatig de instellingen in de branche werken. Departement en brancheorganisatie besluiten een benchmark- onderzoek te laten uitvoeren naar de doelmatigheid en kwaliteit van alle instellingen. Benchmark speelt een belangrijke rol bij het realiseren van outputfinanciering en bij het zichtbaar maken van verbeteringen in doelmatigheid en kwaliteit. De vraagstelling aan de adviseur: voer het benchmarkonderzoek uit bij alle instellingen en kom met bevindingen, analyses en aanbevelingen.
Kwaliteit van organisatieadvies bij de rijksoverheid
109
De adviseur stelt een analysemodel op, test dat in de praktijk, vraagt gegevens op bij instellingen en stelt rapportages op. Er zijn uitgebreide rapportages met aanbevelingen voor vervolgstappen en voor de herinrichting van instellingen.
44. Het
departement
kent
geografisch
verspreide
eenheden,
waarvan
de
werkzaamheden zijn gegroeid en waarvan de aard van de werkzaamheden is veranderd. Dat levert knelpunten op, onder meer in de formatie. Tevens is er de ambitie om de efficiency en klantgerichtheid te verbeteren. Vraagstelling: leveren de onderdelen efficiënt, klantgericht en tegen een adequate kostprijs de juiste resultaten op? Welke verbeteringen zijn hierin te bereiken? De adviseur heeft eerst een werkprocesanalyse gedaan, door gesprekken te voeren en processen te beschrijven. Daarna heeft
hij
een omvangrijk
klantenonderzoek gedaan bij de afnemers van diensten. Twaalf onderdelen zijn grondig doorgelicht. In het eindrapport worden conclusies over de vragen getrokken en wordt een uitgebreide set van aanbevelingen gedaan voor de onderdelen, het totaal en de aansturing. Een stuurgroep volgt de opdracht en komt na het eindrapport met een managementreactie waarin op alle aanbevelingen wordt ingegaan.
45. De primaire processen van het Directoraat zijn recentelijk gereorganiseerd. In deze reorganisatie zijn echter een aantal staven niet meegenomen. De doorlichting van de staffuncties is de ontbrekende schakel. De directe aanleiding voor het doorlichten van deze staven is mede gelegen in het feit dat op
een
hoger
organisatieniveau
eveneens
een
dergelijke
doorlichting
plaatsvindt. Het doel van de doorlichting is te komen tot een optimale afstemming van de staffuncties op de primaire beleidsrol. Dit alles om de effectiviteit en efficiency van deze stafafdelingen en de organisatie als geheel te verhogen. Het plan van aanpak van de adviseur start met het opstellen van een onderzoekskader. De huidige organisatie wordt in kaart gebracht en via interviews met individuele medewerkers worden de opvattingen en meningen in kaart gebracht. Vervolgens wordt het onderzoek uitgevoerd. Groepen medewerkers worden door de adviseur met elkaar in gesprek gebracht en
Kwaliteit van organisatieadvies bij de rijksoverheid
110
bevraagd over discrepanties tussen de huidige en gewenste situaties en over richtingen voor oplossingen. De resultaten van de bijeenkomsten worden daarna door de adviseur geanalyseerd en de conclusies en aanbevelingen worden voorbereid. Deze conclusies worden door de adviseur wederom in een groepsbijeenkomst ter discussie voorgelegd. De resultaten van deze bijeenkomst worden door de adviseur verwerkt in een eindrapport dat als basis dient voor de formele besluitvorming.
46. Deze opdracht is een deelproject van een omvangrijk project om in de toekomst outputsturing te bewerkstelligen tussen het departement en een buitenorganisatie. Doel van dit project is het definiëren van de verschillende producten
die
in
de
portfolio
van
de
buitenorganisatie
zitten.
De
opdrachtgever heeft de adviseur gevraagd ondersteuning te verlenen op inhoud en proces bij het formuleren van de definities van de producten. De aanpak van de adviseur valt uiteen in verschillende stappen. De eerste stap is het ontwikkelen van een strategische visie en het vaststellen van de huidige definities van de producten. In deze fase heeft de adviseur zowel inhoudelijke inbreng als de begeleiding over de onderhandelingsprocessen tussen het departement en de buitenorganisatie. In workshops met klanten, begeleid door de adviseur, zijn de eisen voor de producten geïdentificeerd. De uitkomsten van deze inventarisatie zijn door de adviseur geconfronteerd met de huidige definities. Vervolgens heeft de adviseur een aantal modellen uitgewerkt waarlangs de opdrachtgever tot implementatie van de output financiering en sturing kan komen. De resultaten van de workshops zijn door de adviseur verwerkt in een rapport. Het eindrapport beschrijft de definities van de producten en een werkwijze om tot nieuwe producten te komen.
47. Binnen het departement zijn er vragen over de huidige en toekomstige informatievoorziening. De volgende vraagstelling wordt geformuleerd:
beschrijf de huidige situatie van de informatievoorziening
evalueer de huidige organisatie die de informatievoorziening uit voert
kom met onderbouwde verbeteringsvoorstellen voor de toekomstige inrichting van de informatievoorziening.
Kwaliteit van organisatieadvies bij de rijksoverheid
111
kom met een bondig implementatievoorstel. De implementatie valt buiten de opdracht
De adviseur gaat via deze stappen te werk. Na elke stap komt hij met een concept rapport en een definitief rapport. In de eerste twee stappen bestudeert hij documenten en houdt interviews (8 interviews per stap). In stap 3 houdt hij een workshop van twee dagdelen met direct betrokkenen en opdrachtgever. Aan het eind worden de rapporten door de adviseur samengevoegd en wordt door hem een bondig implementatievoorstel toegevoegd.
48. Het
departement
moet
voor
de
politiek
een
belangrijke
beslissing
voorbereiden. De beslissing is ingewikkeld en de opdrachtgever heeft behoefte aan een advies over de wijze waarop de beslissing genomen kan worden. Dit teneinde de kwaliteit van de beslissing zo hoog mogelijk te doen zijn. De vraag aan de adviseur luidt: breng de belanghebbenden en hun belangen in kaart, adviseer ons over een beslismodel en schat de consequenties en risico’s in. De adviseur pakt het methodisch aan (o.a. stakeholdersanalyse, scenario’ s). Deze methode is overgedragen
aan
het
departement.
Tevens zijn
er
aanbevelingen gedaan over de wijze van besluitvorming. Door middel van twee presentaties
is
teruggekoppeld
naar
de
opdrachtgever.
Ook
is
een
samenvatting van de eindpresentatie gemaakt.
49. Een buitenorganisatie, die onder twee departementen valt, behoeft aanpassing. Er zijn vele belanghebbende organisaties en dus is overleg en zorgvuldig handelen gewenst. Een ex terne adviseur wordt gevraagd om het proces om te komen tot een beslisdocument te leiden. Het beslisdocument is bedoeld voor het formele overleg met veldpartijen en de twee betrokken departementen. De adviseur is al betrokken geweest bij een voorloopopdracht, is bekend met de inhoud van het vraagstuk en kent de organisatie goed. In overleg met de opdrachtgever worden een aantal
conferenties gepland,
waarvoor personen van beide departementen en van de veldorganisaties worden uitgenodigd. De adviseur leidt, als facilitator,
deze conferenties en
werkt toe naar overeenstemming tussen alle deelnemers. Na de sessies schrijft de adviseur het beslisdocument (een projectprogramma) dat gebruikt wordt voor het formele overleg met alle partijen.
Kwaliteit van organisatieadvies bij de rijksoverheid
112
50. Het
departement
heeft
behoefte
aan
methoden
voor
interactieve
beleidsontwikkeling om zo goed mogelijk aan te sluiten bij geëx pliciteerde behoeften van burgers. De opdrachtgever wil meer greep krijgen op het proces van interactieve beleidsvorming door samen met een ervaren adviseur hieraan te werken. Gekozen is om een (kleine) pilot voor te bereiden, uit te voeren en te evalueren. De aanpak gebeurt in een aantal stappen: 1. interne consultatie 2. ex terne consultatie bij bestaande partners en nieuwe doelgroepen 3. analyse 4. plan van aanpak pilot 5. uitvoeren pilot en 6. evaluatie.
51. Een nieuw aangetreden directeur heeft zich een aantal maanden verdiept in de problematiek van de afdeling. De problematiek betreft zowel de directie zelf als de relatie tot de buitenwereld. De directeur treft een aantal maatregelen voor de korte termijn, maar acht het daarnaast noodzakelijk om voor de langere termijn een veranderingstraject te starten om een cultuuromslag binnen de directie te bereiken. De directie moet klantgerichter worden, er moet meer openheid en onderling vertrouwen komen. Voor het opstellen en begeleiden van het veranderingstraject zoekt de directeur een ex tern bureau. De vraag aan de adviseur is een integraal veranderingsprogramma te ontwikkelen waarin het totaal van strategie, werkwijze, organisatie en cultuur gekoppeld wordt aangevat. Om tot een daadwerkelijke verankering te komen in de dagelijkse werkpraktijk moeten de medewerkers van de directie actief participeren. De adviseur voert eerst een vooronderzoek uit. Door het houden van een aantal interviews met medewerkers van de directie verwerft hij meer inzicht in de aard van de problematiek en krijgt beter zicht op de aanpak die het best zal aansluiten. Deze fase is bedoeld om de organisatie door te lichten en de medewerkers te activeren. Vervolgens formeert de adviseur een aantal werkgroepen rondom een aantal thema’ s. Bedoeling van deze fase van de opdracht is het ontwerpen van een nieuwe organisatie. De thema’s zijn ontstaan naar aanleiding van een aantal rondetafelgesprekken
tussen
medewerkers
die
door
de
adviseur
zijn
gefaciliteerd.. Elke werkgroep maakt een actieplan, het Managementteam van de afdeling zorgt voor de integratie van de afzonderlijke plannen. De adviseur begeleidt de werkgroepen zowel in het proces, en hij levert ook een inhoudelijke inbreng op de onderwerpen. De adviseur ondersteunt ook in het
Kwaliteit van organisatieadvies bij de rijksoverheid
113
opstellen van de eindrapportages per werkgroep. De adviseur schrijft zelf de integrale eindrapportage over het gehele proces.
52. Binnen het departement is men intern bezig geweest om de organisatie van de ICT functie te doordenken. Men is gekomen met ambtelijke aanbevelingen. Omdat de hoge ambtelijke en de politieke top tegenstrijdige adviezen kregen van binnenuit en er het vermoeden was van (eigen- ) belangen, werd een ‘second opinion’ van een adviseur van buiten gezocht. De adviseur heeft de politieke en ambtelijke leiding bijgepraat op inhoudelijk gebied. Hij heeft met veel anderen gesproken binnen de organisatie en heeft als katalysator en als versneller gewerkt in de discussies. De organisatie is wel op één lijn gekomen, met name door het proces van de adviseur en vanwege zijn makkelijke toegang tot de topbeslissers. De adviseur heeft documentjes gemaakt, die bediscussieerd zijn. Een topambtenaar heeft het finale stuk opgesteld, dat tot belangrijke besluiten voor de positie van ICT heeft geleid.
53. Een stafafdeling heeft de opdracht gekregen om een beleidsnota tot uitvoering te brengen. Besloten is om dat projectmatig ter hand te nemen en een projectbureau in te stellen voor een aantal jaren. Over de inrichting, samenstelling
en
werkwijze
van
dit
projectbureau
zijn
in
hoofdlijnen
beslissingen genomen. Een verdere uitwerking voordat het bureau van start gaat, is echter nodig. De vraagstelling aan de ex terne adviseur is: wat moet de positionering zijn van de
projectorganisatie;
projectorganisatie;
de
de
taakafbakening
functie- inhoud
van
en de
taakinhoud functionarissen
van
de
en
de
functiewaardering en de rol, plaats en positie van de betrokken directeurengeneraal. De adviseur leest documenten, houdt interviews, doet een totaalanalyse, presenteert de resultaten aan de opdrachtgever en stelt de rapportage op.
54. Een
directoraat
generaal
reorganiseert
vanwege
internationalisatie
en
liberalisering van markten, de toenemende spanning tussen marktwerking en beleidsdoelen en de wens om te komen tot een flex ibelere organisatie. Een
Kwaliteit van organisatieadvies bij de rijksoverheid
114
nieuwe organisatiestructuur wordt ingevoerd. Dit betekent tegelijkertijd nieuwe aansturing, nieuwe takenpakketten en nieuwe systemen en plannen. De opdrachtgever zoekt begeleiding van dat deel van het veranderingstraject dat betrekking heeft op werkplannen als sturingsinstrument, alsmede de daarmee samenhangende vaardigheden om samen te werken en te sturen binnen het management van het DG. Om het werkplan op te stellen heeft de adviseur interviews gehouden met individuele medewerkers van het DG. Daarnaast heeft hij ook de beschikbare documenten bestudeerd. De adviseur heeft ook workshops georganiseerd waarin hij de essenties van projectmatig werken heeft overgedragen. In
een
rapport
heeft
de adviseur
een
werkwijze voor
de plancyclus
opgeschreven. Op basis hiervan zijn directies zelf hun plannen gaan maken en/ of verbeteren. De adviseur heeft hierbij geassisteerd. Het beoogde eindresultaat is een geoptimaliseerd werkplan voor het DG. Daarnaast ook vastgelegde en bindende afspraken en spelregels rondom de werkplancyclus.
Tenslotte
een
investering
in
vaardigheden
van
het
management om het werkplan conform de afspraken op te stellen en uit te voeren, als teams samen te weken en de medewerkers resultaatgericht aan te sturen.
55. Het departement voert toezicht op een grote buitenorganisatie. In het kader daarvan ziet zij toe op de invoering van de Euro in deze buitenorganisatie. Voor de hoofdprocessen loopt dat goed. Maar voor een paar deelprodukten van deze buitenorganisatie zijn de gevolgen van de invoering van de Euro niet duidelijk. Kunnen we de maatregelen voor de hoofdprocessen kopiëren of moeten we hier iets aparts doen? De vraag luidt dan ook: Doe een ‘ Quick scan’ naar de noodzakelijkheid van een apart Eurotraject voor deze producten. Adviseer ons daarover. De adviseur doet een actoranalyse en een procesanalyse van de deelprodukten en brengt dat onder in een schema. Hij identificeert centrale actoren. Met deze actoren heeft hij vraaggesprekken gehad. De resultaten beschrijft hij in een rapport. Daarin staan ook de gevolgen en maatregelen voor het departement zelf. Het rapport is verschenen met de kaft van het departement. Het rapport is op grote schaal verspreid in de buitenorganisatie. 56. De adviseur is reeds geruime tijd bij de ontwikkeling van de organisatie betrokken.
Jaarlijks
begeleidt
de
adviseur
Kwaliteit van organisatieadvies bij de rijksoverheid
een
bijeenkomst
van
het
115
management team waarin de voortgang van de diverse projecten wordt geïnventariseerd en de algemeen gang van zaken binnen het management team wordt besproken. De adviseur voert hiertoe voorafgaand aan de conferentie inventariserende gesprekken met de leden van het managementteam. Ook voert de adviseur gesprekken met de projectleiders van de lopende projecten over de voortgang van de projecten en de resultaten. De adviseur stelt samen met een MT- lid de agenda op voor de conferentie en vervult de rol van dagvoorzitter. De inventariserende werkzaamheden van de adviseur worden door hem opgeschreven een rapportage, die dient ter voorbereiding van de deelnemers aan de conferentie. De adviseur levert tenslotte ook een bijdrage aan de totstandkoming van het verslag van de conferentie.
Kwaliteit van organisatieadvies bij de rijksoverheid
116
Bijlage g
Kwant it at ieve analyses
Kwaliteit van organisatieadvies bij de rijksoverheid
117
Verschillen t ussen r ollen voor verwacht ingen algem een, deze specif ieke casus (crit eria) en het rapport cijf er voor alle crit eria. Criterium A1 A2 A3 A4 A5 A6 A7 A8
Algemeen OA OB BA - * - - - * - * - * - - -
Deze casus OA OB BA -
Rapportcijfer OA OB BA - - * * - - - * - - -
B1 B2 B3 B4 B5
* * * * *
-
* * *
-
-
*
-
-
-
C1 C2 C3 C4 C5 C6
*
-
-
* -
-
-
* * * * * *
-
* * * *
* = ver schil is signif icant ( .05 )
OA = opdracht gever – adviseur OB = opd racht gever – bet rokk ene BA = bet r ok kene – adviseur
Verschillen t ussen score op verwacht ingen algem een en deze casus voor de drie rollen Criterium A1 A2 A3 A4 A5 A6 A7 A8
Opdrachtgever -
B1 B2 B3 B4 B5
∗ -
C1 C2 C3 C4 C5 C6
* * * -
Betrokkene ∗ ∗ ∗ ∗ ∗ ∗ * ∗
Adviseur ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗
= signif icant ( .05 )
Correlat ies t ussen score op verwacht ingen algem een en deze casus voor de drie rollen Criterium A1 A2 A3 A4 A5 A6 A7
Opdrachtgever * * * * * * *
Betrokkene * * * * * * *
Adviseur * * * *
Kwaliteit van organisatieadvies bij de rijksoverheid
118
A8 B1 B2 B3 B4 B5 C1 C2 C3 C4 C5 C6
* * * * * * * * * * *
* * * * * * * * * * *
* * * * * * * * * * *
= signif icant ( .05 )
Verschillen t ussen clust ers ant woorden (verloop, af loop en im pact ) voor de ver schillende rollen Cluster Verloop van de opdracht Afloop van de opdracht Impact van de opdracht
OA
OB
AB
* -
-
* * -
Correlat ies t ussen clust ers ant woorden (verloop, af loop en im pact ) voor de verschillende rollen Cluster Verloop van de opdracht Afloop van de opdracht Impact van de opdracht
* = signif icant ( .0 5)
OA
OB
AB
* *
* *
*
OA = op dracht gever – adviseur OB = opdr acht gever – b et rok k ene AB = ad viseur - bet rokk ene
Kwaliteit van organisatieadvies bij de rijksoverheid
119
Verschillen t ussen r ollen voor verwacht ingen algem een, deze specif ieke casus (crit eria) en het rapport cijf er voor clust ers van crit eria
Verwachting Formele criteria Inhoudelijke criteria Procescriteria Deze casus Formele criteria Inhoudelijke criteria Procescriteria Rapportcijfer Formele criteria Inhoudelijke criteria Procescriteria Totaalindruk
Opdrachtgever/Adviseur
Opdrachtgever/Betrokkene
Betrokkene/Adviseur
* *
-
* -
-
-
* * -
* *
-
* * *
* = signif icant ( .0 5)
Correlat ies t ussen rollen voor ver wacht ingen algem een, deze specif ieke casus (crit eria) en het rapport cijf er voor clust ers van crit eria
Verwachting Formele criteria Inhoudelijke criteria Procescriteria Deze casus Formele criteria Inhoudelijke criteria Procescriteria Rapportcijfer Formele criteria Inhoudelijke criteria Procescriteria Totaalindruk * =
Opdrachtgever/Adviseur
Opdrachtgever/Betrokkene
Betrokkene/Adviseur
-
-
* -
* -
-
-
* * * *
* * * *
* * * *
signif icant ( .05 )
Kwaliteit van organisatieadvies bij de rijksoverheid
120
Bijlage h
Validit eit van het onderzoek
In het onderzoek staan drie onderzoeksvragen centraal: 1. Wat zijn soorten werk van organisatieadviseurs bij de rijksoverheid? 2. Wat zijn verwachtingen en criteria die opdrachtgever en adviseurs hanteren? 3. Wat is de effectiviteit van organisatieadvies bij de rijksoverheid? Vanuit wetenschappelijk oogpunt is de vraag relevant naar de waarde en geldigheid van de verzamelde gegevens en resultaten van het onderzoek. Deze vraag heeft betrekking op:
interne validiteit en betrouwbaarheid, ofwel de wijze van materiaal-
ex terne validiteit en generaliseerbaarheid, ofwel de reikwijdte van het
verzameling en –verwerking; onderzoek en de bruikbaarheid.
Int erne validit eit en betrouwbaarheid Bij de beoordeling van de interne validiteit en betrouwbaarheid gaat het erom of een identieke uitkomst wordt verkregen bij herhaalde meting of als andere onderzoekers dit onderzoek zouden uitvoeren. Het is een toets op de zorgvuldigheid van het onderzoek. Een sterk onderzoeksontwerp draagt bij aan een hoge validiteit en betrouwbaarheid.
Constructvaliditeit De constructvaliditeit van dit onderzoek is hoog. Constructvaliditeit betreft de wijze van operationalisatie en meten van variabelen. Operationalisatie van soorten werk is verankerd in bestaande theorie die is voortgekomen uit empirisch onderzoek. Operationalisatie van effectiviteit is eveneens geworteld in bestaande en beproefde theorieën. De resultaten in dit onderzoek zijn niet strijdig met beschikbare theorieën en resultaten uit eerder onderzoek. Dit is een aanwijzing voor een hoge constructvaliditeit. De operationalisatie van adviesprocessen bij de rijksoverheid maakt bovendien deel uit van het onderzoek zelf. Beschrijvingen van adviesopdrachten (vignets) zijn aan vijf ex perts voorgelegd. De ex perts hebben op basis van de vignets categorieën van werk opgesteld en daarna de opdrachten gecategoriseerd. Er
Kwaliteit van organisatieadvies bij de rijksoverheid
121
is grote overeenstemming tussen de ex perts op nominaal meetniveau. Er is sprake van een hoge inter- beoordelaarsbetrouwbaarheid. Bij de meting van relevante criteria voor adviesprocessen en effectiviteit van adviesprocessen is gebruik gemaakt van multiple operationalisatie waarbij deze begrippen op meerdere manieren zijn gemeten en getoetst. De beschrijving van het adviesproces op basis van dossierstudie is getoetst bij opdrachtgever en adviseur. De betrouwbaarheid van deze beschrijving is daarmee hoog. De meting van relevante criteria en effectiviteit is op meerdere manieren gemeten:
gestructureerd interview met
rangorde vaststelling van criteria door
opdrachtgever, adviseur en betrokkenen;
halfgestructureerd interview over effectiviteit van adviesopdracht door opdrachtgever, adviseur en betrokkenen.
Er bleek op ordinaal meetniveau overeenstemming in de vaststelling van criteria en effectiviteit tussen de die informatiebronnen, zeker in specifieke adviesopdrachten. De interbeoordelaars betrouwbaarheid van de respondenten is hoog.
De interviews met
respondenten
zijn
afgenomen
door
twee
onderzoekers die nauw met elkaar samenwerken. Dit is een garantie voor een hoge inter- beoordelaarsbetrouwbaarheid van de onderzoekers.
Inter- beoordelaarsbetrouwbaarheid Zoals hierboven al is beschreven kent dit onderzoek een hoge mate van interbeoordelaarsbetrouwbaarheid voor: respondenten; ex perts; onderzoekers. De kans is groot dat een onderzoek volgens hetzelfde onderzoeksdesign door andere onderzoekers, met andere respondenten en met andere ex perts tot vergelijkbare uitkomsten leidt. Gelijktijdige validiteit Voor zowel de vaststelling van opdrachtbeschrijvingen, de soorten werk, de criteria en de effectiviteit is er sprake van een hoge gelijktijdige validiteit: De resultaten uit de interviews, ex pertbeoordelingen en documentstudie wijzen allemaal in eenzelfde richting. Interne validiteit De interne validiteit van dit onderzoek is hoog. Interne validiteit betreft de wijze van verbanden leggen tussen variabelen en de statistische procedures.
Kwaliteit van organisatieadvies bij de rijksoverheid
122
In het onderzoek is rekening gehouden met het meetniveau waarop de data zijn verzameld. Bij het categoriseren van soorten werk gaat het om een nominaal meetniveau; gegevens kunnen alleen worden gecategoriseerd. Deze categorisering heeft zorgvuldig plaatsgevonden binnen het nominale domein. Het in kaart brengen en meten van criteria is uitgevoerd op ordinaal meetniveau en dataverwerking is uitsluitend uitgevoerd met daarbij passende statistische analyses. Het meten van effectiviteit is uitgevoerd op zowel ordinaal als intervalniveau. Statistische analyses zijn uitsluitend uitgevoerd op ordinaal niveau en in incidentele gevallen wanneer dat was toegestaan op intervalniveau. Bij het zoeken naar verbanden tussen variabelen of het zoeken naar verschillen in
de
perspectieven
tussen
respondenten
is
gebruik
gemaakt
van
correlatieanalyses en verschilanalyses. Gelet op de onderscheiden meetniveau is terecht geen interpretatie gegeven aan de richting of de causale relatie tussen
de variabelen.
In
het
onderzoek
zijn
de onderzoekers uiterst
terughoudend geweest in het interpreteren van de resultaten. Er is vooral gewerkt vanuit de onderzoeksvragen en de gevonden resultaten. De kans dat er alternatieve interpretaties aan de data kunnen worden gegeven is uiterst klein.
Conclusie betrouwbaarheid Gelet op het meervoudige onderzoeksdesign, de zorgvuldige uitvoering van het onderzoek door de onderzoekers, de hoge constructvaliditeit, de hoge interne beoordelaarsvaliditeit, de hoge gelijktijdige validiteit, en de hoge interne validiteit is sprake van een hoge betrouwbaarheid van het onderzoek.
Ex t erne validit eit en generaliseerbaarheid De ex terne validiteit betreft de mate van generaliseerbaarheid van de onderzoeksgegevens naar organisatieadviesprocessen bij de Rijksoverheid en eventuele onderzoeksdomeinen.
Ex terne validiteit De ex terne validiteit betreft vooral mate van representativiteit van de steekproef en de mate waarin de resultaten die gevonden zijn in de steekproef voortkomen in een populatie die breder is dan de steekproef.
Kwaliteit van organisatieadvies bij de rijksoverheid
123
In
het
onderzoek
is
allereerst
een
beperking
gemaakt
in
het
soort
adviesopdrachten aan de hand van enkele criteria: managementvraagstukken, veranderkundige vragen en implementatievragen. Een tweede beperking betreft adviesprocessen binnen ministeries. Agentschappen, locale overheden en uitvoerende overheidsorganisaties zijn buiten beschouwing gelaten. Binnen deze definitie van het onderzoeksdomein zijn per ministerie a- select vijf adviesopdrachten getrokken. In totaal zijn 56 opdrachten onderzocht. Het aantal van 56 opdrachten is, gelet op de diepgang van het onderzoek en de beperking
van
het
onderzoeksdomein,
voldoende
representatief
voor
beantwoording van de onderzoeksvragen naar soorten werk, criteria en effectiviteit bij de rijksoverheid. De mate van ex terne validiteit kan tevens worden afgeleid uit de spreiding van het aantal opdrachten over ministeries, categorieën soorten werk, budgetten van de adviesopdrachten, en omvang van de adviesbureaus die de opdracht hebben uitgevoerd. De spreiding over genoemde categorieën is aanwezig, hetgeen de kans verkleint dat een selectieve groep opdachten is onderzocht. De kans is zeer groot dat bij een hernieuwd onderzoek en een nieuwe steekproeftrekking vergelijkbare resultaten worden gevonden. De ex terne validiteit voor het gedefinieerde advieswerk bij de rijksoverheid is hoog en de uitspraken die in het
rapport
worden gedaan over advieswerk bij de
rijksoverheid zijn valide binnen het gekozen onderzoeksdomein. Gelet op de kleine aantallen opdrachten binnen ministeries of de spreiding van de opdrachten over adviesbureaus, worden er in het onderzoek terecht geen uitspraken gedaan over de effectiviteit van adviesopdrachten per ministerie of de effectiviteit van opdrachten die zijn uitgevoerd door een specifiek bureau.
Ecologische validiteit Dit aspect van de ex terne validiteit verwijst naar de mate waarin de uitkomsten van onderzoek kunnen worden gegeneraliseerd naar andere, min of meer vergelijkbare situaties en omgevingen. Het onderzoek is zorgvuldig uitgevoerd binnen een vooraf omschreven onderzoeksdomein van adviesopdrachten binnen ministeries. Er worden in het onderzoek
terecht
geen
uitspraken
gedaan
over
adviesopdrachten
bij
uitvoerende overheidsorganisaties of locale overheidsorganisaties. Ook worden in het onderzoek terecht geen vergelijkingen gemaakt met andere landen of sectoren.
Er
worden
terecht
geen
uitspraken
gedaan
over
andere
adviesopdrachten dan beschreven.
Kwaliteit van organisatieadvies bij de rijksoverheid
124
Bruikbaarheid De bruikbaarheid betreft de mate waarin de onderzoeksresultaten herkenbaar zijn bij de onderzoekspopulatie en de mate waarin de resultaten bruikbaar zijn voor de onderzoekspopulatie. De onderzoeksresultaten zijn in belangrijke mate herkenbaar voor de founders van het onderzoek. De herkenbaarheid van de resultaten bij de opdrachtgevers en de onderzoekspopulatie is nog niet bekend. De resultaten hebben bruikbare aanbevelingen opgeleverd voor betrokkenen.
Conclusie generaliseerbaarheid Het onderzoek heeft een hoge ex terne validiteit binnen het gekozen onderzoeksdomein. Er is geen grond voor generaliseerbaarheid naar organisaties, sectoren, landen of adviesopdrachten buiten het steekproefkader en het gekozen onderzoeksdomein. Op basis van de verzamelde gegevens kunnen geen uitspraken worden gedaan op het niveau van specifieke ministeries of adviesbureaus. De onderzoekers zijn zorgvuldig geweest in het formuleren van hun conclusies en zijn niet buiten het gekozen onderzoeksdomein getreden; de generaliseerbaarheid van de uitkomsten van het onderzoek is hierdoor hoog binnen het gekozen onderzoeksdomein.
Kwaliteit van organisatieadvies bij de rijksoverheid
125
Bijlage i
Relevante literatuur
Block, P. (1981 en 1999): Fl awless Consult ing. A Guide t o get t ing your ex pert ise used. Aust i n, Tex as, Learning concept s. San Francisco: JosseyBass/ Pf eif f er. Caluwé, L.I.A. de (1998): Denken over veranderen in vijf kleuren. M&O, jaargang 52, nummer 4. Cummings, T.G. & C.G. Worley (1993): Organization development and change. Minneapolis: West Publishing. Doppler, K. & C. Lauterburg (1996): Change management vormgeven aan het veranderingsproces. Amsterdam: Addison Wesley. Greiner, L.E. & R.O. Metzger (1983): Consulting to management. Englewood Cliffs, New Jersey, Prentice Hall. Kubr, M. (ed.) (1996): Management Consulting. A guide to the profession. Genève, International Labour Office. Phillips, J. (2000): The consultant's scorecard. New York, McGraw Hill. Quinn, R.E. & J. Rohrbaugh (1983): A spatial model of effectiveness criteria: towards a competing values approach to organizational analysis. Management Science, 29. Quinn, R.E. (1988): Beyond rational management; mastering the paradox es and competing demands of high performance. San Francisco, Jossey Bass. Twijnstra, A. & D. Keuning (1995): Organisatie- advieswerk. Leiden, Stenfert Kroese.
Kwaliteit van organisatieadvies bij de rijksoverheid
126
Dit onderzoek was mede mogelijk door steun van:
Kwaliteit van organisatieadvies bij de rijksoverheid
127