Formele besluitvormingsmodellen in gebruik Evaluatie van een toepassing maart 1998
Ursula Blom Afdeling Maatschappelijke Verkenningen en Beleidsanalyse
Met dank aan: - de betrokken projectleiders bij het Ministerie van Verkeer en Waterstaat - de onderzoekers Jaco Berveling, Jelle van der Knoop en Henk van der Veen - de leden van de begeleidingsgroep van AVV: Nelly Kalf s, Roelof Oldenburger, Jan van der Waard en Gerard van der Zwet Informatie: Adviesdienst Verkeer en Vervoer (AW) Postbus 1031 3000 BA Rotterdam Hoofdafdeling Vervoer en Maatschappelijke Ontwikkelingen telefoon: (010) 2825738
Inhoudsopgave Korte samenvatting
4
1. Inleiding l. l Aanleiding en doel 1.2 Modelmatige analyse van besluitvorming 1.3 Onderzoeksvragen
4 4 5 5
2. Toepassing op een case 2.1 Selectie issues 2.2 Aanpak toepassing 2.3 Resultaten
6 6 6 7
3. Evaluatie besluitvormingsmodel 3.1 Interviews onder gebruikers 3.2 De onderzoeksvragen beantwoord
7 7 8
Epiloog
11
Literatuur
12
Memorandum on decision making in transport policy (Engelse vertaling)
13
Covernotitie bij het projekt "Besluitvorming rond verkeer en vervoer"
Korte samenvatting: Eind 1997 is het anticiperend onderzoeksproject "Besluitvorming rond verkeer en vervoer" afgerond. Het doel van dit project was het verkennen van de gebruiksmogelijkheden van formele besluitvormingsmodellen voor het Ministerie van Verkeer en Waterstaat. Kenmerkend voor de gebruikte modelmatige analyse van besluitvorming is, dat na een inventarisatie en
kwantificatie van een aantal gegevens, het komende besluitvormingsproces met behulp van computermodellen gesimuleerd wordt. De output van deze simulatie stelt de onderzoekers in staat inzicht te verkrijgen in de meest waarschijnlijke ontwikkeling van de besluitvorming. Het bleek moeilijk om toestemming te krijgen van projectleiders bij de beleidsafdelingen om een case te selecteren voor toepassing van de besluitvormingsmodellen. Uiteindelijk is het wel gelukt, maar omdat het verschillende uitwerkingen van één case betreft was het verkennen van de gebruiksmogelijkheden van deze methodiek slechts beperkt mogelijk. Aan de hand van deze case is de conclusie dat de methodiek bruikbaar is gerechtvaardigd. Meer inzicht wordt verkregen met name in de mogelijkheden te anticiperen op de te verwachten uitkomst van het besluitvormingsproces en het zicht waar knelpunten te verwachten zijn. Wel kan uit de ondervonden problemen bij het verkrijgen van toestemming de conclusie worden getrokken dat dergelijke projecten in een vroeg stadium door het management op hoog niveau moeten worden gesteund.
1. Inleiding
1.1 Aanleiding en doel Bij de SVV-evaluatie (1994) is geconcludeerd dat juist de implementatie van beleid extra aandacht vraagt. Een aantal SVV-maatregelen is in het verleden zeer beperkt ingevoerd, weer teruggedraaid, of uitgesteld. Het vergroten van draagvlak bij de bevolking en bij de relevante actoren krijgt in het beleid daarom momenteel veel aandacht. Onlangs is door de Adviesdienst Verkeer en Vervoer (AVV) het anticiperend onderzoeksprojekt "Besluitvorming rond verkeer en vervoer" afgerond. In dit project is vooral aandacht besteed aan het proces van politieke en bestuurlijke besluitvorming. Een methode om meer kennis over dit proces te verkrijgen is bij een specifieke case uitgeprobeerd. Het doel van het project was het verkennen van de gebruiksmogelijkheden van formele besluitvormingsmodellen voor het Ministerie van Verkeer en Waterstaat aan de hand van concrete "issues". De onderzoekstoepassing is uitbesteed aan de Universiteit van Groningen, vakgroep sociologie, in samenwerking met Universiteit van Leiden. In een later stadium is ook DECIDE Bv erbij betrokken, een aan de universiteit van Groningen gelieerd onderzoeksbureau1. De onderzoekers Jelle van der Knoop (DECIDE Groningen), Jaco
1
Het gegeven dat DECIDE BV pas in een later stadium bij het onderzoek is betrokken, heeft gevolgen gehad voor de aanpak. In het algemeen is de aanpak gevolgd die bij de universiteiten gebruikelijk is en die meer wetenschappelijk van aard is.
Berveling (Universiteit Leiden) en Henk van der Veen (Universiteit Groningen) hebben het onderzoek verricht. In deze covernotitie wordt ingegaan op de methode, en worden de gebruiksmogelijkheden geëvalueerd. In verband met het vertrouwelijke karakter van de resultaten wordt slechts summier ingegaan op de specifieke case. Een samenvatting van het (interne) onderzoeksrapport is in de bijlage opgenomen. 1.2 Modelmatige analyse van besluitvorming Kenmerkend voor de gebruikte modelmatige analyse van besluitvorming is, dat na een inventarisatie en kwantificatie van een aantal gegevens, het komende besluitvormingsproces met behulp van computermodellen gesimuleerd wordt. De output van deze simulatie stelt de onderzoekers in staat inzicht te verkrijgen in de meest waarschijnlijke ontwikkeling van de besluitvorming. Bovendien kunnen op basis van deze inzichten strategische adviezen worden gegeven die de opdrachtgever in staat stellen, overeenkomstig zijn doeleinden, het resultaat van de besluitvorming in een gunstige richting te beïnvloeden. Het is, kortom, een kwantitatieve methode waarmee besluitvorming prospectief kan worden onderzocht en waarmee het beleid strategisch ondersteund kan worden. De methode is op enkele beleidsterreinen en op verschillende overheidsniveau's toegepast (zie Stokman en Van den Bos, 1992; Berveling, 1994; Van der Veen en Peschar, 1995). Een voorbeeld betreft het onderzoek naar de CAO-onderhandelingen in de grootmetaal (zie onder andere: Intermediair, 25-10-1996). Onderzoekers van de Rijksuniversiteit Groningen wisten 13 van de 16 onderwerpen die in de onderhandelingen van 1996 een rol speelden juist te voorspellen. Door onderhandelaars van werkgevers- en werknemerszijde te interviewen werd in kaart gebracht wat de standpunten waren bij het begin van de onderhandelingen, wat de potentiële macht van de partijen was en welk belang ze aan de afzonderlijke agendapunten hechtten. Door deze gegevens te kwantificeren en vervolgens met de hulp van een computer de onderhandelingen te simuleren was het mogelijk om vooraf de uitkomsten van de besluitvorming te voorspellen. De onderzoekers deponeerden hun voorspellingen bij de notaris en bleken het in ruim 80% van de gevallen bij het juiste eind te hebben gehad. Afgezien van hetgeen de computer aan voorspellingen genereert is ook een meer strategische toepassing mogelijk. De opdrachtgever kan de effecten van verschillende alternatieve beïnvloedingstrategieën na (laten) gaan. 1.3 Onderzoeksvragen In het project "besluitvorming rond verkeer en vervoer" is een antwoord gezocht op de
volgende onderzoeksvragen: •
l. Is een formele modelmatige aanpak bruikbaar om inzicht te verkrijgen in het politieke
besluitvormingsproces bij "issues" relevant voor het beleid van het ministerie van Verkeer en Waterstaat, en zo ja, op welke vragen kan het model een antwoord geven en op welke vragen niet? • 2. Is er een uitspraak te doen over de mate waarin besluitvorming ten aanzien van bepaalde issues te voorspellen is?
• 3. Is het model te gebruiken voor strategische analyses, m.a.w. zijn er mogelijkheden om te anticiperen op toekomstige besluitvorming, uitgaande van voorspelde besluitvorming?
• 4. Wat zijn de voordelen en de nadelen van de methode (in het algemeen, en meer specifiek in Verkeer en Waterstaat context), en kan tegemoet gekomen worden aan de bezwaren?
2. Toepassing op een case 2.1 Selectie issues
Ten behoeve van de evaluatie van de methodiek is deze toegepast op de strategische analyse van de besluitvorming rond de invoering van rekeningrijden. Er werden vier besluitvormingsonderzoeken verricht: drie op regionaal niveau (Noord-Holland, Utrecht en Zuid-Holland) waar wordt besloten over de concrete vormgeving van rekeningrijden aldaar, en één op centraal niveau. De laatste heeft betrekking op de besluitvorming in het parlement rond de Kaderwet Rekeningrijden en de Invoeringswet Rekeningrijden. Voor het (modelmatige) onderzoek naar rekeningrijden van start ging, is ook geprobeerd andere issues in het besluitvormingsonderzoek te betrekken. Er is voorbereidend onderzoek verricht naar: Vliegveld Beek, RandstadRail, Verlaging van snelheden (meer specifiek de Intelligente SnelheidsAdapter) en de routering van gevaarlijke stoffen. Hoewel in het vooronderzoek bleek dat in ieder geval in drie van de vier issues (vliegveld Beek, RandstadRail en ISA) een modelmatige besluitvormingsanalyse mogelijk was geweest, zijn om uiteenlopende redenen deze projecten niet in het onderzoek meegenomen. Beleidsmedewerkers of het middenkader daarboven, zijn naar mijn mening bang dat de risico's van participatie te groot zijn: risico's dat zij beschuldigd worden van manipulatie, dat de plicht tot openbaarheid van bestuur zich niet verdraagt met een dergelijke methodiek, of dat zij door de bemoeienis van AVV onvoldoende het project zelf in de hand hebben (en dus ook moeilijk stop konden zetten). Zijzelf gaven vaak andere redenen op voor het geringe animo te participeren, redenen als: te druk, en politieke gevoeligheid van de issues (zie ook de samenvatting van de onderzoekers in de bijlage). 2.2 Aanpak toepassing De vier besluitvormingsonderzoeken die uiteindelijk verricht zijn hebben allemaal betrekking op dezelfde case, maar in verschillende contexten. De doelstelling van deze deelonderzoeken, de issues, en de informanten, zijn in overleg met de betrokken projectgroepen, in de regio en centraal, vastgesteld. De doelstelling van de deelonderzoeken was: nagaan in hoeverre er bestuurlijk draagvlak bestaat, regionaal en landelijk, voor de invoering van rekeningrijden en op welke wijze dit draagvlak vergroot kan worden. De gekozen issues waren niet voor elke regio dezelfde. Zij betroffen onder meer: het draagvlak voor rekening rijden in het algemeen
en voor enkele varianten in het bijzonder, de vormgeving van de varianten en de wijze van
oormerking. De onderzoekers hadden de beschikking over verschillende besluitvormingsmodellen. Deze modellen verschillen naar de veronderstellingen ten aanzien van de aard van de besluitvorming. Wordt de aard van de besluitvorming bijvoorbeeld getypeerd door confrontatie en conflict dan is een ander model gewenst dan wanneer de partijen op voorhand naar consensus streven. In dit onderzoek zijn analyses uitgevoerd met het Expected Utility Model van Bruce Bueno de Mesquita en het Twee-fasen model van Stokman en Van den Bos.
Voor het verkrijgen van de noodzakelijke data, als input voor de modellen, zijn experts geïnterviewd die deskundig zijn op het betreffende beleidsterrein. Per regio zijn steeds circa vijf deskundigen geïnterviewd. De groep van geïnterviewde experts is op verzoek van de regionale directies beperkt gebleven tot interne Rijkswaterstaat-deskundigen en slechts enkele externe experts. Aan deze experts is een uitgebreide vragenlijst voorgelegd, met vragen over de belangrijke actoren in het besluitvormingsproces, het standpunt dat die actoren innemen, het belang dat aan het standpunt wordt gehecht en de middelen die de actoren tot hun beschikking hebben. Ook het netwerk van actoren is in kaart gebracht.
Aan de hand van de resultaten hebben van der Knoop e.a. de toepassing van de case geëvalueerd (zie de samenvatting in de bijlage). Door AVV is vervolgens telefonisch gevraagd aan de verschillende gebruikers hoe zij dachten over de bruikbaarheid van het model. 2.3 Resultaten Het onderzoek viel uiteen in vier deelonderzoeken. Een onderzoek naar rekening rijden in de regio's Noord-Holland, Utrecht, Zuid-Holland en Haaglanden en het centrale niveau. De deelonderzoeken leverden volgens de onderzoekers inzicht in:
1. 2. 3. 4. 5. 6. 7.
De actoren die invloed uitoefenen op de besluitvorming, De standpunten van de betrokken actoren en hun motivatie, Het gewicht dat moet worden toegekend aan de actoren in de besluitvorming, De verwachte tendens of uitkomst van de besluitvorming, De stabiliteit van de verwachte uitkomsten, Het aanwezige draagvlak voor de invoering van rekeningrijden, De mogelijkheden om op strategische wijze optimaal te anticiperen op de te verwachten ontwikkelingen, teneinde het draagvlak voor rekeningrijden te vergroten (strategisch advies), 8. De mogelijkheden om de voorkeuren van het ministerie respectievelijk de regionale directies ten aanzien van de vormgeving van rekeningrijden beter te kunnen realiseren (strategisch advies).
Het onderzoek als geheel heeft volgens de onderzoekers inzicht verschaft in de vraag waar de knelpunten zijn te verwachten met betrekking tot de invoering van rekeningrijden en hoe strategisch op deze te verwachten knelpunten kan worden geanticipeerd. Voor een meer uitgebreide samenvatting van het onderzoek verwijs ik naar de bijlage. d. Evaluatie besluitvormingsmodel
3.1 Interviews onder gebruikers.
Aan 10 gebruikers van het besluitvormingsmodel zijn enkele evaluatievragen gesteld. Het waren gebruikers die kennis hadden genomen van de resultaten van het model in de genoemde case en/of mensen die geïnterviewd waren bij het verzamelen van de data.
Algemeen was de reactie dat het onderzoek weinig verrassends had opgeleverd. -Een open deur-, niets nieuws- waren veelgenoemde kreten. Door de meesten werd direct daarna gezegd dat dat ook wel logisch was gezien het interne karakter van het onderzoek: de issues waren intern bepaald, de informanten waren bijna allen intern, en kwamen zelfs meestal uit een
kleine kring direct betrokkenen. Door sommigen werd gezegd dat ook door het inbrengen in modellen het besluirvormingproces wordt versimpeld, waardoor de kans op iets nieuws kleiner is: 'Watje erin stopt komt er ook uit'. Het besluitvormingsmodel doet volgens sommigen onvoldoende recht aan de veelheid van factoren van het politieke spel. Over de vraag of het onderzoek bruikbaar is geweest zijn de meningen verdeeld. Dit hangt sterk af van de bruikbaarheid van de resultaten voor het betreffende beleid. Ondersteunen de verschillende resultaten, en dan met name de strategische adviezen, het gevoerde beleid dan is men zeer positief over de bruikbaarheid, is dat niet zo dan heeft men twijfels. Een belangrijk aspect hierbij is ook de timing. Bij enkele deelonderzoeken kwam het rapport precies op tijd, en werd de verslaggeving ook als zeer snel ervaren, bij andere werd het rapport ingehaald door het proces. Al tijdens de fase van de dataverzameling gingen de ontwikkelingen daar zo snel dat voor het laatste interview was afgerond de eerste al weer achterhaald was. De resultaten zijn in en door de teams zeer verschillend gebruikt. Waar bij de een er alleen in de fase van dataverzameling en de eerste presentatie van de resultaten aandacht voor het onderzoek is geweest en daarna snel overgegaan is tot de orde van de dag, is door andere teams op de resulaten doorgediscussieerd of heeft men anderszins de resultaten direct in het besluitvormingsproces gebruikt. Een steeds terugkomend kritiekpunt is het gegeven dat in de presentatie één interview als uitgangspunt wordt genomen, en de tabellen steeds op één interview gebaseerd zijn. Weliswaar zijn de resultaten en adviezen in totaal gebaseerd op meerdere interviews (al is dat ook een klein aantal), in de presentaties wordt één interview eruit gelicht. Men vond dat een zwak punt: ten eerste had men twijfels bij de representativiteit van die ene informant, of had men twijfels of de analyse van die ene informant wel de goede was. Ten tweede vond men de wijze waarop de keuze van deze ene informant tot stand kwam een black box. De argumentatie dat de onderzoekers tot die conclusie waren gekomen is niet goed genoeg onderbouwd om voldoende vertrouwen te wekken. Het hangt dan te veel van de onderzoeker af welke informant uitgekozen wordt. Meer specifiek doorgevraagd op welke punten meer inzicht is verkregen, wordt vooral het inzicht in mogelijkheden om te anticiperen genoemd en het zicht op waar knelpunten zijn te verwachten. Bij zicht op actoren, standpunten, gewicht van de actoren en draagvlak wordt door de meesten gezegd dat daar geen of weinig extra inzicht verkregen is. Daarbij wordt tegelijk opgemerkt dat ook hier de invloed van het gegeven dat men alleen interne informanten gekozen had groot is. Met andere woorden: je kunt niet verrast worden door gegevens die je zelf hebt ingebracht.
Afsluitend zeiden ook de zeer kritischen geen spijt te hebben dat ze geparticipeerd hadden in het onderzoek, al was het maar om het eens te proberen. Degenen die positief waren over het onderzoek overwegen om de methodiek in een later stadium nog eens te gebruiken, maar dan
met externe interviews erbij en/of met andere issues. 3.2 De onderzoeksvragen beantwoord Achtereenvolgens worden de verschillende onderzoeksvragen beantwoord of wordt
aangegeven waarom ze niet beantwoord kunnen worden. De antwoorden zijn in het algemeen een reactie op de ervaringen bij de toepassing van deze case, maar hoeven niet bij elke toepassing van formele besluitvomingsmodellen geldig te zijn. Hierbij geef ik mijn visie, die op enkele punten afwijkt van de onderzoekers en/of de gebruikers. 8
onderzoeksvraag l Is een formele modelmatige aanpak bruikbaar om inzicht te verkrijgen in het politieke besluitvormingsproces? Naar mijn oordeel is een dergelijke aanpak in algemene zin bruikbaar om verschillende redenen: • het dwingt beleidsmakers om aandacht te schenken aan draagvlakverwerving, om rekening te houden met het maatschappelijk krachtenveld, en om scherp te formuleren wat de issues zijn waar het om gaat • de resultaten kunnen gebruikt worden om de koers die al ingezet is te benadrukken of de koers bij te stellen. • de resultaten kunnen gebruikt worden in de communicatie. Dat geldt voor elk onderzoek, maar voor dit type onderzoek in het bijzonder. Het geeft namelijk resultaten weer die wel vaak in de hoofden van de beleidsmakers bekend is, maar niet expliciet wordt gezegd of geschreven. • alleen al de vraag om vertrouwelijkheid wijst op bruikbaarheid. Wanneer het onderzoek niet bruikbaar was geweest had men ook geen angst gehad de resultaten in de openbaarheid te brengen. De onderzoekers, van der Knoop, van der Veen en Berveling, noemen verschillende redenen waarom de methode bruikbaar is (zie de samenvatting van de onderzoekers in de bijlage). Ook noemen zij punten waarop de deelrapporten meer inzicht hebben opgeleverd. Deze punten worden door de gebruikers slechts gedeeltelijk onderschreven, zoals blijkt uit de beschrijving van de belronde. Er zit dus een kloof tussen de visie van de onderzoekers en van de gebruikers. Hierbij gaat het steeds om bruikbaarheid in algemene zin. Of de analyse meer inzicht oplevert,
en op welke punten, hangt sterk af van de gekozen experts voor de interviews en van het niveau waarop de gebruikers al inzicht in het proces hadden voorafgaand aan de analyse. Bij de toepassing bleek dat deze gebruikers vooral meer inzicht verkregen in de mogelijkheden om te anticiperen en het zicht waar knelpunten te verwachten zijn. Op andere punten was het inzicht al zo hoog en het interne kringetje van geïnterviewde experts zo klein dat geen extra inzicht gegenereerd werd. Bovendien bleven de gebruikers bij het formuleren van de issues aan de veilige kant. Ze hadden ook een issue kunnen kiezen waarvan ze weinig wisten. In dat geval was bij interviews met externe experts ongetwijfeld meer inzicht gegenereerd. AVV heeft bij deze exercitie in ieder geval ook meer inzicht in het besluitvormingsproces als geheel verkregen. Om te kunnen vergelijken met andere methodieken zou een gedegen analyse nodig zijn waarop de verschillen en overeenkomsten in kaart worden gebracht. Alles overziend is de bruikbaarheid van de methode zonder enige twijfel bevestigd. onderzoeksvraag 2. Is er een uitspraak te doen over de mate waarin besluitvorming ten aanzien van bepaalde issues te voorspellen is?
Op basis van deze methodiek zal men niet snel van koers wijzigen. Daarvoor wordt de methode als te subjectief ervaren ofte veel als een black box. Met andere woorden: je moet er in geloven, mede omdat de strategische adviezen in lijn zijn met de eigen ideeën. Is dat niet zo, dan wordt de onderzoeksmethode aangegrepen om uit te leggen waarom de adviezen niet kloppen. Hierbij wordt het aantal interviews direct aangewezen als zwakke plek.
Op basis van deze case is dat niet mogelijk, omdat de issues geen concrete punten bevatten waarop binnen deze korte termijn een besluit is gevallen. Bovendien is er mede op grond van dit rapport ten dele geanticipeerd op de uitkomst van het besluitvormingsproces, waardoor eerdere inschattingen over standpunten van actoren en de uitkomst van het besluitvormingsproces, ten tijde van het besluit, achterhaald zijn.
Op basis van cases op andere beleidsterreinen is dat wel mogelijk. Daaruit blijkt in het algemeen een hoge mate van voorspelbaarheid. onderzoeksvraag 3: is het mogelijk het model te gebruiken voor strategische analyses, m.a.w. zijn er mogelijkheden om te anticiperen op toekomstige besluitvorming?
Op deze vraag kan zonder meer met ja geantwoord worden, omdat er bij deze case inderdaad door een of meer actoren geanticipeerd is. onderzoeksvraag 4: wat zijn de voor- en nadelen van de methode?
Enkele voordelen van de methode worden door de onderzoekers genoemd en door mij onderschreven:
• met deze methode is men in staat in een beperkte tijd een goed inzicht te verkrijgen • de onderzoeksresultaten zijn zeer concreet • door het formele karakter van het model dwingt het de gebruikers om de issues helder te formuleren. Het rendement bij bepaalde vraagstellingen is daardoor inderdaad hoog. Een aantal zwakkere punten die door de gebruikers aan de orde worden gesteld en/of door de onderzoekers zelf genoemd worden zijn: • het statische karakter van de methode: er wordt op één moment gemeten, terwijl het besluitvormingsproces in het algemeen zeer dynamisch is. Hieraan kan voor een deel tegemoet gekomen worden door in verschillende tijdsperiodes te meten, hetgeen bij deze case niet gebeurd is. • het versimpelen van het proces bij de modellering kan zowel als sterk punt als als zwak punt worden gezien. Veel hangt hierbij af van waar de gebruikers op een bepaald moment behoefte aan hebben: willen ze snel helder inzicht in waar het echt om gaat dan is deze methode wel geschikt. Maar hebben ze dit inzicht wel, en willen ze juist wat extra, dan is het naar mijn oordeel allemaal te simpel. • het geringe aantal informanten zoals dat in de toepassing is gebruikt, maakt de analyse erg gevoelig voor de kwaliteit van de informanten. Het maakt de resultaten ook kwetsbaar voor kritiek. Bovendien geldt dat nog sterker voor de wijze waarop de resultaten gepresenteerd worden: hierbij wordt slechts één interview gebruikt. Tenslotte merk ik op dat er in de toepassing problemen om de hoek kwamen die te maken hebben met het strategische karakter: • wanneer deze methode wordt gebruikt door overheidsactoren, met name bij het strategisch anticiperen, zijn ethische bezwaren te maken. Immers, de openbaarheid van informatie verdraagt zich niet goed met dit strategisch anticiperen. Ook de rol van de overheid als behartiger van het algemeen belang kan in het geding zijn als zij zich te sterk "manipulatief' gedraagt. Een goede analyse van dit ethische dilemma, die er rekening mee houdt dat in de praktijk dagelijks strategisch geanticipeerd wordt, kan hierover misschien uitsluitsel geven.
10
• de bruikbaarheid van de methodf staat of valt met de bereidheid van potentiële gebruikers om de methode toe te passen. Hierbij blijkt er bij het Ministerie van Verkeer en Waterstaat veel koudwatervrees te bestaan. Men is, voor een deel terecht, bang voor negatieve reacties van stakeholders of van de media. Zoals de onderzoekers aangeven is daarom aan te raden om op hoog niveau credit voor de methode te vergaren voordat aan een toepassing begonnen wordt. Op hoog ambtelijk niveau wordt vaker dan op middenkaderniveau het nut van hulpmiddelen bij strategisch anticiperen ingezien. Epiloog Het is de vraag of draagvlak, besluitvorming en het proces van implementatie in het algemeen wel onderwerpen zijn, die geschikt zijn om uit te voeren als "anticiperend onderzoek" van de Adviesdienst Verkeer en Vervoer (AVV). Deze onderwerpen zijn momenteel zo relevant voor het beleid, dat zij vaak ook direct in opdracht van de klant gedaan kunnen worden. Bovendien is uit dit project en uit het project "keuzeenquete" gebleken dat het niet zo handig is, dat bij anticiperend onderzoek de AVV zelf de opdrachtgever is. Het bleek mede daarom uiterst moeilijk om toestemming te krijgen bepaalde cases te selecteren voor de toepassing. Bovendien, toen uiteindelijk een case gevonden was, mochten de resultaten niet verspreid worden. Het gevolg is dat AVV na afsluiting van dit projekt slechts in beperkte mate de opgedane kennis kan verspreiden. En spreiding van kennis is een van de doeleinden van de productsoort "anticiperend onderzoek". Anticiperend onderzoek over draagvlak, besluitvorming of het proces van implementatie, kan zinvol zijn als het methodisch nieuwe wegen inslaat, of controversiële terreinen bestrijkt. Juist dan is het echter moeilijk om toestemming te krijgen bepaalde cases te selecteren. Voor de toekomst verdient het daarom aanbeveling, al in een eerder stadium een opdrachtgever te zoeken, die medeverantwoordelijk is bij de uitvoering. Deze weg wordt door de afdeling Vervoer en Maatschappelijke Ontwikkelingen (VM) momenteel gevolgd. Een andere mogelijkheid is bij aanvang van een anticiperend onderzoeksproject meer actieve commitment te vragen van de leiding van AVV. Zij zouden kunnen helpen steun te krijgen op een hoger niveau in de bestuurskern.
11
Literatuur
Berveling, J. (1994), Het stempel op de besluitvorming, Amsterdam: Thesis Publishers
Berveling, J. (juni 1997), Draagvlak voor rekening rijden: de regio Noord-Holland (vertrouwelijk)
Knoop, J.v.d., (september 1997), Analyse van het draagvlak voor de invoering van een systeem van betaald rijden in de regio's Rotterdam en Haaglanden (vertrouwelijk). Knoop, J.van der, H.van der Veen en J. Berveling, (oktober 1997), Strategische analyse met behulp van besluitvormingsmodellen, Groningen (eindrapport AVV-onderzoek, vertrouwelijk) Stokman, F.N. & J.M.M, van den Bos (1992), A two-stage model of policy making with an empirical test in the U.S. energy policy domain, in: Moore, G. & J.A. Whitt (eds.), The political consequences of social networks, Vol. 4 of research and Society, Greenwich, Conn. Veen, H.C.J. van der, Peschar, J.L. (1995), Aanvaardbaarheid en politieke haalbaarheid van energiebesparende maatregelen, ABC: De Lier Veen, Henk van der, (augustus 1997), Rekeningrijden; Draagvlak en besluitvorming op het centrale niveau (vertrouwelijk) Veen, Henk van der, (juni/juli 1997), Rekeningrijden; Draagvlak en besluitvorming in de regio Utrecht, (vertrouwelijk)
12
Memorandum on decision making in transport policy Ursula Blom, Transport Research Centre (AVV) Summary:
The research project "Decision making in transport policy" has been completed by the end of 1997. The aim of this project was to explore the possible uses of formal decision making models for the Ministry of Transport, Public Works and Water Management. This modelbased approach to decision making involves quantifying or making an inventory of selected information. The information is then to simulate a forthcoming decision making process with the help of a computer model. The output ofthe simulation should allow the researehers to predict the most likely results ofthe decision making and should also provide insights into the most likely course ofthe decision making process.
Getting the project leaders ofthe relevant policy departments to agree on what decision making process should be used as a subject for the model turned out to be very diffieult. When a decision was eventually reached, the fact that it only involved a single subject (road pricing) meant that it was only possible to explore the potential ofthe method to a very limited extent. Nevertheless, by using this example, it could be fairly concluded that the usefulness ofthe method had been validated. More insight was gained, particularly with regard to the potential for anticipating the results of a decision-making process and for seeing where the bottlenecks might lie. It could also be concluded from the difficulty in obtaining permission for the study that such projects are critically dependent on support from top management in their early stages.
1. Introduction
1.1 Objectives It was concluded from the Transport Structure Plan (SVVII) evaluation (1994) that it was the actual implementation of policy that most needed extra attention. In the past, a number of Transport Structure Plan (SVVII) measures had been delayed, cancelled or only partially implemented. In view of this, the need to increase the support amongst both the general public and important concerned parties received a lot of attention in the policy. The Transport Research Centre (AVV) recently completed the research project "Decision making in transport policy", which paid particular attention to the process of political and managerial decision-making. A method for gaining more insight into the decision making process was
applied to one particular case. The aim of this project was to explore the possible uses of formal decision making models for the Ministry of Transport, Public Works and Water Management by using concrete, realworld issues. The Sociology Department ofthe University of Groningen carried out the research in collaboration with the University of Leiden. DECIDE - a research bureau attached 13
to the University of Groningen - w^s brought in at a later stage3. The researehers were Jelle van der Knoop (DECIDE, Groningen), Jaco Berveling (University of Leiden) and Henk van der Veen (University of Groningen). This memorandum will be concerned with the method itself and will evaluate its potential. As a result ofthe confïdential nature ofthe results, the details ofthe specific case will not be discussed in any detail. A summary ofthe (internal) research report is included in the appendix. 1.2 A model-based approach to the analysis of decision making A model-based approach to the analysis of decision making involves an inventorisation and quantification of data followed by a computer simulation ofthe forthcoming decision making process. The output ofthe simulation allows researchers to gain insight into the most probable outcome ofthe decision making. Furthermore, strategie advice based on these insights can allow the recipiënt ofthe advice to influence the result ofthe decision making in a way favourable to his or her objectives. It is, in other words, a quantitative method in which decision making can be prospectively investigated and with which the policy can be strategically supported. The method has already been applied in some policy areas and at different levels of government. (See Stokman and Van den Bos, 1992; Berveling, 1994; Van der Veen and Peschar, 1995). One such example involved research into the negotiations for a new collective labour agreement m the heavy metalworking industry. (See inter alia Intermediair, 25-10-1996). Researchers from the University of Groningen were able to predict 13 of the 16 issues that eventually played a role in the 1996 negotiations. By interviewing the negotiators for both the employers and employees, it was possible to establish precisely what their points of view would be at the start ofthe negotiations. It was also possible to discern where the power ofthe various interested parties lay and how much importance each party attached to the various points on the agenda. By first quantifyhlg this information and then feeding it in to a computer simulation ofthe decision making, it was possible to predict the outcome ofthe negotiations. The researchers deposited their predictions with a notary and, when the negotiations were completed, it appeared that they had correctly predicted about 80% ofthe results. The strategie possibilities of this method are far reaching - anyone commissioning such a model, for instance, would be in a position to predict the consequences of various alternative strategies open to him and thereby influence the result.
1.3 Research questions The project "Decision making in transport policy" sought answers to the following research questions: l. Can a formal model-based approach provide insight into the political decision making process for issues that are relevant to the Ministry of Transport, Public Works and Water 3
The belated involvement of DECIDE BV in the research had consequences for the approach used. In their absence, an approach was adopted that is common in universities and is more 'scientifïc' in nature.
14
Management and, if so, for which questions can the model provide an answer and which not? 2. Can anything be said about the degree to which decision making on particular issues is possible? 3. Can the model be used for strategie analyses? In other words, is it possible to anticipate future decision making on the basis if predicted decision making? 4. What are the pros and cons ofthe method, both in general and more specifically in the context of transportation and water management? Moreover, what can be done to deal with objections to the method?
2. Application to one case 2.1 Selecting the case
In order to evaluate the methodology, it was used for a strategie analysis ofthe decision making surrounding the introduction of road pricing. Four decision making investigations were carried out - three at regional level (North Holland, Utrecht and South Holland) and one at national level. The latter investigation was concerned with the parliamentary debate ofthe Framework Law on Road Pricing and the Road Pricing Implementation Law. Before the investigation started, a number of other issues were considered as possible subjects for the study. These included the airport at Beek (Maastricht-Aachen Airport), RandstadRail, reduction of speed limits (mainly regarding the use ofthe Intelligent Speed Adapter) and the routing of dangerous substances. Although preliminary research had shown that at least three ofthe four issues (the airport at Beek, RandstadRail and the ISA) were suitable for a modelbased decision making analysis, these projects were, for various reasons, not included in the final project. It is my opinion that policy makers from the middle level and above consider the dangers of participation to be too large. They are worried of being accused of manipulation and think that the requirement for openness in government is not compatible with such methods. They are also worried that, as a result ofthe interference ofthe AVV, they would not have an acceptable degree of control over the project and would find it diffieult to stop it if that seemed the best thing to do. However, the reasons they themselves gave for their lack of enthusiasm for the project were rather different - they were either too busy or were concerned about the political sensitivity ofthe issues.
2.2 The approach to application The four decision making research studies that were eventually carried out all related to the same case, albeit in different contexts. The issues involved, the aims ofthe part studies and
the role ofthe informants were all established through discussion with the national and regional project groups involved. The objective ofthe part-studies was to see how much administrative support at both national and regional level there was for the introduction of road pricing and to see in what way this support could be increased. The issues selected were not the same for each region. They concerned inter alia the support for both road pricing in general and for certain types of road pricing in particular, the forms these types of pricing would take and the approach used for the earmarking of funds. 15
The researchers had various decision-making models at their disposal. These models differed in the assumptions they made about the nature of decision making. If, for example, the decision making is characterised by confrontation and conflict, a different model would be used than where the various parties are seeking some kind of consensus from the outset. The analyses were carried out with the help ofthe Expected Utility Model of Bruce Bueno de Mesquita and the Two-Phase Model of Stokman en Van den Bos.
To obtain the input data, interviews were carried out with experts in the relevant areas of policy making. About five experts were interviewed for each region. At the request ofthe regional boards, the selection of experts was restricted to the Ministry's internal experts and only a few outside experts were interviewed. The experts were provided with an extensive questionnaire with questions concerning the important parties in the decision making process, the points of view taken by these parties, the importance they each attach to these points of view and the means that each party has at its disposal. The network ofthe parties was also established in this way. On the basis of these results, Van der Knoop and others were able to evaluate the application ofthe case (see summary in appendix). The AVV also carried out a telephone survey ofthe various users to find out what they thought about the usability ofthe model. 2.3 Results The research was divided into four part studies. An investigation into road pricing in the regions North Holland, Utrecht, South Holland (Rotterdam and Haaglanden) and at national level. The part studies provided insights into the following:
1. The various parties involved in earrying out the decision making, 2. The points of view of these parties and their motivation, 3. The amount of weight that should be given to each party involved in the decision making,
4. The trends within the decision making process and the final decision, 5. The stability ofthe expected results, 6. The degree of support for the introduction of road pricing, 7. The possibility of strategically anticipating the expected developments in order to increase support for road pricing (strategie advice),
8. The possibility of guiding the preferences ofthe Ministry and its regional boards with respect to the form of road pricing that should be adopted (strategie advice). The researchers were satisfied that the study has given some insight into where the bottlenecks can be expected in the introduction of road pricing and how they can be
strategically anticipated.
3. Evaluation ofthe decision making model 16
3.1 Interviews with users. Some evaluation questions were put to ten users ofthe decision making model. These were people who were familiar with the results ofthe model for the above mentioned case and/or people who had been interviewed for the purpose of garnering input data for the model. The general reaction was that the study had revealed little that was surprising. The phrases 'pretty
obvious' and 'nothing new' were often heard. Most then added directly that this was more or less logical seeing the internal nature ofthe research. The issues, after all, were determined internally and came for the most part from a small circle of those directly involved. Others suggested that the modelling itself had simplified the decision making process, as a result of which little that was new could be expected. ('You only get out what you put in'.) According to some people, the decision making model does not do full justice to the multitude of factors involved in politics. Opinions were divided as to whether the method was usable, although this correlated well with its usefulness for the individual concerned. People were more positive about the usefulness ofthe method when the various results supported the final policy, and particularly where they concerned strategie advice. Another important aspect of this was timing. For a number of part studies, the results came out precisely on time and the reporting was perceived as rapid while in other cases the reporting was overtaken by the decision making process. Even during the data-gathering phase, the developments proceeded so rapidly that the first interview was out of date before the last one was completed. The teams used the results in very different ways. Where one team only paid attention during the data garnering and the first presentation ofthe results before returning to its business, other teams discussed the results thoroughly or even used the results directly in the decision making process. One recurring point of criticism was the fact that in the presentation, only one interview was used for illustration and the tables were also consistently based on one interview. Although the results and the advice that derived from them were based on multiple - albeit not many interviews, the presentations were all illustrated with only one interview. People found this to be a weak point. Firstly, they had doubts about the representativeness of this one informant or questioned his judgement. Secondly, they feit the way the single informant was chosen was not sufficiently transparent. The reasoning used by the researchers, however sound it might be, is therefore not sufficiently well supported to inspire confidence in the results. The choice of informant depends too much on the individual researcher. When people were asked where most insight had been gained, it was mainly the possibilities for anticipating results and possible bottlenecks that were mentioned. As for insight into the parties involved, their standpoints, the weight that could be brought to bear by each party and the nature and extent ofthe support for the policy, it was mostly said that few new insights had been gained. This was usually accompanied by the remark that the effect of choosing only internal informants was too great. In other words, you can't expect to be surprised by information you have put in yourself.
Finally, even the most critical people said they had no regrets about taking part in the research, even if it was simply a matter of being prepared to try anything once. Those who 17
were positive about the research were prepared to consider using the method at a later stage, albeit then with external as well as internal experts and/or with other issues. 3.2 The research questions answered The various research questions were either answered or explanations were given as to why
they could not be answered. These answers are in general reactions to the experiences ofthe application ofthe method to this one case and will not therefore necessarily apply to every application of formal decision making. I have given my own interpretation below, which on some matters is different to that ofthe researchers and/or the users. Research question l Is a formal model-based approach useful for gaining insight into the political decision making process?
In my view, such an approach will be generally useful, and for the following reasons: It forces policy makers to pay attention to creating support for a policy, it forces them to take social forces into account and makes evident for the need for clarity in formulating the issues. The results can be used to reinforce the course being taken by the proceedings or, alternately, to make adjustments to this course4. The results can be used in the communication. This is true for every study but applies with particular force to this type of research. This is because it provides results that are often in the minds ofthe policy makers, but which are rarely explicitly spoken or written. The issue of confidentiality alone points to the usefulness ofthe method since, if the method had not been perceived as valid, people would scarcely have been worried about the results being made public. The researchers Van der Knoop, Van der Veen and Berveling provide a number of reasons of their own why the method should be considered useful. These have been summarised in the appendix. They also point to ways in which the sub-reports have led to new insights. The researchers, as is evident from their discussion ofthe telephone interviews, have only described these insights very superficially. There is thus a considerable gap between the views ofthe researchers and those ofthe users.
Whether the analysis actually delivers any more insight and, if so, on what points of interest, has a lot to do with which experts were chosen for the interviews and how much knowledge of the process the users already had prior to the analysis. From this application, it became evident that the insight gained by the users mostly concerned the possibility of anticipation and seeing where bottlenecks could be expected. On other matters, the existing insight ofthe users was already deep enough and the circle of experts interviewed so small that no extra insight was provided by the analysis. Most importantly, the users continued to play safe when it came to formulating the issues. They could have chosen an issue about which they knew relatively little. In that case, interviews with external experts would almost certainly have generated more new insights.
Probably few people would actually change their approach on the basis of this method for the simple reason that it is seen as being either too subjective or insufïïciently transparent. It is, in other words, something the person has to believe in from
the start. If not - and that can happen if the strategie advice is not in line with your own ideas - an appeal is made to the research method to explain why the advice must be wrong. In this case, the number of interviews was more or less waiting to be pointed out as a weak spot.
18
In any case, the AVV itself has certainly gained more insight into the decision making process as a result of this exercise. To make a meaningful comparison with other methods, a thorough analysis would be necessary that could be used to build up a picture ofthe similarities and differences. Nevertheless, the overall utility and validity ofthe method has undoubtedly been established.
Research question 2. Can something be said about the degree to which decision making can be predicted with respect to certain users? This is probably not possible for this particular case study, as it involved no concrete points on which a decision was actually made in the short time available. Moreover, the report itself was partly responsible for allowing people to anticipate the result ofthe decision making process. This meant that the original j udgements about the outcome ofthe decision-making, and the positions that would be taken by the parties involved, were out of date by the time the decision was made. For other policy areas, however, it is possible to say that there is in general a high degree of predictability. Research question 3: Can the model be used for strategie analyses? In other words, are there opportunities for using it to anticipate future decision making? In this case the answer is indubitably yes, as anticipation was indeed used by one or more ofthe parties involved. Research question 4: What are the pros and cons of this method?
Below are some ofthe advantages ofthe method mentioned by the researchers and which I would endorse:
•
The method allows a good degree of insight to be gained within a relatively short period of time.
•
The research results are very concrete.
•
The formal nature ofthe model forces the users to use clear language when formulating the issues which, in turn, makes it easier to make progress in discussing certain questions.
There were also a number of weaknesses mentioned by either the users or the researchers themselves:
•
•
•
The rather static nature ofthe method. That is, measurements are taken at only one point, while the decision making process itself is inherently dynamic. This problem could be partly solved by taking measurements at different times, something that was not done in this case. The simplification ofthe process represented by the model can be as much a weakness as a strength. Much depends on what the users need at any particular moment. The method is ideally suited for people who want rapid insights into the real nature ofthe issues. If they already have this insight, the result ofthe analysis won't be telling them anything new. The small number of informants - as in this case study - makes the analysis very much dependent on the quality and reliability ofthe information they provide. This also makes the results vulnerable to criticism, especially when the results, when presented, and illustrated with a single interview. 19
Finally, I would like to point to some problems deriving from the strategie nature ofthe project: •
•
Whenever this method is used for parties from the government sector, and particularly where strategie anticipation is involved, there are ethical objections that can be made. After all, the requirement for openness in governmental institutions is not easy to reconcile with the needs of strategie anticipation. Furthermore, the role ofthe government as the protector ofthe public interest can be put into question if it appears to acting manipulatively. A good analysis of this ethical dilemma, taking into account that strategie anticipation of an informal nature is a normal part of government activity, can perhaps resolve this matter. The usability ofthe method stands or falls in the last instance on whether its potential users are prepared to apply it, and in this case the Ministry of Transport, Public Works and Water Management seems to have got cold feet. People seem to be afraid of negative reactions from stakeholders or the media, and to some extent they are right to do so. This is one reason why the researchers recommend getting as much support as possible for the project at high level before beginning any such application ofthe method. High officials are more likely than middle managers to see the benefit of aids to strategie anticipation.
Afterword
The question arises as to whether support, decision making and policy implementation are in general suitable subjects for anticipatory research by the Transport Research Centre (AVV). At present, these subjects are sufficiently relevant to policy that they could often be Commissioned directly by the cliënt. Moreover, it became evident from the project and from the 'choice survey' that difficulties could arise simply because the AVV itself was the commissioning body. This probably had something to do with the fact that it proved very diffieult to get particular cases approved as subjects for the application. Most importantly, when a case was finally selected, it appeared that the results could not be published, with the result that, after the completion ofthe project, the AVV was very restricted in the degree to which it could make the results known. This is obviously a shortcoming as the spread of knowledge is one ofthe principal aims of anticipatory research. Anticipatory research into support, decision making and the process of implementation can be meaningful if it strikes out in a new methodological direction or into controversial areas. The problem is that it is precisely in these situations that it gets hard to obtain permission to select cases for study. For this reason, it is important at an early stage to find a sponsor for the study who is prepared to share responsibility for earrying it out. This is the course currently being followed by the Transport and Social Developments Department (VM). An alternative approach would be to start an anticipatory research project by getting more in the way of
active commitment from the AVV leadership, who would then be able to fïnd support at a higher level in the administration.
20
References Berveling, J. (1994), Het stempel op de besluitvorming [The stamp on the decision making.], Amsterdam: Thesis Publishers
Stokman, F.N. & J.M.M, van den Bos (1992), A two-stage model of policy making with an empirical test in the U.S. energy policy domain, in: Moore, G. & J.A. Whitt (eds.), The political consequences of social networks, Vol. 4 of research and Society, Greenwich, Conn. Veen, H.C.J. van der, Peschar, J.L. (1995), Aanvaardbaarheid en politieke haalbaarheid van energiebesparende maatregelen [The acceptability and political feasibility of energy saving measures], ABC: De Lier
21
