EVALUATIE VLAAMS MATERIALENPROGRAMMA Bijdrage vanuit het Steunpunt Duurzaam Materialenbeheer Auteurs van dit ontwerp onderzoeksvoorstel: Ann Crabbé (UA), Marc Craps en Inge Vermeesch (HUB) i.s.m. Anne Bergmans en Kris Van Berendoncks (UA), Johan Hovelynck en Koen Sips (Cycloop) - versie 19 maart 2013
Voorwerp van de opdracht Het voorwerp van de opdracht, geformuleerd door OVAM (via Helen Versluys) is het tussentijds evalueren van het Vlaams Materialenprogramma met het oog op enerzijds leren en bijsturen, en anderzijds het afleggen van verantwoording. “In een complex en langetermijn transitieproces kan bijsturing (van 'governance' structuur, prioriteitsstelling, concrete acties, etc.) noodzakelijk blijken. De studie moet toelaten een beter zicht te krijgen op de stand van zaken, helpen eventuele tekorten en verbeterpunten te duiden, beter inzicht te krijgen in wat randvoorwaarden en kritische succesfactoren zijn, motivaties van spelers en eventuele weerstanden signaleren. Rekening houdend met de verandering en complexiteit eigen aan transities, is deze opdracht gericht op leren en op participatie/interactie. De gezamenlijke leerervaringen die worden opgedaan, kunnen een basis vormen voor aanpassingen aan het Vlaams Materialenprogramma. Naast leren om te verbeteren, is een bijkomend motief van deze opdracht tegemoet komen aan de vraag naar het afleggen van verantwoording. Maakt het programma een verschil? De (…) programma-evaluatie moet daarnaast ook de aanzet vormen voor het opstellen van een toegankelijk jaarverslag over het Vlaams Materialenprogramma.”
Initiële vraagstelling en dialoog met de opdrachtgever De initiële bedoeling van OVAM was deze opdracht – samen met de opdracht tot het opstellen van een (indicatorgerichte) benchmark voor materialenbeheer in Vlaanderen – uit te besteden in een apart TWOL gefinancierd onderzoek. Bovenstaand citaat werd gekopieerd uit een ontwerpofferteverzoek. De opdrachtgever is echter teruggekomen op de idee van een apart uit te besteden onderzoek vanuit de overweging dat een kortetermijnopdracht als deze een waardevolle bijdrage kan zijn voor het langetermijnonderzoek van het steunpunt duurzaam materialenbeheer (SuMMa) en dat bovendien de expertise binnen het SuMMa-consortium aansluit bij de hiervoor nodige expertise. Gunnen van de opdracht aan SuMMa heeft ook kostenefficiëntie als voordeel. Tijdens een bijeenkomst op 11 december 2012 is een positief eerste verkennend gesprek gevoerd met o.m. Helen Versluys voor OVAM en Maarten Dubois, Marc Craps, Inge Vermeesch, Ann Crabbé en Ive Vanderreydt voor SuMMa. Tijdens die bijeenkomst werd afgesproken een eerste inhoudelijk voorstel door SuMMa te laten uitwerken, voor bespreking tijdens een overleg op 25 januari 2013. Tijdens dat overleg met Helen Versluys werd door Marc Craps, Inge Vermeesch en Ann Crabbé een discussietekst voorgelegd. De opmerkingen en suggesties van Helen Versluys zijn meegenomen in deze, voorliggende nieuwe versie van het onderzoeksvoorstel, net als de suggesties van het SuMMa dagelijks bestuur van 1 februari 2013. Pagina | 1
Opbouw van het onderzoeksvoorstel Voorliggend onderzoeksvoorstel bestaat uit volgende onderdelen: 1. Visie op de opdracht 2. Conceptueel en analytisch kader 3. Stappen in het onderzoeksproces I. Stappen op hoofdlijnen II. Overzicht van activiteiten III. Overzicht van verwachten uitkomsten/producten 4. Communicatie tijdens en na het onderzoeksproces I. Begeleidingscomité II. Communicatie over (tussentijdse) resultaten 5. Timing, budget en middelen I. Timing II. Budget en middelen 6. Contactgegevens onderzoekers
1. Visie op de opdracht Hoofdidee: er is nood aan een programma- evaluatie, maar ook aan een collaboratief/reflectief proces. Programma-evaluatie: eerder tussentijdse analyse en beoordeling van het proces en de organisatie, dan evaluatie van de uitkomsten van het VMP. O.w.v. de korte voorgeschiedenis van dit complex en divers netwerk, kunnen nog geen grote realisaties en impacten op het materialendomein verwacht worden. Appreciatieve benadering: i.p.v. aantonen “dat het VMP werkt”, het potentieel aantonen dat het kan werken in de toekomst: waar zitten hefbomen voor vooruitgang en verbetering en hoe kunnen de actoren in het VMP daar zelf mee aan de slag gaan? Hoe?
Via waarderings- en tevredenheidsonderzoek bij de betrokken actoren, nl. nagaan of het VMP tegemoet komt aan behoeften aan beleid, bevragen of het VMP effectief en efficiënt kán zijn gegeven de huidige focus / aanpak / timing / …, identificeren van factoren die de legitimiteit van het programma ondersteunen / ondermijnen. Via actie-onderzoek, nl. door de juiste vragen te stellen en mensen in kleine groepen samen te zetten, wordt een denkproces in gang gezet. Dit actie-onderzoek wordt in een eerste fase (2013) “low key” gehouden, d.w.z. dat het zich beperkt tot reflectie op gang brengen over interne werking binnen beperkte groepen.
Belang van het steunpunt duurzaam materialenbeheer: We beschouwen het VMP als een belangrijke onderzoekscase binnen SuMMa, zowel voor onderzoekslijn 1+2 (transitie naar een duurzamer materialenbeheer) als onderzoekslijn 9 (multi-actor governance). We zien een goede complementariteit tussen de voor 2013
Pagina | 2
voorziene cases rond specifieke materialenstromen (o.m. vlakglas en batterijen) en deze case die zich op een hoger en complexer (bestuurlijk) meta-niveau bevindt. Het steunpunt duurzaam materialenbeheer verbindt zich in deze opdracht niet om – als consortium - een waardeoordeel uit te spreken over het Vlaams Materialenprogramma. De onderzoekers registreren de waardering en tevredenheid van de respondenten (via het onderdeel programma-evaluatie) en brengen een leer- en reflectieproces op gang met deelnemers aan het VMP. SuMMa is in deze opdracht een katalysator tussen deelnemers en trekkers van het VMP, veeleer dan een o.b.v. eigen interpretaties oordelende evaluator. Op korte termijn willen we onderzoeksresultaten produceren met het oog op de stakeholderdag (eind oktober 2013), maar we beogen “evaluatie VMP” ook te benutten als voorwerp van langetermijnonderzoek in SuMMa. Visie op de relatie tussen korte- en langetermijnonderzoek: op basis van de tussentijdse conclusies (te presenteren en te bespreken in het najaar 2013) opnieuw reflecteren over de mogelijkheden van voortgezette programma-evaluatie en actieonderzoek om het samenwerkingsproces verder helpen, met het oog op het optimaliseren van het beleidskader. De nadruk ligt – gezien de kortetermijnambities - op een kwalitatief onderzoek van het beleidskader en het sociale leerproces. Kwantitatieve benadering van de impact op materialengebruik (incl. ‘grote statistiek’ en benchmarking) behoort niet tot de scope van deze opdracht. Nu investeren in een survey waarin gepeild wordt naar tevredenheid en waardering (zie verder), kan wel bijdragen tot het (op termijn) longitudinaal opvolgen (en kwantificeren) van evoluties in tevredenheid en waardering, wat relevant is als de opdrachtgever in de toekomst ook VMP-jaarverslagen wenst op te opstellen. De uitvoering van de opdracht leidt zowel tot descriptieve kennis (beschrijving en analyse van huidige gang van zaken) als tot prescriptieve kennis (aanbevelingen en suggesties voor verbetering). De wetenschappelijke meerwaarde van de opdracht ligt onder meer in de ambitie om mechanismen te identificeren waarom een beleidsprogramma als het VMP al dan niet in staat is politieke/bestuurlijke/maatschappelijke dynamiek tot stand te brengen en bij te dragen tot een evolutie naar duurzamer materialenbeheer. Naast beschrijven en aanzetten geven tot remediëren, staat dus ook verklaren centraal.
2. Conceptueel en analytisch kader Er zullen twee kaders worden gebruikt voor de evaluatie: Vanuit een bestuurskundige invalshoek: analyseren en beoordelen van VMP als beleidsprogramma; Vanuit een multi-actor governance invalshoek: analyseren en beoordelen van VMP als samenwerkingsverband tussen actoren. Beide kaders beschouwen we als wederzijds constitutief. Hierna worden ze conceptueel geduid.
2.1 Programma-evaluatie Programma-evaluatie is het systematisch evalueren van het functioneren van een programma. Hierna wordt duidelijk dat elk woord in deze definitie zorgvuldig is gekozen. Pagina | 3
Evalueren is het toekennen van waarde, het geven van een oordeel op basis van criteria. Een criterium is een norm, waarvan er minstens twee varianten bestaan. Ten eerste kunnen absolute normen worden gehanteerd, bv. het programma is geslaagd als er merkbare dynamiek is in alle geprogrammeerde acties of bij 75% van de acties. Een tweede mogelijkheid tot normering zit in een vergelijking. Het oordeel krijgt dan de vorm van, bijvoorbeeld: dit programma agendeert nieuwe acties ten opzichte van de situatie voorheen, toen er nog geen programma geïnstalleerd was. In de definitie van programma-evaluatie wordt het onderwerp van de evaluatie geformuleerd als ‘het functioneren van een programma’. Het programma is in dit geval het pakket aan hefbomen, acties en maatregelen dat de initiatiefnemer voorziet om het duurzaam materialenbeheer op korte of middellange termijn te stimuleren. Het programma op zich wordt niet geëvalueerd, maar wel het functioneren ervan. Met de term functioneren wordt de nadruk gelegd op het onderzoeken van de manier waarop het programma in de praktijk werkt. Dit in tegenstelling tot een onderzoek dat zich beperkt tot een tekstuele analyse van het opzet en de onderdelen van het programma-document. De term systematisch houdt in dat de evaluatie aan bepaalde regels moet voldoen. Die regels moeten in onderling overleg vastgesteld worden en de evaluatie moet volgens die regels worden uitgevoerd. In dat verband is het belangrijk vooraf goede afspraken te maken met de opdrachtgever (zie stap 1 hierna). Als de regels vooraf bekend zijn en de evaluatie wordt volgens deze regels uitgevoerd, ontstaat er transparantie over de aanpak waardoor het ook voor een buitenstaander mogelijk wordt de kwaliteit van de evaluatie te beoordelen.
De programma-evaluatie die wij voor ogen hebben, is tegelijk doelgericht en besluitvormend. Doelgericht - Een programma wordt opgesteld om bepaalde doelen te bereiken. De discrepantie tussen de doelen zoals deze door het programma worden vooropgesteld en de mate waarin ze bereikt worden, zou een maat kunnen zijn om het succes van het programma te beoordelen. Hoewel dit op het eerste gezicht een heldere en voor de hand liggende benadering lijkt, kleven er enkele moeilijkheden aan. Vaak is niet duidelijk wat de doelen van een programma precies zijn: (1) omdat politici en beleidsambtenaren het doel liever algemeen formuleren zodat ze niet afrekenbaar zijn op concrete en falsifieerbare voornemens, (2) omdat verschillende groepen binnen een programma het globale doel d.m.v. verschillende concrete doelen willen bereiken, en (3) omdat deelnemers/medewerkers in de praktijk, bv. door veranderde omstandigheden, hun doelstellingen hebben veranderd, waardoor ze niet meer geheel conform de officiële doelstelling zijn. Daarom willen we in eerste instantie helder krijgen welke doelen de initiatiefnemers en de deelnemers voor ogen hebben. Daaruit kan blijken dat die doelen vaag of concreet zijn, onderling verenigbaar of contradictorisch, dat ze door de tijd aan verandering onderhevig zijn, dat er tussen de actoren verschillen zijn in ambitieniveau en beoogde tijdshorizon,… Er zal ook gepeild worden naar: opvattingen over ‘distance to target’, verklaringen voor deze afstand en aanbevelingen om deze afstand te verkleinen. We informeren naar de subjectieve tevredenheid en waardering van het Vlaams Materialenprogramma, als input voor een interpersoonlijke en inter-institutionele dialoog over verbetermogelijkheden (zie collaborative evaluation hierna).
Pagina | 4
Deze evaluatie beoogt geen (semi-)kwantitatieve evaluatie op basis van output-, outcomeen impact-indicatoren.1 Ten eerste veronderstelt dit dat het Vlaams Materialenprogramma nu al heldere indicatoren geeft die toelaten output, outcome en impact te meten, quod non. Ten tweede is het VMP nog maar net in uitvoering gegaan, waardoor een kwantitatieve evaluatie van output, outcome en impact nu te vroeg komt. De opdrachtgever uit in het opdrachtbeschrijving ook de voorkeur voor een kwalitatieve benadering. Besluitvormend – Een evaluatie kan verschillende functies hebben. Scriven (1967) maakt daarbij een tweedeling tussen formatieve en summatieve evaluatie. Formatieve evaluatie heeft een functie in de ontwikkeling en verbetering van een programma. De resultaten functioneren als feedback voor het programma, zodat op basis hiervan het programma kan bijgesteld worden. Summatieve evaluatie evalueert het definitieve, gevestigde programma op verdiensten, zonder dat er sprake is van een bijsturing op basis van de evaluatie. Summatieve evaluatie is een soort eindoordeel. Onze evaluatie heeft de ambitie formatief te zijn. We beogen dat de evaluatie een maximale gebruikswaarde heeft voor diegenen die besluiten nemen of deze besluiten beïnvloeden. We nemen echter uitdrukkelijk niet één-op-één de evaluatievragen over van diegene die de besluiten nemen, in casu: de politiek en beleidsmatig verantwoordelijken, omdat daarmee het gevaar bestaat dat de evaluator zich compromitteert aan de gevoerde politiek en geen rekening houdt met het complexe politieke en maatschappelijke krachtenveld waarin de evaluatie zich afspeelt. De kennis verkregen door onze evaluatie-activiteiten beoogt, samen met andere evaluaties, het denken over duurzaam materialenbeleid geleidelijk aan verder te brengen. Om relevant te zijn voor alle geïnteresseerden, moeten we eerst in kaart brengen wie die geïnteresseerden zijn en welke hun belangen en verwachtingen zijn bij een evaluatie van het VMP. Geïnspireerd door Cronbach e.a. (1980) splitsen we het ‘auditorium’ van de evaluatie op in twee niveaus: de direct en indirect betrokkenen. Onder de direct betrokkenen wordt verstaan: iedereen die een bepaalde dienst verleent in het kader van het VMP. Deze groep is op te delen in personen die voor de politiek en het beleid verantwoordelijk zijn (policy level), personen die het programma besturen (program level) en personen die als partners deelnemen aan het programma (operational level). Op het programmaniveau staat voor ons de stuurgroep; op het operationele niveau de betrokkenen bij hefbomen en acties. Onder de indirect betrokkenen verstaan we: personen die uit hoofde van hun functie of interesse hun mening over een programma weergeven, zonder dat ze zelf een actieve rol opnemen (illuminators) en burgers in ruime zin (constituents). Cronbach e.a. denken bij illuminators aan indirect betrokken wetenschappers, politieke tegenstrevers, journalisten, opiniemakers enz.; wij denken aanvullend ook aan individuen die in een bepaalde periode actief hebben meegewerkt aan het VMP, maar in tussentijd (om welke reden dan ook) hebben afgehaakt. Burgers zijn hier bijvoorbeeld te begrijpen als het geheel van consumenten waarvan een gedragsverandering wordt verwacht ten voordele van duurzamer consumeren.
1
Output verwijst naar (administratieve of andere) prestaties die zijn geleverd. Bv. het aantal bijeenkomsten van een projectgroep, het opleveren van een plan van aanpak of een studie. Outcome (of intermediate outcome) verwijst naar gedragsverandering, waarbij actoren hun gedrag aanpassen aan de morele, juridische of praktische norm die horen bij, in dit geval, duurzaam materialenbeheer. Impact (of final outcome) is het uiteindelijke doel dat men wil bereiken; dragen de acties, gegroepeerd per hefboom, bij aan resource efficiency en kringloopsluiten? En welke indicatoren brengen daar helderheid in? Pagina | 5
Zowel de opdrachtgever als de evaluator zullen zich bewust zijn van het feit dat de uitkomsten van de evaluatie aan dit auditorium zal worden voorgelegd. Dit betekent dat de evaluator, alvorens tot een evaluatie over te kunnen gaan, samen met de opdrachtgever de waarden, in de vorm van criteria, zal moeten vaststellen. Ideeën, waarden, criteria die bij de direct en indirect betrokkenen bestaan over het VMP, zullen in ogenschouw moeten genomen worden bij het samenstellen van vragenlijsten voor interviews en enquête, omdat de evaluatie anders geen gehoor zal vinden. In dat verband is het belangrijk vooraf in het stappenplan ruimte te voorzien voor overleg met de opdrachtgever. De met de opdrachtgever besproken criteria zullen verder ook tijdens de vraaggesprekken met diverse respondenten worden afgetoetst op hun relevantie. Waar nodig, worden ze tijdens het evaluatieproces aangevuld met andere criteria die relevant zijn voor het doelpubliek van de evaluatie. Ook belangrijk bij een formatieve evaluatie is te ontdekken hoeveel ruimte er bestaat voor verandering aan het programma. Gaat het om een experiment waarbij veranderingen continu en zonder gêne kunnen worden aangebracht, of gaat het over een gevestigd (established) programma waarbij de basisprincipes stabiel zijn en enkel kleine wijzigingen mogelijk zijn aan inhoud en organisatie? De opvattingen van de beleidsverantwoordelijken zijn hierin belangrijk, maar ook de perceptie van veranderlijkheid bij de direct en indirect betrokkenen. We peilen naar opvattingen over flexibiliteit en adaptief vermogen van het arrangement dat rond het Vlaams Materialenprogramma is opgebouwd. Daarbij zal vanzelfsprekend ook aandacht gaan naar de afstemming tussen het VMP-arrangement en de huidige en toekomstige beleidscontext (verhouding met Plan C, inbedding binnen VIA en het in ontwikkeling zijnd Europees materialenbeleid…).
2.2 Collaboratieve evaluatie Onder “collaboratie” of (multiactor) samenwerking verstaan we “…een proces waardoor partijen die verschillende aspecten van een probleem zien, constructief hun verschillen exploreren, en op zoek gaan naar oplossingen die verder gaan dan hun eigen gelimiteerde visie van wat mogelijk is.” (Gray, 1989). Als een collaboratief proces slaagt, geraken gefragmenteerde systemen aan elkaar gekoppeld en krijgen de deelnemende actoren door onderlinge samenwerking meer greep op de complexe realiteit. Essentiële karakteristieken van een collaboratief proces zijn gedeelde verantwoordelijkheid en gedeeld eigenaarschap. Een evaluatie die opgelegd en aangestuurd wordt van buitenaf, is hiervoor contraproductief. Collaboratieve evaluatie dient een gedeeld proces te zijn onder de deelnemers en sleutelactoren om dit doel te kunnen bevorderen. Het is dus geen activiteit die van buiten af opgelegd wordt, maar ze gebeurt in samenspraak en samenwerking met de betrokkenen, zodat deze door hun deelname aan het evaluatieproces hun capaciteit voor innovatie en groei verhogen (Taylor-Powell et al., 1998). Als we het Vlaams Materialenprogramma opvatten als een collaboratief multiactor proces, dan hangt het verloop en de toekomst ervan in grote mate af van externe actoren en factoren die aan de controle van de initiatiefnemers ontsnappen. De evaluatie dient bij te dragen tot de ontwikkeling van het multiactor domein, maar is zelf ook in-ontwikkeling.
Pagina | 6
Conflict en macht zijn constitutieve elementen van elke multiactor samenwerking, zeker wanneer belangrijke maatschappelijke aangelegenheden zoals het materialenbeleid aan de orde zijn. De evaluatie dient te voorkomen dat bepaalde actoren deze zouden misbruiken als een politiek instrument om de eigen agenda erdoor te drukken en om de eigenlijke problemen te verhullen. We moeten er ons ook voor hoeden dat de evaluatie de dikwijls fragiele zich ontwikkelende relaties tussen de leden zou aantasten door wantrouwen aan te scherpen in plaats van bij te dragen een groeiend vertrouwen. De evaluatie dient dus bijzondere aandacht te besteden aan de condities en competenties voor een hoogwaardige dialoog tussen de deelnemers, zodat ze openstaan voor elkaars verwachtingen wat betreft rollen, functies en bijdragen. In multiactor initiatieven om een interactief beleid tot stand te brengen kan een grote variëteit aan rollen en functies elkaar complementeren, zoals: Initiator, die de eerste stap zet tot een samenwerkingsinitiatief Convenor, die partijen kan samenbrengen Supporter, die een specifieke interesse heeft en bereid is tot ondersteunende acties Expert, die noodzakelijke gespecialiseerde kennis kan inbrengen Tussenpersoon, die als bemiddelaar een drijvende kracht achter een initiatief kan vormen Makelaar, die partijen en ideeën met elkaar in contact brengt Scheidsrechter, die aanhoudende conflicten kan beslechten wanneer andere mechanismen falen Facilitator, die een procesondersteunende bijdrage levert Enz. Deelnemers aan multiactor initiatieven zijn geneigd om zich vooral te concentreren op de inhoudelijke en technische taken van het samenwerkingsdomein en hebben daardoor weinig aandacht voor het proces. Met de term “proces” refereren we naar de relationele ontwikkeling tussen de deelnemers aan een gezamenlijk initiatief. De eigenlijke meerwaarde van het VMP als multiactor initiatief ligt precies in dit proces, dit wil zeggen in de ontwikkeling van nieuwe relaties, innovatieve manieren van samenwerking, delen van kennis en poolen van middelen, enz. In die omstandigheden is een procesfaciliterende collaboratieve evaluatie, die gericht is op het bevorderen van een context waarin de verschillende partijen leren om constructief een maatschappelijke uitdaging aan te gaan en om samen verantwoordelijkheid te nemen om deze op te lossen, aangewezen. De belangrijkste procesvragen die dienen aan de orde te komen zijn: Werden de juiste instanties en personen op een adequate manier betrokken? Is er een effectief groepsfunctioneren in de voorziene werkgroepen en overlegorganen? Geraken de voorziene programma’s en activiteiten geïmplementeerd zoals voorzien? Hoe kan de betrokkenheid van de deelnemers onderhouden en versterkt worden? Een collaboratieve evaluatie beoogt het sociale leerproces tussen de actoren in een gezamenlijk initiatief, in dit geval het VMP, te ondersteunen. Sociaal leren is niet in de eerste plaats gebaseerd op kennis bij de verschillende actoren (bijv. hun specifieke expertise in het materialendomein), maar wel op de ontwikkelende relaties tussen de actoren die een betere afstemming tussen de wederzijdse rolverwachtingen, interesses en inbreng mogelijk maakt. De
Pagina | 7
rol van de evaluatoren bestaat er dan in om - in interactie met de deelnemers aan het VMP - een procesbeschrijving en –analyse te maken en deze op een zodanige manier terug te koppelen naar de betrokkenen dat eerste- en tweede-orde leren bevorderd wordt. Dit betekent dat het leren zich niet beperkt tot oppervlakkige en voor de hand liggende aanpassingen (eerste-orde), maar dat de onderliggende assumpties van verschillende actoren in vraag gesteld worden, met betrekking tot duurzame innovaties in het materialendomein, wat kan leiden tot effectievere oplossingen (tweede-orde leren).
3. Werkpakketten in het onderzoeksproces 3.1 Werkpakketten en onderzoeksstappen Werkpakket 1: Voorbereidende fase a) Stap 1a – Inhouds- en contextanalyse. Kennismaken met de inhoud van het VMP, situeren van de historiek van het VMP en het VMP plaatsen in een bredere politieke en beleidsmatige context, tussen andere initiatieven die het duurzaam materialenbeheer stimuleren. b) Stap 1b - Netwerkanalyse. Eerste inventarisatie van de direct en indirect betrokken actoren in het VMP en provisoir (ev. visueel) voorstellen hoe actief zij betrokken zijn, welke positie zij innemen ten opzichte van elkaar en identificeren welke rol(len) zij vervullen in het VMPproces. c) Stap 1c – Eerste interne verkenning van de criteria waarop het VMP zal beoordeeld worden. Nagaan welke criteria voor welke groep (direct en indirect betrokkenen) belangrijk zijn ter beoordeling van het VMP. d) Stap 1d - Afstemming met opdrachtgever over invulling en uitvoering van de opdracht (milestone 1). Dit impliceert het samen identificeren van de hoofdgebruiker(s) van de evaluatie. Het samen bepalen van de criteria die tijdens de evaluatie centraal zullen staan. Aftoetsen hoeveel ruimte er is tot aanpassing van het programma. Het bijeenbrengen van aanvullende relevante documentatie. e) Stap 1e - Uitwerken van een (intern te gebruiken) plan van aanpak voor de exploratieve fase. Dit impliceert: het oplijsten van de te interviewen actoren; het bijeenbrengen van hun contactgegevens; het samenstellen van een open lijst met gespreksonderwerpen voor de interviews; het voorbereiden van de vragenlijst voor de survey; het afstemmen van deze vragenlijst met reeds eerder afgenomen enquêtes; het identificeren van deelnemers aan kleine gespreksgroepen die rond welbepaalde thema’s zullen gevraagd worden onderling van gedachten te wisselen het inplannen en praktisch organiseren van deze bijeenkomsten. Werkpakket 2: Exploratieve fase - interviews a) Stap 2a: diepte-interviews met een beperkt aantal geselecteerde sleutelfiguren in de werking van het VMP b) Stap 2b: transcripties/verslagen maken van de gevoerde gesprekken Pagina | 8
c) Stap 2c: analyseren van de interviewverslagen d) Stap 2d: eerste notities met werkhypotheses, gedestilleerd uit de interviews Werkpakket 3: Exploratieve fase – survey (zelfde tijdsperiode als werkpakket 2) a) b) c) d) e) f)
Stap 3a: het opzetten van een bredere web-survey bij betrokken actoren in het VMP Stap 3b: het uitnodigen van deelnemers aan de survey + ev. uitsturen herinneringen Stap 3c: analyseren van de resultaten van de survey Stap 3d: voorlopige rapportage over de resultaten Stap 3e: intern overleg over de voorlopige rapportage Stap 3f: voltooien van het rapport over de web-survey
Werkpakket 4: Afstemming over de tussentijdse resultaten a) Stap 4a: Terugkoppeling van de resultaten naar de opdrachtgever en ev. andere betrokkenen, en afstemming over de volgende, meer interactieve fase (milestone 2). Werkpakket 5: Interactieve fase a) Stap 5a: kleine, heterogene analyse- en reflectiegroepen (mensen die behoren tot verschillende niveaus, hefbomen en acties); actie-onderzoek om generatieve gesprekken over een verbeterde werking van het VMP op gang te brengen. Werkpakket 6: Voorlopig afrondende fase a) Stap 6a: Samenstellen van een ontwerprapport waarin we de ervaringen en resultaten van de voorafgaande stappen noteren en werkhypothesen genereren m.b.t. optimalisering van de VMP werking en structuur. b) Stap 6b: Voorstelling van het ontwerprapport aan de opdrachtgever en ev. andere betrokkenen en voorbereiding van de interactieve reflectie tijdens de stakeholderdag (milestone 3). c) Stap 6c: Interactieve reflectie over deze werkhypothesen met de deelnemers aan de stakeholderdag, voorzien voor eind oktober 2013) (milestone 4). d) Stap 6d: Samenstellen van een finaal caserapport waarin de resultaten van de interactieve reflectie met de deelnemersr aan de stakeholderdag worden verwerkt. e) Stap 6e: Voorstel van een lange termijn studie- en begeleidingstraject aan de opdrachtgever, de interne stuurgroep van SuMMa, de externe stuurgroep van SuMMA, geïnteresseerde actoren van het VMP… (milestone 5)
3.2 Overzicht van activiteiten Korte termijn: contextanalyse op de verschillende niveaus. Documentenanalyse Eerste verkennende gesprekken Individuele diepte-interviews Website enquête voor bredere informatiegaring over behoefte/design/implementatie/… Niet-participerende observatie van vergaderingen en overlegmomenten Pagina | 9
Interviews, aansluitend op vergaderingen en overlegmomenten Enkele reflectiegroepen met actoren uit verschillende acties
Lange termijn: langer lopende begeleiding (plan van aanpak o.b.v. resultaten kortetermijnonderzoek + feedback stakeholderdag) Verdere opvolging tevredenheid/waardering deelnemers (bv. via survey) Procesbegeleiding: o Participatie in vergaderingen o Workshops (framing, doelstellingen,…) o …
3.3 Overzicht van verwachte uitkomsten/producten Producten:
Werkdocument: terugkoppeling op de exploratieve fase (diepte-interviews, eerste output van de survey), in functie van het plan van aanpak van de meer interactieve fase die daarop volgt (=werkpakket 4); te presenteren aan de opdrachtgever en ev. andere betrokkenen Ontwerprapport: integraal rapport waarin de case gesitueerd wordt en waarin de resultaten van de exploratieve en interactieve fase worden geïntegreerd (=stap 6a); te bespreken met de opdrachtgever (= stap 6b). Het ontwerp-caserapport zal als basis dienen voor de input die wij leveren aan de stakeholderdag in het najaar van 2013 (=stap 6c). Finaal caserapport: geactualiseerde versie van het ontwerp-caserapport waarin de resultaten van het stakeholderoverleg (najaar 2013) worden verwerkt en waarin ook wordt vooruitgeblikt naar mogelijkheden om “evaluatie VMP” verder te zetten in het langetermijnonderzoek van SuMMa (=stap 6d en 6e).
Verwachte uitkomsten
Accountability (rekenschap geven: wat beoogt het VMP en wat brengt het bij?) Identificeren verbeterpotentieel, met aanbevelingen (van deelnemers en onderzoekers) Tussentijdse analyse en beoordeling met het oog op bijsturing en leren Meer algemeen gedeelde visie op materialen duurzaamheid en de bijdrage van VMP Sterkere focus binnen de stuurgroep Deelnemers aanzetten tot expliciteren van (zelf-)evaluaties Grotere betrokkenheid van de deelnemers aan het VMP Groter wederzijds vertrouwen tussen actoren Meer duidelijkheid en zicht op rollen en verwachtingen Sociaal leerproces op gang gebracht ...
Pagina | 10
4. Communicatie tijdens en na het onderzoeksproces 4.1 Begeleiding De uitvoering van de opdracht zal gebeuren onder toezicht van de leidend ambtenaar (Helen Versluys) en/of haar plaatsvervanger. Er zullen minstens vier vergaderingen plaatsvinden tussen de opdrachtgever en de opdrachtnemer tijdens de uitvoering van de opdracht:
in stap 1d ter bespreking van het plan van aanpak (milestone 1); in stap 4a voor terugkoppeling van tussentijdse resultaten (milestone 2); in stap 6b ter bespreking van het ontwerprapport en de stakeholderdag (milestone 3/4); in stap 6e ter bespreking van het eindrapport en het potentiële langetermijnonderzoek naar het VMP (milestone 5).
De vergaderingen worden in onderling overleg tussen de opdrachtgever en -nemer gepland. De opdrachtnemer maakt een kort verslag van deze werkvergaderingen. De opdrachtgever kan tijdens de uitvoering van de opdracht op elk moment een (mondeling) stand van zaken opvragen bij de opdrachtnemer.
4.2 Communicatie over (tussentijdse) resultaten De uitvoering van de opdracht gebeurt volledig in het Nederlands. De opdrachtnemer zal geen informatie aan derden bekend maken of publiciteit maken betreffende deze opdracht zonder mondelinge en/of schriftelijke toestemming van de OVAM. De opdrachtnemer zal zijn onderaannemers dezelfde verplichting opleggen. Alle op te maken documenten (o.a. teksten) worden via e-mail aan de aanbestedende overheid bezorgd. Het formaat voor het aanleveren van de gegevens op elektronische drager is DOC(X)- en/of PDF-bestandsformaat. De opdrachthouder garandeert dat alle elektronische informatie virusvrij is. De documenten worden door de opdrachthouder opgemaakt in SuMMa-huisstijl.
Pagina | 11
5. Timing, middelen en budget 5.1 Timing De termijn voor de uitvoering van de opdracht: februari-december 2013: Februari Maart WP1
April
Mei
Juni
Juli
Augustus September
Oktober November December
M1
WP2 WP3 WP4
M2
WP5 WP6
•M3
WP1: voorbereidende fase WP2: exploratieve fase - interviews WP3: exploratieve fase - websurvey WP4: afstemming tussentijdse resultaten WP5: interactieve fase WP6: voorlopig afrondende fase
M4
M5
M1 Bespreking van plan van aanpak (begin maart) M2 Terugkoppeling tussentijdse resultaten (begin juli) M3 Bespreking ontwerprapport (eind september) M4 Stakeholderdag (eind oktober) M5 Bespreking potentieel LT-onderzoek VMP en oplevering finaal caserapport (december)
5.2 Middelen Ann Werkpakket 1: Voorbereidende fase Stap 1a – Inhouds- en contextanalyse 1,5 Stap 1b - Netwerkanalyse 1,5 Stap 1c – Eerste interne verkenning van de criteria Stap 1d - Afstemming met 0,5 opdrachtgever over invulling en uitvoering van de opdracht Stap 1e - Uitwerken van een plan van 1,5 aanpak exploratieve fase Werkpakket 2: Exploratieve fase – interviews Stap 2a: diepte-interviews met een 8x0,5 = 4 beperkt aantal geselecteerde sleutelfiguren in de werking van het VMP Stap 2b: transcripties/verslagen maken 4x1 = 4 van de gevoerde gesprekken Stap 2c: analyseren van de 2 interviewverslagen Stap 2d: eerste notities met 1 werkhypotheses, gedestilleerd uit de interviews Werkpakket 3: Exploratieve fase – survey Stap 3a: het opzetten van een bredere 2 web-survey bij betrokken actoren in het VMP Stap 3b: het uitnodigen van deelnemers aan de survey + ev. uitsturen herinneringen Stap 3c: analyseren van de resultaten van de survey Stap 3d: voorlopige rapportage over de
Kris
Inge
Marc
Cycloop
1,5 1,5
TOTAAL
3 3
0,5
0,5
0,5
2
1,5
0,5
0,5
4
8x0,5 = 4
8
4x1 = 4
8
2
0,5
4,5
1
0,5
2,5
4
6
3
3
3
3
7
7 Pagina | 12
resultaten Stap 3e: intern overleg over de voorlopige rapportage Stap 3f: voltooien van het rapport over 2 de web-survey Werkpakket 4: Afstemming over de tussentijdse resultaten Stap 4a: Terugkoppeling van de 0,5 resultaten Werkpakket 5: Interactieve fase Stap 5a: actie-onderzoek - Bespreking, ontwerp, voorbereiding - Focusgroepen: 3 x 0,5d - Analyse, interpretatie, onderlinge afstemming Werkpakket 6: Voorlopig afrondende fase Stap 6a: Samenstellen van een 5 ontwerprapport Stap 6b: Voorbereiding + voorstelling van 1 het ontwerprapport aan de opdrachtgever en ev. andere betrokkenen en voorbereiding van de interactieve reflectie tijdens de stakeholderdag. Stap 6c: Stakeholderdag (oktober 2013). 1 Stap 6d: Samenstellen van een finaal 5 caserapport Stap 6e: Voorstel van een lange termijn 1,5 studie- en begeleidingstraject en bespreking TOTAAL: 34
1
1
3
5
0,5
0,5
22
0,5
0,5
1 1,5
0,5
0,5 1,5
2 3
2
0,5
1
3,5
1
11,5
5
2
1
0,5
1
3,5
1 5
1 1
1
4 11
1,5
1
1
5
34
7
8
112
5.2 Budget De bijdrage van Inge Vermeesch (OL9) en Ann Crabbé (OL2) wordt voorzien vanuit SuMMa, evenals deze van Marc Craps (OL9). De bijdrage van Kris Van Berendoncks (UA-PSW, survey) wordt bekostigd met algemene middelen van SuMMa, ev. aangevuld met middelen uit de reserve voor kortetermijnopdrachten (coördinatie VITO). 22 werkdagen = aantal werkdagen van een gemiddelde maand. Bruto loonkost per maand, excl. overhead: € 7.325. De procesondersteunende interventies gebeuren door Cycloop (Netwerk voor actie-onderzoek en faciliatie van multiactor samenwerking voor duurzaamheid). De voorziene facilitatoren voor deze opdrachten zijn Johan Hovelynck (Triagram) en Koen Sips (Point-Consulting) die ervaring hebben met procesbegeleiding in het materialendomein door eerdere opdrachten voor OVAM (PlanC, C2CN). Financiering gebeurt door SuMMa, dat over een budget beschikt voor procesfacilitatie door Cycloop. De bijdrage van Cycloop bestaat uit twee opdrachten: 1. Het ontwerpen en begeleiden van interactieve focusgroepen, en ondersteuning bij de terugkoppeling naar het VMP (stap 5a). Deze opdracht omvat 5 mandagen aan 1000 €/dag = 5000 € 2. Het ontwerpen en begeleiden van een interactieve reflectie tijdens de stakeholderdag en ondersteuning bij de terugkoppeling naar het VMP (stap 6c). Deze opdracht omvat 3 mandagen aan 1000 €/dag = 3000 €. Huur van locaties en catering voor bijv. een workshop zijn niet inbegrepen.
Pagina | 13
6. Contactgegevens onderzoekers Ann Crabbé, UA,
[email protected] en 0477 93 65 02 Inge Vermeesch, HUB,
[email protected] en 0497/59.31.20 Marc Craps, HUB,
[email protected] en 02/608.14.11
Bibliografie Crabbé, A., J. Gysen & P. Leroy (2006), Handboek milieubeleidsevaluatie. Brugge: Vanden Broele. Cronbach, L. J., et al. (1980). Toward reform of program evaluation. San Francisco: Jossey-Bass. Gray, B. (1989). Collaborating: Finding common ground for multiparty problems. San Francisco: Jossey-Bass. Patton, M.Q. (2008). Utilization-focused evaluation. 4th Edition. Saint Paul: Sage Publications. Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagné, & M. Scriven (Eds.), Perspectives of curriculum evaluation, 39-83. Chicago, IL: Rand McNally Taylor-Powell, E., Rossing, B., & Geran, J. (1998). Evaluating Collaboratives. Reaching the Potential. University of Wisconsin, Wisconsin.
Pagina | 14
Bijlage: tekst uit ontwerp-offerteverzoek 1
Technisch gedeelte
1.1
Algemene situering van de opdracht
Toenemend belang van Duurzaam Materialenbeheer in Europa en Vlaanderen De Vlaamse regering is zich scherp bewust van het strategisch belang van materialen voor Vlaanderen. Willen we niet afhankelijk worden van de import van grondstoffen, dan moeten we materialen in gesloten kringlopen brengen. Zo boeken we winst op zowel het vlak 'people', 'planet' als 'profit': we verlichten de druk op het leefmilieu, we vermijden het verschuiven van de sociale kosten voortvloeiend uit onduurzame ontginning en productie en we maximaliseren onze onafhankelijkheid van grondstoffenimport. Het Vlaams Gewest plaatste in 2010, tijdens het Belgische Voorzitterschap van de Europese Unie Duurzaam Materialenbeheer op de Europese politieke agenda. 'Resource efficiency' is ondertussen één van de vlaggenschipinitiatieven binnen de EU 2020 strategie en via de eigen raadsconclusies creëerde Vlaanderen mee het kader voor de 'Resource Efficiency Roadmap' waarin ook de principes van Duurzaam Materialenbeheer terug te vinden zijn. Op Vlaams niveau is Duurzaam Materialenbeheer één van de dertien grote maatschappelijke uitdagingen die geïdentificeerd zijn binnen Vlaanderen in Actie (ViA). Gedeelde uitdaging De Vlaamse regering besliste deze 13 grote maatschappelijke uitdagingen verder vorm te geven via 2 een transitie-aanpak. Een transitie naar Duurzaam Materialenbeheer kan er alleen komen via een interactief en participatief zoek- en leerproces, waarin actoren uit de bedrijfswereld, de overheid, kennisinstellingen en het maatschappelijk middenveld vanuit een co-eigenaarschap werken aan een gezamenlijke visie en agenda, en deze ook in concrete acties vertalen. De transitie-aanpak is complementair aan het huidige afval- en materialenbeleid. Door slimmere beleidsdomein- en sectoroverschrijdende samenwerking worden bestaande initiatieven beter gestroomlijnd en boeken we sneller vooruitgang. Veelbelovende initiatieven en projecten worden opgeschaald en nieuwe initiatieven ontwikkeld, waarbij frontrunners het ambitieniveau bepalen. ViA Vlaams Materialenprogramma (VMP) Met een Vlaams Materialenprogramma, gedragen door overheid, industrie, kenniswereld en maatschappelijk middenveld, willen we Vlaanderen positioneren in de top 5 van Europese regio's op het vlak van Duurzaam Materialenbeheer. Het Vlaams Materialenprogramma wordt vormgeven via drie complementaire pijlers: ― VISIE: Plan C vzw werkt de langetermijnvisie uit rond (deelaspecten van) Duurzaam Materialenbeheer en zet (systeem)innovatieve experimenten op. ― ACTIE: Uitwerken en implementeren van een actieplan met 45 concrete, prioritaire acties die moeten bijdragen tot een duurzamer beheer van materialen in Vlaanderen. (VMP-actieplan in bijlage) ― ONDERZOEK: Steunpunt Duurzaam Materialenbeheer (SuMMa) doet de komende 4 jaar beleidsrelevant onderzoek naar wat de economische, beleidsmatige en maatschappelijke randvoorwaarden zijn om de transitie naar een materiaalzuinige kringloopeconomie te realiseren. De OVAM is binnen ViA aangesteld als 'integrator' voor het thema Duurzaam Materialenbeheer en is verantwoordelijk voor de uitwerking ervan samen met andere relevante beleidsdomeinen, 2
Nota aan de leden van de Vlaamse Regering, 8/7/2011, ‘Versterken en verdiepen van Vlaanderen in Actie. Pagina | 15
stakeholders en vernieuwers. De meest nauw betrokken publieke en private stakeholders zijn opgenomen in een stuurgroep die tweemaandelijks bijeenkomt. De stuurgroepleden bepalen zowel mee het proces als de inhoud van het Vlaams Materialenprogramma. Momenteel nemen Agoria, VCB, Febem, Essenscia, EWI, DAR, VITO, OVAM, KUL, HIVA, BBL en kabinet minister Schauvliege deel aan de stuurgroep. Actieplan Vlaams Materialenprogramma De inhoudelijke focus van het actieplan wordt gevormd door 9 zogenaamde hefbomen. Het zijn enerzijds een aantal processen geïdentificeerd die binnen onze economie breed ingang moeten vinden om de transitie naar DMB in te zetten. Anderzijds werden een aantal sleutelsectoren vooropgezet, die in Vlaanderen het verschil kunnen maken bij de omslag naar DMB. Vanuit deze sleutelsectoren met hefboompotentieel kan op termijn een spill-over ontstaan naar de rest van de Vlaamse economie. Deze prioriteitsstelling gebeurde in functie van volgende afwegingen: ― Waar staan we op vlak van materialenbeheer als Vlaamse regio economisch sterk binnen een Europees kader? Waar hebben we – voortbouwend op die sterke positie en ervaring – nog groeimarge en moeten we in de toekomst dus op inzetten? ― Waar hebben we de mogelijkheid om ecologische uitdagingen om te zetten in socio-economische kansen en een significante verlaging van de milieu-impact? ― Waar is het grootste gedeelde draagvlak om vooruit te gaan? ― Waar wordt onze aanpak versterkt door synergie met andere transities binnen ViA (bv. Nieuw Industrieel Beleid, Sociale Innovatie, Duurzaam Wonen en Bouwen)? Om tegen 2020 de basis te leggen voor een groene economie waarin materialen draaien in slim gesloten kringlopen, werden onderstaande hefbomen als belangrijk geïdentificeerd. Voor elk van de hefbomen werd een verantwoordelijke aangesteld onder de partnerorganisatie uit de stuurgroep VMP. • Duurzaam design (OVAM) • Slim samenwerken (BBL) • Slim investeren (EWI/OVAM) • Betere regelgeving (Febem) • Duurzaam materialenbeheer in de bouw (VCB) • Duurzame chemie en kunststoffen in een continue kringloop (essenscia) • Biogebaseerde economie (EWI/OVAM) • (Kritische) metalen in een continue kringloop (Agoria) • Nieuwe materialen en materiaaltechnologieën (VITO) Voor elk van de 9 hefbomen werden, in nauw overleg met relevante stakeholders, 5 prioritaire concrete acties geselecteerd. Het zijn beleidsdomeinoverschrijdende, crossectorale, multi-actor acties die nu opgestart worden en die moeten bijdragen tot de versnelde realisatie van een kringloopeconomie. Dit actieplan is een dynamisch document, dat de ruimte moet laten om bij te sturen en in te spelen op nieuwe uitdagingen en opportuniteiten. In een transitie is 'learning by doing' essentieel. Het actieplan zal in de loop van 2012/2013 verder verfijnd en uitgevoerd worden, en daarbij meteen ook getoetst naar blijvende relevantie.
1.2
Doel en omschrijving van de opdracht
Het doel van de opdracht is: (1)het uitvoeren van een benchmark van het materialenbeheer in Vlaanderen; (2)het uitwerken van een evaluatiemodel voor het Vlaams Materialenprogramma. Pagina | 16
In een complex en langetermijn transitieproces kan bijsturing (van 'governance' structuur, prioriteitsstelling, concrete acties, etc.) noodzakelijk blijken. De studie moet toelaten een beter zicht te krijgen op de stand van zaken, helpen eventuele tekorten en verbeterpunten te duiden, beter inzicht te krijgen in wat randvoorwaarden en kritische succesfactoren zijn, motivaties van spelers en eventuele weerstanden signaleren. Rekening houdend met de verandering en complexiteit eigen aan transities, is deze opdracht gericht op leren en op participatie/interactie. De gezamenlijke leerervaringen die worden opgedaan, kunnen een basis vormen voor aanpassingen aan het Vlaams Materialenprogramma. Naast leren om te verbeteren, is een bijkomend motief van deze opdracht tegemoet komen aan de vraag naar het afleggen van verantwoording. Maakt het programma een verschil? De benchmark en programma-evaluatie moeten daarnaast ook de aanzet vormen voor het opstellen van een toegankelijk jaarverslag over het Vlaams Materialenprogramma. Wat met aparte jaarverslagen SuMMa/PlanC? Focus op operationele pijler/VMP-actieplan?? (1) Benchmark Vlaams materialenbeleid Benchmarking met andere regio's is nodig om na te gaan of we, conform de ViA ambitie, een plaats in de Europese top 5 verwerven op het vlak van Duurzaam Materialenbeheer. Belangrijk hierbij is de kanttekening dat evoluties op het vlak van materialenbeheer in Vlaanderen geen rechtstreeks of louter effect zijn van het Vlaams Materialenprogramma en de activiteiten die in dit kader worden ontwikkeld. Materialenbeheer en hoe (on)duurzaam dat is hangt af van tal van factoren zoals toestand van de economie, grondstofprijzen, etc. De benchmarking moet zicht bieden op de ranking, maar dient daarnaast vooral om een beter inzicht te krijgen in het eigen functioneren/presteren en input te genereren voor verbeteringsmogelijkheden door te leren van anderen. Wat zijn onze sterktes en zwaktes? Waar zijn we uniek in/goed in/hinken we nog achterop in relatie tot andere EU regio's? Waar zouden we nog vooruitgang moeten/kunnen boeken? Wat zijn de activiteiten en processen die het mogelijk maakten bepaalde resultaten te realiseren in andere regio's en kunnen we op basis daarvan verbeterpunten voor Vlaanderen vaststellen? Op dit moment is er nog geen breed gedragen indicatorenset en bijhorende dataset die toelaat in voldoende detail zicht te krijgen op evoluties in materialenbeheer in de EU landen/regio's. De opdrachtnemer baseert zich daarom op de kwalitatieve inschatting van de ranking van Vlaanderen door een aantal experten. De inzet van een expertpanel is nuttig in het geval van complexe evaluatiesituaties en in situaties waarin weinig andere eenduidige informatie beschikbaar is dan het waardeoordeel op basis van de gedeelde kennis, ervaring van de experts zelf. Hierbij wordt gestreefd naar een representatief samengesteld panel met relevante vertegenwoordigers uit Vlaanderen en andere Europese regio's; uit industrie, overheid en kenniswereld; met complementaire expertises; betrokkenen in het VMP en onafhankelijke experten. Hoe meer diversificatie in de samenstelling van het panel, hoe sterker de kwaliteit van de uiteindelijke conclusies en hoe groter het draagvlak. De uitwerking van de benchmark door een expertpanel kan als volgt gaan: • opmaak van een lijst met potentiële experts die voldoen aan vooraf bepaalde voorwaarden (bv. complementaire kennisdomeinen, complementaire geledingen van de maatschappij) • eigenlijke selectie van experts (tussen de 6 en 15) die bereid zijn om mee te werken • keuze van een facilitator van het expert panel en van rapporteurs • voorstel van ... • samenkomsten van het expertpanel (tussen de 3 en 6)
Pagina | 17
•
formuleren van conclusies door het expertpanel, waarbij in de mate van het mogelijke gestreefd wordt naar een consensus en waarbij zoals eerder aangegeven niet enkel aandacht gaat naar de eigenlijke ranking maar ook naar mogelijke verbetersuggesties voor het eigen programma en beleid
De inzet van een expertpanel wordt in deze opdracht bewust 'opgedragen' als techniek voor benchmarking. De opdrachtnemer kan daarnaast in de offerte voorstellen doen voor bijkomende, relevante evaluatietechnieken om te komen tot een kwaliteitsvolle benchmark. (2) Evaluatie Vlaams Materialenprogramma Dit tweede deel van de opdracht moet een beter inzicht bieden in het Vlaams Materialenprogramma zelf: Wat is de doorwerking van het VMP? Volgt het VMP inhoudelijk de juiste koers? Is het VMP efficiënt en effectief georganiseerd? De bedoeling van dit tweede deel van de opdracht is enerzijds het verbeteren van de performantie en het management van het programma. Daarnaast moet het bijdragen tot het afleggen van verantwoording voor de opstart en uitrol van het programma. Kunnen we met dit programma een verschil maken? We zoeken hierbij onder meer een antwoord op onderstaande vragen. Vragen rond 'community'/netwerk • In welke mate is er netwerkvorming rond het Vlaams Materialenprogramma? • Heeft de 'juiste' mix van partners de schouders gezet onder het VMP? In welke mate wordt een heterogeniteit aan actoren (verschillende sectoren, verschillende maatschappelijke geledingen, regimespelers en koplopers, etc.) gemobiliseerd voor het VMP? • In welke mate is er wederzijds vertrouwen tussen partners in het VMP? In welke mate luisteren ze naar elkaar en denken ze voorbij de klassieke belangen? Vragen rond betrokkenheid en relevantie • Zijn de doelstellingen van het programma duidelijk? Zijn de doelstellingen van het VMP haalbaar? Wordt met het VMP tegemoetgekomen aan een reële nood? • Hoe relevant vinden stakeholders het VMP? In welke mate sluit het VMP aan bij de behoeften, ervaringen, normen en waarden van (potentiële) partners? Wat is de motivatie van stakeholders om in te stappen in het VMP? • Worden in het kader van het VMP de 'juiste' activitieiten ontwikkeld om de doelstellingen te behalen? Zijn/blijven de 9 gekozen hefbomen en de 45 prioritaire acties zinnig? Zijn er 'betere', alternatieve hefbomen of acties om de vooropgestelde langetermijn ambitie te bereiken? • Hoe betrokken voelen stakeholders zich bij het VMP? In welke mate blijven de stakeholders effectief aan boord en werken ze (intensief) mee aan het VMP (of subaspecten)? Vragen rond doorwerking • In welke mate vindt het VMP een doorslag in de werking, planning en communicatie van partnerorganisaties? Worden er nieuwe inhoudelijke accenten gelegd oiv het VMP? • In welke mate worden middelen/mensen/kennis/tijd ingezet voor het VMP? Concentreren partners zich hierbij enkel op acties waar ze sowieso al mee bezig zijn? Of werken ze ook mee aan de uitvoering van andere acties? • In welke mate ontstaat nieuwe gecoördineerde actie van stakeholders rond het thema Duurzaam Materialenbeheer in het kader van het VMP? Worden acties ondernomen of worden coalities van partners opgezet die anders niet zouden gebeuren? • Draagt het VMP bij tot versterkte sector- en beleidsdomeinoverschrijdende samenwerking en tot beleidsintegratie rond het thema Duurzaam Materialenbeheer? • In welke mate worden elementen uit het VMP weerspiegeld in verkiezingsprogramma's/beleidsbrieven? • In welke mate is er 'merkherkenning' met betrekking tot het VMP?
Pagina | 18
Vragen rond proces en 'klanttevredenheid' • In welke mate zijn de betrokken partners tevreden over de manier waarop de OVAM haar rol als 'integrator' (coördinator/facilitator/katalysator) opneemt? In welke mate beschikt het personeel dat instaat voor het management van het VMP over de nodige kwalificaties en krijgt het de nodige ondersteuning? • In welke mate is er daadwerkelijk sprake van co-creatie en co-eigenaarschap in de uitrol van het VMP? • In welke mate is er een effectieve organisatiestructuur om het transitieproces in goede banen te leiden (om partners bij elkaar te brengen, mijlpalen te bepalen en op te volgen, etc.)? • Welke problemen duiken op bij de uitvoering van het programma? Hoe gaan de programmamanagers hier mee? Hoe gaan stakeholders hier mee om? Bovenstaande vragen zijn indicatief. De opdrachtnemer kan suggesties doen voor bijkomende vragen die toelaten beter inzicht te verwerven in betrokkenheid bij, doorwerking en management van het VMP. De opdrachtnemer doet in de offerte een voorstel van methode. De klemtoon ligt daarbij op het gebruik van kwalitatieve technieken: interviews, gesprekken, enquêtes, observatie, documentstudie en -analyse etc.
Het onderzoek verloopt in twee fasen. Fase 1: Voorstel aanpak In een eerste fase doet de opdrachtnemer een voorstel voor monitoringinstrument voor de drie bovenvermelde lagen. Voor de benchmark voorstel van experts, facilitator, raporteur voorstel van centrale vragen die aan de experts zullen gesteld worden en van methodiek (interactieve workshop, schriftelijke enquête, interview, etc.). Voor laag 2 wordt een voorstel gedaan van methodiek voor het beantwoorden van de weergegeven vragen. Daarnaast kan de opdrachtnemer bijkomende vragen suggereren die een zicht kunnen bieden op de impact en doorwerking van het Vlaams Materialenprogramma. Voor laag drie doet de opdrachtnemer een voorstel voor outputindicatoren voor het opvolgen van elk van de 45 acties uit het VMP-actieplan. Dit gebeurt in nauw overleg met de trekkers van elk van de hefbomen van het VMP-actieplan. De opdrachtnemer kan ook voorstellen formuleren met betrekking tot de wenselijke frequentie van monitoring voor de verschillende indicatoren. Er worden outputindicatoren voorgesteld die bepaald kunnen worden zonder overdreven inspanningen voor de VMP partners om de nodige data te verzamelen. Dit voorstel van monitoringinstrument wordt besproken met de opdrachtgever en de stuurgroep VMP (inclusief netwerkdirecteur Plan C en steunpuntmanager SuMMa). Fase 2: Nulmeting De bedoeling is voor bovenstaande vragen regelmatig na te gaan of er een relatieve verandering is ten opzichte van de uitgangssituatie. In eerste instantie moet dus een 'nulmeting' gebeuren. Na goedkeuring door de opdrachtgever, voert de opdrachtnemer aan de hand van het ontwikkelde monitoringinstrument een nulmeting uit.
1.3
Deliverables
De opdrachtnemer levert een eindrapport op met daarin:
Pagina | 19
•
Voorstel voor een breed gedragen monitoringtool voor het VMP, die toelaat (1) een zicht te krijgen op de positie van Vlaanderen op het vlak van Duurzaam Materialenbeheer binnen Europa, (2) de doorwerking en koers van het Vlaams Materialenprogramma in te schatten en (3) op te volgen hoe het staat met de implementatie van de 45 concrete acties die lopen in het kader van het VMP-actieplan.
•
Resultaten van een eerste monitoring/'nulmeting' met (1) kwalitatieve indicatie van de Vlaamse positie op vlak van Duurzaam Materialenbeheer in Europa; (2) kwalitatieve inschatting van de impact van het VMP in het DMB landschap tot hiertoe; (3) stand van zaken voor de uitvoering van de 45 acties van het VMP-actieplan.
Zowel het uitwerken van het monitoringinstrument als de nulmeting gebeurt in participatie met de sleutelpartners van het Vlaams Materialenprogramma. Binnen het Steunpunt Duurzaam Materialenbeheer (SUMMA) zal worden gewerkt rond multi-actorgovernance. De uitvoering van deel 2 van deze opdracht moet verlopen in nauwe samenspraak met het SUMMA.
Pagina | 20
