Krijtlijnen communicatiestrategie betreffende evaluaties/evaluatierapporten Afdeling Strategie en Coördinatie 1. Inleiding Een meer gestructureerde aanpak van de beleidsevaluatie betreffende het beleidsdomein Economie, Wetenschap en Innovatie werd eind 2006 opgestart. Meer bepaald werd een specifieke evaluatiecel opgericht die inhoudelijk niet bij de te evalueren activiteiten, projecten, programma’s, instellingen, instrumenten, … is betrokken om de evaluaties te begeleiden, en/of op te volgen en/of zelf uit te voeren. In de loop van 2008 werd werk gemaakt van een verdere structurering van de evaluatiepraktijk. Dit gebeurde aan de hand van het uittekenen en het documenteren van de processen die bij elke evaluatie worden gehanteerd. Het betreft meer bepaald de realisatie van een (sjabloon van) plan van aanpak en een basisprotocol. Beide documenten vormen de basis bij elke evaluatie. Om de werking nog verder te structureren, dienen nog een aantal processen te worden gedocumenteerd en geïmplementeerd. Deze processen betreffen zowel het voor- als natraject bij een evaluatie. In 2009 is het dan ook de bedoeling dit te realiseren. Het betreft meer bepaald de uitwerking van: • Een communicatiestrategie betreffende zowel de evaluatie zelf als de resultaten ervan (evaluatierapporten, wijze waarop aanbevelingen al dan niet werden geïmplementeerd); • De uitwerking van een sjabloon van basisbestek voor de uitvoering van evaluaties en/of onderzoeksopdrachten. Onderhavige nota is een eerste aanzet voor de uitwerking van de hoger genoemde communicatiestrategie. 2. Aandachtspunten bij de communicatie van (resultaten van) evaluaties Momenteel is het zo dat na afloop van de evaluatie het rapport eigendom is van de evaluatiecel van het departement EWI en dat de rapporten als vertrouwelijk worden beschouwd. Dit laatste in afwachting van de uitwerking van een specifiek communicatieplan. Betreffende cel bezorgt een exemplaar van het evaluatierapport (in hard-copy) aan de direct betrokken partijen. Deze partijen zijn: de bevoegde minister, (de instelling bevoegd voor) het voorwerp van de evaluatie, de entiteit(en) binnen het beleidsdomein die het voorwerp van de evaluatie inhoudelijk en/of administratief en/of financieel opvolgen. De (effectieve) leden van de stuurgroep die het evaluatieproces hebben begeleid, ontvangen ook een exemplaar van het rapport1. De ruimere verspreiding van de resultaten van evaluaties is een van de volgende stappen in het natraject van elk evaluatiedossier. De ruimere verspreiding van de resultaten laat (het departement) toe verantwoording af te leggen omtrent het beheer en de besteding van de middelen die haar ter beschikking staan, en dit niet alleen wat betreft de middelen die worden
1
De rapporten worden in dit stadium als vertrouwelijk beschouwd.
Versie d.d. 02.02.2009
ingezet voor het evaluatieproces zelf, maar ook wat betreft de middelen die werden ter beschikking gesteld aan het voorwerp van de evaluatie. Daarom wordt een specifieke communicatiestrategie uitgewerkt. Onderhavige nota heeft betrekking op deze uitwerking. Het bekendmaken van (de resultaten van) evaluaties dient op een gestructureerde manier te gebeuren en rekening te houden met bepaalde elementen in de beleidscyclus. Evaluaties hebben immers vaak tot doel een analyse van een bepaalde activiteit, project, programma, instelling, instrument, … te maken om enerzijds het voorwerp van de evaluatie te verbeteren, te optimaliseren en/of bij te sturen en anderzijds om voorwaarden vast te leggen voor het verder zetten er van (al dan niet in aangepaste vorm). Dit betekent dat nadat het evaluatierapport werd opgeleverd er nog een specifiek beslissingsproces volgt. De partijen betrokken bij dit beslissingsproces zijn in essentie de eerder vermelde betrokkenen en zij beschikken al over de noodzakelijke informatie (o.m. uit de evaluatie) om het beslissingsproces tot een goed einde te brengen. Evaluatierapporten bevatten anderzijds vaak vertrouwelijke informatie die betrekking heeft op het voorwerp van de evaluatie, bijvoorbeeld informatie waarvan het vrijgeven er van de commerciële of concurrentiële positie van het voorwerp van de evaluatie zou kunnen verzwakken. Voor dergelijke informatie stelt de wet op de openbaarheid van bestuur trouwens dat ze niet moet worden vrijgegeven. Het zal dan ook zaak zijn de evaluatierapporten door te nemen en de vertrouwelijke informatie af te schermen. Dit geldt ook voor de managementsamenvatting die meestal ter beschikking is bij een evaluatierapport. Een evaluatie kan verder ook meerdere rapporten opleveren. Dit is bijvoorbeeld het geval wanneer het voorwerp van de evaluatie betrekking heeft op meerdere initiatieven, activiteiten, … waar meerdere instellingen of partijen verantwoordelijk zijn voor betreffende initiatief of activiteit. De deelrapporten hebben dan meestal betrekking op de prestaties van betreffende partij en zijn bij definitie vertrouwelijk. Een evaluatie doorloopt een heel traject alvorens de resultaten er van worden opgeleverd. Meer bepaald wordt een plan van aanpak betreffende de evaluatie opgesteld dat rekening houdt met de beleidscontext, de belangrijkste evaluatievragen opsomt, de te hanteren methodologie vastlegt en verder ook uitsluitsel geeft over de manier waarop de evaluatie zal worden uitgevoerd. In dit document wordt m.a.w. het kader voor de evaluatie vastgelegd. Het is belangrijk dat bij het bekendmaken van de resultaten van een evaluatie ook rekening wordt gehouden met dit kader. Aansluitend bij het voorgaande kan worden vermeld dat in het kader van een evaluatie soms een kwantitatieve bevraging plaatsvindt. Dit betreft in de meeste gevallen een bevraging van de doelgroep(en) zijn of de (potentiële) “klanten”. De resultaten van deze bevragingen zijn ondersteunend voor de evaluatie en bevatten (weinig tot) geen vertrouwelijke gegevens. Eveneens aansluitend bij het voorgaande kunnen bij het doorlopen van een evaluatie ook tussentijdse rapporten en/of rapporten van expertenpanels worden opgeleverd. Tussentijdse rapporten zijn per definitie vertrouwelijk aangezien ze geen definitieve status hebben. Bij de uitvoering van een evaluatie wordt aan het voorwerp van de evaluatie meestal ook gevraagd enerzijds een zelfevaluatie te maken (en dit op basis van een vooraf meegedeelde
Versie d.d. 02.02.2009
vragenlijst) en anderzijds vooruit te blikken naar de toekomst. Dit laatste betreft in essentie de opmaak van aan ontwerpbeleidsplan voor een volgende periode. Beide documenten dienen als ondersteuning bij de evaluatie en komen aan bod bij de analyse. De betreffende documenten zelf worden als vertrouwelijk beschouwd. De zelfevaluatie omdat het een vertrouwelijke gegevens en informatie bevat en het ontwerpbeleidsplan omdat de status er van voorlopig is. Het betreft immers een ontwerp van beleidsplan. Wanneer expertise wordt ingeschakeld via een openbare procedure, wordt een specifiek bestek opgemaakt. Het bestek bevat – voor wat het technisch gedeelte betreft – in essentie wat is opgenomen in het plan van aanpak voor de evaluatie. In die zin bevat het bestek dan ook geen vertrouwelijke gegevens. Wanneer een procedure wordt afgerond, kan bekend gemaakt worden aan welke firma betreffende opdracht werd bekendgemaakt. Deze informatie is opgenomen in de gunningsbeslissing en/of werd ook bekendgemaakt in het BDA. 3. Basiscriteria te hanteren bij de communicatie van de resultaten van een evaluatie Rekening houdend met wat in deel 2 werd aangehaald, worden volgende basiscriteria voorgesteld die gehanteerd moeten worden bij de bekendmaking van resultaten van een evaluatie. Hierbij wordt onderscheid gemaakt tussen de interne en externe bekendmaking. Interne bekendmaking Zoals hoger aangehaald beschikken de direct betrokkenen al over een hard-copy van het evaluatierapport. Betreffend rapport wordt opgenomen in de infotheek. Hierbij wordt zoveel mogelijk geopteerd voor de elektronische versie. Deze wordt voorzien van het label vertrouwelijk en de elektronische kopie kan enkel gedownload worden in “alleen-lezen” versie. Tevens wordt in een commentaarveld aangegeven dat het rapport niet mag verspreid worden naar externen. Voor externen wordt verwezen naar onderstaande. De zelfevaluatierapporten en analyses van ontwerpbeleidsplannen worden (in hard-copy) ter beschikking gesteld aan de direct betrokkenen en verder niet verspreid. De evaluatiecel houdt betreffende rapporten uiteraard wel bij. Externe bekendmaking De resultaten van de evaluatie (zie volgend punt) worden (al dan niet volledig – zie verder) pas na afloop van het eerder vermelde beslissingsproces bekend gemaakt. De bekendmaking in elektronische vorm beperkt zich tot: • Een samenvatting van het plan van aanpak in fichevorm2 (zie deel 4). • De (management)samenvatting van het evaluatierapport waarbij vertrouwelijke gedeelten onleesbaar worden gemaakt en/of verwijderd • De resultaten van eventuele kwantitatieve bevragingen voor zover het geaggregeerde en niet-vertrouwelijke gegevens betreft3. Betreffende documenten worden in een elektronisch formaat ter beschikking gesteld dat geen wijzigingen aan de documenten toelaat. De documenten worden aan het grote publiek ter beschikking gesteld op een specifiek onderdeel van de website van EWI.
2
Het volledige plan van aanpak kan als bijlage worden toegevoegd. Wat betreft de resultaten van bevragingen kan – per dossier – overwogen worden deze bekend te maken eerder dan na afloop van het beslissingsproces. 3
Versie d.d. 02.02.2009
Het volledige evaluatierapport wordt enkel ter beschikking gesteld in hard-copy aan die geïnteresseerden die dit (bij het departement) aanvragen. Hierbij worden vertrouwelijke gegevens eveneens onleesbaar gemaakt. Het aanvragen van de rapporten wordt niet actief gepromoot, in die zin dat ze niet ter beschikking worden gesteld als publicatie in de publicatiebank van de Vlaamse overheid. Zelfevaluatierapporten en analyses ontwerpbeleidsplannen worden niet extern bekend gemaakt. In principe zijn in het (globale) evaluatierapport de belangrijkste gegevens van de zelfevaluatie al opgenomen, terwijl de belangrijkste elementen van de analyse van het ontwerpbeleidsplan ofwel ook zijn opgenomen in het evaluatierapport ofwel in rekening worden gebracht tijdens het beslissingsproces na afloop van de evaluatie. Bovendien is de analyse van het ontwerpbeleidsplan een analyse op een voorlopig document en is het enkel van belang voor de direct betrokkenen. Gegevens over ingeschakelde expertise, (eventueel) gevolgde procedure(s) en kostprijs zijn al opgenomen in eerder vermelde fiche. Specifieke gegevens over de gunning (i.e. gunningsbeslissing) worden – zoals voorzien in de wet – op vraag ter beschikking gesteld aan de betrokkenen in de procedure. In principe kunnen ook derden deze informatie opvragen. Andere vormen van (externe) bekendmaking Bij de oplevering van een evaluatierapport is ook voorzien in het formeel overmaken en/of presenteren er van aan (de instelling bevoegd voor) het voorwerp van de evaluatie. Een presentatie van de resultaten van een evaluatie is in de meeste gevallen aangewezen, al was het maar om betrokkenen de kans te geven te reageren op de conclusies en aanbevelingen. Wanneer beslist wordt een dergelijke presentatie te verzorgen, zal de afdeling Strategie en Coördinatie (in overleg met de inhoudelijk bevoegde entiteit) uitmaken hoe en door wie4 de presentatie zal worden gegeven. In ieder geval zal de afdeling dan instaan voor een toelichting over het kader van de evaluatie, de gehanteerde methodologie, enz. Hiertoe kan eerder vermelde fiche worden gehanteerd. Het presenteren van de resultaten van een evaluatie is in ieder geval aangewezen in volgende gevallen: • Wanneer het de evaluatie van een instelling betreft. In dat geval betreft het (minimaal) een presentatie t.a.v. aan de RvB en de verantwoordelijken van betreffende instelling • Indien er met betrekking tot het voorwerp van de evaluatie veel stakeholders zijn die (al dan niet) betrokken zijn geweest bij de evaluatie en de resultaten er van een impact kunnen/zullen hebben op deze stakeholders • Wanneer stakeholders vragen naar een presentatie van de resultaten • Wanneer het een evaluatie betreft met een niet geringe financiële impact (en dit zowel wat het voorwerp van de evaluatie betreft als wat betreft de kostprijs van de evaluatie zelf). Deze presentatie vindt bij voorkeur zo snel mogelijk na afloop van de evaluatie plaats (maar bij voorkeur niet voor het aflopen van het beslissingsproces, ingeval het een presentatie t.a.v. niet betrokkenen betreft). Ter plaatse kan het evaluatierapport (in hard-copy) worden verdeeld. Onleesbaar maken vertrouwelijke gegevens
4
Wanneer een externe evaluator werd ingeschakeld voor de evaluatie, kan overwogen worden deze in te schakelen voor de presentatie van het eigenlijke rapport.
Versie d.d. 02.02.2009
Per afgewerkte evaluatie zal de evaluatiecel van het departement in het evaluatierapport screenen en uitmaken (na advies van de juridische cel van het departement) welke gegevens of informatie als vertrouwelijk of “gevoelig” dienen te worden beschouwd en desgevallend onleesbaar worden gemaakt. Het betreft hier hoofdzakelijk gegevens of informatie van financiële, commerciële en persoonlijke aard of gegevens die belangrijk zijn voor de concurrentiële positie van het voorwerp van de evaluatie en waarvan het vrijmaken er van de positie van dit voorwerp kan schaden. Daarna zal de evaluatiecel het voorwerp van de evaluatie er van op de hoogte brengen dat de resultaten van de evaluatie bekend zullen worden gemaakt en ook onder welke vorm dit zal gebeuren. Dit zal uiteraard gebeuren voor de effectieve bekendmaking er van. Opmerking Sommige instellingen die het voorwerp uitmaken van een evaluatie kiezen er voor om na afloop van de evaluatie de resultaten integraal bekend te maken (cfr. FWO-Vlaanderen). In dat geval dient de evaluatiecel – in principe - geen gegevens onleesbaar te maken5. De basiscriteria die het departement in dit geval hanteert t.a.v. de bekendmaking van de resultaten zijn echter dezelfde als deze opgenoemd in punt 3. 4. Fiche per evaluatiedossier Per afgehandeld evaluatiedossier wordt een fiche bijgehouden met daarin volgende elementen: • Een samenvatting van het plan van aanpak, waarin wordt opgenomen: aanleiding evaluatie, schets beleidscontext, beoogde doelstellingen en resultaat evaluatie, belangrijkste evaluatievragen, onderdelen evaluatie en methodologie, (ingebouwde) overlegmomenten met voorwerp evaluatie en/of stakeholders (m.i.v. resultaat), wijze waarop evaluatie werd uitgevoerd (m.i.v. – indien van toepassing – overzicht ingeschakelde externe expertise en kostprijs), gevolgde procedure (indien van toepassing en beknopt overzicht belangrijkste stappen), resultaten evaluatie (overzicht eindrapport(en) en/of samenvatting), opvolging evaluatie na afhandeling (datum afronding beslissingproces en verwijzing naar beslissing (indien mogelijk – bijvoorbeeld beslissing Vlaamse Regering). Deze fiche kan in principe vlot worden samengesteld op basis van het datamodel dat de afdeling Kennisbeheer voor de opvolging van evaluaties zal ontwikkelen. 5. Overzicht uitgevoerde bekendmaking
evaluaties
met
aanduiding
mogelijkheden
voor
Voor de in 2007 en 2008 uitgevoerde evaluaties, wordt in bijlage een overzicht gegeven van de documenten die ter beschikking zijn, welke de status is van de evaluatie en wat de stand van zaken is in het beslissingsproces. Op basis daarvan wordt aangegeven wat de mogelijkheden zijn voor bekendmaking. Het overzicht is onderverdeeld volgens jaar van opstart.
5
Dit zal van geval tot geval bekeken worden in overleg met de juridische cel van het departement
Versie d.d. 02.02.2009
6. Elektronische bekendmaking De elektronische bekendmaking situeert zich op twee vlakken: enerzijds de interne bekendmaking binnen het departement via het extranet en anderzijds de bekendmaking naar externen via de website van EWI. Bekendmaking via extranet De bekendmaking kan gebeuren op de pagina van de afdeling. Er zijn 3 paragrafen: • In “Evaluatieprocessen en –praktijk” wordt een korte toelichting gegeven bij de evaluatiepraktijk a.d.h.v. de documenten die de processen beschrijven (protocol, sjabloon bij plan van aanpak en communicatiestrategie). De aandacht van de lezer wordt er op gevestigd dat deze informatie nuttig is voor bij al wie (binnen het departement) betrokken is bij een evaluatie. De documenten bevatten nl. ook informatie over de taakverdeling tussen enerzijds de evaluatiecel van de afdeling Strategie en Coördinatie en de inhoudelijk bevoegde entiteit bij de afhandeling van een evaluatie en dit voor alle fasen er van (voortraject, eigenlijke uitvoering en natraject). • In het luik “Afgehandelde evaluaties en/of studies” wordt een overzicht gegeven van alle afgehandelde dossiers. Hierbij wordt per afgehandeld dossier een mapje6 aangeboden met volgende informatie: o Fiche o Plan van aanpak o (Management)samenvatting evaluatie o Contactpersoon voor betreffende evaluatie (dossierbehandelaar). Het volledig evaluatierapport kan worden aangevraagd via de contactpersoon en/of de infotheek. Hierbij wordt aangegeven dat het rapport niet verder verspreid mag worden (zie ook hoger). Voor de externe verspreiding is immers een specifiek kanaal voorzien (zie verder). • In een luik “Lopende evaluaties” wordt een overzicht gegeven van de op dat ogenblik lopende dossiers. Bekendmaking via website EWI Voor deze bekendmaking wordt – indien mogelijk - een specifiek tabblad voorzien op de website van EWI. Na een korte inleiding, volgt een overzicht van de resultaten. De resultaten van de evaluaties worden aangeboden in een mapje (of een lijst) per dossier en gerangschikt per jaar (van opstart). In dit mapje zijn opgenomen de documenten vermeld in deel 2 (fiche, (management)samenvatting, resultaten kwalitatieve bevraging (indien van toepassing)). Het volledig rapport (hard-copy) kan aangevraagd worden via de website op het algemene adres. Een overzicht van de evaluatiedossiers die lopende zijn, wordt eveneens meegegeven.
6
Merk op dat de informatie die gemeenschappelijk is (op extranet en op de website) enkel (in full) zal aangeboden op de website. Op het extranet wordt dan een doorklik voorzien naar de EWI-website. Bedoeling is de documenten slechts op één plaats aan te bieden en dit om te vermijden dat er bij updates verschillende versies zouden zijn.
Versie d.d. 02.02.2009
Kwalitatieve bevragingen kunnen op deze specifieke pagina ook in een afzonderlijke lijst worden opgenomen.
Versie d.d. 02.02.2009
