Matchingsregeling Cultuureducatie met kwaliteit in het primair onderwijs
Hoofdlijnen van de landelijke monitoring en evaluatie van de matchingsregeling
Waarom monitoren en evalueren? Het Fonds voor Cultuurparticipatie hecht veel belang aan de monitoring en evaluatie van de matchingsregeling Cultuureducatie met kwaliteit in het primair onderwijs. Tijdens de rit goed zicht houden op de uitvoering en resultaten van de regeling en tussentijds en na afloop zoveel mogelijk op basis van feiten beoordelen of de regeling doeltreffend en doelmatig is: daardoor leer je van ervaringen en kun je verbeteringen aanbrengen. Het Fonds vraagt culturele instellingen die subsidie ontvangen op basis van de matchingsregeling dan ook om hun eigen activiteiten te monitoren en te evalueren. Samen met Cultuurnetwerk Nederland – dat vanaf januari 2013 met Kunstfactor opgaat in het nieuwe Landelijk Kennisinstituut Cultuureducatie en Amateurkunst – stelt het Fonds tevens een landelijk monitor- en evaluatietraject op. Om zicht te houden op de uitvoering van de regeling en om na verloop van tijd een weloverwogen oordeel te kunnen vormen over resultaten en effecten ervan. In dit document wordt de aanpak van het landelijke monitoring- en evaluatietraject in hoofdlijnen weergegeven. Het traject wordt in 2013 nader uitgewerkt, rekening houdend met reacties van aanvragers en betrokken provincies en gemeenten. Kortheidshalve gebruiken we in het volgende de afkorting ‘moneva’ voor monitoring en evaluatie. Cultuureducatie met kwaliteit: een landelijk samenhangende aanpak De matchingsregeling voor lokale en provinciale culturele instellingen is één van de drie onderdelen van het beleidsprogramma Cultuureducatie met kwaliteit in het primair onderwijs. Er kunnen aanvragen worden ingediend voor vier activiteitencategorieën (leerplanontwikkeling, deskundigheidsbevordering leerkrachten en educatief medewerkers, school en omgeving, en instrumenten voor het beoordelen van de culturele ontwikkeling van leerlingen). Tweede onderdeel zijn flankerende activiteiten bij het programma: deze worden door het Fonds ontwikkeld en uitgevoerd in overleg met OCW en het Landelijk Kennisinstituut Cultuureducatie en Amateurkunst (LKCA) dat in de plaats komt van Cultuurnetwerk Nederland en Kunstfactor. Derde onderdeel is de regeling Prestatiebox (cultuureducatie) voor basisscholen, die wordt uitgevoerd door het ministerie van OCW. Het beleidsprogramma heeft ten doel de kwaliteit van het leergebied kunstzinnige oriëntatie op basisscholen te borgen door middel van een landelijk samenhangende aanpak. De landelijke monitoring en evaluatie van de matchingsregeling wordt daarom afgestemd met de monitoring en evaluatie van de andere twee onderdelen van het programma. In dit verband moet hier bovendien de Impuls Brede scholen sport en cultuur genoemd worden, via welke gemeenten een bijdrage kunnen ontvangen voor de bekostiging van combinatiefunctionarissen (cultuurcoaches en dergelijke). Wat verstaan we onder monitoren en evalueren? Monitoren en evalueren om te leren en te verbeteren is echt iets anders dan het verantwoorden van de besteding van subsidiegeld. Monitoren betekent volgens de letter van de matchingsregeling: ‘het door middel van periodieke peilingen zicht houden op zowel de uitvoering als op tussentijdse resultaten 1
van de regeling’. Monitoring kan aanleiding geven tot bijstellen en bijsturen. Monitoren is gewoonweg zicht houden op iets. Dat kan iets zijn wat je doet of waaraan je iets doet. In veel gevallen gebeurt dat impliciet, al doende en niet stelselmatig. Het kan ook expliciet, doelgericht en stelselmatig gebeuren. Hoe belangrijker het is om op de hoogte te blijven van de feitelijke stand of gang van zaken, des te meer reden om ervoor te zorgen dat die informatie up-to-date is en betrouwbaar. Evalueren betekent volgens de regeling: ‘het door middel van wetenschappelijk verantwoord onderzoek of door raadpleging van betrokkenen en deskundigen, al dan niet met gebruikmaking van monitorgegevens, tot een weloverwogen oordeel komen over de doeltreffendheid van de activiteiten die in het kader van deze regeling worden gesubsidieerd’. Centrale vraag is dus wat de effecten van beleid en activiteiten zijn. De evaluatie kan echter tevens betrekking hebben op de doelmatigheid (en dus de uitvoering) van beleid en activiteiten. Landelijk en decentraal Het Fonds voor Cultuurparticipatie is verantwoordelijk voor de landelijke monitoring en evaluatie van de matchingsregeling. De culturele instellingen die als subsidieaanvrager optreden, zijn verantwoordelijk voor de monitoring en evaluatie van hun eigen activiteiten. Uitgangspunt is namelijk dat degene die verantwoordelijk is voor de vormgeving van een bepaalde interventie (een programma, beleidsmaatregel of project) daarmee ook degene is die er iets aan kan veranderen als hij daar aanleiding toe ziet. En die er daarom belang bij heeft om zicht te houden op de voortgang en de resultaten en effecten van zijn eigen handelen. In het volgende worden de onderdelen van het landelijke monitor- en evaluatietraject op een rij gezet en kort toegelicht. Voor de decentrale moneva door aanvragers is een korte handreiking beschikbaar: http://www.cultuurparticipatie.nl/subsidies/Cultuureducatie_met_Kwaliteit/ Tussen het landelijke traject en moneva door aanvragers zelf zijn bepaalde verbindingen mogelijk. Daar besteden we in het volgende ook aandacht aan. Vergelijkende plananalyse Het landelijke monevatraject start medio december 2012, zodra de aanvragen binnen zijn, met een vergelijkende plananalyse van deze aanvragen door het kennisinstituut. Ingediende aanvragen worden stelselmatig beschreven en met elkaar vergeleken qua soort van activiteiten, doelen en doelgroepen waar de plannen op gericht zijn, welke probleemanalyse eraan ten grondslag ligt en hoe het project wordt aangepakt, inclusief de aanpak van de eigen monitoring en evaluatie door de aanvrager. Het gaat dus niet om de interventie-zoals-uitgevoerd maar om de interventie-zoals-bedacht. In maart 2013 worden resultaten van de plananalyse gepresenteerd via de websites van het fonds en het kennisinstituut. Het rapport zal ook inhoudelijke thema’s of andere mogelijkheden aanwijzen voor eventuele gezamenlijke initiatieven van aanvragers, provincies en gemeenten en het FCP op het vlak van monitoring, evaluatie en onderzoek. Bilaterale gesprekken Iedere aanvrager (en zijn provincie/gemeente) heeft een accounthouder bij het Fonds. Deze brengt in principe twee maal per jaar een werkbezoek aan de aanvrager en aan de contactpersoon van de provincie of gemeente. Doel van de werkbezoeken is elkaar te informeren over de voortgang van het project, knelpunten te signaleren of opmerkelijke inhoudelijke of organisato-
2
rische feiten te bespreken, leermomenten te benoemen. En vervolgens te bezien welke actie nodig is en of die eventueel in gezamenlijkheid kan worden ondernomen. Vóór ieder gesprek wordt een agenda opgesteld. Onderwerpen voor de agenda worden aangedragen door het fonds en de aanvrager. Van ieder gesprek wordt een kort verslag opgesteld. Het verslag biedt met informatie die tussentijds wordt uitgewisseld aandachtspunten voor het volgende gesprek. Het Fonds houdt per aanvrager een dossier bij met de verslagen en agenda’s van bilaterale gesprekken en andere relevante documentatie, dit alles in het kader van ‘leren en verbeteren’. Voortgangsrapportages Het Fonds voor Cultuurparticipatie stelt jaarlijks, om te beginnen in 2014, een rapportage op over de voortgang van de matchingsregeling. In de voortgangsrapportage worden verschillen en overeenkomsten in de aanpak en uitvoering van gesubsidieerde projecten beschreven, knelpunten in de uitvoering gesignaleerd en oplossingen die daarvoor gevonden worden, en goede voorbeelden in het licht gezet. Het kennisinstituut ondersteunt het Fonds bij de samenstelling en redactie van de voortgangsrapportage. Informatie voor de rapportage wordt ten eerste verkregen via de bilaterale gesprekken met aanvragers en hun provincies en gemeenten (zie hierboven). Ten tweede wordt informatie uit de jaarlijkse verantwoordingen gebruikt om een overall beeld te geven van het soort activiteiten dat wordt uitgevoerd, van het aandeel daarvan in het jaarlijks bestede budget en van omstandigheden die van invloed zijn op de uitvoering van activiteiten. Ten derde bevat de voortgangsrapportage telkens een korte schets van trends en actuele vraagstukken in het werk- en beleidsveld van de cultuureducatie. De eerste rapportage wordt medio 2014 opgesteld, de laatste medio 2017. Rapportages worden gepubliceerd op de website van het Fonds en van het kennisinstituut. Referentiekader voor de evaluatie Evalueren houdt altijd in dat iets – in dit geval de uitvoering en opbrengsten van de matchingsregeling – wordt beoordeeld aan de hand van een of meer criteria. Die criteria kunnen impliciet zijn of expliciet en ze kunnen van tevoren worden opgesteld of ‘tijdens de rit’ of zelfs na afloop van de interventie. Ook als criteria niet van tevoren expliciet zijn gemaakt, komen ze uiteindelijk wel naar voren in de argumenten van verschillende betrokkenen zodra die de aanpak en resultaten van het beleid of van een project beoordelen. Het Fonds wil echter niet tot 2016 wachten met het opstellen van evaluatiecriteria maar er begin 2013 meteen een aanvang mee maken. Daartoe worden twee wegen bewandeld. Ten eerste bespreekt het Fonds samen met het kennisinstituut en met andere deskundige adviseurs welke criteria en mogelijk zelfs indicatoren te formuleren zijn op grond van de doelstellingen van de regeling in het algemeen en van de vier soorten subsidiabele activiteiten in het bijzonder. Ten tweede levert de vergelijkende plananalyse van de ingediende aanvragen (zie hierboven) onder meer een lijst van doelstellingen van projecten op en waarschijnlijk ook van evaluatiecriteria. Bevindingen van beide activiteiten worden bij elkaar gebracht in een werkdocument en gepubliceerd via de websites van het Fonds en het kennisinstituut. Aanvragers en hun provincies en gemeenten kunnen er dan vragen over stellen en commentaar op geven. Fonds en kennisinstituut stellen mede op grond van de reacties een referentiekader op voor de evaluatie van de matchingsregeling en publiceren dit na de zomer via hun websites. Het referentiekader
3
bevat richtinggevende vragen voor de tussentijdse evaluatie van de regeling door het Fonds, begin 2015. Aanvragers en hun provincies en gemeenten kunnen – als zij dat willen – gebruik maken van het referentiekader bij het voorbereiden van hun eigen tussentijdse evaluatie, eind 2014. Tussentijdse landelijke evaluatie Het Fonds voert begin 2015 een tussentijdse landelijke evaluatie uit van de matchingsregeling en van het flankerend beleid CeK. De tussentijdse evaluatie richt zich op vier hoofdvragen: [a] gaat het de goede kant op met de uitvoering van de regeling, klopt de richting? [b] wordt er voldoende voortgang geboekt of zijn extra inspanningen op landelijk niveau nodig? [c] welke kansen en bedreigingen voor de borging van de kwaliteit van cultuureducatie in het primair onderwijs tekenen zich af voor de periode na 2016 en hoe kan het Fonds daarop inspelen? [d] welke aanpassingen op landelijk niveau zijn nodig? Het referentiekader voor de evaluatie van de regeling (zie hierboven) vormt de grondslag voor nadere inhoudelijke evaluatievragen. Resultaten van de tussentijdse evaluatie van gesubsidieerde activiteiten door de aanvragers zelf vormen een belangrijke informatiebron voor de tussentijdse landelijke evaluatie, naast de voortgangsrapportage 2014 (zie hierboven) en aanvullende gesprekken met aanvragers, provincies en gemeenten. De tussentijdse evaluatie is onder meer gericht op het identificeren van voorbeeldprojecten die door het Fonds en het kennisinstituut extra in het licht gezet worden. Het succes van het stimuleringsprogramma Cultuureducatie met kwaliteit, waar de matchingsregeling een belangrijk onderdeel van is, zal namelijk mede worden afgemeten aan de uitstraling, voorbeeldwerking en feitelijke navolging van succesvolle projecten in het werk- en beleidsveld. Eindevaluatie Een matchingsregeling ter borging van de kwaliteit van cultuureducatie in het primair onderwijs waar het Rijk via het Fonds voor Cultuurparticipatie en de provincies en gemeenten in de periode 2013-2016 samen jaarlijks € 20 miljoen aan bijdragen (€ 80 miljoen over de hele periode dus), verdient een stevige eindevaluatie. Dat geldt des te meer voor het hele programma Cultuureducatie met kwaliteit, waarmee over de hele periode een bedrag van ongeveer € 166 miljoen gemoeid is. Liefst een evaluatie die ook consequenties kan hebben voor de volgende periode. Nu is dat altijd lastig: iedere eindevaluatie na afloop van een meerjarig programma komt te laat omdat beleidsvoornemens voor de volgende periode al ruim voor het verstrijken van de lopende periode worden geformuleerd en aangekondigd. De tussentijdse landelijke evaluatie (zie hierboven) kan nog net worden meegenomen bij de voorbereiding van het beleid voor de periode 2017-2020. Een eindevaluatie in 2017 is mosterd na de maaltijd, tenzij bij die evaluatie naar het beleid op langere termijn – ook verder terug – wordt gekeken en naar de matchingsregeling in samenhang met het bredere onderwijs- en cultuureducatiebeleid. De aanpak van de eindevaluatie zal hoe dan ook onderwerp van gesprek zijn tussen het Fonds, het Ministerie van OCW, provincies en betrokken gemeenten en het kennisinstituut. Ondersteunende kennisactiviteiten Het Fonds voor Cultuurparticipatie stimuleert samen met het kennisinstituut dat kennis wordt ontwikkeld, uitgewisseld en gedeeld door instellingen en overheden die vorm geven aan het programma Cultuureducatie met kwaliteit, door onderzoekers en andere betrokkenen. Het wil onder meer op die
4
manier bijdragen aan het welslagen van gesubsidieerde activiteiten en daarmee aan het succes van de regeling. Ondersteunende kennisactiviteiten maken deel uit van het werkprogramma van het Fonds en/of het kennisinstituut. Sommige activiteiten hebben vooral te maken met de matchingsregeling, andere hebben ook maar zeker niet alleen met die regeling te maken. Het kennisinstituut kan aanvragers ook van kort advies dienen over de aanpak van hun eigen moneva, over het opstellen van een offerteverzoek aan onderzoeksbureaus, en onderzoek begeleiden dat in opdracht van aanvragers wordt uitgevoerd. Het kennisinstituut zal zelf geen onderzoek in opdracht van aanvragers of van betrokken gemeenten en provincies uitvoeren. Informatie over de landelijke monitoring en evaluatie Aanvragers, provincies en gemeenten en andere belangstellenden kunnen zich via de websites van het Fonds en het kennisinstituut op de hoogte stellen van de stand van zaken met betrekking tot de landelijke monitoring en evaluatie. Ook nieuws over ondersteunende kennisactiviteiten is daar te vinden. De redactie van beide websites stemmen de berichtgeving over Cultuureducatie met kwaliteit, inclusief de landelijke en decentrale monitoring en evaluatie, steeds met elkaar af. Leden van de besloten Linked in groep ‘Cultuureducatie met kwaliteit’, die onder redactie staat van het Fonds, worden tevens geregeld geïnformeerd via blogs en uitgenodigd om hierop te reageren of zelf een onderwerp aan te kaarten. Vragen en reacties Wie vragen heeft over de hier weergegeven hoofdlijnen van de landelijke monitoring en evaluatie van de matchingsregeling, of wil reageren, kan contact opnemen met de contactpersoon bij het Fonds voor Cultuurparticipatie. Vragen en reacties worden zo spoedig mogelijk door het Fonds beantwoord in overleg met Cultuurnetwerk Nederland (vanaf 2013 het Landelijk Kennisinstituut Cultuureducatie en Amateurkunst).
5
