Plan van aanpak Monitoring en Evaluatie De MuziekRoute
(augustus 2011)
Vooraf Het plan voor De Muziekroute wordt op een aantal punten – enigszins - aangepast. De volgende factoren hebben bij deze heroverweging gericht op de voorbereiding van een GO beslissing een rol gespeeld; het groot aantal scholen in Overvecht dat aan het project mee zou willen doen, de wenselijkheid van een constructief vervolg na de projectperiode (na juni 2013) en het ontoereikend dekkingsplan (peildatum 22 april). • Er worden 4 scholen geselecteerd (aan de hand van opgestelde criteria) en in rangorde van 1 t/m 4 geplaatst. Met drie scholen wordt in ieder geval in de periode 2011 – 2013 – het volledige programma – lessen, combinatie zang + instrumentaal, ensembles, presentaties, de uitgevoerd. Zodra de financiële middelen dit toelaten wordt ook op de 4 school het volledige programma uitgevoerd. • Op maximaal 4 scholen vindt ALLEEN zang, met deelname aan presentaties e.d. plaats. Hiermee wordt gedeeltelijk tegemoet gekomen aan de grote belangstelling van scholen en wordt gewerkt aan draagvlak voor vervolg. • Kanttekeningen bij mogelijk vervolg na juli 2013; intentie zang structureel in curriculum in te bedden, doorstroom naar DoeMeeCentrum, er zal geen financiële basis voor instrumentaal onderwijs (investering instrumenten) zijn. • Het aantal lesweken wordt – ten opzichte van oorspronkelijke plan - verminderd. Eerste jaar: 22 weken – start na de herfstvakantie Twee jaar: 34 weken • De intensiteit van het zangonderwijs wordt verminderd (grotere groepen / minder docenten) Gevolgen van de doorgevoerde aanpassingen: - het project blijft inhoudelijk intact. - vermindering van de totale projectbegroting (vermindering van vereist dekkingsplan), - meer ruimte voor beperkte deelname van meer dan drie scholen (en meer leerlingen), - kosten per deelnemende leerling gaat omlaag. - meer tijd voor het regelen van aanvullende financiering zodat tijdens de uitvoering van het project een ‘groeimodel’ kan worden toegepast – indien inderdaad meer financiële middelen alsnog beschikbaar komen. Het Fonds voor Cultuurparticipatie heeft bij de toekenning van de financiele bijdrage ten behoeve van het project De MuziekRoute (beschikking), naast de algemene voorwaarden, nog tweetal aanvullende voorwaarden, te weten 1. Doelstellingen dienen meetbaar geformuleerd te zijn (SMART) 2. Monitoring en evaluatie die mede gericht te zijn op overdraagbaarheid van de ontwikkelde methode aan externe partijen In deze notitie wordt het plan van aanpak Monitoring en Evaluatie geschetst en aangeven hoe aan de gestelde voorwaarden voldaan zal worden. Her project wordt in de periode oktober 2011 – juni 2013 in de wijk Overvecht uitgevoerd waarbij tussen de 6 en 8 scholen betrokken zullen zijn. Dat zijn dus meer scholen dan oorspronkelijk de bedoeling was. 1. SMART doelstellingen, activiteiten en beoogde resultaten Bij de monitoring en evaluatie van het project De MuziekRoute worden de ‘doelen en te behalen resultaten’ van het project als vertrekpunt genomen (zie bijlage). We kijken steeds naar wat we willen bereiken (doelen), we geven aan wat we doen(activiteiten/ monitoring) en wat we vinden van de behaalde resultaten en de manier waarop we daaraan gewerkt hebben (evaluatie). Door deze reeks gedurende het project steeds toe te passen kunnen we leren van wat we gedaan hebben en verbeteringen doorvoeren. 1.1. SMART formuleringen In de volgende paragraaf zullen de doeltellingen zo goed mogelijk SMART geformuleerd worden, waarbij de nadruk ligt op het inzichtelijk maken de Meetbaarheid. De andere aspecten, Specifiek, Acceptabel, Realistisch en Tijdgebonden zijn ons inziens al in voldoende mate in ons projectplan aangegeven. Bij de onderscheiden doelen ligt het zwaartepunt bij de methodiekontwikkeling. De andere doelstellingen, zoals het versterken van (bestaande) samenwerkingsverbanden zijn ondergeschikt en dienstbaar aan de primaire doelstelling.
1
De gewenste SMART formuleringen worden gekoppeld aan de door het FCP onderscheiden doelbereikingscriteria. Verlagen van drempels voor actieve muziekbeoefening Meetbaarheid aan de hand van de volgende subdoelstellingen: 1. Aantal bereikte kinderen in de wijk Overvecht: Eerste jaar: Minimaal 300 kinderen, 400 ouders, 1000 personen uit familiekring, vriendenkring kinderen etc. en 40 – 60 professioneel betrokkenen zoals groepsleerkrachten, directies scholen. Tweede jaar: Minimaal 600 kinderen, 600 ouders, 2000 personen uit familiekring, vriendenkring kinderen etc. en 60 – 80 professioneel betrokkenen zoals groepsleerkrachten, directies scholen. 2. Het project wordt zo uitgevoerd dat 6 á 8 scholen direct bij de uitvoering van het project betrokken zijn. Daarbij bereiken we dus de kinderen onder schooltijd en ook na schooltijd, groepsleerkrachten etc. 3. Betrokkenheid ouders ( zie onder 1) 4. Drempels worden verlaagd door het beschikbaar stellen van instrumenten ten behoeve van de instrumentale lessen (aantallen; minimaal ¾ van totaal aantal leerlingen) Muziekeducatief materiaal ontwikkelen/ methodiekontwikkeling In De MuziekRoute ligt het zwaartepunt bij methodiekontwikkeling. De doelmatigheid van de methode (creatief leren/ methode Vreedzame school) wordt vastgesteld. Belang van rolmodellen zal worden aangetoond. Ook de trainingen van muziekvakdocenten en deskundigheidsbevordering van de groepsleerkrachten van de deelnemende scholen worden bij de monitoring & evaluatie betrokken. Bij de monitoring & evaluatie van de primaire doelstelling ‘methodiekontwikkeling’ ligt de nadruk op het vaststellen van de ontwikkeling Meetbaarheid aan de hand van de volgende subdoelstellingen: 1. Bij 60% - 80% van deelnemende kinderen draagt DMR bij aan hun muzikale ontwikkeling.(techniek, muzikaliteit). Dit wordt vastgesteld aan de hand van parameters voor muzikale ontwikkeling (klanksterkte, toonhoogte, klankkleur, ritme, melodie etc.) 2. Bij 60% - 80% van deelnemende kinderen is een persoonlijke ontwikkeling vast te stellen de op het gebied van het verkrijgen van inzicht in en het kunnen toepassen van elementen van het concept ‘creatief leren/ Vreedzame school’. Dit zal meetbaar worden gemaakt aan de hand van:observaties van muziekvakdocenten en groepsleerkrachten, het bevragend van kinderen, aantekeningen via het LVS (Opmerking: Bij de monitoring & evaluatie van bovengenoemde punten 1 en 2, ligt de nadruk op het vaststellen van ontwikkeling, en niet op het vaststellen van ‘exacte waarden’) 3. Het belang pedagogische didactische belang van rolmodellen voor het beoogde creatieve proces zal meetbaar worden gemaakt aan de hand van:observaties van muziekvakdocenten en groepsleerkrachten, het bevragend van kinderen, aantekeningen via het LVS. 4. Trainingen muziekvakdocenten en deskundigheidsbevordering van de groepsleerkrachten van de deelnemende scholen. Bij aanvang van en gedurende de projectperiode vindt, gedacht vanuit het projectconcept gerichte scholing plaats. Evaluatie daarvan vindt plaats op basis van de geformuleerde scholingsdoelstelling (en). Daarnaast kan op eenvoudige wijze cijfermatig worden vastgesteld of het aantal specifiek geschoolde deskundigen, d.w.z. dragers van het concept van De MuziekRoute, toeneemt. (zie Werkwijze, formats en planning.) Samenwerking ontwikkelen en verdiepen De MuziekRoute is gebaseerd op reeds bestaande samenwerkingverbanden met verschillende partijen. Bij samenwerking spelen een aantal zaken een cruciale rol (zoals ook tijdens de bijeenkomst van 21 bijeenkomst, initiatief van het FCP) naar voren kwam, te weten: gedeelde visie ( door F. Konings, gedeeld referentiekader genoemd) gezamenlijk doel gezamenlijk handelen formaliseren (afspraken) Gedurende de voorbereiding en uitvoering van het project zal aan de diverse aspecten van samenwerking bij de Monitoring & Evaluatie momenten (zie planning) aandacht worden besteed. Aanpak overdraagbaar maken. De overdraagbaarheid van de projectresultaten is een doelstelling van een ander orde. Op verschillende manieren wordt tijdens en bij de afronding van het project aan de gewenste overdraagbaarheid gewerkt; zoals het opstellen van het projectplan, via samenwerking, via scholing van muziekdocenten en groepsleerkrachten, de vele momenten voor Monitoring& Evaluatie, de evaluatieverslagen, projectrapportage, betrokkenheid externe deskundige t.b.v de Monitoring & Evaluatie.
2
Op basis van het totale plan voor Monitoring & Evaluatie kan zeker voldaan worden aan de eis dat de ontwikkelde methode overdraagbaar moet zijn aan externe partijen. 2. Werkwijze, formats en globale agenda De bewaking van de procesvoortgang in algemene zin heeft vooral betrekking op het managen van het gehele project (inhoudelijk, organisatorisch, budgettair etc.). Dit is de taak van de projectleider. Bij de uitvoering van het project zijn verschillende partners betrokken. Het is o.i. logisch dat deze partners ook bij de Monitoring& Evaluatie een rol spelen. Onderstaand schema geeft aan wie, wat op welke moment doet en welk resultaat dit moet opleveren. Structurele overleggen (op jaarbasis) wie Doel Muziekvakdocenten Feedback geven en krijgen Evaluatie Groepsleerkrachten
Samenwerkingspartners (scholen, MCO, Rosa Ensemble, Vredenburg, UCK)
Uitwisselen informatie en ervaring Evaluatie Voortgangbewaking, evt. bijsturen
Evaluatie Medewerker belast met aansturing Monitoring en Evaluatie traject
frequentie 1 x 14 dagen
3 x per jaar (dwz. 1 maal per lessenserie) 1 x maand
3 x per jaar (dwz. 1 maal per lessenserie) 1 x maand
1 x per half jaar
Helicopter view – kritische toetsing onderdelen
resultaat Monitoring + evaluatieve kanttekeningen evaluatieverslag (3x/jaar) Monitoring + evaluatieve kanttekeningen evaluatieverslag (3x/jaar) Monitoring + evaluatieve kanttekeningen evaluatieverslag (1x/jaar) Feedback plan M&E Feedback evaluatieverslagen
Zoals in het voorafgaande (hopelijk) duidelijk is geworden bestaat het ‘monitoring &evaluatie traject uit verschillende onderdelen. Ten behoeve van de Monitoring & Evaluatie worden verschillende formats opgesteld. Overzicht formats Formats Format 1:nul – meting
Format 2: muzikaliteit Format 3: methode
Wat ‘startsituatie’ per school, per groep, per kind – muziekonderwijs tot dan toe, speerpunten beleid vd school, ontwikkelingsniveau kind etc. Ontwikkeling kind – muzikale vaardigheden/muzikaliteit Ontwikkeling kind – aspecten creatief leren/ vreedzame school
Format: 4 schoolensemble
Ontwikkeling kind – nadruk op aspecten creatief leren/ vreedzame school
Format 5: alleen zang
zangonderwijs
Format 6: presentaties
Evaluatie van voorbereiding en realisatie presentatie
Format 7: samenwerking
Aspecten van samenwerking (doel/handelen)
Format 8: feedback leerlingen & ouders
Beperkte vorm van feedback van ouders
Toepassing Monitoring/ evaluatie 1x
Per lessenserie / door vakdocenten Per lessenserie / door groepsleerkrachten + vakdocenten (?) Vanaf januari 2012 / groepsleerkrachten + vakdocenten/ musici Rosa e.a. (?) Scholen – alleen zang, en presentaties groepsleerkrachten + vakdocenten/ musici Rosa e.a. (?) 2 x /jaar alle samenwerkingspartners Via deelnemende kinderen/scholen
3
Zie voor de uitwerking van de verschillende formats (eerste concepten) die bijlagen. Een en ander wordt in nauwe samenspraak met de betrokken scholen nader ingevuld. 3. Toelichting Monitoring en evaluatie Monitoring; wat doen we daadwerkelijk (activiteiten) om onze doelen te bereiken? Op basis van deze vraag krijgen we in beeld hoe het met de projectvoortgang gesteld is. Evaluatie; wat we vinden van de behaalde resultaten en de manier waarop we daaraan gewerkt hebben (evaluatie). Dit biedt ons mogelijkheden voor het tussentijds doorvoeren van verbeteringen. Bij de start van het project – oktober 2011 - zal per school, per groep, per kind de beginsituatie worden geschetst (0-meting). Vervolgens zal gedurende de looptijd van het project op systematische wijze worden vastgesteld welke resultaten er ten opzichte van de 0-meting geboekt zijn. Daarvoor worden verschillende formats gebruikt. Monitoring en periodieke evaluaties Het schooljaar is onderverdeeld in 3 periodes (blokken). Per lesperiode worden lessen gegeven, op basis van concrete lesbeschrijvingen. Per les worden de te bereiken lesdoelen geven en de bereikte resultaten in kaart gebracht. Eens in de 14 dagen worden de lessen en de resultaten besproken. Eerst door de betrokken muziekvakdocenten, en daarop aansluitend met de groepsleerkrachten. Juist in de bespreking met de groepsleerkrachten kan op het niveau van de leerling een koppeling gemaakt worden tussen de resultaten de (leer-) potentie per leerling. Een vergelijkbare werkwijze wordt bij de ensembles, presentaties toegepast. Periodieke evaluaties Er is per schooljaar sprake van een aantal expliciete evaluatiemomenten. Dat betekent dat de betrokkenen (zie overzicht structurele overleggen, overzicht formats) gezamenlijk terugkijken een lessenserie, uitvoeringen etc. Informatie: Lesbeschrijvingen Notulen overleggen Geregistreerde resultaten (wijze waarop, zie ook onder ‘registratie’)) Wie Muziekvakdocenten, Groepsleerkrachten Wat Bespreking ‘wat gedaan’, ‘bereikte resultaten’- t.o.v. nulmeting. Verslaglegging Van evaluatiebijeenkomst wordt een verslag gemaakt (IJkpunt voor volgende evaluatiemoment) De belangrijkste vraag die hierbij centraal staat luidt: in welke mate hebben we bij de MuziekRoute activiteiten de methode ‘creatief leren’ in combinatie met uitgangspunten van de Vreedzame School, weten te benutten? Deze vraag zal binnen het format. in deelvragen uiteen worden gelegd. Daarbij zal in ieder geval worden stilgestaan bij vragen als: - Hebben kinderen inzicht verkregen in het creatief proces? Waaruit blijkt dat? - Fungeert een docent als rolmodel? Waaruit blijkt dit? Wat is de uitwerking daarvan op het creatieve proces? Bij de andere vormen van monitoring & evaluatie (zie overzicht formats) komen andere aspecten van het project aan de orde. Zie dienen echter hetzelfde doel, namelijk ‘vinger aan de pols houden’ en kijken hoe, tijdens het project zaken nog verbeterd kunnen worden. Monitoring en evaluatie samenwerkingspartners De samenwerkingspartners komen eens per maand bijeen. De nadruk op de onderwerpen zal meer – dan voor de docenten en groepsleerkrachten het geval is – liggen op de meer algemene projectvoortgang. In het gezamenlijk overleg van de samenwerkingspartners worden de opgestelde tussenrapportages, in aanwezigheid van een externe deskundige besproken (zie ook 6.) Ervaringen met en oordeel van leerlingen en ouders We gaan op verschillende manieren betrokken leerlingen en ouders uitnodigen hun ervaringen met De MuziekRoute met ons te delen. We denken aan het interviewen van een aantal leerlingen ( 5 per klas bijvoorbeeld – 40 in het totaal) Op verschillende momenten zullen ook ouders voor feedback worden benaderd. 4. Registratie Het gaat om een muziekproject, waarbij de focus op de methodiekontwikkeling ligt. Kinderen zingen, bespelen instrumenten, professionele musici fungeren daarbij als rolmodel. Er zullen verschillende vormen van registratie van het project plaatsvinden.
4
• •
Audiovisuele impressies van alle instrumentale en vocale groepen (2 keer per jaar) Reflectie momenten (kinderen); het reflecteren als onderdeel van het gezamenlijke creatieve proces (aantal keren per lesperiode – gedurende 10 minuten) • Integrale registratie van presentaties • Interviews, gesprekken met kinderen De mate waarin, de intensiteit waarmee deze vormen van registratie daadwerkelijk zullen plaatsvinden, hangt af van de kosten ervan. Het projectbudget is beperkt, en bovendien willen we ook ‘de betrokkenheid van een extern bureau’ vorm geven (zie 5 en 6). 5. Procesvoortgang en rapportages Eens in het half jaar zal de projectleider (of eventueel aan te stellen medewerker) op basis van hetgeen in de structurele overleggen naar voren is gekomen een tussenrapportage opstellen. Een dergelijke tussenrapportage omvat: - Beschrijving van voortgang a.h.v. specifieke planning voor desbetreffende periode - Overzicht van evaluatiegegevens a.h.v. verslaglegging van de overleggen - Overzicht van doelen/ resultaten betreffende periode - Vergelijk van overzicht doelen/resultaten periode versus doelen te behalen resultaten project - Voorstel voor doelen/te behalen resultaten komende periode De tussenrapportage wordt voorgelegd aan een externe deskundige. De deskundige levert schriftelijk commentaar op de tussenrapportage (s). Zie volgend punt. 6. Kritische blik - distantie Bij de periodieke evaluaties is het van belang dat er met enige distantie naar het project wordt gekeken en de doelstellingen, de feitelijke activiteiten die ondernomen zijn en de geboekte resultaten, op een nuchtere wijze naast elkaar worden gelegd. We zijn voornemens iemand met de voorbereiding, uitvoering en verslaglegging van de evaluaties te belasten die in staat is deze taken op een kritische wijze uit te voeren. Ons staat daarbij voor ogen dat een inhoudelijke vergelijking (doelen en behaalde resultaten) plaatsvindt, er op objectieve wijze conclusies worden getrokken en verbeterpunten worden aangegeven. Dit kan plaatsvinden naar aanleiding van de geleverde evaluatieverslagen en genoemde tussenrapportages. 7. Verslaglegging Alle conclusies en aanbevelingen die in het kader van het project naar voren komen zullen op de eerste plaats met alle betrokkenen worden gedeeld. Op basis van zorgvuldige verslaglegging zullen de bevindingen echter ook in bredere kring overdraagbaar zijn en aan de door ons beoogde kenniscirculatie bijdragen. Op deze manier wordt ook het doel van overdraagbaarheid van projectresultaten behaald. 8. Indicatie van kosten In de algemene projectbegroting is voor de Monitoring en Evaluatie een bedrag van ongeveer 20.000 euro op jaarbasis gereserveerd.
5
Doelen
Te behalen resultaten
Bevordering actieve muziekbeoefening in kwantitatieve en kwalitatieve zin
Meer kinderen maken samen muziek
Monitoring (wat doen we/hoe gaat het?)
Evaluatie (beoordelen/ wat vinden we ervan?)
Door De MuziekRoute is de belevingswereld van het kind vergroot (inhoudelijke verrijking) Kinderen hebben beter inzicht in het (gezamenlijke) proces van musiceren Inbedding van muziekeducatie in regulier curriculum Muziekbeleving niet alleen tijdens de ‘lessen op school’ maar ook op straat/wijk, thuis. Presentaties van uitstekend artistieke kwaliteit, die goedbezocht worden, tijdens en ter afronding van De MuziekRoute Dwarsverbindingen belevingswereld kinderen (thuis,straat/wijk, school) (subdoel)
Activiteiten, presentaties ook buiten de school
Vergrote betrokkenheid ouders Kinderen hebben (ook) thuis kunnen oefenen Vaststellen doelmatigheid methode (en) Aantonen van het belang van rolmodellen
Creatief Leren wordt toegepast in aansluiting op de bestaande methode van “Vreedzame school”. De pedagogisch didactische betekenis van rolmodellen wordt beschreven, geëvalueerd en op waarde vastgesteld.
Versterken van lokale infrastructuur
Samenwerking met relevante partners is tijdens het project geïntensiveerd en/of ontwikkeld. Samenwerking is op doelmatigheid en efficiency getoetst (overdraagbaarheid). Kenniscirculatie en verankering
Overdraagbaarheid projectresultaten
6
