Verslag bijeenkomst Inspirerend onderzoek op 30 november 2011 Introductie op het programma Cees van Eijk, voorzitter programmacommissie Gezonde Slagkracht Gezonde Slagkracht is geen onderzoeksprogramma maar een implementatieprogramma. Onderzoek moet dus dienstbaar zijn aan de implementatie. Uiteraard dient het beoogde evaluatieonderzoek gedegen en zorgvuldig te gebeuren, maar we stellen geen extra eisen aan het onderzoek dat is gekoppeld aan het project. Het gaat erom een goed beeld te krijgen van het proces, wat er gedaan is en hoe het gelopen is. En we verwachten een antwoord op de vraag welke resultaten het project heeft opgeleverd in relatie tot de doelstellingen. Zo’n evaluatie is niet alleen bedoeld om te verantwoorden wat je hebt gedaan, bijvoorbeeld naar de programmacommissie. Het is vooral bedoeld om van te leren. Dat is van belang voor alle betrokkenen bij Gezonde Slagkracht, zowel op het lokale niveau van de projecten als voor het programma als geheel. Gedegen evaluatieonderzoek maakt het overdragen van ervaringen mogelijk.
Het landelijke en lokale onderzoek van Local50 Janneke Harting, onderzoeker van het Kernteam Local50 Onderzoekers van Local50 zijn bij alle 34 projecten - waarin ruim 130 gemeenten deelnemen langs geweest. Ons onderzoek levert informatie op over de resultaten van de ondersteuning van het programma Gezonde Slagkracht bij integrale beleidsprocessen in de gemeenten. Lukt het om de maatregelen uit dit beleid goed te implementeren en vooral ook te bestendigen? En wat doen de interventies in de lokale projecten met zowel de determinanten van gezondheid als de gezondheid van de burgers? Wat gebeurt er daadwerkelijk in de projecten en wat kunnen we
1
ervan leren? Het landelijke onderzoek bestaat uit drie deelonderzoeken: Deelonderzoek 1: Hoe ontwikkelt zich het integrale beleidsproces? Wie zijn daarbij betrokken en op welke manier? Deelonderzoek 2: Welke maatregelen en interventies worden uitgevoerd? Wie zijn daarbij betrokken en op welke manier? Deelonderzoek 3: Welke effecten zijn nu te verwachten? Welke effecten zijn straks vast te stellen? De lokale gegevensverzameling gaat ons bij al deze deelonderzoeken helpen. Wat betekent dat concreet voor de lokale projecten? Het gaat om de volgende activiteiten:
verzamelen van beleidsstukken, nota's, notities, notulen en mijlpalen; registeren van de inzet van maatregelen en interventies, werkplannen, uitvoeringsplannen, verslagen en ook weer de mijlpalen; monitoren van de blootstelling en deelname van bewoners aan activiteiten, en van gedrag, omgeving en gezondheid; boekhouden van de besteding van middelen (menskracht, materialen).
Wat gaan wij landelijk doen? Netwerkanalyse van de beleidsprocessen in de gemeenten: wie werkt met wie samen? Dat gebeurt in het eerste kwartaal van 2012. Een vragenlijst over de concrete maatregelen en plannen van de projecten. Deze zetten we het tweede kwartaal uit. Effectmeting naar de determinanten van gezondheid en de gezondheid zelf. Daarbij levert de input uit de projecten belangrijke aanvullende informatie op. Daarnaast verzamelen we de nodige extra data, bijvoorbeeld via de monitoring van de ondersteuning vanuit ZonMw, korte enquêtes onder gemeentesecretarissen, analyses van documenten en verdiepende interviews over netwerken. Alle informatie die we met Local50 verzamelen, komt uiteindelijk zo veel mogelijk terecht in de Handreiking Gezonde Gemeente van het Loket Gezond Leven. Kwaliteit van interventies en de I-database Marian Sturkenboom (Centrum Gezond Leven) en Corna van Tol (ZonMw) Corna van Tol: Uit de presentatie over Local50 wordt duidelijk dat Gezonde Slagkracht de kennis over de effectiviteit van interventies wil laten landen. We willen graag alles wat we in het programma over effectiviteit te weten komen opnemen in de I-database van het Centrum Gezond Leven. Zo kunnen we van elkaar te weten komen wat er beschikbaar is én wat in de praktijk bruikbaar is. Binnen het programma zijn (beperkte) budgetten beschikbaar voor effectonderzoek naar nieuwe interventies en aanvullingen op bestaande interventies. Dan gaat het om interventies waarvan we nog niet weten of ze werken en goed te gebruiken zijn. Marian Sturkenboom: Een van de belangrijke uitgangspunten van Gezonde Slagkracht is het van elkaar leren. Ook stimuleert het programma de deelnemers te kijken of er al interventies beschikbaar zijn die ze in hun eigen project kunnen gebruiken. De I-database is daarvoor een belangrijk hulpmiddel. Voor het ‘veld’ is het een bron van informatie over de kwaliteit van een interventie, een instrument voor kwaliteitsverbetering en een platform voor kennisuitwisseling. Voor projectleiders is het traject van Erkenning voor het opnemen van een interventie in de Handreiking Gezonde Gemeente een middel tot interne kwaliteitsbewaking en een mogelijkheid tot verspreiding van succesvolle interventies. Het hoogste niveau van erkenning is ‘bewezen effectief’, gevolgd door ‘waarschijnlijk effectief’ en ‘theoretisch goed onderbouwd’. Om de praktijk
2
tegemoet te komen is er ook een basisniveau van erkenning toegevoegd voor interventies die ‘goed beschreven’ zijn. De vereisten in het erkenningstraject zijn de volgende: een heldere samenvatting: doel, doelgroep, aanpak en effectiviteit; een goede interventiebeschrijving: probleem, doelgroep, doel, methodiek, materialen; onderbouwing van de effectiviteit: verantwoording: doelgroep, doelen en aanpak; beschrijving van de randvoorwaarden voor uitvoering en kwaliteitsbewaking: eisen ten aanzien van opleiding van de uitvoerders, informatie over implementatie en kwaliteitsbewaking, onderzoek naar uitvoering en kosten; aanwijzingen voor de effectiviteit: Nederlandse effectstudies (onderzoekstype, mate van effect en bewijskracht) en buitenlandse studies (effect-size, bewijskracht).
Tussen 2008 en 2011 is het erkenningstraject als volgt met goed resultaat afgelegd:
bewezen effectief: 5 interventies waarschijnlijk effectief: 14 interventies theoretisch goed onderbouwd: 109 interventies onder voorbehoud (een van bovengenoemde categorieën): 20 interventies goed beschreven: 39 interventies
Voor het indienen van een interventie moeten aan de volgende voorwaarden zijn voldaan: de interventie is overdraagbaar (dus niet specifiek voor één gemeente); er is een handleiding beschikbaar (indien van toepassing); er is een procesevaluatie gedaan (bereik, mening deelnemers/intermediairs en beschrijving succes- en faalfactoren). Het Centrum Gezond Leven ondersteunt indieners met een workshop interventiebeschrijving (specifiek voor projectleiders). Mogelijk volgt volgend jaar hulp bij het beschrijven van een interventie. De medewerkers van CGL geven een advies op concept-beschrijvingen. En: bellen en mailen kan altijd, en wel naar
[email protected],
[email protected] of
[email protected]. Zij zijn te bereiken via (030) 274 85 73. Discussie met de zaal Zaal: Het overnemen van effectieve interventies is inderdaad belangrijk. Maar de praktijk vergt wel maatwerk. Je gebruikt dus soms bepaalde elementen uit een interventie. Het gaat om bouwstenen, niet om een keurslijf. Sturkenboom: Uiteraard moet je een interventie vertalen naar je eigen omgeving. Maar implementatie is meer dan een paar onderdelen knippen en plakken uit een effectieve interventie. Juist in de samenhang en de systematiek zit de effectiviteit van een interventie. Van Tol: Het punt van de vertaalbaarheid is herkenbaar. Voor ons als programma is het belangrijk te weten dat bepaalde interventies stevig moeten worden aangepast om in een andere omgeving te passen. Informeer ons daar dus zeker over. Zaal: Laten we wel oppassen geen schijnwerkelijkheid te creëren, alsof het inzetten van een effectieve interventie de garantie is dat je de gezondheid verbetert. We moeten niet alleen weten of een bepaalde interventie volgens bepaalde wetenschappelijke criteria effectief is of niet. We zouden ook geholpen zijn met een wetenschappelijke uitspraak over de bijdrage van bepaalde beleidsvooronderstellingen aan de effectiviteit van lokaal beleid. Als we daar meer van weten, kun je gerichter een effectieve interventie vertalen naar je eigen situatie. Hoe evalueer je integraal lokaal gezondheidsbeleid? Marije van Koperen, Vrije Universiteit Amsterdam, Gezondheidswetenschappen
3
Hoe evalueer je een community based interventie? Een lastige vraag, want een integrale aanpak van gezondheid op lokaal niveau is per definitie erg complex. Je hebt te maken met veel verschillende lagen en uiteenlopende actoren. Hoe breng je dat allemaal in kaart? Op die vraag is geen eenduidig antwoord te geven. Maar er zijn wel de nodige ervaringen mee, en er is ook veel literatuur over. Als onderzoeker heeft Marije van Koperen ervaring opgedaan met het geven van adviezen over de best mogelijke manieren om EPODE te evalueren, een in Frankrijk ontwikkelde lokale interventie om overgewicht bij kinderen terug te dringen. Bij de start van de workshop vindt een inventarisatie plaats van de achtergronden van de deelnemers (vanwege dubbelingen in rollen en achtergronden is de optelling groter dan het totaal aantal deelnemers): Aanwezigen namens bepaalde organisaties: - 15 GGD - 10 gemeente - 3 onderzoeksinstellingen - 2 verslavingspreventie Aanwezige functionarissen: - 4 gezondheidsfunctionarissen - 13 beleidmedewerkers - 6 epidemiologen - 4 anders (bijvoorbeeld onderzoeker bij de gemeente) Vertegenwoordigde gezondheidsthema’s: - 8 overgewicht - 12 alcohol - 8 drugs - 0 roken Aanwezige ervaring: - 7 aanwezigen hebben meer dan 10 jaar ervaring in de gezondheidsbevordering - 3 tussen de 5 en 9 jaar - 6 tussen de 2 en 4 jaar - 3 tussen de 0 en 1 jaar Gegevens over evaluatie: - 11 deelnemers zijn eindverantwoordelijk voor de evaluatie van hun project - alle deelnemers zijn betrokken bij de evaluatie - in 10 gevallen is evaluatieonderzoek expliciet gebudgetteerd Stellingenspel De workshopleider leest enkele stellingen voor en nodigt de deelnemers uit te gaan staan bij bordjes van ‘geheel mee oneens’ tot ‘geheel mee eens’. Stelling: evaluatie kost veel tijd die je beter kunt gebruiken voor interventies Oneens: evaluatie is een belangrijke manier om te leren. Deels mee eens: evaluatie kost soms inderdaad erg veel tijd. De inspanningen voor interventie en evaluatie moeten wel in balans blijven. Oneens: het doen van evaluatie is soms bijna een interventie op zich. Voor een project interviewden we 250 ouders over opvoeding en alcohol. In welke interventie kom je tot 250 keer 30 minuten persoonlijk gesprek over zo’n thema? Stelling: liever geen data dan slechte data Eens: slechte data geven een verkeerd beeld. Als je geen data hebt, weet je tenminste dat je ‘niets weet’.
4
Deels oneens: als je slechte data hebt, kun je uitzoeken of je misschien de verkeerde vragen hebt gesteld. Daar leer je van. Eens: ook op slechte data wordt beleid gemaakt. Dat moet je niet op je geweten willen hebben. Stelling: tegenvallende resultaten zeggen wat over het functioneren van de projectleider Deels eens: grote tegenvallers kunnen ook betekenen dat je te grote verwachtingen hebt geschapen. Deels eens: je moet niet van een evaluatie afhankelijk zijn om te constateren dat het niet goed gaat. Als projectleider moet je dus al aan de bel trekken voordat een evaluatie tegenvallende resultaten laat zien. Deels oneens: als het gaat om een omvangrijk programma, kunnen tegenvallende resultaten zelden aan één persoon worden opgehangen. Bij mislukte projectonderdelen kan de projectleider zich wél achter de oren krabben bij tegenvallende resultaten. Stelling: een evaluatie kan het beste gedaan worden door professionele onderzoekers Eens: een onderzoeker heeft nu eenmaal een andere rol dan een projectleider. Deels oneens: een professional is belangrijk, maar ook andere betrokkenen, bijvoorbeeld bewoners, hebben een rol in de evaluatie. Oneens: de projectleider geeft leiding aan het gehele proces, dus ook aan de evaluatie. Hij kan zich niet verschuilen achter zijn rol als projectleider.
Een definitie van evaluatie Van Koperen: De evaluatie van integrale lokale gezondheidsbevordering is complex. De bewust tamelijk ingewikkelde en omvattende definitie van Patton (2008) illustreert dat heel mooi: ‘Evaluation is the systematic collection of information about the activities, characteristics and results of programs to make judgments about the program, improve or further develop program effectiveness, inform decisions about future program development, and/or increase understanding.’ Alle betrokkenen in dit complexe proces hebben een eigen agenda: beleidsmakers, programmamanagers, uitvoerenden, bewoners, onderzoekers én financiers.
5
Discussie met de zaal Van Koperen: In de literatuur wordt over het algemeen gesteld dat 10 tot 15 procent van je programmabudget geoormerkt moet zijn voor evaluatieonderzoek. Dat is een fors bedrag, dus neem het steeds mee in je projectaanvragen en begrotingen. Zaal: Mijn ervaring is dat evaluatie zo’n beetje het eerste is wat de gemeente uit je projectbegroting schrapt. Terwijl de doelen die men wil bereiken vaak al op voorhand te hoog gegrepen zijn. Van Koperen: Dat is een herkenbare ervaring. Realiseer je dat de gemeente financier én stakeholder is in het project. Het is een partij die jou vertelt wat ze willen bereiken, maar het is aan jou om vanuit je kennis over evaluaties van integrale programma’s een realistisch antwoord te geven. Ga dus niet akkoord met doelen als ‘5 procent gewichtsverlies bij alle kinderen in twee jaar tijd.’ Dat zul je nooit kunnen realiseren. Maak als projectleider dus goed duidelijk wat haalbaar is, en geef aan wanneer je met een evaluatie wilt bekijken wat het project heeft bereikt. Het plannen van je programma moet bijna hand in hand lopen met je evaluatie. Door vanaf de opzet tot en met de uitvoering te evalueren, kun je een causaliteitsketen zichtbaar maken. Zaal: In Gezonde Slagkracht is extra geld beschikbaar, waardoor iets ‘extra’s’ als evaluatie wél kan. We zullen samen moeten proberen te laten zien wat evaluatie oplevert, en gedurende de looptijd van het programma aantonen wat voor aanpakken effectief zijn. Zaal: De kracht zit niet alleen in wetenschappelijke uitspraken over wat je bereikt. In ons project maken we ook een knipselkrant voor bij onze rapportage. De wethouder kan daarmee op het lokale toneel goed voor de dag komen en laten zien wat het project heeft bereikt. Van Koperen: Dat is inderdaad een mooi instrument. Je moet je steeds afvragen wanneer een programma voor de stakeholders (dus ook voor de gemeente) een succes is. Het moet voor iedere betrokkene duidelijk zijn waarom hun deelname een essentiële schakel in het succes van een programma vormt. Zaal: Prima, maar je moet ook durven zeggen dat het fout kan gaan. Daar leren we immers ook van en dat zou je vanuit het programma moeten durven evalueren. Het gaat om de werkelijkheid, niet om alleen maar een mooi verhaal. Dat vergt soms wel slim opereren, want de wethouder heeft te maken met het politieke proces. Daarin maakt een knipselkrant met veel foto’s van de wethouder meer indruk dan voorzichtige verhalen over vakkuilen en ‘leermomenten’. Zaal: En misschien moeten we soms ook wat harder durven zeggen: ‘Ik weet niet wat het oplevert, als we het niet systematisch onderzoeken met een gedegen evaluatie.’ Van Koperen: Inderdaad. Vertel de stakeholders dus ook goed dat je niet meteen volgende week met effecten kunt aankomen. Je zult veel energie moeten steken in de samenwerking en het opzetten van een integrale aanpak. Een stappenplan voor de evaluatie Van Koperen presenteert een stappenplan voor de evaluatie van een integrale aanpak, gebaseerd op haar ervaringen en op de internationale literatuur over evaluatie van community based projecten: 1. beschrijf het programma 2. identificeer en betrek partners/belanghebbenden in de evaluatie 3. beschrijf en plan de interventies 4. focus de evaluatie 5. kies het evaluatie design 6. verzamel data 7. analyseer de data 8. formuleer aanbevelingen en verspreid de resultaten
Bij stap 2 gaat het om het identificeren van de stakeholders. Een inventarisatie in de zaal levert een lange lijst van potentiële samenwerkingspartners op (in willekeurige volgorde):
6
- sportbedrijf - welzijn - jongerenwerk - maatschappelijk werk - scholen - verslavingszorg - supermarkten - horecaondernemers - eerste lijn - ouders - gezondheidszorg - Openbaar Ministerie - Politie - Bureau Halt - ‘Moedige moeders’ - woningbouwcorporatie - B&W - zelforganisaties - bewoners - peuterspeelzalen - buurthuizen - kerken - onderzoeksinstellingen Van Koperen: Uit deze inventarisatie blijkt dat je in een integrale aanpak te maken kunt hebben met een enorme hoeveelheid organisaties die op enig moment betrokken zijn bij je project. Wie van deze stakeholders zou je willen betrekken in de evaluatie, en dan bedoel ik zowel voor de planning, dataverzameling als de uitvoering? Zaal: Als je het hebt over alcoholpreventie is het een hele klus om in de gaten te houden wat er zoal gebeurt op het terrein van alcohol. Bij uiteenlopende partijen binnen de gemeente zitten potentiële informanten, bijvoorbeeld mensen die weten wat voor incidenten plaatsvinden. Zaal: Bij alcoholmatiging zijn de GGD en verslavingszorg de trekkers. Zij nemen het voortouw, maar het blijkt moeilijk om de andere partners te laten voelen dat zij ook een rol hebben bij de evaluatie. In de praktijk doen studenten de evaluatie. En de gemeente zegt in dit verband eerder: ‘Vertel maar wat jullie van plan zijn!’ dan ‘Dit gaat ons erg aan, dus wij doen meteen mee!’ De gemeente beschouwt evaluatie als een taak van ons, en ziet zich eerder als opdrachtgever. Zaal: Op het niveau van interventies kun je alle betrokken partijen bij elkaar roepen, waardoor het een gemeenschappelijke verantwoordelijkheid wordt. Op projectgroepniveau – en daar zit je toch met je evaluatie – praat zit je over een boel dingen tegelijk. Daardoor wordt de afstand vaak erg groot. Van Koperen: Zo werkt het vaak, maar je hebt het ten principale toch over een integrale aanpak. Dus welbeschouwd zijn alle betrokken partijen medeverantwoordelijk. Zaal: Zoek in elk geval draagvlak bij alle partijen voor de doelen en de aanpak van het project. Maar ik zie de meeste partijen nog niet direct meedoen aan het evaluatieonderzoek. Van Koperen: Het samen vaststellen van doelen en aanpak is een belangrijke stap naar het gezamenlijk formuleren van de evaluatieve vragen. Zaal: Dat klopt, maar dat maakt de andere partijen nog niet mede-eigenaar van het onderzoek. Zaal: In ons project bood een bakker gedurende een bepaalde periode broodjes gezond aan. We hebben hem gevraagd te tellen hoeveel van die broodjes hij verkocht én om reacties van zijn klanten te peilen. Zaal: Een groep als de ‘Moedige Moeders’ beschikken over andersoortige informatie over verslavingsproblemen dan de mensen van de verslavingszorg. Zij weten veel over de directe omgeving van een verslaafde. Bij ons spelen zij een rol in het netwerk en dragen ook bij aan de informatievoorziening. Van Koperen: Dat biedt je een kans om deze groep te blijven betrekken bij je project. Je gebruikt hun informatie en kunt daarover heel specifiek terugkoppelen aan deze groep.
7
Zaal: Het probleem is wel dat je doelen soms vrij ‘vaag’ zijn, zoals het veranderen van de sociale norm. Je hebt bij alcoholpreventie bijvoorbeeld vaak al je handen vol aan het beïnvloeden van de toch wat lossere alcoholnorm bij jongerenwerkers. Dan wordt het lastig om ze ook nog bij je onderzoek te betrekken. Zaal: De sociale norm onder jongerenwerkers wordt in dit voorbeeld dan een projectdoel waar jij aan wilt gaan werken. Dat is dus ook meteen een punt voor je evaluatie. Zaal: Het is de kunst om een groter projectdoel te vertalen naar iets heel concreets. Bij een overgewichtproject gericht op kinderen, kan onze wethouder bijvoorbeeld scoren op het zogeheten ‘snoepspoor’, de restanten van snoepverpakkingen langs de routes naar school. Als dat spoor dunner wordt, snoepen de kinderen kennelijk minder. En er hoeft ook nog eens minder geld naar het opruimen van de rommel. Het ‘logisch model’ als hulpmiddel Een mooi hulpmiddel voor de opzet en evaluatie van een integrale aanpak van gezondheidsbevordering is het zogeheten ‘logisch model’. Daarin beschrijf je achtereenvolgens de ‘input’ (bronnen en middelen), de ‘activiteiten’ (met welke interventies kom je bij je doel?), de ‘output’ (aantal bereikte mensen, bijvoorbeeld), en de ‘outcome’ (de resultaten). In gewone termen: - Input: wat investeren we? - Activiteiten: wat doen we? - Output: wie bereiken we daarmee? - Outcome: wat zijn de veranderingen op korte, middellange en lange termijn? Een logisch model helpt om: - de programmastrategie te verduidelijken; - de werkwijze van het programma te rechtvaardigen; - de potentiële effectiviteit van het programma te bepalen; - geschikte einddoelen vast te stellen (en: vermijden van hoogdravendheid!); - te prioriteren wat betreft bronnen en middelen; - wetenschappelijke inzichten te gebruiken; - tussentijds bij te stellen en te verbeteren; - te communiceren met betrokkenen over het programma; - verschillen te zien tussen de ideale en werkelijke uitvoering; - evaluatievragen te specificeren; - het verzamelde bewijs van het programma te organiseren; - betrokkenen verantwoordelijk te maken voor het programmaproces en de uitkomsten. Een logisch model is nooit af én het is nooit ‘waar’. Alleen al het proces van het samen formuleren van een logisch model is draagvlakbevorderend. Het resultaat is een heldere planning, waarnaar je onderweg steeds kunt terugrefereren. Nog een opmerking over de term ‘theory based’: theorieën zijn de aannames en kennis die bij jullie beschikbaar zijn. Het gaat dus niet per se om een groot wetenschappelijk model, maar eerder om alles wat je samen als experts aan kennis in huis hebt. Opdracht: Maak een logisch model onder de noemer ‘An apple a day keeps the doctor away’ logisch model groep 1 Een appel in de hand van de jeugd, dat is onze output. De outcome is gezondheid. Onze activiteiten: we schaffen appels aan en zetten een organisatie op die deze kan uitdelen. Verder denken we aan schoolfruitprojecten, schooltuinen en veel praten met de jeugd. logisch model groep 2 Wij zijn fruittelers. Onze outcome is een levensvatbare appelindustrie. Daarvoor willen we de appelverkoop stimuleren en dat doen we door het imago van de appel te verbeteren. We richten
8
ons op degene in het gezin die de boodschappen doet. En op de kinderen, die immers veel invloed hebben op het inkoopbeleid van het gezin. Onze activiteiten: een voorgedrukt boodschappenlijstje, met appels op de eerste plek. Verder denken we aan appelrecepten, zodat je ook appels kunt eten zonder een appel te eten. Onze input: geld en een intermediair of lobbyist. logisch model groep 3 Onze outcome op lange termijn is minder doktersbezoek. Op middellange termijn: x procent meer kinderen eten elke dag een appel. We zetten niet in op bewustwording bij kinderen van het gezonde karakter van appels. Dat weten ze immers al. We willen vooral het imago van de appel oppoetsen. Activiteiten zijn gericht op een grotere beschikbaarheid van appels. Kinderen moeten appels overal op school en in de wijk tegenkomen. We willen aansluiten bij wat kinderen veel doen. Een activiteit is het verplicht stellen van het eten van appels tijdens het tv-kijken. Daarvoor zetten we in op sociale marketing. Onze input hiervoor is de deskundigheid vanuit de private sector. logisch model groep 4 Outcome op korte termijn: kinderen en volwassenen eten meer appels. Op middellange termijn: minder ziekte en meer appelproductie. Op langere termijn: minder zorgkosten en een betere appeleconomie. We gaan het aanbod vergroten en het eten van appels laagdrempelig maken. We dringen appels op aan de mensen: ze struikelen overal over kisten met appels. In de stad planten we appelbomen, waar iedereen van mag plukken. Onze activiteiten: campagne voeren met supermarkten, de appelsector en het ministerie van Landbouw. De input: geld. logisch model groep 5 Onze outcome op langere termijn: een gezonde leefstijl en een betere gezondheid. Op middellange termijn: betere eetgewoonten. En op de korte termijn: mensen eten eerder een appel dan snoep en snacks. Onze output richt zich op studenten. Die gaan immers voor het eerst zelf koken, dus als we ze nu aan de gezonde eetgewoonten kunnen krijgen, houden ze dat later ook beter vol. Onze activiteit is een campagne, te voeren in kantines en bij studentenverenigingen. Input: subsidie, tijd en een netwerk. Van Koperen: Je ziet dat je heel verschillende logische modellen krijgt. Nu hebben we een vrij simpel voorbeeld genomen. Een logisch model voor een wijkgericht programma maken is natuurlijk een stuk ingewikkelder. Schroom niet om eerst een tijdje te draaien met je project. Als je vervolgens samen een vergelijkbare exercitie doet als we in deze workshop hebben gedaan, kun je het logisch model gebruiken voor de verdere ontwikkeling van je programma. Klopt het waar we mee bezig zijn? Het maken van een logisch model is dan een prima tool voor draagvlak en support. Tips uit de workshop:
Maak als projectleider aan alle stakeholders duidelijk wat haalbaar is, en geef aan wanneer je met een evaluatie wilt bekijken wat het project heeft bereikt.
Laat het plannen van je programma hand in hand lopen met je evaluatie. Door vanaf de opzet tot en met de uitvoering te evalueren, kun je een causaliteitsketen zichtbaar maken.
Maak een knipselkrant bij de rapportage. De wethouder kan daarmee op het lokale toneel goed voor de dag komen en laten zien wat het project heeft bereikt.
Het gaat om de werkelijkheid, niet om alleen maar een mooi verhaal. Vertel stakeholders dus goed dat je niet meteen volgende week met effecten kunt aankomen.
Zoek draagvlak bij alle partijen voor de doelen en de aanpak van het project. Dat is een belangrijke stap naar het gezamenlijk formuleren van de evaluatieve vragen.
9
Vraag mensen die direct met de einddoelgroep werken (bijvoorbeeld een bakker) om feitelijke informatie over het bereik (bijvoorbeeld aantallen verkochte broodjes gezond).
Vertaal grotere projectdoelen naar iets heel concreets. Laat een wethouder bijvoorbeeld scoren op een kleiner geworden ‘snoepspoor’, de resten snoepverpakkingen langs de routes naar school.
Een logisch model voor een integraal programma is nooit af én het is nooit ‘waar’. Alleen al het proces van het samen formuleren van een logisch model is draagvlakbevorderend.
Ga eerst een tijdje draaien met je project. Gebruik de exercitie van het gezamenlijk maken van een logisch model voor de verdere ontwikkeling daarvan. Klopt het waar we mee bezig zijn?
Leestips: - The American Evaluation Association: www.eval.org (kijk in ‘Library’) - Kansas Community Toolbox: http://ctb.ku.edu - (boek) Wholey JS (red) Handbook of Practical Program Evaluation, San Fransisco 2004 - (boek) Rogers PJ & Funnell SC, Purposeful Program Theory. San Fransisco, 2011
10
