© VIGeZ, 2014
De evaluatiematrix: Een planningsmodel voor de evaluatie van projecten binnen de gezondheidsbevordering, geïntegreerd met RE-AIM.
PROJECTDOELSTELLINGEN? Welke projectdoelstellingen staan in het projectplan geformuleerd? SMART geformuleerd
Hoofddoelstelling / Strategische doelstelling Subdoelen / Operationele doelen
Zet projectdoelstellingen om in evaluatiedoelen en pas in in RE-AIM
EVALUATIEDOEL Wat willen jij en je stakeholders weten?
METHODE
Hoe en bij wie ga je deze informatie (= antwoord op je SMART geformuleerd + evaluatiedoelen) RE-AIM als hulpmiddel verzamelen? (zie verder) Design Bron Kwantitatief / kwalitatief REACH: Evaluatiedoel: Evaluatiedoel: … EFFECT(IVITEIT): Evaluatiedoel: Evaluatiedoel: … ADOPTIE: Evaluatiedoel: Evaluatiedoel: … IMPLEMENTATIE: Evaluatiedoel:
DEELNEMERS
UITVOERDER
TIJDSLIJN
Hoeveel deelnemers zijn nodig? Hoe selecteren?
Wie voert dit uit? Wanneer voer je het uit?
Representativi- teit Steekproef?
Kennen en kunnen
Te verwachten resultaten Design
BUDGET Hoeveel gaat dit kosten?
Alles! Design Kwantitatief / kwalitatief
Evaluatiedoel: …
MAINTENANCE: Evaluatiedoel: Evaluatiedoel: …
© VIGeZ, 2014
Vul RE-AIM verder in voor jouw project en ga op basis hiervan op zoek naar mogelijke bijkomende evaluatiedoelen
Relevante vragen, niveau, metingen, beïnvloedende factoren en verbeterstrategieën per dimensie RE-AIM Dimensie (doel)
Stel je de vraag…
(bereik bevorderen)
Procesevaluatie
REACH
EFFECT(IVITEIT)
(↑ deskundigheid, ↑ verspreiding…)
Effectevaluatie
positief effect op gedragsdeterminanten of gedrag)
Niveau
1. Welk % van te bereiken doelgroep wil je laten deelnemen? (o.b.v. context-analyse) 2. Zijn de bereikte deelnemers representatief? Lage SES reflex, geslacht, leeftijd… 3. Wat zijn de kanalen en barrières van deelname?
Individu
1. Welke effecten wil je bereiken? 2. Zijn er neveneffecten? Bv. impact levenskwaliteit, kosten, negatieve effecten. 3. Zijn de effecten veralgemeenbaar? Lage SES reflex, geslacht, leeftijd… 1. Welke effecten wil je bereiken? 2. Zijn er neveneffecten? Bv. andere positieve effecten, kosten, negatieve effecten. 3. Zijn de effecten veralgemeenbaar? Type, ligging, grootte van intermediair…
Individu
Setting/ intermediair
Beïnvloedende Verbeterstrategieën factoren 1. Formule: aandeel deelnemers Sterkte van Leg barrières bloot en zoek binnen het totaal aantal te bereiken implementatie (bv. oplossingen personen subsidies, personeel, Vergelijk feedback van 2. Vergelijking tussen de deelnemers en stakeholders) deelnemers en nieten het totaal aantal te bereiken Waargenomen deelnemers personen voordelen vs. nadelen Voorzie aanpassingen indien 3. Kanalen/stimuli en barrières Verplichte deelname nodig en nieuwe ideeën bevragen vs. vrijblijvend (beleid) Meting
1. Consequent meten: - indien doelstelling op gedragsniveau ook gedrag meten! - meting van gedragsdeterminanten geeft je inzichten in het waarom 2. Neveneffecten bevragen (+ en -). 3. Vergelijking effecten tussen verschillende groepen. 1. Consequent meten: definitie ‘effect’ afstemmen op de doelstelling van je project: - bv. ↑ deskundigheid pre-post - bv. ↑ projectbekendheid bij intermediairs ,, (disseminatie) - bv. ↑ implementatiekwaliteit ,, 2. Neveneffecten bevragen (+ en -). 3. Vergelijking effecten tussen verschillende soorten intermediairs/organisaties.
Evidence-based strategieën = meer kans op succes Intensiteit en kwaliteit van implementatie (cfr. Implementatie)
Evidence-based strategieën (deskundigheidsbevordering) Relevante kanalen en stakeholders Cfr. implementatie (verhoging kwaliteit)
Ontwikkel en voorzie systemen voor (regelmatige) monitoring en documentatie: zelf bevragen of samenwerken met stakeholders of wetenschappelijke instituten. Participatie en input van doelgroep Ontwikkel en voorzie systemen voor (regelmatige) monitoring en documentatie: zelf bevragen of samenwerken met stakeholders of wetenschappelijke instituten. Participatie en input van intermediairs/organisaties.
((intentie tot) toepassing bevorderen)
Procesevaluatie
ADOPTIE
IMPLEMENTATIE
Procesevaluatie
(kwaliteit van implementatie bevorderen)
1. Welk % van de totaal te bereiken organisaties moet de methodiek (willen) toepassen? (o.b.v. context-analyse) 2. Zijn deze toepassende organisaties representatief? Type, ligging, grootte van intermediair… 3. Wat zijn redenen voor en barrières van toepassing? Binnen organisaties: 4. Is het toepassend personeel representatief? Ervaring, geslacht, … 1. Welk % van de werkzame elementen moet minimaal geïmplementeerd worden? 2. Wat zijn redenen voor en barrières van kwaliteitsvolle implementatie? 3. Is er nood aan aanpassingen? 4. Welke inzichten in tijdsinvestering en kosten zijn nodig? 1. Welke producten van de methodiek zijn gebruikt door de individuen (burger, werknemer, leerling, …)? 2. Is het gebruik veralgemeenbaar? Lage SES reflex, geslacht, leeftijd, andere profielen,..
Setting/ intermediair
1. Formule: aandeel toepassers binnen het totaal aantal te bereiken organisaties 2. Vergelijking tussen de toepassers en het totaal aantal te overtuigen organisaties 3. Succesfactoren en barrières van toepassing bevragen 4. Vergelijking tussen de toepassers en het totaal aantal te bereiken personeelsleden binnen de organisatie
Juiste match met de waarden en mate van deskundigheid van de organisaties (voorafgaande productevaluatie) Juiste match met de terreinnoden op dat moment Bewezen effectiviteit Capaciteit van de organisatie: budget en personeel Moeilijkheidsgraad om te implementeren
Overleg met de intermediairs tijdens de ontwikkeling en productevaluatie Meer compatibel maken met de waarden en mate van deskundigheid van de organisaties (draagvlak) Begroot en communiceer de verwachte kosten en nodige middelen Voorzie bevorderende maatregelen voor draagvlak binnen de organisaties
Setting/ intermediair
Baken de belangrijkste ondersteuningsmiddelen (=interventiecomponenten) eerst af! Bevraag het gebruik en frequentie. 1. Formule: gebruik van de verschillende werkzame elementen t.o.v. totaal aantal elementen 2. Succesfactoren en barrières van implementatie bevragen 3. Suggesties voor aanpassing bevragen. 4. Tijdsinvestering en kosten bevragen. 1. Formule: gebruik van de verschillende producten t.o.v. totaal aantal producten 2. Vergelijking tussen de gebruikers van de producten en het totaal aantal te bereiken personen
Complexiteit van de methodiek en interventiecomponenten Kenmerken organisatie Kenmerken personeel Kosten (tijd en budget) Planningsproces Rekrutering van individuen en organisaties Samenwerkingsproces
Overleg met de intermediairs tijdens de ontwikkeling en productevaluatie Analyseer implementatie reeds in pilootfase (Meer) aanpassingen maken aan lokale realiteit en noden Vormingen, technische ondersteuning en richtlijnen Monitor implementatie regelmatig
Waargenomen voordelen vs. nadelen Verplicht gebruik vs. vrijblijvend (beleid)
• Leg barrières bloot en zoek oplossingen • Vergelijk feedback van gebruikers en niet-gebruikers • Voorzie aanpassingen indien nodig en nieuwe ideeën
Individu
(verankering bevorderen)
Proces -en effectevaluatie
(behoud van effecten bevorderen)
Effectevaluatie
MAINTENANCE
1. Blijven de effecten behouden na > 6 maanden? 2. Wat is de mate van dropout?
Individu
1. Consequent meten: Blijvende - indien doelstelling op ondersteuning: sociaal, structureel, en beleid gedragsniveau ook gedrag Waargenomen meten! - meting van gedragsdeterminanten voordelen vs. nadelen 2. Bevraging naar herhaalde deelname.
Setting/ intermediair
1. Formule: aandeel toepassende organisaties binnen het totaal aantal te bereiken organisaties 2. Vergelijking tussen toepassende organisaties en het totaal aantal te overtuigen organisaties 3. Redenen voor toepassing en barrières bevragen 4. Vergelijking tussen de toepassers en het totaal aantal te bereiken personeelsleden
Lage SES reflex 1. Welk % van de toepassende organisaties continueert, verankert, en verandert de methodiek? 2. Wat zijn redenen voor en barrières van verankering? 3. Blijven de effecten behouden (indien je effectiviteit op intermediairniveau hebt bepaald)
Waargenomen voordelen vs. nadelen Beschikbare vormingen, technische ondersteuning en richtlijnen Blijvende financiering of subsidies
Herhaal monitoring en documentatie: zelf bevragen of samenwerken met stakeholders of wetenschappelijke instituten. Ondersteunende maatregelen (sociaal, financieel, beleidsmatig) Beperk de kosten en middelen die nodig zijn om de methodiek te kunnen verankeren Complexiteit van de methodiek beperken Aanpasbare methodieken
© VIGeZ, 2014
Een synthese van het Vlaams Instituut voor Gezondheidspromotie en Ziektepreventie (VIGeZ) op basis van: − − − − −
Center for Training and Research Translation - www.centertrt.org en UNC Center for Health Promotion and Disease Prevention. Van Acker R. 2012. Dissemination and implementation research in physical activity promotion. Doctoraat in de Lichamelijke Opvoeding. Universiteit Gent. (In Press) Steenhuyzen, S. (2015) Een kei in evalueren. Werkboek evalueren in de gezondheidsbevordering. Vlaams Instituut voor Gezondheidspromotie en Ziektepreventie (VIGeZ). Saunders R, Evans M & Joshi P. 2005. “Developing a Process-Evaluation Plan for Assessing Health Promoting Program Implementation: A How-To Guide.” Society for Public Health Education, 134-147. www.re-aim.org
Nota: ‘Lage SES reflex’ wijst op aandacht voor doelgroepen van lage socio-economische status. Dit is een prioriteit in gezondheidsbevordering en bijgevolg van toepassing op de evaluatie van meerdere RE-AIM-dimensies
