Workshop Zicht op de resultaten van de buurtsportcoach
Zicht op de effecten van de buurtsportcoach Geeske van Asperen, NISB Caroline van Lindert, Mulier Instituut Evelien Wijdeveld, EWorks
Programma Voorstellen en welkom (5 min) Urgentie (10 min) Warming-up (10 min)
Doel van evalueren (40 min) Afronding (10 min)
Waarom resultaten zichtbaar maken? • Forse structurele investering: rijk €58 ml, gemeenten €87 ml jaarlijks • Belangrijk onderdeel rijksbeleid Sport en Bewegen
• Decentralisatie uitkering: lokale verantwoordelijkheid én lokaal maatwerk • 2.900 fte in 2016: 4.500 tot 5.000 mensen in nieuwe (structurele) functies • Wat levert de inzet op: landelijke doelen versus lokale doelen
• Gemeenten mogen nu deelname verlagen / stopzetten (waarom?)
Waarom resultaten zichtbaar maken? • Volgen: hoe verloopt de uitvoering van beleid? • Bijsturen: gaat het goed, wat kan beter, wat moeten we aanpassen? • Leren: wat kunnen we leren van de waargenomen processen/resultaten/effecten? Voor huidige uitvoering, toekomstig beleid • Verklaren: welke factoren beïnvloeden proces/resultaten/effecten? • Verantwoorden: worden de beoogde doelen bereikt? Hebben investeringen geleid tot gewenste resultaten/effecten? tussentijds/einde • Borgen/vervolgen: formuleren nieuw beleid
Wat is monitoren en evalueren? Monitoren
Evalueren
Systematisch meten
Systematisch en doegericht verzamelen, interpreteren en presenteren van informatie
Continu proces. Bepaalde momenten
Periodiek. Voor, tussentijds, einde
Volgen/bewaken van verloop en veranderingen in uitvoering
Bepalen van de waarde van proces/resultaat/effect
Voor intern
Intern en extern
Wat, waar, wanneer, hoeveel?
Hoe en waarom? Oorzaak-gevolg
Meten in de tijd 1-meting • Startsituatie • Doelen/ plan 0-meting
• Tussentijds • Bijsturen/ volgen/leren
• Eindsituatie • Resultaten/ effecten • Verantwoording/ vervolg
Vervolgmetingen • 1 of 2 jaar erna • duurzaamheid resultaten/effecten
2-meting
2008 of startjaar inzet bsc
….
2016 ev
Prestatie-indicatoren
Vertaling prestatie indicatoren naar doelen Middelen/ input
•Aanstellen aantal fte bsc per jaar •Co-financiering is geregeld met partijen x, y en z •Buurtsportcoaches worden ingezet in wijk x en y, bij organisatie x en y, voor x aantal uren, om …
Activiteiten/ proces
•Per periode worden x aantal naschoolse sportactiviteiten opgezet op x aantal scholen in wijken x, y •Samenwerking wordt gerealiseerd met organisaties..
Prestaties/ output
•Per activiteit x aantal deelnemers uit doelgroep x bereiken in periode van.. •Aantal sportverenigingen met aanbod voor specifieke doelgroep uitbreiden; meer sterke/vitale sportverenigingen •Meer brede scholen met sportaanbod
Effect/ outcome
•Sport- en beweegdeelname burgers toegenomen met x procent (specifieke doelgroepen) in periode … •Ledental sportverenigingen is toegenomen met x % •Meer burgers zijn lid geworden van sportvereniging (specifieke doelgroep, met x% in periode..)
Meetniveau
Methoden/tools/databronnen
Input/middelen
Plannen van aanpak, registraties, gesprekken betrokkenen, buurtscan, etc.
Wat stop je erin? Activiteiten/ proces
Activiteitenregistraties, interviews, enquêtes betrokkenen
Wat doe je en hoe? Resultaat/output
Interviews, enquêtes betrokkenen, deelnemers, etc. Registraties, tellen, observaties
Wat levert het op? Effecten/outcome
Hoe werkt het door?
• Experiment • Dosis-effectmeting • Vergelijking met/zonder in de tijd • Vergelijking in de tijd (aflopende bewijskracht) Objectieve registraties, observaties Vb Bevolkingsonderzoek sport-beweegdeelname
Stelling 1
Zonder (smart geformuleerde) doelstellingen vooraf is is het niet mogelijk resultaten te evalueren.
Stelling 2
Monitoring en evaluatie is ingewikkeld en kostbaar
Stelling 3:
Wij houden vanaf de start goed bij wat de buurtsportcoaches waarom en voor wie doen en wat dit oplevert.
Stelling 4:
Wij monitoren vooral om verantwoording af te kunnen leggen aan de gemeenteraad.
Het doel van evaluatie
Rode en Blauwe kant en onderlinge samenhang: Samenwerkingsverband/netwerk (warm)
Organisatie (koud)
Mensen
Doel/missie
Energie
Instrumenten
Verbinding
Competenties
Doel/missie
Mensen
Doel: “Samen met anderen mensen in beweging brengen“ BSC te maken met beide kanten
Blauw: onderdeel organisatie ->Mens als instrument met competenties -> behalen doel/missie Betekent: planmatig werken, resultaten in beeld brengen= Focus!
Rood: Netwerken -> Mensen + energie-> verbinding -> doel/missie Betekent: gezamenlijk doel (1 +1 =3) -> uitdaging BSC! Is afhankelijk van (juiste) partners
Rode kant laten zien en voelen Blauwe kant: product evaluatie: monitoren, cijfers, effecten en evalueren kwartaal- , jaarverslag rapportage, financiële rapportage, etc. Rode kant: samenwerking uitdragen: 1+1=3 Storytelling: authentieke persoonlijke organisatieverhalen. - om richting en betekenis te geven aan werk BSC - om draagvlak creëren - om partijen te verbinden: BSC-onderwijs-verenigingen – 1elijn etc. - zicht te krijgen op de manier waarop BSC in hun werk staan/doen - om concreet te maken wat abstract is
Rode kant: mooie verhalen • Inspirerende mensen met perspectief volle verhalen, meerwaarde samenwerking, leergeschiedenis delen • Interviews • Jaarbeeld verslag
• Nieuwsbrief: vergeet de rode kant niet! Quotes van deelnemers en partners • Filmpjes maken: YouTube, twitteren, facebook etc.
Mevrouw 62 jaar: “Ik heb de fittest gedaan en heb genoten! Het was leuk en interessant en ik heb er ook nog iets over mijzelf van geleerd. Ik heb me opgeven voor een oefenmorgen en wilde je graag laten weten dat ik blij ben dat ik mee mocht doen”.
Doel:
Voorbeelden: Kwalitatief onderzoek
• Evalueren (van processen)
• • • •
• ObjectievER
Diepte-interviews: 1 op 1 gesprek Tijdlijn Focusgroep Quickscan BSC
Quickscan BSC Wat is het?
Verantwoorden beleid • Besteden we de middelen op de juiste manier? (doel – aanpak) • Bereiken we hiermee de gewenste resultaten? (aanpak – resultaten/effecten) • Willen we zacht of hard bewijsmateriaal?
• Zacht: subjectief gemeten (ervaren resultaten/effecten) • Hard: objectief gemeten (kwaliteit data belangrijk)
Voorbeeld onderzoek 1 Lokaal verdiepingsonderzoek buurtsportcoach 2014 (MI, KP)
(2011, 2012, 2013, 2014, 2016) •
18 gemeenten
•
Enquête: ruim 300 bsc en 350 organisaties
•
Groepsinterviews
Doel: Inzicht lokale inzet, taken en uitvoeringsproces (factoren) Ervaren resultaten en effecten
Voorbeeld onderzoek 2 Effectmeting buurtsportcoaches 2014 (MI, ism KP)
Dosis-effectmeting •
Dosis: inzet buurtsportcoaches (per jaar, gebied, taak)
•
Effect: sportdeelname, ledental sportverenigingen
14 gemeenten, secundaire data Databronnen: •
Gemeentelijke gegevens inzet buurtsportcoaches
•
Aantal georganiseerde sporters per wijk (KISS-database)
•
Ledentalcijfers van sportverenigingen
•
Bevolkingsonderzoek sportdeelname in gemeenten
Aanbevelingen lokaal onderzoek •
Voor resultaat- en effectmetingen zijn 0- en vervolgmetingen gewenst
•
Voor goede metingen moeten doelstellingen SMART gedefinieerd zijn
•
Objectieve (effect)metingen stellen hoge eisen aan beschikbare data
•
Staar niet blind op effecten, maar focus ook op resultaten
•
Neem eigen lokale doelen als uitgangspunt
•
Vooraf en tussentijds inzet en activiteiten buurtsportcoach goed registreren
•
Laat buurtsportcoach zelf bijdragen aan zichtbaarheid werk, gebruik tools
•
Maak gebruik van verschillende databronnen
•
Wissel ervaringen uit met andere gemeenten
•
Maak onderscheid tussen typen buurtsportcoaches / profielen
Dé buurtsportcoach bestaat niet •
Ze werken vanuit diverse (lokale) doelen
•
In verschillende sectoren (combineren sport en minstens 1 andere sector)
•
Voor verschillende doelgroepen Jeugd, ouderen, gehandicapten, ….
•
Voeren verschillende takken uit, hebben verschillende competenties Coördineren, verbinden, organiseren, uitvoeren
•
Worden verschillend aangestuurd
•
Cf en bsc kunnen zelf interventies inzetten
Vragen aan de zaal • Sluiten landelijke doelstellingen aan op lokale doelstellingen?
• Wie registreert inzet buurtsportcoaches in de tijd? • Welke tools gebruik je daarvoor? • Wie voert lokale metingen uit om inzet buurtsportcoach te monitoren/ evalueren? • Wat zijn ervaringen? • Wat gaat goed / minder goed?
• Wat zou je andere gemeenten aanraden?
Dus…
Uitwisselen ideeën: 1. Waarom wil je de effecten van de BSC zichtbaar maken en wat is je doel daarbij? 2. Welke aanpak/ methode past hier bij? Groep 1: Inspireren (mensen enthousiast maken om samen resultaten te behalen) Groep 2: Verantwoording
(gegevens meerwaarde BSC bij opdrachtgever / partners)
Groep 3: Evalueren (terugkijken op behaalde resultaten en processen met als doel verbeterslag te maken) Schrijf het antwoord op vraag 1 en 2 op
en plak het op de flap van je groep
Ik neem mee naar huis……..
Dank voor uw aandacht! Geeske van Asperen,
[email protected] Caroline van Lindert,
[email protected] Evelien Wijdeveld,
[email protected]
Meer informatie
NISB Quickscan:
[email protected] Handleiding kwalitatief onderzoek: http://www.nisb.nl/weten/bibliotheek/publicaties.html?item=16295&view=1017935
Scholing BSC: PROCESSEN IN SPORTPROJECTEN blauwe en rode kant van BSC werk Interesse / Informatie? Evelien Wijdeveld (EWorks)
[email protected] M. 06.374. 33. 698 Carolien Daniels (DESPORTCOMBINATIE)
[email protected] M. 06.338. 69. 50
http://desportcombinatie.nl/bijscholing-buurtsportcoaches-najaar-2015-processen-in-sportprojecten/
Mulier Instituut •
Advisering M&E (advies bij opstellen monitorplan)
•
Monitoring, evaluatie, effect onderzoek (uitvoering onderzoek)
Voorbeelden onderzoek Sport en Bewegen in de Buurt, Buurtsportcoach, Sportimpuls zie: http://www.mulierinstituut.nl/projecten/sport-en-bewegen-de-buurt/
Zie ook www.mulierinstituut.nl/projecten voor o.a.: •
Verenigingsmonitor, Sportmatch gehandicapten, Ruimte onderzoek, Toegankelijkheid sportaccommodaties
Caroline van Lindert,
[email protected]
