Zicht krijgen op resultaten en effecten van de inzet van buurtsportcoaches

Zicht krijgen op resultaten en effecten van de inzet van buurtsportcoaches Caroline van Lindert Ine Pulles Nationale Kennisdag Sport en Gemeenten 29 januari 2015 © Mulier Instituut, Utrecht

Agenda • • • • • • •

Doelstellingen buurtsportcoach Waarom monitoren en evalueren? Prestatie-indicatoren Voorbeelden onderzoek Conclusies onderzoeken Aanbevelingen lokaal onderzoek Discussie

Doelstellingen buurtsportcoach (1) Landelijke doelstellingen vanaf 2008: • Uitbreiding van het aantal brede scholen met sporten cultuuraanbod

• Versterking van ongeveer tien procent van de sportverenigingen met het oog op hun maatschappelijke functie (en samenwerking) • Stimuleren van een dagelijks sporten beweegaanbod op en rond scholen voor alle leerlingen • Vertrouwd raken jeugd met kunst- en cultuur en stimuleren actieve kunstbeoefening

Doelstellingen buurtsportcoach (2) Aanvullende doelstellingen vanaf 2012 • Meer mensen kunnen sporten en bewegen • Sportverenigingen worden versterkt

• Er wordt een verbinding gelegd tussen sport en andere sectoren, zoals onderwijs, welzijn, kinderopvang en bedrijfsleven.

Waarom monitoren en evalueren? • Volgen: hoe verloopt de uitvoering van beleid? • Bijsturen: gaat het goed, wat kan beter, wat moeten we aanpassen? • Leren: wat kunnen we leren van de waargenomen processen/resultaten/effecten? Voor huidige uitvoering, toekomstig beleid • Verklaren: welke factoren beïnvloeden proces/resultaten/effecten? • Verantwoorden: worden de beoogde doelen bereikt? Hebben investeringen geleid tot gewenste resultaten/effecten? tussentijds/einde • Borgen/vervolgen: formuleren nieuw beleid

Wat is monitoren en evalueren? Monitoren

Evalueren

Systematisch meten

Systematisch en doegericht verzamelen, interpreteren en presenteren van informatie

Continu proces. Bepaalde momenten

Periodiek. Voor, tussentijds, einde

Volgen/bewaken van verloop en Bepalen van de waarde van veranderingen in uitvoering proces/resultaat/effect Voor intern

Intern en extern

Wat, waar, wanneer, hoeveel?

Hoe en waarom? Oorzaak-gevolg

Bron: Monitor- en evaluatiewijze Sport- en Beweegbeleid, NISB

Meten in de tijd

1-meting • Startsituatie • Doelen/ plan

0-meting

• Tussentijds • Bijsturen/ volgen/leren

• Eindsituatie • Resultaten/ effecten • Verantwoording/ vervolg

2-meting

2008 of startjaar inzet bsc Zie ook www.sportindebuurt.nl

….

2016 ev

Vervolgmetingen • 1 of 2 jaar erna • duurzaamheid resultaten/effecten

Prestatie-indicatoren voor onderzoek

Middelen • input

Activiteiten

Prestatie

• proces of throughput

MAPE-model (Bouckaert & Auwers, 1999, Bouckaert, 2005)

• output

Effect • outcome

Vertaling naar doelen buurtsportcoach Middelen/ input

•Aanstellen aantal fte bsc per jaar •Co-financiering is geregeld met partijen x, y en z •Buurtsportcoaches worden ingezet in wijk x en y, bij organisatie x en y, voor x aantal uren, om …

Activiteiten/ proces

•Per periode worden x aantal naschoolse sportactiviteiten opgezet op x aantal scholen in wijken x, y •Samenwerking wordt gerealiseerd met organisaties..

Prestaties/ output

•Per activiteit x aantal deelnemers uit doelgroep x bereiken in periode van.. •Aantal sportverenigingen met aanbod voor specifieke doelgroep uitbreiden; meer sterke/vitale sportverenigingen •Meer brede scholen met sportaanbod

Effect/ outcome

•Sport- en beweegdeelname burgers toegenomen met x procent (specifieke doelgroepen) in periode … •Ledental sportverenigingen is toegenomen met x % •Meer burgers zijn lid geworden van sportvereniging (specifieke doelgroep, met x% in periode..)

Vertaling MAPE naar lokale prestatie-indicatoren (1) Middelen/ input

Activiteiten/ proces

378 gemeenten

Proces:

2851 fte in 2014

Ervaringen met:

Prestatie/ resultaten Meer brede scholen met sportaanbod

Besluitvorming Cofinanciering

Meer/ beter sporten beweegaanbod

60%

Cofinanciering/ werkgeverschap

lokale partijen

Samenwerking

Vraaggericht, veilig,

Succes en faalfactoren

toegankelijk, goed

Georganiseerde activiteiten

Meer sterke sportverenigingen

Plan van aanpak: fte inzet wijken, doelgroepen, organisaties, per periode

Versterken vaardigheden kader Taken voor: sportverenigingen, scholen, wijken, doelgroepen, coördinatie, beleidsondersteuning

Meer lokale verbindingen Meer sporten beweegaanbod Bereik doelgroepen/ deelnemers Aantal doorverwijzingen

Betrokkenheid ouders

Vertaling MAPE naar lokale prestatie-indicatoren (2) Effecten / outcome Burgers/ algemeen Bekendheid aanbod Deelname aanbod

Verenigingen/ leden Meer leden

Scholen/ leerlingen

Wijk/ gemeente inwoners

Samenleving

Meer sporters/ actieven

Meer sporters/ actieven

Betere gezondheid

Hogere sporten beweeg frequentie

Hogere sporten beweeg frequentie

Meer cohesie

Meer leden

Meer leden

Waardering mogelijkheden

Meer participatie Minder overgewicht Etc.

Meetniveau

Methoden/tools/databronnen

Input

Plannen van aanpak, registraties, gesprekken betrokkenen, buurtscan, etc.

Proces

Interviews, enquêtes betrokkenen

Resultaat/output

Interviews, enquêtes betrokkenen, deelnemers, etc. Registraties, observaties

Effecten -Experiment -Dosis-effectmeting -Vergelijking met/zonder in de tijd -Vergelijking in de tijd

Objectieve registraties en observaties Bevolkingsonderzoek sportbeweegdeelname Verenigingsmonitor

(aflopende bewijskracht)

Tools en instrumenten (NISB): http://www.nisb.nl/doen/tools-en-instrumenten.html

Voorbeeld onderzoek (1) Lokaal verdiepingsonderzoek buurtsportcoach 2014 (in samenwerking met Kennispraktijk) • 4e meting (2011, 2012, 2013, 2014) • 18 gemeenten • Enquête: 298 bsc en 358 organisaties • Groepsinterviews (35), telefonisch (10) • Doel: – Inzicht lokale inzet, taken en uitvoeringsproces (factoren) – Ervaren resultaten en effecten

(1) Wie zijn ze? 76% cf 24% bsc

Gem. 23 uur per week

36% wil vervolgopleiding

57% man 43% vrouw

Vooral hoger opgeleid (hbo+)

Gem. 3 jaar werkzaam

Gem. 35 jaar jong

69% werkt op niveau

Bron: Pulles et al., 2014 (Verdiepingsonderzoek buurtsportcoaches 2014)

(1) Waar werken ze? 100

86

Sport & onderwijs 42%

Sport & buurt 16%

85

80 Sport & kinderopvang 8%

60 40 20

28

19

13

12

0


12

12

7

4

3

(1) Voor welke doelgroepen? (top 10) 100 82 80

60 40

48 31

30

29

28

20 0


25

24

22

18

(1) Landelijke doelstellingen Welke landelijke doelstellingen streven buurtsportcoaches na? In hoeverre zien zij resultaat op de doelstellingen die zij nastreven (% beetje/duidelijk)?

Nastreven Resultaat % % Meer mensen lid van een sportvereniging/-organisatie

80

94

Dagelijks sportaanbod op en rond school

72

96

Meer mensen sporten en bewegen in de buurt

71

94

Versterken van sportverenigingen

69

93

Verbindingen tussen sport en andere sectoren Uitbreiding van het aantal brede scholen met een sporten cultuuraanbod Jeugd tot 18 jaar vertrouwd laten raken met één of meer kunst- en cultuurvormen

67

92

32

78

17

88

Stimuleren van actieve kunstbeoefening onder jongeren

14

81


(1) Lokale doelen?

Vergroten van betrokkenheid van ouders Uitbreiding van het sporten beweegaanbod voor specifieke doelgroepen Verbeteren van de kwaliteit van sporten beweegaanbod aan specifieke doelgroepen Verbeteren van de sociale competenties van jongeren Vergroten van de vaardigheden kader binnen betrokken organisatie(s)/school Bron: Pulles et al., 2014 (Verdiepingsonderzoek buurtsportcoaches 2014)

Bsc (n=113) % 66 64 60 58 57

(1) Wat doen ze? Top 4 algemene taken: • Coördineren, Verbinden, Organiseren, Uitvoeren Specifieke taken: • Enthousiasmeren doelgroepen tot deelname • Verbeteren bestaande en aanbieden nieuwe activiteiten • Inventariseren behoeften (vooral zorg) • Signaleren problemen (vooral zorg) Bron: Pulles et al., 2014 (Verdiepingsonderzoek buurtsportcoaches 2014)

(1) Wat doen ze? • 67% wekelijks of dagelijks betrokken bij naschools sportaanbod – 25% dagelijks/wekelijks schoolsportvereniging – Merendeel activiteiten incidenteel karakter (sportdagen)

• 25% geeft gymles, is tevens vakleerkracht • 14% geeft gymles, is geen vakleerkracht • Buurtsportcoach sport betrokken bij gemiddeld 9 clubs • Buurtsportcoach onderwijs betrokken bij gemiddeld 10 po scholen en 4 vo scholen Bron: Pulles et al., 2014 (Verdiepingsonderzoek buurtsportcoaches 2014)

(1) Waardering aspecten werk (% eens) Buurtsportcoaches Betrokken (n=298) organisaties (n=333)

Tevreden met taken die ik/bsc uitvoert

91

80

Helder welke taken ik/bsc moet doen

87

90

Aantal uren inzet is toereikend voor taken

59

62

Ik ben tevreden over mogelijkheid uitwisselen werk ervaringen

75


(1) Ervaringen met samenwerking • Redelijk veel samenwerking tussen organisaties (vooral sport, onderwijs, kinderopvang) • Wat minder met organisaties uit ‘nieuwe’ sectoren • Buurtsportcoach heeft in meer of mindere mate rol bij tot stand brengen van deze samenwerkingsverbanden


(1) Ervaringen met samenwerking (% ja) De organisaties:

Buurtsportcoaches (n= 298)

Betrokken organisaties (n=333)

voeren gezamenlijk op incidentele basis activiteiten uit

71

55

voeren gezamenlijk een jaarlijks terugkerende activiteit uit

63

49

voeren gezamenlijk op structurele basis activiteiten uit

58

43

participeren in projectgroep

47

33

samenwerkingsovereenkomst getekend

32

36

werkgeverschap gezamenlijk geregeld

20

20


(1) Ervaringen met samenwerking • Ruim 80% bsc en organisaties is tevreden over onderlinge samenwerking • Vooral met sport en po scholen is het fijn samenwerken


(1) Randvoorwaarden succes (selectie) Buurtsportcoach (n=298)

Betrokken Organisaties (n=333)

%

Cijfer

%

Cijfer

Goede communicatie doelgroep en instellingen

54

7,3

56

7,5

Goede afstemming verwachtingen

42

7

-

-

Voldoende tijd uitvoeren taken

41

6,7

35

7,3

Heldere doelstellingen en/of visie inzet

40

7

33

7,4

Duidelijke taakomschrijving functie

26

7,1

38

7,5

Grote betrokkenheid ouders

19

6,3

10

6,8

Goede communicatie met bsc

-

-

56

7,8

Voldoende opleiding/competenties bsc

-

-

45

8,2


(1) Ervaren resultaten: toename aanbod en kwaliteit • Scholen en sportorganisaties ervaren door inzet buurtsportcoach toename in sportaanbod voor leerlingen tijdens en na schooltijd en op de sportvereniging • Organisaties ervaren door inzet buurtsportcoach toename in kwaliteit van het aanbod

(1) Ervaren effecten: % ledenwinst Buurtsportcoaches

Sportorganisaties

Jeugd Allochtonen

60 62

43

Wijkbewoners

53

39

Inactieven

49

22

Overgewicht

19

Lage SES

18

79

46 39

Handicap/chronische aandoening

15

37

Volwassenen

16

36

19 28

Ouderen

45

Anders 0

20


40

60

80

100

Voorbeeld onderzoek (2) Effectmeting buurtsportcoaches 2014 (in samenwerking met Kennispraktijk) • Dosis-effectmeting – Dosis: inzet buurtsportcoaches (per jaar, gebied, taak) – Effect: sportdeelname, ledental sportverenigingen

• 14 gemeenten • Secundaire data • Databronnen: – – – –

Gemeentelijke gegevens inzet buurtsportcoaches Aantal georganiseerde sporters per wijk (KISS-database) Ledentalcijfers van sportverenigingen Bevolkingsonderzoek sportdeelname in gemeenten

(2) Verzamelen data • Tijdrovend • Registratie inzet buurtsportcoach voor verbetering vatbaar • Inzet buurtsportcoach niet altijd aan specifieke locatie te koppelen • Lokaal bevolkingsonderzoek niet altijd, aanwezig, of maar 1 meetjaar, kwaliteit data belangrijk • Ledentalcijfers sportverenigingen niet systematisch bijgehouden • (mis)Match doelgroep buurtsportcoach en doelgroep lokaal onderzoek

(2) Gevonden effecten • Helaas nog niet openbaar • Meer uren inzet in een wijk (een grotere dosis) leidt naar verwachting tot: – een grotere stijging (of minder grote terugval) in sportdeelname, bij vergelijking 2 of meer metingen in de tijd

• Veranderingen in de tijd • Verschillen tussen wijken

Conclusies onderzoeken (1) Middelen/ input

•Registratie taken/uren/locaties belangrijk •Verbetering mogelijk •Doelen vooraf SMART formuleren en communiceren

Activiteiten/ •Onderwijs en Sport nog steeds belangrijkste sectoren Proces •Verbreding nieuwe sectoren, doelgroepen en taken, •..maar vergt tijd en lokale aandacht •Verschillende soorten buurtsportcoaches •Veel tevredenheid over inzet buurtsportcoaches en over samenwerking •Intensiteit samenwerking organisaties verschilt

Conclusies onderzoeken (2) Prestaties/ output

•Aantal brede scholen toegenomen (Regioplan, 2014) •Ervaren toename aanbod en kwaliteit sportactiviteiten door inzet buurtsportcoach •Maatschappelijke functie sportverenigingen toegenomen •..verenigingen met een buurtcoach scoren hierop hoger (Verenigingspanel Mulier Instituut) •Buurtsportcoach speelt rol bij verbindingen •Tevredenheid bereik doelgroepen

Effect/ outcome

•Buurtsportcoaches en organisaties ervaren ledenwinst •Groot deel burgers bekend met aanbod in de buurt, klein deel neemt actief deel (NSO 2014) •Resultaten dosis-effectmetingen nog niet openbaar

Aanbevelingen lokaal onderzoek (1) • Voor resultaat -en effectmetingen zijn nulmeting en vervolgmetingen gewenst • Voor goede metingen moeten doelstellingen SMART gedefinieerd zijn • Dosis-effectmetingen zijn mogelijk, maar stellen hoge eisen aan formulering doelstellingen en beschikbare data

Aanbevelingen lokaal onderzoek (2) • Staar niet blind op effecten, maar focus ook op resultaten • Neem eigen lokale doelen als uitgangspunt • Vooraf en tussentijds inzet en werkzaamheden buurtsportcoach goed registeren • Laat bsc zelf bijdragen aan zichtbaarheid werk, gebruik tools • Maak gebruik van verschillende databronnen • Wissel ervaringen uit met andere gemeenten • Maak onderscheid tussen groepen buurtsportcoaches

Buurtsportcoach als interventie? Inzet bsc zoals landelijk bedoeld

Op ieder niveau spelen factoren een rol bij al dan niet bereiken doelen bij de einddoelgroep

• Doelen Ministerie/ landelijke projectgroep

Inzet bsc zoals lokaal bedoeld/ geadopteerd

• Doelen lokale inzet gemeenten en lokale partners, aansturing

Inzet bsc zoals geïmplementeerd

• Doelen/taken/kenmerken individuele buurtsportcoach

Inzet bsc zoals gerealiseerd

• Problematiek bereik uiteindelijke doelgroepen

Discussie • Sluiten landelijke doelstellingen aan op lokale doelstellingen? • Wie registreert inzet buurtsportcoaches in de tijd? • Welke tools gebruik je daarvoor? • Wie voert lokale metingen uit om inzet buurtsportcoach te monitoren/ evalueren? • Wat zijn ervaringen? • Wat gaat goed / minder goed? • Wat zou je andere gemeenten aanraden?

Hartelijk dank voor uw aandacht!

mulier instituut Herculesplein 269 3584 AA Utrecht t (030) 721 02 20 i www.mulierinstituut.nl

Caroline van Lindert: [email protected] Ine Pulles: [email protected]

Zicht krijgen op resultaten en effecten van de inzet van buurtsportcoaches

Recommend Documents