Richtlijnenhandboek *** Participatie en Cohesie *** CONCEPT
Richtlijn voor het meten van het effect op (aspecten van) participatie en cohesie. In welke mate leidt een sportevenement tot meer saamhorigheid, trots en sportdeelname?
Datum:
29 mei 2013
Auteurs:
Paul Hover (Mulier Instituut) & Marieke de Groot (DSP-Groep)
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Verantwoording
3
1.
Inleiding
4
1.1
Participatie en cohesie
4
1.2
Leeswijzer
5
2.
Wat wordt hoe gemeten?
7
2.1
Wat wordt gemeten?
7
2.2
Hoe wordt gemeten?
10
3.
Interviews met organisator
12
3.1
Inleiding
12
3.2
Interview vóór evenement
12
3.3
Interview na evenement
14
4.
Bezoekersenquête
16
4.1
Inleiding
16
4.2
Methoden en steekproef
16
4.3
Face to face tijdens evenement
17
4.4
Via internet na evenement
17
4.5
Uitvoering
18
5.
Rekenen en rapporteren
19
5.1
Inleiding
19
5.2
Rekenen
19
5.3
Rapporteren
20
Literatuur
22
Bijlage 1: Bezoekersenquête
24
Bijlage 2: Topiclijst interviews organisator
30
2
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Verantwoording Bij de evaluatie van (sport)evenementen is het van belang een gedegen en betrouwbaar meetinstrument te hanteren. Wanneer dit meetinstrument gestandaardiseerd is en op uniforme wijze wordt toegepast, dan worden evenementen beter vergelijkbaar en wordt een groter leereffect bereikt. Dit draagt bij aan de professionalisering en rendementsvergroting bij het organiseren van evenementen. Met de resultaten van het onderzoek zijn organisatoren en andere belanghebbenden (gemeenten, provincies) in staat om de betekenis van het evenement beter te duiden, verbeterpunten te identificeren (leereffect), de resultaten te gebruiken voor interne en externe communicatie en – in het geval van herhaling van metingen – ontwikkelingen te registreren. Dit richtlijnenhandboek biedt een door de WESP (Werkgroep Evaluatie Sportevenementen) erkend meetinstrument aan dat wordt aanbevolen aan partijen, die belang hebben bij de effectmeting van evenementen. Het is een initiatief van de WESP in samenwerking met het Platform Sporteconomie en het evenemententeam van NOC*NSF. De richtlijn is bedoeld voor personen die de effecten van het evenementen willen onderzoeken. Bij het gebruik van de richtlijn en het aanvragen van een peer-review wordt gevraagd om dit te melden bij de secretaris van de WESP (Willem de Boer, 0613076024). De auteurs houden zich aanbevolen voor inhoudelijke feedback en implementatie van de richtlijn (Paul Hover,
[email protected] en Marieke de Groot,
[email protected]). Bij het gebruik van deze richtlijn dient verwezen te worden naar voorliggend document: “Evaluatie uitgevoerd volgens richtlijnenhandboek Participatie en Cohesie zonder toetsing”. Vindt er een peer-review plaats, dan wijzigt de bronvermelding in: “Evaluatie uitgevoerd volgens Richtlijnenhandboek Participatie en cohesie met toetsing”. Bronvermelding is verplicht bij alle communicatie-uitingen, waaronder persberichten. De volgende richtlijnen vanuit de WESP zijn eveneens beschikbaar: x x x x x x x x x
Economische impact Prognose economische impact Bezoekersaantallen Belevingsonderzoek Bezoekersprofielen Tevredenheid Promotionele waarde Leefstijl en vitaliteit Milieu
Kijk voor meer informatie op de website van de WESP: www.evenementenevaluatie.nl.
3
© Werkgroep Evaluatie Sportevenementen
1.
Inleiding
1.1
Participatie en cohesie
Richtlijnenhandboek Participatie & Cohesie
Aanleiding De Werkgroep Evaluatie Sportevenementen (WESP) is een samenwerking tussen kennisinstellingen op het gebied van evenementenevaluatie. De doelstelling van de werkgroep is het bieden van een ontmoetingsplek voor onderzoekers, beleidsmakers en andere geïnteresseerden in de sporteconomie en in effectmetingen van evenementen. De bredere missie is het stimuleren van de kwaliteit, de omvang en toegankelijkheid van het sportonderzoek mede als ondersteuning van nationaal en lokaal sportbeleid en sportmanagement. In de WESP worden richtlijnen voor de effecten van sportevenementen ontwikkeld en geborgd. De deelnemende kennisinstellingen voeren onderzoek uit volgens de WESP-richtlijnen. De WESP is sinds 2008 actief en kent inmiddels meer dan 30 leden van ruim 25 Nederlandse kennisinstellingen, evenementorganisatoren, adviesbureaus en beleidsorganisaties. Voorliggend document is een uitbreiding van de reeks bestaande richtlijnen. De richtlijn is opgesteld door Paul Hover (Mulier Instituut) en Marieke de Groot (DSP-Groep). Belang van participatie en cohesie In politieke en bestuurlijke debatten wordt met regelmaat het belang van de bevordering van maatschappelijke participatie en cohesie aangehaald. Het zijn zaken die al jaren in de belangstelling staan en de verwachting is dat dat in de nabije toekomst niet minder zal worden. Maatschappelijke participatie omvat alle activiteiten buiten de privésfeer en de economie, ofwel het betaalde werk (SCP 2012). Participatie kan actief (bijvoorbeeld vrijwilligerswerk doen of sporten) of passief (bijvoorbeeld donaties of sport kijken op tv). Maatschappelijke cohesie is nauw verwant aan participatie. Cohesie verwijst volgens De Hart (2002) naar de deelname aan maatschappelijke instituties, de sociale contacten die mensen onderling onderhouden, maar ook naar hun oriëntatie op collectieve normen en waarden. Hieruit kan worden opgemaakt dat participatie als een dimensie of ‘onderdeel’ van cohesie beschouwd kan worden. In dat kader wordt ook vaak gesproken van ‘sociaal kapitaal’ waarmee wordt verwezen naar het aantal, en de waarde van de relaties en netwerken. Sportevenementen kunnen op vijf manieren een rol spelen bij het herstellen en (her)opbouwen van sociaal kapitaal (Chalip 2006; Putnam, 2000; Breedveld, 2003). Ten eerste is er bij sportbeoefening sprake van (intensief) face-to-face contact. Contact is een eerste voorwaarde om een relatie met elkaar op te bouwen. Ten tweede vindt het sporten plaats binnen een relatief informele setting. Dit kan ervoor zorgen dat de drempel om in contact te komen met mensen laag is. Zeker bij sportevenementen geldt over het algemeen een feestelijke sfeer waarin sociale interactie gemakkelijk tot stand komt. Ten derde vormt sport vaak een setting waar het sociale leven uitvoerig kan worden bediscussieerd. Steeds meer sportevenementen organiseren side-events rondom het hoofdevenement. Sport kan mensen letterlijk en figuurlijk bij elkaar brengen en samenwerken bevorderen. Door de samenwerking wordt het vertrouwen in elkaar ontwikkeld want men leert door ervaring dat men op elkaar kan vertrouwen. Een vierde functie is dat sport kan leiden tot de ontwikkeling van organisatorische en sociale vaardigheden. Door bijvoorbeeld het uitvoeren van vrijwilligerstaken kan men bepaalde vaardigheden ontwikkelen. Geen enkel sportevenement 4
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
draait zonder vrijwilligers. Daar heeft men ook buiten de sport baat bij om het sociaal kapitaal op te bouwen. Geleerde vaardigheden kunnen bovendien worden toegepast binnen een andere (niet sportgerelateerde) context. Bij grote sportevenementen kan de bijdrage van vrijwilligers vanuit economisch oogpunt tot grote hoogten stijgen. Chalip (1999) schatte het vrijwilligerswerk voor de Olympische en Paralympische Spelen in Sydney (2000) op bijna 5,5 miljoen uur, met een economische waarde van 110 miljoen Australische dollars (in: Coalter & Taylor 2008). Een vijfde manier waarop sport kan bijdragen aan het opbouwen van sociaal kapitaal is dat sport de gelegenheid biedt tot het opbouwen en onderhouden van vriendschappen. De regelmatige basis waarop men elkaar ziet, de mogelijkheid om vertrouwen in elkaar op te bouwen en de mogelijkheid om over elkaar te leren, zorgt voor een basis voor het opbouwen van een vriendschap. Dit geldt met betrekking tot sportevenementen uiteraard voor de jaarlijks terugkerende evenementen en niet zozeer voor de eenmalige sportevenementen (als een WK of EK). Er kan echter ook een schaduwzijde zijn. Sportevenementen kunnen het uitsluiten van groepen (bewust) in de hand werken (o.a. prijsniveau van tickets, kledingcode, mate toegankelijkheid voor gehandicapten) en remmend werken op de (betaalde) werkgelegenheid door het inzetten van vrijwilligers. Organisatoren en stakeholders van sportevenementen moeten hier bewust van zijn en streven naar het optimaliseren van positieve effecten en minimaliseren van negatieve effecten door hier vooraf op in te spelen. Sportevenementen worden ook vaak aangegrepen om de sporttak in kwestie te promoten. Dat heeft niet alleen betrekking op het interesseren van private organisaties voor partnerships (zoals sponsoring), maar ook op het verhogen van de actieve en passieve deelname aan de sport. Het WK hockey in Utrecht in 1998 wordt door de KNHB bijvoorbeeld beschouwd als de ‘coming out’ of hockey en dé aanjager van de groei van de sportdeelname in de navolgende jaren (Elsevier 2012, Jungmann 2011). Een ander voorbeeld is het WK Tafeltennis in Rotterdam in 2011. Bij dat evenement is intensief ingezet op het verbeteren van het imago van de sport en (daarmee) aan op het stimuleren van het deelnameniveau (Van Bedaf 2011; Hover & De Jong 2011). Onderzoeken wijzen erop dat een bezoek aan een sportwedstrijd onvoldoende hefboomwerking heeft om een levenswijze rigoureus aan te passen (zoals niet-sporters te verleiden om te gaan sporten), maar bezoekers kunnen er wel door gestimuleerd en geïnspireerd raken, met name als hierop actief wordt ingezet door de organisator in samenwerking met stakeholders zoals sponsors (o.a. Weed 2009; Hover & Romijn 2012).
1.2
Leeswijzer De lezer die minder interesse heeft in de achtergronden van deze richtlijn en graag meteen aan de slag wil kan het volgende hoofdstuk overslaan en desgewenst doorbladeren naar de vragenlijsten die in bijlagen 1 en 2 zijn opgenomen. Hoofdstuk twee bouwt verder op de theorie uit de inleiding en operationaliseert daarna de begrippen participatie en cohesie. We presenteren een overzicht van de dimensies en indicatoren die in het onderzoek gemeten worden. In hoofdstuk drie verwoorden we de aanpak met betrekking tot de interviews met de organisator. In dat hoofdstuk staan tevens de belangrijkste gespreksonderwerpen die aan bod moeten komen genoemd. De vragenlijst
5
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
is te vinden in de bijlage. In hoofdstuk vier bespreken we de bezoekersenquête. We gaan in op de randvoorwaarden waaronder de enquête moet worden afgenomen, bijvoorbeeld het kiezen van de juiste grootte van de steekproef en de voor- en nadelen van methoden om gegevens te verzamelen. De gegevensverwerking, -analyse en rapportage van beide onderdelen komt in hoofdstuk 5 aan bod.
6
© Werkgroep Evaluatie Sportevenementen
2.
Wat wordt hoe gemeten?
2.1
Wat wordt gemeten?
Richtlijnenhandboek Participatie & Cohesie
De richtlijn meet de volgende twee zaken: 1.
De mate waarin een sportevenement heeft bijgedragen aan participatie en cohesie onder bezoekers en/of deelnemers;
2.
De (mate waarin en de) wijze waarop de organisator van het evenement (samen met stakeholders) heeft gewerkt aan het stimuleren van participatie en cohesie.
De mate waarin sociale cohesie en participatie optreedt onder bezoekers van het sportevenement wordt uitgedrukt in vijf waarden (één waarde per dimensie). Wetenschappers en beleidsmakers verwachten positieve effecten van sociale cohesie, zowel voor de maatschappij als de participant zelf. Sociale cohesie is echter een gradueel begrip. De vraag of er gesproken moet worden van veel of weinig sociale cohesie kan in zijn algemeenheid niet worden beantwoord. Meer sociale cohesie betekent volgens De Hart (2002) niet altijd dat een samenleving beter af is. Groepssolidariteit (denk aan hooliganisme) kan bijvoorbeeld negatieve effecten hebben op het gemeenschappelijk welzijn en op andere groepen. Ook kan oppervlakkig contact met derden ‘buiten de eigen kring’ wederzijdse (negatieve) vooroordelen versterken. Daarom zegt één cijfer erg weinig. Het gaat om het totaal aan gemiddelden die uit het onderzoek komen, en of die cijfers goed of slecht zijn bepaalt de context en de mate van inzet van de organisator. In hoofdstuk 5 meer over het becijferen van de resultaten. Operationalisering Voor de begrippen participatie en cohesie zijn veel definities in omloop (o.a. Beauvais & Jenson 2002, Dautzenberg et al. 2008). Als gevolg van de verschillende definities kan de operationalisering van deze concepten ook ver uiteen lopen. Wat betreft sociale cohesie zijn er drie aspecten die frequent aangehaald worden. Dat zijn het bestaan van een gedeelde visie, dat er sprake is van een groep met gedeelde normen en waarden en dat sociale cohesie een proces is en geen vaststaande uitkomst (Markus, 2011). In het kader van deze richtlijn kiezen we voor het praktisch operationaliseren van de begrippen vanuit de context van sportevenementen. Startpunt hierbij is een index waarbij vijf indicatoren van sociale cohesie worden onderscheiden (Markus, 2011).1 Participatie is in deze index onderdeel van sociale cohesie. Aan de hand van de structuur van deze index zijn voor het meten van participatie en cohesie met betrekking tot sportevenementen vijf dimensies geformuleerd met bijbehorende indicatoren. De vijf dimensies zijn:
1
Het betreft de The Scanlon-Monash Index of Social Cohesion (SMI) die in Australië gehanteerd wordt. Voor aanvullende informatie, zie http://arts.monash.edu.au/mapping-population/-documents/mapping-social-cohesion-summary-report-2011.pdf, http://www.arts.monash.edu.au/mapping-population/--documents/social-cohesion-factsheet.pdf. Deze index is gericht op het meten van de sociale cohesie onder Australiërs en is niet gericht op sport(evenementen). Niettemin is de categorisering in indicatoren een goed praktisch handvat voor deze richtlijn.
7
© Werkgroep Evaluatie Sportevenementen
1.
Trots en saamhorigheid;
2.
Tevredenheid en geluk;
3.
Gelijkheid en vertrouwen;
4.
Participatie en betrokkenheid;
5.
Acceptatie en contact.
Richtlijnenhandboek Participatie & Cohesie
Ad 1. Trots en saamhorigheid Sportprestaties van Nederlanders kunnen leiden tot gevoelens van trots onder de bevolking. Die trots kan vervolgens positief of negatief uitwerken op de ervaren trots om Nederlander te zijn (o.a. Elling 2012).2 Er wordt gemeten of de bezoeker er trots op is dat het evenement plaatsvindt in de betreffende gemeente dan wel in Nederland. Die gedeelde ervaring (trots) kan bijdragen aan de sociale cohesie. Ook meten we in welke mate mensen een gevoel van saamhorigheid of verbondenheid ervaren. Ad 2. Tevredenheid en geluk De mate waarin gevoelens van geluk, plezier en vreugde zijn opgetreden tijdens het bezoek worden aan de hand van één vraag in beeld gebracht. Als tegenhanger vragen we ook naar negatief ervaren gevoelens. De tevredenheid is de mate waarin het evenement als totaal voldoet aan de individuele wensen van bezoekers. Er is derhalve één maat die de algehele tevredenheid weergeeft. Ad 3. Gelijkheid en vertrouwen Gedeelde normen en waarden in een groep zijn een belangrijk onderdeel van het begrip sociale cohesie. We vragen daarom naar het ervaren van een gevoel van gelijkgestemdheid onder de bezoekers. De veronderstelling is dat wanneer er sprake is van een groot onderling vertrouwen onder evenementenbezoekers dat de ervaring van het bezoek aan het evenement ten goede komt. Dit vertrouwen is hoog indien bezoekers menen dat andere bezoekers handelen op een manier die derden niet zal benadelen, en wanneer zij veiligheid ervaren. Onderling vertrouwen kan geschaad worden door negatieve ervaringen als de (mogelijke) aanwezigheid van zakkenrollers, vechtpartijen, (overdadig) vuurwerk en voordringen (bijvoorbeeld bij het bestellen van versnaperingen of het wachten op openbaar vervoer).3 Daarom vragen we naar het veiligheidsgevoel en in hoeverre onwenselijke praktijken als voordringen, vechtpartijen en zakkenrollerij op zijn getreden. Ad 4. Participatie en betrokkenheid Kijken naar sport kan inspireren om als bezoeker zelf (meer) aan sport te gaan doen. Er wordt ook wel gesproken over de inspiratiewaarde van (top)sport (Van Bottenburg et al. 2012). Deze inspiratiewaarde kan enerzijds betrekking hebben op de passieve
8
2
Elling (2012) liet bijvoorbeeld zien dat het bevolkingsaandeel dat trots was op de sportieve prestaties van Nederlanders vóór het teleurstellend verlopen EK Voetbal 2012 circa 15 procent hoger lag dan na die voetbalwedstrijden. Het teleurstellend verlopen EK had echter geen invloed op meer algemene gevoelens van nationale trots onder de bevolking.
3
Omvangrijke ongeregeldheden worden vanzelf opgemerkt, het gaat hierbij om onwenselijke praktijken van een kleinere omvang.
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
sportdeelname. Dit betreft het kijken naar sport (op televisie, via internet of ‘live’ bij evenementen), het luisteren naar sport (radio) en het lezen over sport (kranten, tijdschriften, internet). Het bezoeken van een hardloopwedstrijd en het aanmoedigen van de deelnemers kan bij de bezoeker een (verhoogde) interesse opwekken voor het volgen van de ontwikkelingen in de (hardloop)sport. Anderzijds kan de inspiratiewaarde betrekking hebben op het zelf beoefenen van sport (actieve sportdeelname). Hieraan ligt de veronderstelling ten grondslag dat het bezoek van sportevenementen mensen aanzet tot zelf (meer) te gaan sporten. In deze richtlijn wordt gemeten of bezoekers actief hebben meegedaan aan activiteiten rondom het evenement en in welke mate bezoekers aangezet worden tot (meer) passieve en (meer) actieve sportdeelname. Participatie hebben we, naast intentie om passief of actief te sporten, ook geoperationaliseerd als het aantal vrijwilligers dat actief is rondom het sportevenement. Ad 5. Acceptatie en contact Sociaal kapitaal (relaties, netwerken) kunnen een impuls krijgen bij het bezoek aan een sportevenement. Een bezoek biedt – vaak onder plezierige omstandigheden – een goede gelegenheid om met vrienden of familie bij te praten, en nieuwe mensen (gelijkgestemden) te ontmoeten. Ontwikkeling van dit sociaal kapitaal kan plaatsvinden binnen de eigen kring (‘bonding’), maar ook door nieuwe mensen (veel al buiten het eigen vertrouwde netwerk) te ontmoeten (‘bridging’) (Putnam, 2000; Burt, 2000). Door bridging kunnen mensen zich ontwikkelen en krijgen ze toegang tot nieuwe hulpbronnen. In het onderzoek wordt gemeten in hoeverre bezoekers nieuwe mensen hebben ontmoet en/of bestaande contacten hebben verstevigd en of ze iets met die nieuwe contacten gaan doen. In tabel 2.1 staan de vijf dimensies en bijbehorende indicatoren in een overzicht. Tabel 2.1 Dimensies en indicatoren participatie en cohesie
1.
2.
3.
Trots & saamhorigheid a.
Ervaren trots dat <evenement> plaatsvindt in
of Nederland
b.
Ervaren gevoel van saamhorigheid of verbondenheid
c.
Ervaren prettige omgangsvormen
Tevredenheid & geluk a.
Ervaren gevoelens van geluk, plezier en vreugde
b.
Ervaren gevoelens van angst, ergernis en irritatie
c.
Ervaren tevredenheid
Gelijkheid & vertrouwen a.
Ervaren gevoel van gelijkgestemdheid
b.
Ervaren gevoel van veiligheid
c.
Ervaren onwenselijk gedrag
d.
Mate van elkaar aanspreken over onwenselijk gedrag
9
© Werkgroep Evaluatie Sportevenementen
4.
5.
2.2
Richtlijnenhandboek Participatie & Cohesie
Participatie & betrokkenheid a.
Actieve deelname aan activiteiten evenement
b.
Aandeel sporters
c.
Verband sporters (georganiseerd of ongeorganiseerd)
d.
Inspiratie (meer) passieve sportdeelname
e.
Inspiratie (meer) actieve sportdeelname
f.
Aantal vrijwilligers (niet in enquête maar tijdens interview)
Acceptatie & contact a.
Mate versteviging band met bekenden
b.
Mate van nieuwe mensen leren kennen die mogelijk kennissen/vrienden worden
Hoe wordt gemeten? Twee deelprojecten De data worden verzameld via twee verschillende onderzoeksmethoden welke aanvullend zijn aan elkaar. Dat zijn: 1.
Interviews met de evenementenorganisator (voor en na het evenement);
2.
Enquête onder bezoekers (face-to-face of via internet).
De kwalitatieve informatie die door middel van de interviews wordt verzameld vormt de context waarbinnen de gegevens uit de bezoekersenquête moeten worden geïnterpreteerd. Met de gecombineerde resultaten van beide onderzoeksmethoden kan door de onderzoekers bepaald worden of de effecten die zijn gemeten positief of negatief zijn en of ze voldoen aan de verwachtingen/eisen. Deelnemers en/of bezoekers Bij evenementen die relatief veel deelnemers trekken en relatief weinig bezoekers, kan overwogen worden om ook of in plaats van het bezoekersonderzoek een onderzoek onder deelnemers te organiseren. Bij deelnemersonderzoek kan men gebruikmaken van een groot deel van de informatie die in voorliggend rapport is opgenomen. Afbakening Met het oog op de praktische uitvoerbaarheid van het onderzoek (i.c. het voorkomen van een te omvangrijk project waardoor het voor (kleine) evenementen minder aantrekkelijk is om te evalueren) is gekozen voor deze twee deeltrajecten. Tijdens het interview met de organisator van het evenement wordt het onderzoeksgebied afgebakend. Daarin wordt bepaald wat er onder sportevenement wordt verstaan (alleen hoofdevenement of ook projecten in aanloop naar het evenement). Deze twee deelonderzoeken kunnen desgewenst worden uitgebreid met aanvullend onderzoek rondom dit thema. Bijvoorbeeld door het uitvoeren van een onderzoek onder vrijwilligers (o.a. evaluatie vrijwilligerswerk, bijdrage aan ontwikkeling vaardigheden, mate interesse vrijwilligerswerk bij andere evenementen). Dat kan wenselijk zijn bij grote evenementen waar veel vrijwilligers actief zijn. Ook een aanvullend onderzoek onder de
10
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
(lokale) bevolking is denkbaar (o.a. over het ervaren gevoel van trots over plaatsvinden van het evenement in de woonregio).
11
© Werkgroep Evaluatie Sportevenementen
3.
Interviews met organisator
3.1
Inleiding
Richtlijnenhandboek Participatie & Cohesie
Er zijn twee interviews met de organisator van het evenement. Eenmaal voorafgaand aan het evenement en eenmaal na afloop. Effecten op het gebied van participatie en cohesie laten zich niet makkelijk alleen in cijfers vangen, een context is nodig voor een juiste interpretatie. Ook om de cijfermatige gegevens uit de deelnemersenquête op de juiste manier te kunnen interpreteren is het noodzakelijk om ook kwalitatieve gegevens te verzamelen door middel van interviews. Afhankelijk van (de omvang van) het evenement is het voorstelbaar dat de interviews niet alleen met de organisator plaatsvinden, maar ook met andere betrokkenen zoals professionals van de sportbond, gemeente of provinciale sportraad kunnen. Op die manier ontstaat er een scherper en vollediger beeld van de ins en outs van het evenement. Interviews kunnen door de organisator worden ervaren als een ‘extra’ activiteit die bij zijn waarschijnlijk toch al volle agenda komt. Maar medewerking aan de interviews levert de organisator ook wat op. Het interview voorafgaand aan het evenement helpt om bewust na te denken welke doelstellingen er zijn op het gebied van participatie en cohesie en welke activiteiten daaraan gekoppeld (kunnen) worden. Op dat moment is er nog kans voor eventuele bijsturing. Bovendien worden de verwachtingen en praktische zaken ten aanzien van het onderzoek besproken. Dat scheelt later werk en vergroot de kans op tevredenheid aan het einde van het onderzoek. In het tweede interview blikt de onderzoeker terug op het evenement. De resultaten van dat gesprek kunnen door de organisator gebruikt worden voor de (interne) evaluatie van het evenement. Het onderzoek helpt tevens om gericht te kijken of de ondernomen activiteiten daadwerkelijk bijdragen aan de doelstellingen en daarmee verkrijgt ook de organisator inzicht in wat wel en wat niet werkt. Beschikbare middelen kunnen op die manier in de toekomst zo efficiënt en effectief mogelijk worden ingezet.
3.2
Interview vóór evenement Timing Het interview, bij voorkeur face to face, dient ruim voorafgaand aan het evenement plaats te vinden, zodat de organisator zich niet (teveel) belast voelt door de (tijds)druk van het naderende evenement. We raden aan om anderhalf uur in te plannen voor het interview en om de vragenlijst voorafgaand aan het gesprek op te sturen zodat de organisator zich kan voorbereiden en eventuele gegevens vast kan verzamelen. Gespreksonderwerpen Om de effecten van een sportevenement te kunnen vaststellen is het van belang om het ‘sportevenement’ te definiëren. Wat wordt wel en wat wordt niet tot het evenement gerekend? Bij grootschalige topsportevenementen ziet men bijvoorbeeld vaak dat er naast c.q. geïnspireerd op de organisatie van het topsportevenement veel andere initiatieven
12
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
ontplooid worden. Hierbij kan bijvoorbeeld gedacht worden aan breedtesportevenementen, een cultureel programma en een congres voor de zakelijke markt. Bij het vaststellen van de effecten worden aanbevolen om een ‘ruime’ definitie van het evenement te hanteren en te expliciteren welke afgeleide evenementen en activiteiten er plaats hebben gevonden. 4 De volgende thema’s komen tijdens het eerste interview aan bod. Hier worden de thema’s globaal beschreven, voor het interviewformat, zie bijlage 2. Basiskenmerken sportevenement Om de context te bepalen moeten de basiskenmerken van het sportevenement duidelijk zijn. Het moet duidelijk worden wat in de rest van het onderzoek wordt verstaan onder ‘sportevenement’. Naast een duidelijke omschrijving en afbakening hiervan moet een aantal belangrijke kenmerken van het sportevenement in kaart worden gebracht als: type sport, verwachte aantal bezoekers/deelnemers, aantal vrijwilligers en of het een eenmalig of jaarlijks evenement is. Stakeholders en samenwerking Het is belangrijk om in kaart te brengen wie de belangrijkste stakeholders zijn en welke relatie er tussen hen onderling en het sportevenement bestaat. Daarbij gaat het bijvoorbeeld om overheden, sportaanbieders, bedrijfsleven, maatschappelijk partners, et cetera. Een belangrijk gegeven is het aantal vrijwilligers dat werkzaam is binnen de sportevenementorganisatie en welke taken zij vervullen. Doelstellingen op het gebied van participatie en cohesie Het realiseren en/of versterken van effecten op het gebied van participatie en cohesie heeft de meeste kans wanneer daar van te voren door de evenementenorganisator bewust op wordt ingezet. Is het daadwerkelijk het doel om mensen mee te laten doen? Is het een doelstelling van de organisator (of een van zijn partners) om sociale cohesie te bevorderen? Een aantal keuzes zijn daarin belangrijk: doelgroep, organisatie, schaalgrootte, intensiteit en looptijd. Verwachtingen Vooraf de verwachtingen helder maken schept duidelijkheid voor zowel de onderzoeker als de organisator. Verwachtingen over de uitkomsten en effecten van het sportevenement, maar tevens over het onderzoek. Deze informatie helpt ook om aan het einde van het gesprek praktische afspraken te maken. Praktisch: onderzoek Aan het einde van het gesprek moet een aantal praktische zaken worden afgesproken. Er moet een keuze gemaakt worden tussen een face to face enquête onder bezoekers of een
4
Idealiter wordt duidelijk of de afgeleide activiteiten er ook (in de betreffende omvang) geweest zouden zijn zonder het sportevenement in kwestie.
5 Kijk voor meer informatie in het rapport of de brochure Meer halen uit sportevenementen (Groot, de M 2011) http://bit.ly/W0ojuY.
13
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
online variant daarvan (de afwegingscriteria komen in het volgende hoofdstuk aan bod). De onderzoeker heeft hierin een sterk adviserende rol. Ook dient afgestemd te worden wat van de organisator verwacht wordt om de bezoekersenquête succesvol te laten verlopen. De ervaring leert dat het positief werkt wanneer enquêteurs kunnen beschikken over kleding (pet, T-shirt) en/of een badge waaruit blijkt dat zij bij het evenement betrokken zijn. Met de organisator dient ook de plaats van enquêteren afgestemd te worden. Niet overal is het interviewen van bezoekers wenselijk. Daarnaast moet de definitieve vragenlijst worden vastgesteld en afspraken worden gemaakt over wijze van rapportage en deadlines. Indien mogelijk is het raadzaam om direct het tweede interview, na afloop van het evenement, in te plannen.
3.3
Interview na evenement Timing Na afloop van het evenement vindt nogmaals een interview plaats met de organisator. Ook voor dit interview geldt dat andere personen die betrokken waren bij de organisatie aan dit gesprek deelnemen. Dit interview heeft een meer evaluerend karakter. Ook hier geldt dat dit interview (of groepsgesprek) bij voorkeur face-to-face plaatsvindt en dat er anderhalf uur wordt ingepland. Het verdient de voorkeur om het interview met de organisator te plannen wanneer de resultaten van het bezoekersonderzoek gereed zijn. Deze kunnen dan worden besproken en kunnen, samen met de organisator, verbanden worden gelegd tussen de organisatie van het evenement enerzijds en de resultaten van het bezoekersonderzoek anderzijds. Met name wanneer een externe projectleider bij de organisatie betrokken is, is het van belang het gesprek goed te timen. Dergelijke personen zullen vaak kort na het evenement taken afronden en daarna afscheid nemen. Gespreksonderwerpen De volgende thema’s komen tijdens het tweede interview aan bod. Hier worden de thema’s globaal beschreven, voor de checklist voor het interview, zie bijlage 2. Basiskenmerken Het daadwerkelijke aantal bezoekers/deelnemers kan nu worden vergeleken met de verwachte aantallen. Zie voor het vaststellen van de bezoekersaantallen ook de richtlijn Bezoekersaantallen van de WESP. Indien er sprake is van ticketverkoop en een ‘gesloten evenemententerrein’, dan is het vaststellen van het aantal bezoekers eenvoudig. Wanneer het evenement echter in de openbare ruimte plaatsvindt en er geen bezoekersregistratie plaatsvindt, dan zal er een schatting gemaakt moeten worden. Startpunt kan een indicatie van de organisator zelf zijn. Deze kan vervolgens in perspectief worden geplaatst door ervaringen van de onderzoeker(s) en door het inwinnen van informatie van derden (zoals politie of betrokken gemeenteambtenaren). Wellicht is er sprake van bijzondere omstandigheden die de onderzoeksresultaten beïnvloeden (extreme omstandigheden, ongeregeldheden of het samenvallen van het evenement met een (andere) onvoorziene gebeurtenis).
14
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Stakeholders en samenwerking Van grote invloed op het verloop van het sportevenement is de samenwerking met de stakeholders. Er wordt ingegaan op hoe de samenwerking is verlopen, wat er goed ging en wat niet. Ook de vrijwilligers komen in dit onderdeel aan bod. Doelstellingen participatie en cohesie Indien de evenementenorganisator doelstellingen had geformuleerd op dit gebied kan worden nagegaan of deze behaald zijn. Als er effecten zijn opgetreden is het van belang om na te gaan of deze gekoppeld kunnen worden aan specifieke activiteiten of kritische succesfactoren. Indien er geen doelstellingen waren, is het toch belangrijk om na te gaan of de organisator vindt dat er effecten zijn op het gebied van participatie en cohesie. Hoe was de sfeer tijdens het evenement? Vond er veel interactie plaats? Resultaten/tevredenheid Is de evenementenorganisator tevreden over het verloop en de resultaten van het sportevenement? Wat zijn verbeterpunten voor een volgende editie? Interessant is ook de vraag of de organisator mogelijkheden ziet om effecten te vergroten? En zo ja, hoe en op welke gebieden? Praktisch: onderzoek Er moeten afspraken worden gemaakt over de rapportage en verspreiding van de resultaten. De organisator en de onderzoeker bepalen wanneer alles afgerond moet zijn en op welke manier betrokken stakeholders (waaronder de geënquêteerden) geïnformeerd worden. Tot slot In de voorbereiding op de interviews is het handig om de volgende checklist na te lopen: x
Informeer de geïnterviewde over het doel van het gesprek.
x
Bevestig de datum, tijd en locatie van het interview per mail.
x
Stuur de vragenlijst ter voorbereiding alvast op. Vraag naar aanleiding daarvan of alle juiste personen zijn uitgenodigd voor het gesprek. Indien een extra persoon/personen moeten worden uitgenodigd, licht hen in en maak eventueel een nieuwe afspraak.
x
Geef duidelijk aan welke voorbereiding (verzamelen van welke gegevens) gewenst is.
x
Geef vooraf aan op welke manier beide interviews verwerkt zullen worden in de uiteindelijke rapportage. Biedt daarbij aan om een gespreksverslag te maken dat de geïnterviewde kan nalezen.
15
© Werkgroep Evaluatie Sportevenementen
4.
Bezoekersenquête
4.1
Inleiding
Richtlijnenhandboek Participatie & Cohesie
Er dient, samen met de evenementenorganisator en eventuele (andere) opdrachtgever, een keuze te worden gemaakt voor het face-to-face enquêteren van bezoekers en/of het enquêteren van bezoekers via internet. In beide gevallen wordt een identiek gestructureerde vragenlijst gebruikt. Face-to-face enquêteren vindt na afloop (of in ieder geval tegen het einde) van het evenement plaats. Bezoekers dienen zoveel mogelijk bij het verlaten van de evenementenlocatie geënquêteerd te worden. De online vragenlijst wordt kort na het evenement ingevuld. Voor die laatste methode zijn logischerwijs de emailadressen van bezoekers noodzakelijk.
4.2
Methoden en steekproef Voor- en nadelen op een rij De voornaamste voor- en nadelen van beide methoden zijn in tabel 4.1 beknopt weergegeven. Een nadeel van het inzetten van beide methoden is dat bezoekers twee maal voor medewerking aan het onderzoek benaderd worden, hetgeen mogelijk tot wrevel kan leiden. Het verdient daarom de voorkeur te kiezen tussen één van de twee methoden. Tabel 4.1 Voor- en nadelen per methode datacollectie Online
Face to face
Grip op steekproefomvang
-
+
Feeling bij evenementbeleving
-
+
Vragen toe kunnen lichten
-
+
Persoonlijk
-
+
Mogelijkheid meeluisteren organisator
-
+
Representatiefa
-
+
Kostenefficiency (data-entry)
+
-
Minder sociaal wenselijke antwoorden
+
-
Respondent kan tijdstip zelf bepalen
+
-
Complexe vragenlijst mogelijk
+
-
Snelle verwerking van gegevens
+
-
a
Niet elke bevolkingsgroep is in dezelfde mate online actief
Wanneer er face to face geënquêteerd wordt en de antwoorden worden tijdens het gesprek meteen digitaal verwerkt (enquêteur vult antwoorden in via een app of via een online antwoordformulier), dan vervallen twee nadelen van deze methode (kostenefficiency en snelle verwerking van gegevens). Het belangrijkste criterium voor de keuze tussen face to face en/of online enquêteren is de beschikbaarheid van bezoekersgegevens. Als e-mailadressen van alle bezoekers van het evenement geregistreerd worden, dan biedt dat goede mogelijkheden om hen via een e-mail uit te nodigen voor een online enquête. Indien dit niet voorhanden is, is face to face enquêteren vrijwel de enige mogelijkheid. Alles bij elkaar genomen wordt door ons de 16
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
voorkeur gegeven aan face to face enquêtes. Dit is echter wel een personeel intensieve methode waarvan de kosten kunnen oplopen. Er dienen minimaal 385 compleet en correct afgeronde enquêtes gerealiseerd te worden. Wanneer er weinig bezoekers zijn (minder dan 2.000) dan kan volstaan worden met een kleinere steekproef. Dit aantal (385) biedt doorgaans voldoende mogelijkheden voor het presenteren van resultaten van deelgroepen (bijvoorbeeld jong en oud) en op totaalniveau zijn de resultaten redelijk nauwkeurig. Het belang van de steekproefgrootte mag niet overschat worden. De compositie van de steekproef (beïnvloedt door de manier van steekproeftrekken dan wel de selectie van respondenten tijdens het veldwerk) is minstens zo belangrijk. Bij de planning van het veldwerk dient er daarom voldoende aandacht uit te gaan naar het selecteren van respondenten. Aandachtspunten hierbij zijn spreiding over dagen (bij meerdaagse evenementen), tijden van enquêteren tijdens het evenement (verspreid over de dag) en de selectie van potentiële respondenten (zoals elke derde passant).
4.3
Face to face tijdens evenement Het face to face onderzoek tijdens het evenement moet tot in detail gepland worden. De enquêteurs moeten gebriefd (en gedebriefd) worden, zij moeten herkenbaar zijn en precies weten waar ze moeten staan en hoeveel goed ingevulde enquêtes ze moeten opleveren. De enquêteurs moeten geïnstrueerd worden over het benaderen van de respondenten. Vooraf moet het draaiboek concreet gemaakt worden met taken, namen en telefoonnummers. Voor het veldwerk moet duidelijk zijn, wie waar en wanneer een bepaald aantal goed ingevulde enquêtes moet kunnen leveren. Het is belangrijk dat de enquêteurs de bezoekers vriendelijk benaderen en volledig ingevulde vragenlijsten verzamelen.
4.4
Via internet na evenement De vragenlijst dient voor deze methode van gegevensverzameling te worden geprogrammeerd op een website. Onderzoekers kennen de mogelijkheden.5 Het verdient de voorkeur om de bezoekers per e-mail persoonlijk uit te nodigen. Ook is het verzenden van een reminder na een week tot tien dagen aan te bevelen (bij voorkeur aan degenen die op dat moment nog geen volledige vragenlijst hebben afgerond). De periode van gegevensverzameling bedraagt doorgaans twee tot drie weken. De vragenlijst op een (openbare) website ter beschikking stellen vbevelen we niet aan omdat deze dan ook beschikbaar is voor personen die niet tot de onderzoeksdoelgroep (evenementenbezoekers) gerekend worden. Daarmee is de kans dat de dataverzameling ‘vervuild’ wordt aanzienlijk groter. De resultaten zijn dan niet meer betrouwbaar en valide.
5
Desgewenst kan bij de auteurs hierover advies ingewonnen worden.
17
© Werkgroep Evaluatie Sportevenementen
4.5
Richtlijnenhandboek Participatie & Cohesie
Uitvoering Aanbevolen wordt om respons verhogende maatregelen te treffen. Bijvoorbeeld het verloten van prijzen onder respondenten of het uitdelen van een kleine gadget (pet, pen) na afloop van het invullen van de enquête. Bij het afnemen van de enquête is het raadzaam om direct aan te geven wat er met de onderzoeksgegevens gedaan wordt en op welke manier zij wanneer en waar de resultaten kunnen teruglezen. Tevens is het voor sommigen van belang om aan te geven dat de onderzoeksresultaten anoniem zullen worden verwerkt. Het kan voordelen bieden om het onderzoek (deels) te laten verzorgen door een onderwijsinstelling met ervaring op het vlak van evenementenevaluaties. Dit kan kostenbesparend werken omdat de inzet van studenten (en docenten) vaak goedkoper is dan de inhuur van professionals van een (commercieel) onderzoeksbureau.6 Samenwerking met een onderwijsinstelling stelt daarentegen wel meer eisen aan (voorbereidings)tijd, afstemming en kwaliteitscontrole. De ervaring leert dat het uitvoeren van deze onderzoeken door studenten en docenten als zeer waardevol wordt beschouwd. Onderzoekservaring in de praktijk is een goede aanvulling op de theorie. Bovendien staat het meewerken aan een dergelijk onderzoeksproject mooi in een portfolio van docenten en studenten. De vragenlijst is opgenomen in bijlage 1. Deze kan (beperkt) worden uitgebreid, dit kan worden opgenomen met de onderzoeker. Hierbij is het met name van belang dat de vragenlijst niet te lang wordt.7
18
6
Commerciële onderzoeksbureaus beschikken doorgaans ook over ervaren enquêteurs, al dan niet gecertificeerd door MOA, Center for Information Based Decision Making & Marketing Research (de vereniging van bedrijven en instellingen in Nederland die zich bezighouden met marktonderzoek).
7
Een richtlijn die gehanteerd kan worden is dat het afnemen van de enquête niet langer dan acht minuten mag duren.
© Werkgroep Evaluatie Sportevenementen
5.
Rekenen en rapporteren
5.1
Inleiding
Richtlijnenhandboek Participatie & Cohesie
In dit hoofdstuk wordt beschreven hoe de resultaten tot stand komen (‘rekenen’). Hoe dat werkt geven we in de volgende paragraaf weer. In paragraaf 5.3 wordt een voorstel gedaan voor de opbouw van het rapport waarin verslag wordt gedaan van het onderzoek (‘rapporteren’).
5.2
Rekenen ‘Rechte tellingen’ per vraag (frequentie en procentuele verdeling van het voorkomen van antwoorden per vraag) en rekenkundige gemiddelden zijn het meest voor de hand liggend en zijn al zeer informatief. De vijf dimensies worden los van elkaar gerapporteerd door de gemiddelden van de uitkomsten uit te rekenen. Eventueel kunnen de uitkomsten worden uitgesplitst naar bepaalde doelgroepen (bijvoorbeeld mannen/vrouwen, sporter/nietsporter). Dat is afhankelijk van de wens van de opdrachtgever en de eventuele doelstellingen die er zijn op het gebied van participatie en cohesie. Wanneer er bijvoorbeeld specifieke doelstellingen zijn om participatie te bevorderen onder 50-plussers, is het interessant om die doelgroep uit te lichten. De enquêtes kunnen worden verwerkt met behulp van SPSS of Excel. Een groot deel van de vragen wordt beantwoord met een vijf punts schaal: zeer mee eens, mee eens, noch mee oneens noch mee eens, mee oneens en zeer mee oneens. Die antwoorden worden gewaardeerd (waarden 1 tot en met 5). Wanneer de vraagstelling positief is geformuleerd krijgt 'zeer mee eens' 5 punten en 'zeer mee oneens' 1 punt. Wanneer de vraagstelling negatief geformuleerd is gaat de puntentelling andersom ('zeer mee eens' krijgt 1 punt en 'zeer mee oneens' 5 punten). Voor een aantal vragen wordt een drie punts schaal toegepast: Ja, Enigszins/Misschien, Nee. Ook bij deze vragen is er de waardering aan de hand van de waarden 1-5. ‘Ja’ is 5 punten, ‘Enigszins/misschien’ is 3 punten en ‘Nee’ is 1 punt. De waardering van de antwoorden per vraag is zichtbaar in de vragenlijst. Niet alle vragen zijn indicatoren voor participatie en cohesie (bijvoorbeeld de vraag naar sportdeelname). De antwoorden op die vragen worden daarom niet gewaardeerd. Desalniettemin blijft het van belang dat deze antwoorden gerapporteerd worden. Aanwezigheid doelstellingen? Naast het beschrijven en kwantificeren van de effecten dient de onderzoeker aan te geven in welke mate de organisator heeft ingezet op het genereren van positieve effecten. De mate waarin een organisator (samen met belanghebbenden) inzet of het stimuleren van positieve effecten en het afwenden van negatieve effecten wordt aangeduid met de term activatie. De onderzoeker dient zich hierbij met name op de resultaten van de interviews met de organisator te baseren. Hiervoor is derhalve geen cijfermatige berekening mogelijk. Er worden vijf categorieën onderscheiden: zeer zwak, zwak, noch zwak, noch sterk, sterk en (zeer) sterk.
19
© Werkgroep Evaluatie Sportevenementen
5.3
Richtlijnenhandboek Participatie & Cohesie
Rapporteren De hoeveelheid gegevens die met het interview en de enquêtes wordt gegenereerd biedt veel analysemogelijkheden. Iedere onderzoeker kan daarin zijn eigen keuzes maken en accenten leggen. Ten behoeve van de rapportage kunnen er echter op voorhand belangrijke kernresultaten geïdentificeerd worden. Geadviseerd wordt om deze resultaten en uitkomsten in een rapportage op te nemen. We presenteren een inhoudsopgave met korte toelichting. Hoofdstuk 1 INLEIDING
1.
Aanleiding onderzoek (eventueel opdrachtgeverschap, doel onderzoek)
2.
Onderzoeksverantwoording (methodebeschrijving waarin onder andere uitvoerende partijen, keuze voor face-toface interviews of digitaal, respondenten interviews organisator, respons, manier van data-analyse)
Hoofdstuk 2 CONTEXT
3.
Leeswijzer
1.
Beschrijving evenement (onder andere type, bezoekersaantallen, financiering, stakeholders, gebruikte definitie evenement in onderzoek)
2.
(eventuele) Doelstellingen participatie & cohesie
3.
Verloop evenement (eventuele bijzondere omstandigheden)
Hoofdstuk 3 RESULTATEN
1.
Resultaten dimensie 1 (rechte telling/gemiddelde + korte toelichting)
2.
Resultaten dimensie 2 (rechte telling/gemiddelde + korte toelichting)
3.
Resultaten dimensie 3 (rechte telling/gemiddelde + korte toelichting)
4.
Resultaten dimensie 4 (rechte telling/gemiddelde + korte toelichting)
5.
Resultaten dimensie 5 (rechte telling/gemiddelde + korte toelichting)
6. 7.
Overige resultaten (uit interviews) Eventuele kruistabellen over verbanden tussen verschillende dimensies.
Hoofdstuk 4 CONCLUSIE
1.
Conclusie (op basis enquêtes en interviews samen. Wat zijn de effecten op gebied van participatie en cohesie? Wat zijn de kritische succesfactoren? Welke verbanden zijn er eventueel te zien?)
BIJLAGEN
2.
Aanbevelingen
1.
Vragenlijsten (enquête en interviews met organisator)
In het hoofdstuk met de resultaten dienen de volgende kerncijfers opgenomen te worden. Waar een percentage wordt vermeld is het van belang dat ook de steekproefgrootte (n) vermeld wordt.
20
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Tabel 5.1 Kerncijfers participatie en cohesie
1.
Trots & saamhorigheid
gemiddelde waarde vragen 1, 2, 3
2.
Tevredenheid & geluk
gemiddelde waarde vragen 4, 5, 6
3.
Gelijkheid & vertrouwen
gemiddelde waarde vragen 7, 8, 9, 10
4.
Participatie & betrokkenheid
gemiddelde waarde vragen 15, 16
5.
Acceptatie & contact
gemiddelde waarde vragen 17, 19
Afhankelijk van eventuele doelstellingen van de organisator kunnen bepaalde onderdelen meer of minder aandacht krijgen. Wanneer er bijvoorbeeld een duidelijke doelstelling is om door middel van het evenement een bepaalde doelgroep te inspireren om te gaan sporten, kan daar in de analyse en rapportage meer aandacht aan worden besteed. Peer-review Optioneel is het onderzoeksproces en de rapportage te laten beoordelen voor een expert. Dit gebeurt door middel van een peer-review. Deze wordt uitgevoerd door een lid van de WESP. De opdrachtgever en/of opdrachtnemer (uitvoerder onderzoek) geven de reviewer onvoorwaardelijk inzicht in c.q. toegang tot alle gegevens (o.a. databestanden en tussentijdse resultaten). Afspraken over de publicatie en het gebruik van de data worden voorafgaand aan de review gemaakt. Delen van resultaten Het is gewenst dat de WESP een rapport van het onderzoek ontvangt, zowel op papier als digitaal. Indien mogelijk geldt hetzelfde voor het databestand. Het rapport kan dan op de website van de WESP worden geplaatst, hetgeen de verspreiding van kennis ten goede komt.
21
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Literatuur Beauvais, C. & Jenson, J. (2002). Social Cohesion: Updating the State of the Research. In: Canadian Policy Research Networks, no F|22, pp.1-47. Bedaf, A. van (2011). Topsportevenementen als aanjager voor de sportparticipatie: verkennend onderzoek naar de doelen, interventies, en effecten van Le Grand Départ 2010, het WK Tafeltennis 2011 en de World Open Squash 2011. Utrecht: Mulier Instituut. Bottenburg, M. et. al. (2012). De maatschappelijke betekenis van topsport. Utrecht: Mulier Instituut. Breedveld, K. (2003). Sport en cohesie: de relatie tussen sportdeelname en sociaal kapitaal. In: Rapportage Sport 2003. Den Haag: Sociaal en Cultureel Planbureau. Burt, R. (2000). The Network Structure of Social Capital. Voordruk voor een hoofdstuk in Research in Organizational Behaviour. Vol. 22, p. 1-93. Chalip, L. (2006). Towards Social Leverage of Sport Events. In: Journal of Sport & Tourism, vol. 11, no 2, pp. 109-127. Coalter, F. & Taylor, J. (2008). Large Scale Sports Events: Event Impact Framework. Report to UK Sport. Stirling: University of Stirling. Dautzenberg, M. et. al (2008). Sociale samenhang: mythe of must? Misvattingen, discussie en beleidsimplicaties. Amsterdam: DSP-groep B.V. Elling, A. (2012). Factsheet Euro 2012 en (sportieve) nationale trots. Utrecht: Mulier Instituut. Elsevier (2012). De nieuwe volkssport. 68e jaargang, nummer 37, 15 september 2012. Amsterdam: Reed Business Media. Groot, de, M. (2008). Maatschappelijke activiteiten van sportverenigingen in beeld. Amsterdam/Groningen: DSP-groep B.V./Rijksuniversiteit Groningen. Groot, de, M. et. al. (2011). Meer halen uit sportevenementen. Amsterdam: DSP-groep B.V. Hart, J. de (2002). Theoretische uitgangspunten, conceptualisering en doelstellingen. In: Hart, J. de (red.). Zekere banden. Sociale cohesie, leefbaarheid en veiligheid. Den Haag: SCP. Hover, P. & Jong, M. de (2011). Van evenbeeld tot tegenpool: over de imago's van vijftien sporttakken volgens de Nederlandse bevolking. Utrecht: Mulier Instituut. Hover, P. & Romijn, D. (2012). Factsheet sportevenementen : katalysator voor participatie en cohesie? Utrecht: Mulier Instituut.
22
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Jungmann, B. (2011). De sportcanon: de sportgeschiedenis van Nederland. Amsterdam: Thomas Rap. Markus, A. (2011). Mapping social cohesion 2011. The scanlon foundation surveys summary report. Caulfield East: Monash University. Putnam, R.D. (1995). Tuning In, Tuning Out. The Strange Disappearance of Social Capital in America. PS. Political Science and Politics. Vol.28, p. 6645683. Putnam, R.D. (2000). Bowling Alone: The collapse and revival of American community. New York: Simon & Schuster. SCP (2012). Maatschappelijke participatie (www-document). URL: http://www.scp.nl/Onderwerpen/J_t_m_O/Maatschappelijke_participatie. Geraadpleegd op 17 december 2012.
23
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Bijlage 1: Bezoekersenquête
Voor dat de enquête gebruikt wordt dient het volgende besloten en in de vragenlijst aangepast te worden: x
Omschrijving maatregel die respons bevordert (of die optie verwijderen);
x
Vragen verwijderen die voor het evenement in kwestie niet van toepassing zijn;
x
Definitie van het evenement.
Andere aandachtpunten: x
Elke vragenlijst voorzien van een unieke code (bijvoorbeeld de initialen van de enquêteur en een (volg)nummer);
x
Bij digitale enquête: zorgen dat alle (belangrijke) vragen verplicht moeten worden beantwoord (anders loop je risico op teveel half ingevulde en daarmee onbruikbare vragenlijsten).
x
Wanneer de vragenlijst wordt toegepast op deelnemers in plaats van bezoekers kan waar bezoeker staat vervangen worden door deelnemer. Als extra vraag kan toegevoegd worden een omschrijving van die deelname (welke activiteit)
x
De vragenlijst kan worden uitgebreid met een aantal open vragen. Die vragen leveren kwalitatieve data op. Dat kost meer tijd in de analyse en er moet vooraf besloten worden of daar tijd en ruimte voor is. Een optie is bijvoorbeeld om aan het einde van de vragenlijst ruimte te geven voor opmerkingen.
x
In het geval van een gesloten vraag kan de enquêteur de respondent de antwoordmogelijkheden voorleggen (zoals een schaal; zeer mee eens – zeer mee oneens).
Goedendag mevrouw/meneer, Wij willen u graag namens enkele vragen stellen over uw bezoek aan <evenement>. Het duurt ongeveer zes minuten en u kunt anoniem meedoen. Doet u ook even mee? U maakt dan kans op . Een korte toelichting. Deze vragenlijst gaat over <evenement>. Hieronder wordt verstaan <definitie van evenement>. Tenzij anders aangegeven is er één antwoord op de vraag mogelijk.
1. Trots, saamhorigheid 1. Ik ben er trots op dat <evenement> plaatsvindt in /Nederland. Zeer mee eens (5)
Mee eens (4)
Noch mee eens, noch mee oneens (3)
24
Mee oneens (2)
Zeer mee oneens (1)
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
2. Ik ervaar saamhorigheid of verbondenheid onder de bezoekers van dit evenement. Zeer mee eens (5)
Mee eens (4)
Noch mee eens,
Mee oneens (2)
noch mee oneens
Zeer mee oneens (1)
(3)
3. De bezoekers van dit evenement gaan op een prettige manier met elkaar om. Zeer mee eens (5)
Mee eens (4)
Noch mee eens,
Mee oneens (2)
noch mee oneens
Zeer mee oneens (1)
(3)
2. Tevredenheid, geluk 4. Ik voel me gelukkig en heb plezier tijdens dit evenement. Zeer mee eens (5)
Mee eens (4)
Noch mee eens,
Mee oneens (2)
noch mee oneens
Zeer mee oneens (1)
(3)
5. Ik voel me angstig, geërgerd en geïrriteerd tijdens dit evenement. Zeer mee eens (1)
Mee eens (2)
Noch mee eens,
Mee oneens (4)
noch mee oneens
Zeer mee oneens (5)
(3)
6. Als u <evenement> als totaal beoordeelt, welk rapportcijfer zou u dat dan geven? 1 staat voor zeer slecht en 10 voor uitmuntend. Cijfer: _____ (5)
(4)
(3)
(2)
(1)
Rapportcijfer 9-10
Rapportcijfer 7-8
Rapportcijfer 5-6
Rapportcijfer 3-4
Rapportcijfer 1-2
3. Gelijkheid, vertrouwen 7. Ik bevind mij onder gelijkgestemde mensen (met gedeelde normen en waarden). Zeer mee eens (5)
Mee eens (4)
Noch mee eens, noch mee oneens
Mee oneens (2)
Zeer mee oneens (1)
(3)
25
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
8. Ik voel me veilig tijdens dit evenement. Zeer mee eens (5)
Mee eens (4)
Noch mee eens,
Mee oneens (2)
noch mee oneens
Zeer mee oneens (1)
(3)
9. Ik ervaar onwenselijk gedrag tijdens dit evenement. Hierbij kunt u bijvoorbeeld denken aan zakkenrollerij, opstootjes en voordringen. Zeer mee eens
Mee eens (2)
(1)
Noch mee
Mee oneens (4)
eens, noch mee
Zeer mee oneens (5)
oneens (3)
Als vorige vraag is (zeer) mee eens 10. Bij onwenselijk gedrag (zakkenrollerij, opstootjes en voordringen) spreken mensen elkaar aan over dat gedrag. Zeer mee eens (5)
Mee eens (4)
Noch mee eens,
Mee oneens (2)
noch mee oneens
Zeer mee oneens (1)
(3)
4. Participatie, betrokkenheid 11. Heeft u actief meegedaan aan een van de activiteiten rondom het sportevenement? x
Ja, namelijk __________________________________
x
Nee
12. Heeft u in de afgelopen twaalf maanden een sport beoefend? Het gaat om activiteiten die u in de afgelopen twaalf maanden heeft verricht volgens gebruiken of regels uit de sportwereld. U kunt denken aan badminton, fitness, toerfietsen en schaken, maar niet aan tuinieren, puzzelen of fietsen naar de bakker. Sporten die u tijdens de vakanties heeft beoefend, tellen wel mee maar sporten onder schooltijd niet. x
Ja
x
Nee
Als vorige vraag is ‘Ja’ 13. Hoe vaak heeft u in de afgelopen twaalf maanden in totaal gesport? Als u het niet precies weet, geeft u dan een schatting. ___ keer Als vraag 12 is ‘Ja’ 14. Bent u lid van een sportvereniging? 26
© Werkgroep Evaluatie Sportevenementen
x
Lid
x
Geen lid
Richtlijnenhandboek Participatie & Cohesie
Als vraag 12 is ‘Ja’ 15. Bent u door bezoek of deelname aan dit sportevenement aangemoedigd om meer te gaan sporten? x
Ja Æ hoe komt dat? _________________________________
x
Enigszins
x
Nee
Ja (5)
Enigszins (3)
Nee (1)
16. Bent u door bezoek of deelname aan dit sportevenement aangemoedigd om deze sport(en) (meer) in de media te gaan volgen? (o.a. tv, radio, internet, kranten, tijdschriften) Ja (5)
Enigszins (3)
Nee (1)
5. Acceptatie, contact 17. Heeft u dankzij dit sportevenement nieuwe mensen ontmoet? Ja (5)
Enigszins (3)
Nee (1)
Indien nieuwe mensen ontmoet 18. Zou u deze nieuwe mensen kenmerken als personen die op dezelfde manier in het leven staan en er dezelfde normen en waarden op nahouden? x
Ja
x
Enigszins
x
Nee
Indien nieuwe mensen ontmoet 19. Heeft u de intentie om deze nieuwe mensen in de nabije toekomst op te zoeken en/of een activiteit mee te ondernemen? Ja (3)
Misschien (2)
Nee (1)
20. Uit hoeveel personen bestaat uw gezelschap, inclusief uzelf? Aantal personen: _____ Indien men niet alleen is gekomen (zie vraag 20) 27
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
21. Heeft u dankzij dit sportevenement de band met uw vrienden of kennissen verstevigd? x
Ja
x
Enigszins, misschien
x
Nee
Tot besluit: persoonskenmerken 22. Wat is uw geslacht? x
Man
x
Vrouw
23. In welk gezelschap bent u hier? Meerdere antwoorden mogelijk. x
Alleen
x
Met partner / echtgeno(o)t(e) en zonder kinderen
x
Met partner / echtgeno(o)t(e) en met kinderen
x
Alleen met kinderen
x
Met overige familie
x
Met vrienden/kennissen
x
Met school, bedrijf, (sport)vereniging, etc.
x
Anders, namelijk ___
24. Wat is uw geboortejaar? Geboortejaar: ____ 25. Wat is uw postcode of (indien buitenland) wat is het land waar u woont? x
Postcode _ _ _ _ _ _
x
Buitenland: _____
26. Wat is uw hoogst voltooide opleiding? x
Geen onderwijs / basisonderwijs / cursus inburgering / cursus Nederlandse taal
x
LBO / VBO / VMBO (kader- of beroepsgerichte leerweg) / MBO 1 (assistentenopleiding)
x
MAVO / HAVO of VWO (eerste drie jaar) / ULO / MULO / VMBO (theoretische of gemengde leerweg) / voortgezet speciaal onderwijs
x
MBO 2, 3, 4 (basisberoeps-, vak-, midden-kader- of specialistenopleiding) of MBO oude structuur (vóór 1998)
x
HAVO of VWO (overgegaan naar de 4e klas) / HBS / MMS / HBO propedeuse of WO propedeuse
x
HBO (behalve HBO-master) / WO-kandidaats of WO-bachelor
x
WO-doctoraal of WO-master of HBO-master / postdoctoraal onderwijs
27. Welke situatie is het meest van toepassing op u? x
Zelfstandig ondernemer
x
Werkzaam in loondienst
x
Werkzaam bij de overheid
x
Arbeidsongeschikt
x
Werkloos / werkzoekend / bijstand
x
Gepensioneerd of VUT
28
© Werkgroep Evaluatie Sportevenementen
x
Studerend / schoolgaand
x
Huisvrouw / huisman
x
Anders
Richtlijnenhandboek Participatie & Cohesie
28. Onder degenen die de vragenlijst compleet hebben ingevuld . Wil je daar kans op maken? x
Ja, ik maak graag kans op een van die tien prijzen en ik vind het goed dat het mijn emailadres voor de verloting wordt opgeslagen. Mijn e-mail adres is _____
x
Nee
29
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Bijlage 2: Topiclijst interviews organisator
Onderstaande vragenlijsten dienen als basis voor gesprekken met de organisator. Uiteraard kunnen deze vragenlijsten worden uitgebreid en kan de onderzoeker doorvragen op bepaalde onderdelen waar nodig. INTERVIEW VOORAF Basiskenmerken sportevenement x
Wat voor type sportevenement spreken we over? (eenmalig of jaarlijks terugkerend, top en/of breedtesport)
x
Welke soort(en) sport wordt(en) er beoefend?
x
Hoe lang duurt het sportevenement?
x
Wat zijn de verwachte aantallen bezoekers/deelnemers? Waar is dat op gebaseerd? Wie worden er verwacht?
x x
Hoe ziet de begroting & financiering eruit? (incl. eventuele subsidie en sponsoring) Wat is de schaalgrootte/reikwijdte van het sportevenement? (lokaal, regionaal, nationaal, internationaal)
x
Wat is het (verwachte) mediabereik?
x
Worden er side-events georganiseerd? Zo nee, waarom niet? Zo ja, omschrijf het aantal en type afgeleide evenementen en activiteiten.
x
Welke definitie hanteren we in dit onderzoek voor het begrip sportevenement? (alleen het hoofdevenement, of ook (enkele) side-events)
Stakeholders en samenwerking x
Wie zijn de belangrijkste stakeholders? Omschrijf de relatie met het sportevenement en onderling. (denk aan overheden, onderwijs, (andere) maatschappelijk partners, sportbonden, lokale sportaanbieders (sportverenigingen, fitnesscentra), bedrijfsleven, etc.)
x
Is deze samenwerking geformaliseerd? Zo ja, op welke manier?
x
Zijn er platforms/netwerken gecreëerd waarbinnen partners kennis en informatie kunnen uitwisselen? Zo ja, welke?
x
Hoeveel vrijwilligers werken er mee aan dit sportevenement? Waar komen ze vandaag? Welke taken hebben ze? Hoeveel FTE vertegenwoordigen zij? (indien de aantallen niet exact beschikbaar zijn volstaat een schatting)
Doelstellingen op het gebied van participatie en cohesie x
Zijn er doelstellingen ter bevordering van participatie en cohesie? Zo nee, waarom niet? Zo ja, welke?
x
Zijn er activiteiten/side-events gekoppeld aan deze doelstellingen? Zo ja, omschrijven aan de hand van: doelgroep, organisatie, schaalgrootte, intensiteit en looptijd.
Verwachtingen x
Wat zijn de verwachtingen ten aanzien van de doelstelling(en) ter bevordering van participatie en cohesie?
30
© Werkgroep Evaluatie Sportevenementen
x x
Richtlijnenhandboek Participatie & Cohesie
Wat zijn de verwachtingen ten aanzien van het totale evenement? Wat zijn de verwachtingen met betrekking tot dit onderzoek? Wat moet het opleveren? In welke behoefte moet het voorzien?
Praktisch x
Hoe moet de data verzameld worden? (face to face enquêtes of digitaal na afloop)
x
Wat kan er vanuit de evenementenorganisatie worden bijgedragen aan respons
x
Wie gaat de enquêteurs benaderen, inlichten en aansturen? Kunnen zij rekenen op
verhogende maatregelen? (zoals cadeaubonnen, gadgets, etc.) kleding of een badge van het sportevenement waaruit blijkt dat zij betrokken zijn? x
Hoe verloopt het contact tussen organisator en onderzoeker(s)?
x
Wat wordt de definitieve vragenlijst?
x
Afspraken maken over tussentijds contact, aansturing, tweede interview, aanleveren data, conceptrapport en definitieve rapport.
x
Hoe koppelen we de resultaten terug aan de stakeholders? Hoe worden de respondenten op de hoogte gesteld van de resultaten?
INTERVIEW NA AFLOOP Basiskenmerken x
Hoe is het evenement verlopen? (algemeen en daarna: financieel, mediabereik, sfeer, prestaties (Nederlandse) topsporters, verloop side-events)
x
Wat zijn de daadwerkelijke bezoekersaantallen? (vergelijk met de verwachte aantallen en ga in op eventuele discrepanties)
x
Is er sprake geweest van bijzondere omstandigheden die de onderzoeksresultaten kunnen beïnvloeden? Zo ja, welke?
Stakeholders en samenwerking x
Hoe is de samenwerking met de belangrijkste stakeholders verlopen? Welke kritische succesfactoren zijn te onderscheiden?
x
Hoe hebben de platforms/netwerken gefunctioneerd? (indien opgericht) Wat zijn daarvan de effecten?
x
Hoe is de uitvoering van de vrijwilligers verlopen?
Doelstellingen participatie en cohesie x
Zijn de doelstellingen (indien gesteld) behaald? Zo nee, waarom niet? Zo ja, waarom wel?
x
Wat zijn daarbij kritische succesfactoren?
x
Hoe was de sfeer tijdens het sportevenement? (feestelijk, uitgelaten, gemoedelijk, grimmig, enthousiasmerend, etc.) (indien de definitie bestaat uit meerdere activiteiten, dan zo mogelijk per activiteit de sfeer beschrijven)
x
Welke bijzondere gebeurtenissen zijn opgevallen?
x
Vond er veel interactie plaats? (tussen bezoekers onderling, tussen sporters en bezoekers) Wat had deze interactie tot gevolg?
x
Zijn er nieuwe samenwerkingsverbanden ontstaan? Zo ja, welke en wat levert dat op?
31
© Werkgroep Evaluatie Sportevenementen
Richtlijnenhandboek Participatie & Cohesie
Resultaten/tevredenheid x
Bent u tevreden over het verloop en de resultaten van het sportevenement? Licht toe.
x
Wat zijn verbeterpunten voor een volgende editie?
x
Indien van toepassing: wat zijn mogelijkheden om de ontstane effecten (indien aangetoond) te verstevigen dan wel vergroten voor een volgende editie/sportevenement?
Praktisch x
Hoe en wanneer wordt het eindresultaat opgeleverd?
x
Hoe en wanneer worden de belangrijkste stakeholders geïnformeerd?
x
Worden de resultaten van het onderzoek breder gecommuniceerd? (in de media bijvoorbeeld) Zo ja, hoe en door wie?
32