De Middelste Antwoordoptie en de Non-responsoptie in Voting Advice Applications
Student: Rob van Outersterp ANR: 802202 Masterscriptie Opleiding: Communicatie- en Informatiewetenschappen Specialisatie: Communicatie Design Faculteit Geesteswetenschappen Universiteit van Tilburg, Tilburg
Begeleidster: Dr. N. Kamoen Tweede lezer: Dr. E. Oversteegen
Juli, 2014
3
4
Samenvatting Voting Advice Applications (VAAs) zijn veel gebruikte hulpmiddelen. Ze geven stemgerechtigden de mogelijkheid om aan te geven in hoeverre zij het eens zijn met een politieke stelling en laten hen vervolgens op basis van hun standpunten zien, met welke politieke partij zij de meeste overeenkomst vertonen. Stemmers nemen daarbij een positie in op een antwoordschaal met onder andere een middelste antwoordoptie en een nonresponsoptie. Algemene vragenlijstliteratuur vindt een inconsistentie in het gebruik van zulke opties. In de context van VAAs is nog maar één onderzoek uitgevoerd naar de middelste antwoordoptie en de non-responsoptie (Baka, Figgou & Triga, 2012), waarin geconstateerd werd dat deze opties vaak door elkaar heen gebruikt worden. De huidige studie bouwde voort op het onderzoek van Baka et al. (2012) en had als doelen: Erachter komen welke betekenissen de middelste antwoordoptie en de nonresponsoptie hebben voor gebruikers van VAAs. Kijken of mensen de opties gebruiken waar ze voor bedoeld zijn. Onderzoeken of gebruikers de werking van een VAA goed inschatten. En toetsen of bepaalde stellingeigenschappen, keuzes voor deze twee opties beïnvloeden. Aan de hand van een kwalitatief onderzoek met twee meetmethoden; hardop denken en een interview, is het gebruik van de middelste antwoordoptie en de non-responsoptie bestudeerd onder 55 gebruikers van de Stemwijzer gericht op de gemeenteraadsverkiezingen in Helmond. Daarnaast is middels een regressie onderzocht of bepaalde stellingkenmerken keuzes voor de twee antwoordopties kunnen voorspellen. Uit de resultaten van het kwalitatieve onderzoek bleek dat gebruikers de opties voornamelijk kiezen om uiting te geven aan ‘onwetendheid’. De uitwisselbaarheid van de antwoordopties die bleek uit het onderzoek van Baka et al. (2012), is ook in het huidige onderzoek gevonden. Op een meta-niveau bleek dat gebruikers wel onderscheid maken tussen de functies van de twee opties. De resultaten toonden daarnaast aan dat gebruikers in meer dan 60% van de gevallen, de non-responsoptie moeten kiezen in plaats van de middelste antwoordoptie en dat de helft van de gebruikers de gevolgen van keuzes voor de antwoordopties niet goed begrijpt. Uit de regressie bleek dat stellingen die ‘vage kwantificaties’, ‘onbekende termen’ of ‘onbekende locaties’ bevatten, gepaard gaan met hogere keuzepercentages voor de middelste antwoordoptie en de non-responsoptie. De resultaten impliceren dat de betekenis van de middelste antwoordoptie en de nonresponsoptie niet duidelijk is voor gebruikers van VAAs en dat ontwikkelaars van VAAs aandacht moeten besteden aan het verduidelijken van de antwoordschaal en de stellingen.
5
Inhoudsopgave 1. Inleiding
8
2. Studie 1: Gebruik van de Middelste Antwoordoptie en Non-responsoptie in VAAs
10
2.1 De Populariteit van Voting Advice Applications
10
2.2 Likert-schalen
11
2.2.1
Likert-schalen in VAAs
2.3 De Middelste Antwoordoptie
12 12
2.3.1
De Bedoelde Functie van de Middelste Antwoordoptie
12
2.3.2
De Functie van de Middelste Antwoordoptie in Praktijk
13
2.3.3
De Middelste Antwoordoptie in VAAs
13
2.4 De Non-responsoptie
15
2.4.1
De Bedoelde Functie van de Non-responsoptie
15
2.4.2
De Functie van de Non-responsoptie in Praktijk
15
2.4.3
De Non-responsoptie in VAAs
16
2.5 Koppeling met het Huidige Onderzoek
16
2.6
17
De Werking van Stemwijzer
2.7 Onderzoeksvragen Studie 1 3. Methode Studie 1
18 19
3.1 Design
19
3.2 Materiaal
19
3.3 Instrumentatie
19
3.3.1
Proefpersoon, VAAs en politiek
20
3.3.2
Begrijpelijkheid Stemwijzer
20
3.3.3
Evaluatie Hardop Denken
21
6
3.4 Procedure 3.4.1
21
Het Invullen van de VAA
22
3.4.1.1
Het Hardopdenk-onderzoek
22
3.4.1.2
Het Invullen van de VAA Zonder Hardop Denken
24
3.4.2
Individueel Interview
24
3.5 Participanten
25
3.6 Codering
26
4. Resultaten Studie 1 4.1 Keuzefrequenties Antwoordopties 4.1.1
Persoonskenmerk of Stellingkenmerk
4.2 Betekenis van de Middelste Antwoordoptie en de Non-responsoptie 4.2.1
Overwegingen tijdens Beantwoorden Stellingen
31 31 32 32 32
4.2.1.1
De Middelste Antwoordoptie
33
4.2.1.2
De Non-responsoptie
35
4.2.1.3
Overige Overwegingen
36
4.2.2
Functies Antwoordopties
4.3 Correct Gebruik van de Antwoordopties
37 39
4.3.1
Attitudinaal, Non-attitudinaal of Beide?
39
4.3.2
Correct Gebruik van de Antwoordopties
41
4.4
Gevolgen Antwoordopties voor Stemadvies
5. Conclusie en Discussie Studie 1
42 42
5.1 Conclusies
42
5.2 Discussie
43
7
6. Studie 2: Begripsproblemen bij Stellingen
44
6.1 Begripsproblemen Vragenlijstliteratuur
45
6.2 Onderzoeksvraag Studie 2
48
6.3
Methode
48
6.4
Resultaten
49
6.4.1
Regressie Keuzepercentages Middelste Antwoordoptie en Non-responsoptie 49
6.4.2
Onbekende Locaties
51
7. Conclusie en Discussie Studie 2
52
7.1 Conclusies
52
7.2 Discussie
53
8. Algemene Discussie
53
8.1 Aanbevelingen voor Vervolgonderzoek
53
8.2 Aanbevelingen voor Ontwikkelaars van VAAs
54
Referenties
55
Appendices
58
Appendix A: Stellingen Stemwijzer Helmond
58
Appendix B: Vragenlijst Hardopdenk-methode
60
Appendix C: Interviewschema
67
Appendix D: Codeerschema Baka, Figgou & Triga
70
Appendix E: Exploratie Betwistingen van de Stelling
71
Appendix F: Exploratie Onwetendheid
74
Appendix G: Compleet Codeerschema
76
Appendix H: Voorbeeld Codering Verbalisaties Hardopdenk-methode
78
1.
8 Inleiding In verkiezingstijd zijn het veelgebruikte tools: online politieke stemhulpen. Ze vergelijken de standpunten van partijen ten opzichte van politieke onderwerpen met die van de stemmer. Daarna berekenen ze in hoeverre de standpunten van partijen met die van de stemmer overeenkomen. Maar liefst 6.1 miljoen keer werden de twee meest bekende stemhulpen in Nederland, Stemwijzer en Kieskompas, geraadpleegd tijdens de Tweede Kamerverkiezingen van 2012 (Garzia & Marschall, 2012; Van de Pol, Holleman, Kamoen, Krouwel & De Vreese, geaccepteerd). Deze stemhulpen worden geacht een betrouwbare hulp voor stemgerechtigden te zijn, maar is dit ook het geval? Doordat stemhulpen een relatief nieuw verschijnsel zijn, is wetenschappelijke literatuur over dit onderwerp nog maar in beperkte mate ontwikkeld. Stemhulpen vertonen wel kenmerken van traditionele vragenlijsten, waarvan bekend is dat de formulering van stellingen, het ontwerp van de vragenlijst en de antwoordmogelijkheden de gebruiker beïnvloeden. In vragenlijstliteratuur worden bijvoorbeeld bepaalde formuleringen van stellingen afgeraden, omdat ze kunnen leiden tot verwarring bij de gebruiker. Een voorbeeld hiervan is het vermijden van stellingen die een mening bevragen over meer dan één onderwerp (Tourangeau, Rips en Rasinski, 2000). Stemhulpen hebben echter een eigen karakteristieke
inhoud
en
verschijningsvorm,
waarin
dergelijke
formulering-
en
ontwerpaspecten zich juist voordoen. Specifiek onderzoek naar zulke aspecten in de context van stemhulpen of Voting Advice Applications (VAAs), zoals de applicaties in het internationale onderzoeksveld genoemd worden, is daarom gewenst. Deze studie richt zich op de antwoordmogelijkheden in VAAs, in het bijzonder op het gebruik van de middelste antwoordoptie en de zogenaamde non-responsoptie in een VAAantwoordschaal. VAAs verschillen in de soort antwoordschaal die gebruikers aangeboden wordt om standpunten ten opzichte van stellingen uit te drukken. Sommige VAAs (bijv. Kieskompas) bieden vijf antwoordopties in de vorm van een zogenoemde ‘Likert-schaal’ die loopt van ‘helemaal mee eens’ tot ‘helemaal mee oneens’ aangevuld met een ‘geen mening’ mogelijkheid. Andere VAAs (bijv. Stemwijzer) bieden drie inhoudelijke responsopties ‘eens/ja’, ‘geen van beide’/’neutraal’ en ‘oneens/nee’, aangevuld met een non-responsoptie zoals ‘sla deze vraag over’1. Een keuze voor een middelste antwoordoptie zoals ‘geen van beide’ wordt verwerkt als inhoudelijke respons en maakt onderdeel uit van het stemadvies.
1
Een minderheid aan VAAs vraagt gebruikers een positie in te nemen op een andersoortig continuüm.
9 Een keuze voor een non-responsoptie als ‘sla deze vraag over’ geldt niet als antwoord en wordt niet meegenomen in het advies. Baka, Figgou en Triga (2012) voerden reeds een kwalitatief onderzoek uit naar de betekenissen die studenten toedichten aan de middelste antwoordcategorie en de nonresponsoptie van een vijfpunts Likert-schaal. Baka et al. (2012) vroegen hun participanten nadat zij een VAA ingevuld hadden, om keuzes voor de middelste antwoordcategorie en de non-responsoptie te onderbouwen. De functies van de opties bleken uitwisselbaar te zijn; mensen gaven dezelfde redenen voor het gebruik van de middelste antwoordoptie als voor het gebruik van de non-responsoptie. Baka et al. (2012) ondervonden dat keuzes voor de twee opties niet voornamelijk voortkomen uit een gebrek aan mening, maar in plaats daarvan, vooral gebruikt worden voor het overbrengen van dilemma’s en het uitdrukken van bezwaar jegens de vraagstelling. De generaliseerbaarheid van de resultaten in Baka et al. (2012) wordt echter begrensd door de homogene groep participanten (studenten) waarvan zij gebruik maakten. Omdat de studie van Baka et al. (2012) tot op heden de enige in zijn soort is, wil dit onderzoek aan de hand van twee studies een bijdrage leveren aan de literatuur over het gebruik van de middelste antwoordoptie en de non-responsoptie in VAA-antwoordschalen en in vragenlijsten in het algemeen. Dit gebeurt aan de hand van twee studies. Studie 1 onderzoekt stellingen en gebruikers van de Stemwijzer voor de gemeenteraadsverkiezing van Helmond in 2014. De studie probeert antwoorden te vinden op drie vragen: Welke betekenissen hebben de middelste antwoordoptie en de non-responsoptie voor gebruikers van VAAs? Gebruiken mensen de middelste antwoordoptie en de nonresponsoptie in VAAs waar ze voor bedoeld zijn? En in hoeverre schatten gebruikers van VAAs de gevolgen van een keuze voor de middelste antwoordoptie en de non-responsoptie juist in? Studie 2 onderzoekt formuleringaspecten van stellingen. Deze studie probeert een antwoord te geven op de vraag of bepaalde stellingkenmerken, keuzes voor de middelste antwoordoptie en de non-responsoptie voorspellen. Waar Baka et al. (2012) zich richtten op een antwoordschaal in de vorm van een vijfpunts Likert-schaal die in praktijk door de Kieskompas-familie van VAAs wordt gebruikt, maakt dit onderzoek gebruik van een driepunts Likert-schaal die vooral gebruikt wordt door de Stemwijzer-familie van VAAs (Gemenis, 2012). Er is geprobeerd het invullen van de VAA zo natuurgetrouw mogelijk te maken door participanten de echte Stemwijzer online in te laten vullen. Daarnaast wordt gebruik gemaakt van een proefpersonengroep die VAA-gebruikers
10 beter vertegenwoordigt qua leeftijd en diversiteit in opleiding, dan het geval was in het onderzoek van Baka et al. (2012). 2. Studie 1: Gebruik van de Middelste Antwoordoptie en Non-responsoptie in VAAs In dit hoofdstuk wordt allereerst de populariteit van VAAs besproken om de relevantie van deze studie aan te tonen. Vervolgens volgt een beschrijving van de literatuur over Likertschalen, zodat verdere informatie over de middelste antwoordoptie en de non-responsoptie in perspectief geplaatst kan worden. Aansluitend wordt de werking van Stemwijzer uiteengezet, omdat deze VAA centraal staat in het huidige onderzoek. Tot slot worden de onderzoeksvragen geformuleerd. 2.1
De Populariteit van Voting Advice Applications
In Westerse democratieën resulteerde de verschijning van het internet in een belangrijke verandering in politiek gedrag (Wagner & Gainous, 2009; Leighley, 2010). Voor veel mensen werd online politieke communicatie een zeer belangrijke bron van politieke informatie en participatie (Zittel & Fuchs, 2007; Norris & Curtice, 2008). VAAs maken onderdeel uit van online politieke communicatie. Dit zijn hulpmiddelen die posities van partijen (of kandidaten) ten opzichte van een selectie politieke onderwerpen vergelijken met de positie van de stemmer. Daarna berekenen ze in welke mate standpunten van de stemmer ten opzichte van de bevraagde politieke onderwerpen, overeenkomen met die van de partijen (Garzia & Marshall, 2012). VAAs hebben zich rond het eind van het vorige decennium snel verspreid in Europese landen en daarbuiten. Onder andere technologische ontwikkelingen en ondersteuning door massamedia spelen hierbij een belangrijke rol (Ruusuvirta, 2010). De toenemende populariteit van deze hulpmiddelen hangt daarnaast nauw samen met het wegvallen van traditionele ankers van stemgedrag in democratieën (Franklin, Mackie, & Valen, 1992; Dalton & Wattenberg, 2000). Een voorbeeld hiervan is de ontzuiling in Nederland, waardoor niet meer per se ideologisch gestemd wordt. In plaats daarvan wordt bijvoorbeeld gestemd aan de hand van issue voting (Dalton, 2002; Aardal, & Van Wijnen, 2005). Issue voting betekent dat de keuzes van stemmers bepaald worden door hun afstand tot standpunten van partijen ten opzichte van belangrijke politieke kwesties. VAAs doen zich voor op vele niveaus: lokaal, provinciaal, nationaal en zelfs transnationaal in het kader van Europese verkiezingen. In Nederland hebben VAAs zich ontwikkeld tot intensief gebruikte hulpmiddelen binnen het electoraat. De belangrijkste
11 Nederlandse VAA is Stemwijzer, ontwikkeld door de onafhankelijke ideële politieke organisatie ProDemos. Deze VAA werd tijdens de landelijke Tweede Kamerverkiezingen van 2012 4.9 miljoen keer (Garzia & Marschall, 2012) geraadpleegd. Een andere Nederlandse VAA is Kieskompas, ontwikkeld door het dagblad Trouw in samenwerking met de Vrije Universiteit Amsterdam. Deze VAA werd tijdens diezelfde verkiezingen 1.2 miljoen keer geraadpleegd (Van de Pol et al., geaccepteerd). De diverse verschijningsvormen en het frequente gebruik van VAAs zijn belangrijke redenen om deze tools te beschouwen als een relevant veld voor wetenschappelijk onderzoek. 2.2
Likert-schalen
VAAs maken gebruik van Likert-items om stemmers’ meningen ten opzichte van politieke kwesties te kunnen meten. Een Likert-schaal is een samenstelling van meerdere Likert-items en is een veelgebruikte vorm van attitudemeting (Lam, Allen, & Green, 2010). De schaal bestaat uit tweezijdige evaluaties waarin respondenten gevraagd wordt zich te positioneren op een dimensie tussen negatief en positief (Lam et al., 2010; Johns, 2010; Gemenis, 2012). De schaal is gebaseerd op de claim dat attitudes variëren volgens een dimensie van negatief tot positief. Deze dimensie wordt middels Likert-schalen aangeboden aan respondenten, zodat zij een responsoptie kunnen kiezen die het best hun positie op die dimensie reflecteert (Johns, 2010). Ieder Likert-item bestaat uit een stamstelling en een responsschaal. Voor de stamstellingen gelden voorschriften en belangrijke te vermijden formuleringen. Deze komen aan bod in hoofdstuk 6.1. De polen van de responsschaal nemen meestal de vorm eens-oneens aan. Over het aantal responspunten van een antwoordschaal in algemene vragenlijsten wordt nog gediscussieerd. Deze bevat nu vaak vijf tot negen schaalpunten (Matthews & Ross, 2010). De reden hiervoor is dat de schaal op deze manier een compromis vormt tussen twee conflicterende doelen: het bieden van voldoende keus en de antwoordschaal behapbaar maken voor de respondent. Wanneer drie schaalpunten geïmplementeerd zijn, wordt enkel richting gemeten, in plaats van ook de sterkte van de attitude. Echter, de gelabelde vijfpuntsschaal kan volgens Gemenis (2012) nadelig zijn voor de zuiverheid van de meting. Respondenten moeten namelijk over twee dimensies nadenken: richting (mee eens/niet mee eens) en intensiteit (niet/helemaal niet) (Duncan & Stenbeck, 1987).
12 2.2.1 Likert-schalen in VAAs De twee meest prominente Nederlandse stemhulpen maken gebruik van Likert-items met een driepuntsantwoordschaal (Stemwijzer) (1) en een vijfpuntsantwoordschaal (Kieskompas) (2). De benaming van de antwoordopties verschilt bij de twee VAAs. Bij Stemwijzer draagt de middelste antwoordoptie het label ‘Geen van beide’, bij Kieskompas het label ‘neutraal’. Beide antwoordschalen bevatten tevens een non-responsoptie. De optie draagt bij Stemwijzer het label ‘Sla deze vraag over’ en bij Kieskompas het label ‘geen mening’.
(1). De gemeente moet uitgaansactiviteiten organiseren voor jongeren onder de 18 jaar.
(2). De gemeente moet legale wietteelt mogelijk maken.
VAAs maken weliswaar gebruik van Likert-items, maar voldoen niet aan de eisen die een zuivere attitudemeting vergt. Likert-schalen gebruiken idealiter meerdere itemmetingen per attitude, zodat verschillende facetten van vaak complexe, multidimensionale attitudes bestreken worden. Op deze manier wordt bovendien de impact van eventuele incidentele fouten waar individuele respondenten en items aan onderhevig zijn, zoals het kiezen van een verkeerd antwoord, verkleind (Johns, 2010). In VAAs wordt echter, om het invullen behapbaar te houden, meestal slechts een enkel item per attitude gebruikt. VAAs bevatten immers over het algemeen 30 stellingen met elk een ander onderwerp. 2.3
De Middelste Antwoordoptie 2.3.1
De Bedoelde Functie van de Middelste Antwoordoptie
Het is gangbaar dat een responsschaal van een Likert-item een oneven aantal responsopties heeft, zodat participanten een ‘neutraal’ middenpunt kunnen innemen en dus niet gedwongen worden een richting te kiezen (Matthews & Ross, 2010). De middelste antwoordoptie in een Likert-schaal moet een neutrale respons indiceren die een attitude vertegenwoordigt waarvan
13 de intensiteit het midden van het eens-oneens bipolaire continuüm uitdrukt. De keuze voor deze optie moet dus een inhoudelijke mening vertolken. Het bieden van een middenpunt kan voordelig zijn in termen van validiteit en betrouwbaarheid (Krosnick & Presser, 2010). Het ontbreken ervan kan respondenten namelijk ergeren en riskeert bovendien de kwaliteit van de data (Johns, 2010), doordat respondenten gedwongen worden een mening te geven over een attitudeobject terwijl ze dat mogelijkerwijs, om wat voor reden dan ook, niet willen of kunnen. Door Likert zelf werd het middenpunt gelabeld als ‘onbeslist’ (Johns, 2010). Sindsdien kent de categorie echter vele namen: ‘neutraal’, ‘onbeslist’, ‘onzeker’, ‘niet zeker’, ‘?’ en het tegenwoordig gebruikelijke ‘noch eens, noch oneens’ (Lam et al., 2010; Baka et al., 2012; Johns, 2010). 2.3.2 De Functie van de Middelste Antwoordoptie in Praktijk Hoewel de middelste antwoordoptie bedoeld is als inhoudelijke respons, vertegenwoordigt de middelste antwoordcategorie in praktijk ook non-responsen. Selectie van deze antwoordoptie vindt dus plaats op basis van twee gronden: een van attitude en een van non-attitude (Baka et al., 2012; Lam et al., 2010). Onderzoek vindt kortom een gebrek aan consistentie met betrekking tot de interpretatie van het middenpunt door respondenten. Een keuze voor het middenpunt kan gebaseerd zijn op attitudinale gevoelens van de respondent, zoals tegenstrijdigheid (Schuman & Presser, 1996) of van woede/verachting jegens de vraag (Baka et al., 2012). De middelste antwoordoptie vertegenwoordigt echter overwegend non-attitudinale overwegingen, zoals het gebrek aan een geformuleerde mening door respondenten (Baka et al., 2012), onverschilligheid of vermoeidheid (Krosnick, 1991), of als een sociaal wenselijk antwoord (Sturgis, Roberts, & Smith, 2014). De keuze voor het middenpunt geldt in het kader van een sociaal wenselijk antwoord als een ‘safe haven’; een alternatief voor het innemen een onpopulair standpunt (Gemenis, 2012). Schuman en Presser (1996) ondervonden dat de keuze voor de middelste antwoordoptie soms gerelateerd is aan gebrek aan informatie of gebrek aan een mening over het attitudeobject, gevoelens van lage intensiteit jegens het object, een relatief mindere mate van overweging en interesse, of onzekerheid over de attitudesterkte. 2.3.3 De Middelste Antwoordoptie in VAAs Nu de functies van de middelste antwoordoptie in algemene vragenlijsten besproken zijn, gaat het in dit hoofdstuk over de interpretaties van de middelste antwoordoptie in VAAs. Het is van belang dat de verschillende betekenissen van keuzes voor de middelste antwoordoptie en
14 de non-responsoptie in VAAs in kaart worden gebracht, omdat wanneer onderzoekers zich niet bewust zijn van de betekenissen, gevolgen negatief van aard kunnen zijn. Wanneer achterliggende betekenissen van keuzes voor de middelste antwoordoptie en de non-responsoptie onbekend zijn, en er een eventuele overlap tussen de opties ontstaat, hindert dit de interpretatie van attitudes en de winning van resultaten, waardoor de betrouwbaarheid en de validiteit in het geding komen (Baka et al. 2012). Omdat VAAs trachten een stemadvies te geven, bestaat de mogelijkheid dat het advies dan niet optimaal is. Immers, wanneer mensen geen mening hebben en toch voor de middelste antwoordoptie kiezen, wordt deze keuze ten onrechte meegenomen in het advies van de VAA. Het is namelijk wenselijk dat alleen inhoudelijke antwoorden meegenomen worden in dit advies, zodat het advies beter aansluit bij de attitudes van de gebruiker. Baka et al. (2012) onderzochten of de interpretaties van de middelste antwoordoptie en de non-responsoptie uit de vragenlijstliteratuur, zich ook openbaarden tijdens hun studie gericht op de Griekse VAA Helpmevote, of dat er zich nieuwe toeschrijvingen aan, en verklaringen voor de selectie van deze opties voor zouden doen. Middels een open oproep wierven zij 71 universitaire psychologiestudenten als participanten. De participanten werd gevraagd een papieren variant van VAA-vragenlijst betreffende de lokale verkiezingen van 2010 in te vullen. Vervolgens werd hen verzocht de vragen waarop het antwoord 3 (noch eens, noch oneens) of 6 (geen mening) was te markeren en hun motivering achter de keuze op te schrijven. Deze werd vervolgens geanalyseerd aan de hand van een kwalitatieve inhoudsanalyse om de dominante thema’s en verschillen in termen van betekenis in de verstrekte antwoorden te identificeren. De verhouding middelste antwoordoptie/non-respons was 389 om 113 keuzes. Uit de resultaten bleken drie hoofdcategorieën van betekenis toegeschreven te worden aan de middelste antwoordoptie. De eerste categorie in het onderzoek van Baka et al. (2012) bestond uit twee betekenissen: ‘overdracht van gebrek aan kennis’ en ‘onverschilligheid’. Antwoorden in deze categorie kwamen voornamelijk voor bij vrij technische vragen naar domeinspecifieke kennis betreffende bijvoorbeeld economische/fiscale onderwerpen. De vraag “Erfbelasting zou afgeschaft of symbolisch moeten worden” resulteerde bijvoorbeeld in antwoorden waaruit een gebrek aan kennis over erfbelasting bleek. Daarnaast werd deze categorie gekenmerkt door behoeften aan meer verduidelijking. Een minderheid toonde onverschilligheid jegens het onderwerp van de stelling. De tweede categorie betrof het overbrengen van inhoudelijke dilemma’s en ambivalentie. Hierbij plaatsten participanten waarden (bijv. gelijkheid vs. vermogen),
15 belangen van sociale groepen (bijv. autochtonen vs. allochtonen) of verschillende sectoren (bijv. economie vs. cultuur) naast elkaar. De stelling “Verdere immigratie naar Griekenland moet onmiddellijk beperkt worden” ontlokte bij respondenten bijvoorbeeld antwoorden die aan de ene kant het morele recht van immigranten om een betere levenskwaliteit te zoeken ondersteunen, maar aan de andere kant de negatieve effecten van onbeperkte immigratie op de levenskwaliteit van autochtone inwoners benoemen. Dit zijn het soort overwegingen waar de middelste antwoordoptie voor bedoeld is. De laatste categorie betrof het betwisten van de verwoording en/of de aannames van de stelling. In deze categorie vielen motiveringen waarin bezwaar gemaakt werd tegen de veronderstelde aannames in een vraag, of waarin de geformuleerde dilemma’s in een stelling openlijk verworpen werden. De subcategorieën betroffen: het ontkennen van twee elkaar uitsluitende alternatieven, het betwisten van een geopperde causaliteit en het dagen van de vergelijkende formulering in de stelling. Bijvoorbeeld de stelling “We moeten meer aandacht besteden aan de rechten van in Griekenland geboren Grieken met Griekse ouders”, waarop een participant als volgt reageerde: “We moeten meer aandacht besteden aan de rechten van zowel inheemsen als immigranten.” Hiermee betwist deze participant de veronderstelling dat er onderscheid gemaakt moet worden in afkomst van de bevolking. 2.4
De Non-responsoptie 2.4.1 De Bedoelde Functie van de Non-responsoptie
De responsschaal van een Likert-item wordt vaak uitgebreid met een non-responsoptie. Een non-respons is in attitudemetingen een respons die, in tegenstelling tot het neutrale middenpunt, niet bijdraagt aan de meting van de betreffende attitude (Lam et al., 2010). Dit kan bijvoorbeeld zijn omdat de informatie in het item onbekend of nieuw is voor de respondent en deze zodoende nog geen attitude over het attitudeobject gevormd heeft (Lam et al., 2010). 2.4.2 De Functie van de Non-responsoptie in Praktijk De betekenis van een keuze voor de non-responsoptie kent in realiteit vele non-attitudinale facetten. Een non-respons kan duiden op onbezorgdheid of verwarring bij de participant (Francis & Busch, 1975). Een non-respons kan een ‘ik weet het niet’ zijn: een gebrek aan informatie. Daarnaast kan een non-respons een respons zijn die niet informatief is over het attitudeobject, zoals een omissie (een weglating). Een respons is tevens niet informatief wanneer deze willekeurig is (Lam et al., 2010). Dit is wanneer respondenten raden omdat ze
16 de vraag niet begrijpen of wanneer ze simpelweg niet de moeite willen nemen om een doordachte respons te geven. Krosnick (1991) noemt dit ‘satisficing’: respondenten vermijden dan de inspanning die nodig is om het item te beantwoorden, maar houden de schijn hoog dat zij de vraag op verantwoorde wijze beantwoorden. Een non-respons kan echter ook attitudinaal zijn, bijvoorbeeld een moedwillige systematische respons (Francis & Busch, 1975; Lam et al., 2010). Een non-respons is systematisch maar irrelevant wanneer deze voortkomt uit een doelbewuste poging om een bepaalde indruk achter te laten, of uit een onbewuste neiging tot milde, neutrale of toegevende responsen (Lam et al., 2010). Het is zaak dat respondenten non-responsen niet uiten middels een keuze voor de middelste antwoordoptie, omdat de non-respons dan ten onrechte meegenomen zou worden in de meting van de attitude. Johns (2010) stelt echter dat respondenten terughoudend blijken te zijn in het gebruik van een echte non-responsoptie zoals ‘ik weet het niet’. 2.4.3 De Non-responsoptie in VAAs In het onderzoek van Baka et al. (2012) werden voor het gebruik van de non-responsoptie dezelfde drie hoofdcategorieën van overwegingen gevonden als bij de middelste antwoordoptie: overdracht van gebrek aan kennis/onverschilligheid, het overbrengen van inhoudelijke dilemma’s/ambivalentie en het betwisten van de verwoording/aannames van de stelling. Het verschil tussen de twee opties blijkt dus niet scherp omlijnd, aangezien respondenten neigen de opties door elkaar te gebruiken (Baka et al., 2012; Lam et al., 2010). Voor de keuze van de ‘geen mening’-optie werden tevens enkele afwijkende redenen gevonden. Zo werd geconstateerd dat respondenten de optie kozen bij gebrek aan informatie over het vraagstuk. De respondenten vonden het vraagstuk bijvoorbeeld onbelangrijk, begrepen de zinsbouw of bewoording niet of vonden de vraag te onduidelijk. De nonresponsoptie reflecteerde tevens vertwijfeling bij de respondenten over de effectiviteit van de in de stelling voorgestelde maatregelen. 2.5
Koppeling met het Huidige Onderzoek
Wat opvalt bij de resultaten van Baka et al. (2012) is dat de categorieën vaak meerdere van elkaar verschillende subcategorieën bevatten, die samengepakt worden om zo een uitspraak over het resultaat te doen. Dit roept om een meer gedetailleerde codering in vervolgonderzoek. De bevindingen van Baka et al. (2012) roepen tevens de vraag op of dergelijke resultaten zich ook voor zullen doen in een meer heterogene participantengroep dan de groep studenten uit
17 het onderzoek van Baka et al. (2012). Daarnaast is het interessant om te onderzoeken of de redenen die de respondenten van Baka et al. (2012) noemen voor het gebruik van de middelste antwoordoptie en de non-responsoptie, ook aan het licht komen bij een andere lijst stellingen in de daadwerkelijke omgeving van een VAA in plaats van op papier. Omdat Baka et al. (2012) een vijfpunts antwoordschaal gebruikten, wordt in de huidige studie geprobeerd de resultaten van Baka et al. (2012) uit te breiden door een driepuntsschaal te hanteren. De Stemwijzer-familie van VAAs maakt gebruik van een driepuntsschaal. Daarom zal deze VAA gebruikt worden tijdens deze studie. Zodoende wordt in het volgende hoofdstuk de werking van Stemwijzer uiteengezet. 2.6
De Werking van Stemwijzer
In dit hoofdstuk wordt de werking van Stemwijzer besproken. Dit dient als achtergrondinformatie bij de methode van dit onderzoek (hfdst. 3). De gegevens zijn afkomstig van Stemwijzer.nl. Voor de samenstelling van de stellingen analyseert ProDemos, de ontwikkelaar van Stemwijzer, de verkiezingsprogramma’s van de deelnemende gemeentelijke politieke partijen. Op basis van deze informatie stelt de organisatie een groslijst samen van vijftig stellingen die op het moment van de verkiezingen belangrijk en actueel zijn. Deze lijst wordt aan de partijen voorgelegd. Zij geven aan of ze het eens of oneens zijn met de stelling, of dat ze voor de middelste antwoordoptie kiezen. ProDemos controleert vervolgens of dit standpunt overeenkomt met de informatie in het verkiezingsprogramma van die partij. De stellingen waarover partijen duidelijk van mening verschillen worden in de Stemwijzer opgenomen. De onderwerpen waarover alle partijen het eens zijn, vallen logischerwijs af. Er wordt voor gezorgd dat twee partijen nooit 30 dezelfde antwoorden geven. Uiteindelijk ontstaat er een lijst van maximaal dertig stellingen die in de Stemwijzer voor de betreffende gemeente wordt opgenomen. De partijen kunnen hun standpunt bij iedere stelling toelichten aan de gebruiker. De gebruiker kan deze toelichtingen bij iedere stelling opvragen door te klikken op een button. Om het stemadvies te berekenen gebruikt Stemwijzer de methode van de meeste overeenkomst. Iedere stelling waarbij gebruiker en partij hetzelfde antwoord geven, telt als een punt. Partijen kunnen een stelling niet overslaan, gebruikers wel. De stelling waarbij een gebruiker voor de non-responsoptie ‘sla deze vraag over’ kiest, wordt dus niet meegerekend in het stemadvies.
18 Na het beantwoorden van de 30 stellingen kunnen gebruikers aangeven welke onderwerpen zij extra belangrijk vinden. Wanneer een stelling gaat over een onderwerp dat de gebruiker extra belangrijk vindt, en de gebruiker en de partij geven hetzelfde antwoord, dan telt de stelling als twee punten. Het resultaat van Stemwijzer bestaat uit een lijst van partijen, gerangschikt naar de mate van overeenkomst tussen antwoorden op stellingen. Bovenaan staat de partij waarvan de antwoorden het meest overeenkwamen met die van de gebruiker. Onderaan de partij waarmee de gebruiker de minste overeenkomst vertoonde. Gebruikers krijgen de mogelijkheid om te kiezen welke partijen meegenomen worden in het resultaat. 2.7
Onderzoeksvragen Studie 1
De literatuur in hoofdstuk 2 toont aan dat er onder respondenten inconsistentie bestaat bij de interpretatie van de middelste antwoordoptie en de non-responsoptie in vragenlijsten. Dit probleem blijkt zich ook in de context van VAAs voor te doen (Baka et al., 2012). Gebruikers kiezen ook op basis van de uit theoretisch oogpunt verkeerde gronden, voor de middelste antwoordoptie en de non-responsoptie. Deze constateringen leiden tot de volgende onderzoeksvragen die onderzocht worden aan de hand van de VAA Stemwijzer gericht op de gemeenteraadsverkiezingen van maart 2014 in de gemeente Helmond. De eerste onderzoeksvraag is descriptief en luidt:
1.
Welke betekenissen hebben de middelste antwoordoptie en de non-responsoptie voor gebruikers van VAAs? 1. a.
Welke overwegingen liggen ten grondslag aan keuzes voor de middelste antwoordoptie en de non-responsoptie in VAAs?
1. b.
Welke functies dichten gebruikers van VAAs toe aan de middelste antwoordoptie en de non-responsoptie, wanneer zij hiernaar expliciet gevraagd worden in een stellingoverschrijdende vraag?
Uit de literatuur in hoofdstuk 2 blijkt dat een keuze voor de middelste antwoordoptie wel meegerekend wordt in het stemadvies. De optie dient een neutrale respons te indiceren die een attitude vertegenwoordigt waarvan de intensiteit het midden van het eens-oneens bipolaire continuüm uitdrukt (dilemma’s of ambivalentie dus). De overige vermelde overwegingen gelden als non-responsen en moeten uitgedrukt worden door de non-responsoptie die niet
19 meegerekend wordt in het stemadvies. Het onderzoek is daarom uitgebreid met twee normatieve onderzoeksvragen:
2.
In hoeverre kiezen gebruikers van VAAs de middelste antwoordoptie en de nonresponsoptie op basis van de bedoelde gronden?
3.
In hoeverre schatten gebruikers van VAAs de verwerking van een keuze voor de middelste antwoordoptie en de non-responsoptie juist in? 3. Methode Studie 1
3.1
Design
Studie 1 richtte zich op de redenen die VAA-gebruikers hebben voor het kiezen van de middelste antwoordoptie en de non-responsoptie. Middels twee meetmethoden; een kwalitatief hardopdenk-onderzoek en een interview met de respondent, werden de betekenissen die deze opties hebben voor VAA-gebruikers achterhaald. Een deel van de participanten (N = 20) namen deel aan het hardopdenk-onderzoek gevolgd door het interview. De overige participanten (N = 35) namen enkel deel aan het interview. Er is gekozen voor twee meetmethoden zodat triangulatie plaats kon vinden. 3.2
Materiaal
Participanten beantwoordden 30 stellingen gericht op de gemeente Helmond voor de gemeenteraadsverkiezingen van 2014 op de website van Stemwijzer. Er is gebruik gemaakt van de daadwerkelijke Stemwijzer zodat de volgorde en formulering van de stellingen, de vormgeving van de VAA en de antwoordschaal zo natuurgetrouw mogelijk waren. Zoals eerder vermeld, bevatte de Stemwijzer een driepuntsantwoordschaal die de labels ‘eens’, ‘geen van beide’ en ‘oneens’ droeg, aangevuld met de non-responsoptie ‘sla deze vraag over’. Appendix A toont de 30 stellingen die participanten beantwoordden. 3.3
Instrumentatie
Het onderzoek bevatte een toestemmingsverklaring, een vragenlijst voorafgaand aan het invullen van de VAA en een na afloop van het invullen van de VAA. De vragenlijst vooraf bestond uit twee onderdelen: een formulier met persoonsgegevens en vragen over de relatie van de proefpersoon met VAAs en politiek. De vragenlijst na afloop van het invullen van de VAA bevatte een evaluatie van de Stemwijzer Helmond. In de hardopdenk-conditie bevatte de vragenlijst nog een extra onderdeel waarin participanten gevraagd werd het hardop denken te
20 evalueren. De gehele vragenlijst is terug te vinden in appendix B. De onderdelen van de vragenlijsten worden nu nader besproken. 3.3.1 Proefpersoon, VAAs en politiek Om een beeld te krijgen van de samenstelling van de respondentgroep, is gevraagd naar geslacht, leeftijd, opleidingsniveau, bekendheid met VAAs (ja/nee), eerder gebruik van Stemwijzer Helmond (ja/nee/weet ik niet) en het al dan niet stemmen tijdens de gemeenteraadsverkiezingen in Helmond (ja/nee). Daarnaast is de politieke interesse (1), politiek begrip (2) en politieke positie (3, 4) van de proefpersonen bevraagd. De vragen over politieke interesse en begrip zijn ontleend aan Van de Pol et al. (geaccepteerd).
(1) Hoeveel interesse heeft u in de politiek? Heel veel interesse
Veel interesse
Niet veel/ Niet weinig
Weinig interesse
Helemaal geen interesse
O
O
O
O
O
(2) Ik vind dat ik de politieke kwesties die momenteel in onze gemeente spelen goed begrijp. Helemaal eens
Eens
Niet eens/ Niet oneens
Oneens
Helemaal oneens
O
O
O
O
O
(3) Waar plaatst u zichzelf op deze politieke as? Links O
Rechts O
O
O
O
O
O
O
O
O
O
(4) Waar plaatst u zichzelf op deze politieke as? Progressief O
Conservatief O
O
O
O
O
O
O
O
O
O
3.3.2 Begrijpelijkheid Stemwijzer Om te onderzoeken of de meetmethode invloed had op het proces van het invullen van de VAA, is in de vragenlijst na afloop gevraagd hoe begrijpelijk participanten de VAA ervoeren.
21 Begrijpelijkheid is als construct gemeten aan de hand van zes begrippen, ontleend aan Maes, Ummelen en Hoeken (1996). Antwoorden werden gegeven op een vijfpunts Likert-schaal (5). Cronbach’s alfa toonde echter dat de betrouwbaarheid van het construct matig was α = .55. Aangezien de verminderde betrouwbaarheid niet aan één van de vragen toe te wijzen was, zijn de evaluaties zodoende verder individueel meegenomen. De vragen over begrijpelijkheid van de VAA lieten geen effect zien van meetmethode (F(1,53) < 3.59, p > .06). Dit construct lijkt aan te tonen dat de twee meetmethoden de begrijpelijkheid van de VAA niet in meerdere of mindere mate belemmerd hebben.
(5) Ik vond deze Stemwijzer:
Moeilijk
Helemaal eens
Eens
Niet eens/ Niet oneens
Oneens
Helemaal oneens
O
O
O
O
O
3.3.3 Evaluatie Hardop Denken In de hardopdenk-conditie bevatte de vragenlijst na invulling van de VAA een extra onderdeel. Ook deze vraag diende ter controle op de vergelijkbaarheid van de twee meetmethoden. Participanten zijn gevraagd om hun recente ervaring met hardop denken te evalueren (6) aan de hand van vijf vragen, ontleend aan Van den Haak, De Jong en Schellens (2003). Cronbach’s alfa (α = .74) wees uit dat de interne consistentie van de vijf vragen hoog was. De hardopdenk-methode is positief geëvalueerd M = 3.82 (schaal 1-5). De hardopdenk-methode heeft participanten dus waarschijnlijk niet belemmerd in hun taak.
(6) Het hardop denken heb ik ervaren als:
Tijdrovend
3.4
Helemaal eens
Eens
Niet eens/ Niet oneens
Oneens
Helemaal oneens
O
O
O
O
O
Procedure
Het onderzoek is afgenomen in mei 2014. Afnames waren vergelijkbaar in die zin dat ze allemaal plaatsvonden na de verkiezingen. De afnames waarbij men zowel hardop dacht als geïnterviewd werd, duurden ongeveer een half uur. Afnames waarbij enkel het interview
22 afgenomen is, duurden ongeveer 20 minuten. De procedures voor de beide meetmethoden worden nu verder uiteengezet. 3.4.1 Het Invullen van de VAA 3.4.1.1 Het Hardopdenk-onderzoek Tijdens het hardopdenk-onderzoek werd gebruik gemaakt van de concurrent-think-aloud (CTA) methode (Van den Haak, De Jong, & Schellens, 2007). Dit hield in dat participanten de 30 Stemwijzer stellingen beantwoordden en simultaan hun gedachten hardop verwoordden. De handelingen van de participanten werden geobserveerd en er werd tegelijkertijd inzicht verkregen in de gedachtegang van de participanten tijdens het invullen van de VAA. Hieruit konden vervolgens redenen voor keuzes voor de middelste antwoordcategorie en de nonresponsoptie gedestilleerd worden. Alle afnames verliepen individueel en vonden plaats op een rustige locatie waar deelnemers niet gestoord werden tijdens het uitvoeren van het onderzoek. De proefpersoon nam plaats achter een laptop met internetverbinding. Naast de laptop werd een externe muis geplaatst ten behoeve van het gebruiksgemak van de proefpersoon. Op de laptop stond een browservenster open op de URL helmond.stemwijzer.nl. De uitvoering van de taak in de hardopdenkmethode werd op de achtergrond geregistreerd met de software Camtasia Studio 8. Hiermee werd tegelijkertijd de stem van de participant opgenomen alsmede de handelingen en processen op de laptop. Proefpersonen is verteld dat het doel van het onderzoek “het inzicht verkrijgen in het gebruik van online politieke stemhulpen” was. Vervolgens verwees de proefleider naar de introductie van het onderzoek in het vragenlijstpakket waarin proefpersonen meer over het precieze verloop van het onderzoek lazen. Nadat de proefpersoon de introductie las, vroeg de proefleider of alles duidelijk was en verwees deze de proefpersoon door naar de toestemmingsverklaring en de instructies voor hardop denken. Na het lezen van de instructie herhaalde de proefleider mondeling de belangrijkste punten:
1.
“Des te meer u uw gedachten verwoordt, des te meer aanknopingspunten wij hebben om het invullen van stemhulpen in kaart te brengen. Let erop dat u al feedback geeft terwijl u een antwoord probeert te kiezen.”
2.
“U mag Stemwijzer en het internet gebruiken zoals u dat thuis ook zou doen. U kunt op dit vlak mijn aanwezigheid negeren.”
23 3.
“Er zijn geen goede of foute antwoorden. Het gaat om uw mening.”
Nadat de instructie doorgenomen was en de mondelinge uitleg over hardop denken gegeven was, kon worden gestart met het invullen van het formulier persoonsgegevens dat mede diende ter oefening met het hardop denken. Tijdens deze oefentaak spoorde de proefleider de proefpersoon aan tot hardop denken. De proefleider meldde dat de proefpersoon de verteller was en de proefleider de luisteraar. De proefpersoon mocht gedurende de oefentaak nog vragen stellen aan de proefleider. Alvorens met het invullen van de VAA begonnen werd, volgde nog een laatste mondelinge toelichting: “U kunt nu starten met de Stemwijzer. De Stemwijzer bevat in totaal 30 stellingen. Het is de bedoeling dat u uw antwoorden op de website aanklikt. Gebruik de Stemwijzer zoals u dat normaal ook zou doen. Ik wil nogmaals benadrukken dat het de bedoeling is dat u zo veel mogelijk probeert uw gedachten te verwoorden. Er zijn geen goede of foute antwoorden. Het gaat om uw mening. Veel succes!”
De proefleider positioneerde zich tijdens het experiment uit het zicht van de proefpersoon, maar hield wel zicht op het scherm en de participant. Tijdens de uitvoering van de taak hield de proefleider een logboek bij waarin hij de stellingen waarbij de middelste antwoordoptie of de non-responsoptie gekozen werd noteerde, evenals algemene informatie over de uitvoering van de taak en eventuele opvallendheden. Er vond interactie plaats tussen proefleider en participant naar voorbeeld van de ‘speech communication’ benadering van Boren en Ramey (2000). Dit hield in dat de proefleider de participant probeerde te stimuleren om hardop te denken wanneer zich hierin haperingen voordeden. De proefleider stimuleerde de participant in het geval van een stilte langer dan ongeveer 10-20 seconden door te zeggen: “Probeer zo veel mogelijk hardop te blijven denken”, “Mm-hmm”, of “Probeer je handelingen en gedachten hardop te benoemen”. Indien de proefpersoon hierop niet reageerde en er niet voldoende geverbaliseerd werd, dan werd de proefpersoon nogmaals aangespoord om hardop te denken (na ongeveer 30-60 seconden). Dit gebeurde door te vragen “Wat denk je nu?”. Krahmer en Ummelen (2004) stelden dat zulke interactie bevorderlijk is voor de setting en het voorbereiden van de deelnemer op het experiment, het gaande houden van hardop denken, het omgaan met technische problemen en proactieve verduidelijking.
24 In praktijk bleek aansporing nauwelijks nodig en leverde het hardop denken weinig tot geen problemen op bij participanten. In het geval van vragen antwoordde de proefleider ontkennend: “Sorry, ik kan helaas geen vragen beantwoorden. Ik ben benieuwd naar hoe u de Stemwijzer normaalgesproken in zou vullen.” Na afloop van het invullen van de Stemwijzer vulden proefpersonen de evaluatie van de VAA en het hardop denken in, waarna de proefleider overging tot het interview. 3.4.1.2 Het Invullen van de VAA Zonder Hardop Denken De procedure voor proefpersonen die niet deelnamen aan het hardopdenk-onderzoek, was grotendeels gelijk aan die voor de hardop denkende proefpersonen. De eerstgenoemden vulden de VAA echter in stilte in. Daarnaast zijn bij participanten in deze meetmethode, de handelingen op de laptop en het geluid van de proefpersoon tijdens het invullen van de VAA niet opgenomen. Ook ontbraken vanzelfsprekend de instructies en de evaluatie met betrekking tot het hardop denken. 3.4.2 Individueel Interview Terwijl de participant de stellingen van Stemwijzer Helmond al dan niet hardop denkend invulde, hield de proefleider bij welke stellingen beantwoord werden met de middelste antwoordoptie of de non-responsoptie. Na afloop van het invullen van de VAA liep de proefleider met de participant de stellingen door waarbij deze een van die twee opties koos als antwoord. Het interview werd middels een geluidsrecorder opgenomen. De proefleider stelde de participant vragen aan de hand van een interviewschema (appendix C). Het interviewschema werd geconstrueerd naar richtlijnen van Emans (2002). Dit hield in dat het interview de vorm had van een omgekeerde trechter. Het interview begon met de open, niet sturende vraag: “Wat was of waren uw overwegingen bij het beantwoorden van deze stelling?”. Indien het antwoord van de proefpersoon niet informatief genoeg werd bevonden of uitbleef, vroeg de proefleider door middel van steeds specifieker wordende vragen door naar de reden voor het kiezen van de middelste antwoordoptie of de non-respons optie. In praktijk bleek dat de participant, na het stellen van de eerste vraag, vaak al snel een bruikbaar antwoord wist te produceren. Nadat de participant al zijn of haar keuzes voor de middelste antwoordcategorie en de non-respons optie verantwoord had, volgden enkele gerichte vragen naar de functie van deze antwoordopties. De proefleider vroeg de participant: “Kunt u mij in uw eigen woorden vertellen wat u denkt dat de functie van de middelste antwoordoptie ‘Geen van beide’ is?”.
25 Vervolgens werd dezelfde vraag gesteld over de ‘Sla deze vraag over’ optie. Hierna vroeg de proefleider aan de participant of deze dacht dat bij een keuze voor ‘Geen van beide’ en/of ‘Sla deze vraag over’, de betreffende stelling meegerekend werd in het uiteindelijke stemadvies van de VAA. Indien een participant bij geen van de 30 stellingen koos voor ‘Geen van beide’ of ‘Sla deze vraag over’, vroeg de proefleider of de proefpersoon nog getwijfeld had over het gebruik van een van deze twee opties en waarom. Het interview werd afgesloten met de vraag of de proefpersoon nog vragen of opmerkingen had met betrekking tot het onderzoek of de VAA. In 24 gevallen waren er opmerkingen van de participanten, waarvan de meeste een interessant beeld gaven van hoe zij de VAA beschouwden. Enkele opmerkingen zullen in de discussie aangehaald worden. 3.5
Participanten
De archetypische VAA-gebruiker is man, jong, hoogopgeleid en bovengemiddeld geïnteresseerd in politiek (Garzia & Marschall, 2012; Van de Pol et al., geaccepteerd). Deze gebruikers zijn vaak zwevend, stemmen dus niet standaard op een bepaalde partij en vinden VAAs bruikbaarder naarmate ze politiek ingewikkelder vinden (Van de Pol et al., geaccepteerd). Tijdens de samenstelling van de proefpersoongroep is geprobeerd rekening te houden met deze kenmerken. De participantengroep bestond uit 55 inwoners van de gemeente Helmond, waarvan 27 mannen en 28 vrouwen. Twintig van hen voerden de ‘hardopdenk’-taak uit en namen deel aan het interview. Van de 55 participanten namen er 35 enkel deel aan het interview. De gemiddelde leeftijd was 43 jaar (SD = 15.24) en liep uiteen van 19 tot en met 67 jaar. Dit benaderde de studie van Van de Pol et al. (geaccepteerd), waaruit bleek dat de gemiddelde leeftijd van de Kieskompas-populatie ongeveer 40 jaar is. De participantengroep in deze studie heeft een hogere gemiddelde leeftijd dan de respondentengroep van Baka et al. (2012), die varieerde tussen de 18 en 25 jaar. Van de 55 proefpersonen was 60% hoogopgeleid en was 40% niet hoogopgeleid. De definitie van hoogopgeleid (universitair of HBO) kwam overeen met die van Van de Pol et al. (geaccepteerd), evenals het percentage van 60% hoogopgeleiden binnen de Kieskompaspopulatie geschetst door Van de Pol et al. (geaccepteerd). Het onderzoek van Baka et al. (2012) bestond uit louter hoogopgeleiden. Van de participanten in deze studie was 85.5% al bekend met online stemhulpen en had 58.2% de Stemwijzer van de gemeenteraadsverkiezingen van 2014 in Helmond nog niet
26 gebruikt. Onder de participanten bracht 70.9% zijn of haar stem uit tijdens de Helmondse gemeenteraadsverkiezingen in maart 2014. De participanten scoorden gemiddeld op politieke interesse (M = 3.15, SD = .86; schaal 1-5) en politiek begrip (M = 3.02, SD = .94; schaal 1-5). De proefpersoongroep was gemiddeld genomen links (M = 3.76, SD = 2.14; schaal 0-10), progressief (M = 3.18, SD = 1.59; schaal 0-10) georiënteerd. Tot slot is gekeken naar de relaties tussen de proefpersoonkenmerken. De sekses verschilden niet van elkaar op leeftijd (Mman = 45.2, SD = 16.4; Mvrouw = 41.0, SD = 14.3; t(53) =1.01, p =.32). Opleidingsniveau ging gepaard met een verschil in leeftijd (Mhoog = 39.9, SD = 16.1; Mlaag = 47.7, SD = 13.3; t(53) 1.90, p =.025). Er was geen relatie tussen sekse en opleidingsniveau (Man-hoog = 27%, Vrouw-hoog = 22%; χ2(1) = .44, p =.51). Sekse ging niet gepaard met een verschil in politieke opvatting: Links – Rechts: Mman = 4.11, SD = 2.42, Mvrouw = 3.43, SD = 1.85, t(53) = 1.18, p = .25; Prog. – Cons.: Mman = 2.93, SD = 1.64, Mvrouw = 3.43, SD = 1.55, t(53) = 1.17, p = .25. Dit gold ook voor opleidingscategorie en politieke opvatting: Links – Rechts: Mhoog = 4.12, SD = 2.40, Mlaag = 3.23, SD = 1.66, t(53) = 1.52, p = .13; Prog. – Cons.: Mhoog = 3.00, SD = 1.44, Mlaag = 3.45, SD = 1.82, t(53) = 1.03, p = .31. Deze resultaten tonen aan dat de belangrijke kenmerken evenredig verdeeld zijn over de participantengroep en dat de groep daadwerkelijk divers van samenstelling is. 3.6
Codering
De antwoorden van participanten werden zowel bij het hardopdenk-onderzoek als het interview opgenomen en later middels een kwalitatieve inhoudsanalyse geanalyseerd. Het doel van beide meetmethoden was om overwegingen kwantitatief te identificeren, door de verbalisaties van respondenten te markeren en categoriseren. Uiteindelijk werd zo een codeerschema gecreëerd waarmee de betekenis van de middelste antwoordcategorie en de non-responsoptie achterhaald kon worden. De analyse en het schema zijn gebaseerd op het onderzoek van Baka et al. (2012). Het codeerschema van Baka et al. (p.c.) dat vertoond wordt in appendix D, is uitgebreid en aangepast tijdens dit onderzoek. Waar Baka et al. (2012) wel het onderscheid tussen attitudinale en non-attitudinale responsen vermeldden in hun studie, maakten zij dit onderscheid niet in de categorieën van het codeerschema. Daarnaast waren de hoofdcategorieën van Baka et al. (2012), zoals eerder is betoogd, erg breed. Baka et al. (2012) namen afwijkende subcategorieën, zoals ‘gebrek aan kennis’ en ‘onverschilligheid’, samen in een hoofdcategorie en deden vervolgens uitspraken over de hoofdcategorieën. Zodoende is de
27 opzet van het huidige codeerschema gedetailleerder van aard. In het codeerschema van Baka et al. (2012) ontbraken tevens definities en voorbeelden van de categorieën. Deze zijn dientengevolge wel ontwikkeld ten behoeve van het codeerschema voor deze studie. Het resultaat van deze ontwikkelingen was in eerste instantie het codeerschema dat te zien is in tabel 1. Het schema bevat attitudinale responsen, non-attitudinale responsen en twee categorieën die apart van deze tweedeling opereren. De keuze voor de tweedeling in het codeerschema kwam voort uit de in hoofdstuk 2.3 genoemde aanname dat selectie van de middelste antwoordoptie gebeurt op basis van twee gronden: een van attitude en een van nonattitude (Baka et al., 2012; Lam et al., 2010). De attitudinale categorieën dilemma, ambivalentie en het betwisten van de stelling, zijn ontleend aan de bevindingen van Baka et al. (2012) met betrekking tot de middelste antwoordoptie (hfdst. 2.3) en de non-responsoptie (hfdst. 2.4). De categorieën worden beschouwd als attitudinaal, omdat overwegingen in deze categorieën altijd een mening van de participant bevatten; bij dilemma’s wegen twee meningen immers even zwaar, bij ambivalentie zijn de meningen van de participant in strijd met elkaar en bij betwistingen heeft de participant een sterke mening over de stelling an sich. De non-attitudinale categorieën onwetendheid en onverschilligheid zijn eveneens ontleend aan de bevindingen van Baka et al. (2012). De aanname dat de middelste antwoordoptie en de non-responsoptie gebruikt worden voor sociaal wenselijke antwoorden kwam voort uit Gemenis (2012). De categorieën worden beschouwd als non-attitudinaal omdat overwegingen in deze categorieën erop duiden dat de participant geen mening over het attitudeobject kan of wil geven. Een onwetende participant kan immers niet een mening geven over een attitudeobject waarover hij of zij niet voldoende kennis heeft en een participant die het attitudeobject in een stelling niet belangrijk vindt, zal niet de moeite nemen zijn of haar mening te geven. Een participant die een sociaal wenselijk antwoord geeft, heeft weliswaar wel een mening, maar het antwoord dat de participant geeft weerspiegeld deze mening niet. Zodoende is ook deze categorie non-attitudinaal; het antwoord vertegenwoordigt niet de mening van de participant. De overige categorieën zijn tijdens het coderen toegevoegd, omdat de hardop verwoorde gedachten of de antwoorden van respondenten tijdens het interview niet onder te brengen waren in één van de uit theorie voortkomende categorieën.2 Omdat Lam et al. (2010) 2
Hardop verwoorde gedachten werden als ‘missing’ gecodeerd wanneer deze verbalisaties niet informatief genoeg bleken of niet te verstaan waren. Een voorbeeld hiervan is de verbalisatie van deze proefpersoon:
28 en Baka et al. (2012) constateerden dat de middelste antwoordoptie en de non-responsoptie door elkaar gebruikt werden en de functies dus soms uitwisselbaar bleken voor respondenten, werden de categorieën bij het coderen van beide opties gebruikt. Overwegingen van participanten konden in meerdere categorieën tegelijk vallen, zoals de verbalisatie van een participant tijdens het beantwoorden van de VAA-stelling “De gemeente moet meer geld geven aan Super Sociaal (de supermarkt voor arme huishoudens)” aantoont: “De gemeente is er voor uitkeringen, niet om Super Sociaal overeind te houden. Bovendien weet ik niet wat de supermarkt nu krijgt.” De verbalisatie bevat en een attitudinale respons in de vorm van het ‘verwerpen van de aanname’ dat het de taak van de gemeente is om geld te geven aan een supermarkt voor arme huishoudens. Daarnaast bevat de verbalisatie een non-attitudinale respons in de vorm van ‘onwetendheid’ over het bedrag dat de supermarkt op het moment van invullen van de VAA reeds ontving van de gemeente. Alle hardop verwoorde gedachten werden door twee masterstudenten gecodeerd om de betrouwbaarheid van de coderingen te toetsen. De hoofdonderzoeker codeerde alle hardopdenk-verbalisaties en creëerde zo het codeerschema. Een masterstudent Communicatie & Organisatie van Universiteit Utrecht, die op het moment van schrijven bezig was aan een onderzoek naar hetzelfde onderwerp, fungeerde als tweede codeur. De tweede codeur identificeerde de hardopdenk-verbalisaties aan de hand van het door de hoofdonderzoeker geconstrueerde codeerschema. De interbeoordelaarsbetrouwbaarheid per categorie werd gecontroleerd middels Cohen’s kappa. De resultaten hiervan zijn te zien in tabel 2. Over de interpretatie van Cohen’s Kappa bestaat nog onenigheid, in deze studie wordt uitgegaan van de interpretatiemethode zoals beschreven in Rietveld en Van Hout (1993, p. 219): .00-.20 = zwak, .21-.40 = gering, .41-.60 = matig, .61-.80 = goed, .81-1.0 = uitstekend. Voor de interpretatie is uitgegaan van de Kappa-waarde gedeeld door de maximale Kappa-waarde (de meest rechtse kolom). De maximale Kappa waarde is de waarde die de interbeoordelaarsbetrouwbaarheid maximaal kan bereiken wanneer de observatiedistributie niet gelijk is. Dit is in deze studie het geval, omdat verbalisaties in meerdere categorieën konden vallen, wisselde het aantal observaties per te coderen verbalisatie tussen de twee codeurs. De maximale Kappa kon daarom niet bij iedere categorie ‘1.0’ zijn.
“Ik kan geen verdere argumentatie bedenken over waarom ik ‘geen van beide’ kies”.
29 Tabel 1 Codeerschema met Responscategorieën, Bijbehorende Definities en Voorbeelden Code
Attitudinale / inhoudelijke respons
Definitie
Voorbeeld
11
Dilemma
De twee alternatieven in de geopperde wisselwerking van de stelling wegen even zwaar voor de participant.
"Ik vind wel dat de thuiszorg gehandhaafd moet worden, maar ik vind niet dat de lokale belastingen omhoog mogen."
12
Ambivalentie
De participant koestert tegenstrijdige gevoelens ten opzichte van het in de stelling bevraagde attitudeobject.
"For the time being vind ik het een leuke oplossing, maar ik denk dat er ook wel iets anders gebouwd kan worden."
13
De inhoud van de stelling wordt betwist
De participant kiest bewust voor een de middelste antwoordoptie of non-responsoptie, omdat deze wil ageren tegen de stelling.
"Dat vind ik een stomme stelling."
14
De stemhulp wordt betwist
De participant hekelt het medium, omdat Stemwijzer en/of de stellingen niet voldoen aan de verwachtingen/eisen van de participant.
"Dan zit je in zo'n modus van: weer zo'n onzinvraag en dan ga je steeds meer overslaan."
15
Vermijden consequenties eens of oneens
De participant kiest voor een de middelste antwoordoptie of non-responsoptie om de mogelijke consequenties van een keuze voor eens of oneens op het resultaat van de Stemwijzer te voorkomen.
"Als ik oneens kies, lijkt het alsof ik het tegenovergestelde nastreef, maar dat is niet."
16
Stelling niet mee laten tellen in het advies.
De participant kiest voor de middelste antwoordoptie of non-responsoptie omdat deze in de veronderstelling is dat de stelling dan niet meegenomen wordt in het resultaat van de Stemwijzer.
"Zodat je die niet meetelt in de punten die worden vergeleken met de partijen."
1
2
Non-attitudinale / oppervlakkige respons 20
Non-attitudinale / oppervlakkige respons
De participant geeft geen antwoord op de stelling. Heeft geen mening. Gebruikt de middelste antwoordoptie of non-responsoptie als vlucht.
"Dan geef je geen antwoord." "Daar heb ik geen mening over." "Als escape voor mensen."
21
Onwetendheid
De participant kiest voor de middelste antwoordoptie of non-responsoptie omdat deze niet genoeg kennis heeft van het onderwerp van de stelling. De stelling draagt niet genoeg informatie met zich mee of is verwarrend.
"Daar weet ik niet genoeg vanaf."
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
De stelling wekt relatief minder interesse bij de participant waardoor deze de stelling een mindere mate van overweging gunt.
"Wat interesseert mij dat nou?"
23
Niet van toepassing
Het onderwerp van de stelling is niet van toepassing op de participant en deze wil/kan de stelling daarom niet beantwoorden met eens of oneens.
"Ik heb geen auto, dus ik weet niet hoe groot het probleem is."
24
Sociaal wenselijk antwoord
De participant wil geen sociaal onwenselijke inhoudelijke respons geven dus gebruikt de middelste antwoordoptie of non-responsoptie als 'safe haven'.
"Ik houd mijn mening hierover liever privé."
31
Later op terug komen
De participant kiest voor 'Sla deze vraag over' in de veronderstelling dat deze de stelling later nogmaals gepresenteerd krijgt.
"Ik dacht: dan kom ik hier later op terug."
32
Foutieve keuze
De participant wilde eigenlijk voor eens of oneens kiezen maar koos per abuis voor een de middelste antwoordoptie of nonresponsoptie.
"Dat had eigenlijk eens/oneens moeten zijn."
3
Overige responsen
30
De interbeoordelaarsbetrouwbaarheid was voor 10 van de 13 categorieën goed tot uitstekend. Bij drie categorieën waren de betrouwbaarheidsniveaus onvoldoende. Bij categorie 20 en 31 werd dit gebrek aan betrouwbaarheid veroorzaakt doordat de onderzoeker de categorie wel gebruikte en de tweede codeur deze in zijn geheel niet gebruikte. Bij de categorie ‘dilemma’ (11) bestond een verschil in de interpretatie van de begrippen dilemma en ambivalentie tussen de onderzoeker en de tweede codeur. Na bestudering van de codering van deze twee categorieën, is gekozen om de codering van de onderzoeker aan te houden, omdat deze meer recht deed aan de in het codeerschema opgestelde definiëring. De tweede codeur kon alle verbalisaties interpreteren middels het codeerschema. Er werden geen nieuwe categorieën toegevoegd.
Tabel 2 Responscategorieën en Indicaties Interbeoordelaarsbetrouwbaarheid aan de hand van Cohen’s Kappa, de Maximaal Mogelijke Kappa en Kappa/Maximale Kappa Code
Attitudinale / inhoudelijke respons
Kappa (SE)
Kappa Max
Kappa / Kappa Max
11
Dilemma
-.02 (.45)
0.91
-.03
12
Ambivalentie
.67 (.10)
.82
.82
13
De inhoud van de stelling wordt betwist
.66 (.10)
.80
.83
14
De stemhulp wordt betwist
1 (0)
1
1
15
Vermijden consequenties eens of oneens
1 (0)
1
1
16
Stelling niet mee laten tellen in het advies.
1 (0)
1
1
1
2
Non-attitudinale / oppervlakkige respons 20
Non-attitudinale / oppervlakkige respons
0 (.49)
.93
0
21
Onwetendheid
.33 (.10)
.48
.68
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
.57 (.10)
.73
.79
23
Niet van toepassing
.79 (.15)
.96
.82
24
Sociaal wenselijk antwoord
1 (0)
1
1
3
Overige responsen 31
Later op terug komen
0 (.96)
.98
0
32
Foutieve keuze
1 (0)
1
1
31 4. Resultaten Studie 1 Het onderzoek naar de vraag welke betekenissen VAA-gebruikers hechten aan de middelste antwoordoptie en de non-responsoptie (hfdst. 4.2), is op twee manieren geoperationaliseerd. De overwegingen van participanten, bij keuzes voor de middelste antwoordoptie en de nonresponsoptie, tijdens het beantwoorden van VAA-stellingen zijn onderzocht (hfdst. 4.2.1). Daarna zijn participanten expliciet gevraagd naar welke functies zij toedichten aan de twee opties (hfdst. 4.2.2). Alvorens de eerste onderzoeksvraag wordt behandeld, wordt in hoofdstuk 4.1 uiteengezet hoe vaak de antwoordopties gekozen zijn. 4.1
Keuzefrequenties Antwoordopties
De VAA werd ingevuld door 55 participanten die elk 30 stellingen beantwoordden. Dit resulteerde in 1650 antwoorden. De verdeling van de antwoordkeuzes over de vier antwoordopties is terug te vinden in tabel 3. Participanten kozen 283 keer voor de middelste antwoordoptie ‘Geen van beide’. Dit kwam overeen met 17.2% van het totaal aantal antwoorden. Participanten kozen 27 keer voor de non-responsoptie ‘Sla deze vraag over’, wat overeen kwam met 1.6% van alle antwoorden. Het percentage voor de middelste antwoordoptie kwam redelijk overeen met het keuzepercentage voor deze optie (18.3%) in de studie van Baka et al. (2012). Het keuzepercentage voor de non-responsoptie lag in deze studie lager dan in de studie van Baka et al. (2012), 1.6% om 5.3%. Participanten waren dus terughoudend in het gebruik van de non-responsoptie.
Tabel 3 Keuzefrequenties Antwoordopties door Participanten (N=55) Antwoord
Frequentie
Percentage
Eens
745
45.2
Oneens
594
36.0
Geen van beide
283
17.2
Sla deze vraag over
27
1.6
Missing
1
0.1
Totaal
1650
100*
Noot. Na correctie afrondingsverschillen.
32 4.1.1 Persoonskenmerk of Stellingkenmerk Proefpersonen kozen bij het beantwoorden van de 30 stellingen gemiddeld 5.64 (SD = 3.93) keer voor de middelste antwoordoptie en de non-responsoptie. Frequenties liepen uiteen van nul tot vijftien keuzes voor de middelste antwoordoptie en de non-responsoptie per persoon. Iedere stelling werd door de 55 proefpersonen gemiddeld 10.33 (SD = 6.70) keer beantwoord met de middelste antwoordoptie of de non-responsoptie. Frequenties liepen uiteen van twee tot 34 keuzes voor de middelste antwoordoptie en de non-responsoptie per stelling. De standaarddeviaties voor stellingen en proefpersonen zijn beide groot. Hieruit blijkt een grote variantie aan keuzes voor de twee antwoordopties binnen zowel persoons- als stellingkenmerken. Zowel persoons- als stellingkenmerken wakkeren keuzes voor de middelste antwoordoptie en de non-responsoptie aan. 4.2
Betekenis van de Middelste Antwoordoptie en de Non-responsoptie 4.2.1 Overwegingen tijdens Beantwoorden Stellingen
Om de overwegingen van participanten bij het beantwoorden van VAA-stellingen in kaart te brengen, werd gekeken naar hoe vaak de hoofdcategorieën van overwegingen; attitudinaal, non-attitudinaal en overig, voorkwamen tijdens het hardop denken (HOD) en het interview. Overwegingen konden, zoals vermeld, in meerdere categorieën vallen. Tabel 4 toont het resultaat van deze tellingen. Bij beide antwoordopties bleek uit de twee meetmethoden dat participanten vaker nonattitudinale overwegingen (54.1%) dan attitudinale overwegingen (41.7%) hadden. De hoofdcategorieën van overwegingen worden in de komende hoofdstukken specifieker uitgewerkt.
33 Tabel 4 Frequenties Overwegingen per Antwoordoptie en Meetmethode (Percentages binnen Meetmethode) Middelste antwoordoptie Code
Categorie
1
Attitudinale respons
2
Non-attitudinale respons
3
Overige responsen Totaal
Interview
Totaal
Interview
HOD
198 (47.3) 36 (28.8)
13 (28.9)
0
247 (41.7)
209 (49.9) 83 (66.4)
26 (57.8)
3 (75)
321 (54.1)
6 (13.3)
1 (25)
25 (4.2)
45 (100)
4 (100)
593 (100)
12 (2.9)
HOD
Non-responsoptie
6 (4.8)
419 (100) 125 (100)
4.2.1.1 De Middelste Antwoordoptie De percentages binnen de interview-meetmethode en de hardopdenk-meetmethode in tabel 5 en 6 gaven globaal hetzelfde beeld. Dit laat zien dat de twee meetmethoden (triangulatie); het interview en het hardop denken, elkaars beeld van de overwegingen ten grondslag aan keuzes voor de middelste antwoordoptie ondersteunen. Tabel 5 laat zien dat de meest voorkomende attitudinale reden voor het kiezen van de middelste antwoordoptie ‘het betwisten van de stelling’ was (47%). Een voorbeeld hiervan is deze verbalisatie van een participant: “Ik vind dit een kort door de bocht stelling.” 3 Een tweede attitudinale overweging die zich vaak voordeed bij participanten was het kiezen van de middelste antwoordoptie op basis van ‘ambivalentie’ (38.9%), waar deze verbalisatie een voorbeeld van is: “Ik denk wel dat daar een oplossing voor moet komen, maar om je daar nou tegen te verzetten vind ik ook geen goed idee.” ‘Onwetendheid’ bleek de voornaamste non-attitudinale reden (tabel 6) te zijn voor het kiezen van de middelste antwoordoptie, zo ook bij deze participant: “Ik vind dat ik niet genoeg informatie heb over waar die weg dan door zou gaan.” Onwetendheid was tevens over alle categorieën, de meest voorkomende reden voor het kiezen van de middelste antwoordoptie.
3
Overwegingen in de categorie ‘het betwisten van de stelling’ zijn specifieker gecodeerd. De resultaten reiken te ver om in dit hoofdstuk op te nemen, maar de exploratie is wel gerapporteerd in appendix E.
34
Tabel 5 Frequenties Attitudinale Overwegingen bij Keuze voor de Middelste Antwoordoptie ‘Geen van Beide’ per Meetmethode (Percentages binnen Meetmethode)
Code
Categorie
Interview
HOD
Totaal
11
Dilemma
24 (12.1)
3 (8.3)
27 (11.5)
12
Ambivalentie
78 (39.4)
13 (36.1)
91 (38.9)
13
Inhoud stelling betwist
90 (45.5)
20 (55.6)
110 (47.0)
14
Stemhulp betwist
15
Vermijden consequenties eens of oneens
16
Stelling niet mee laten tellen in het advies. Totaal attitudinaal
6 (3.0)
198 (100)
6 (2.6)
36 (100)
234 (100)
Tabel 6 Frequenties Non-attitudinale Overwegingen bij Keuze voor de Middelste Antwoordoptie ‘Geen van Beide' per Meetmethode (Percentages binnen Meetmethode) Code
Categorie
Interview
HOD
Totaal
20
Non-attitudinale / oppervlakkige respons
1 (0.5)
3 (3.6)
4 (1.4)
21
Onwetendheid
157 (75.0)
60 (72.3)
217 (74.3)
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
37 (17.7)
14 (16.9)
51 (17.5)
23
Niet van toepassing
13 (6.2)
6 (7.2)
19 (6.5)
24
Sociaal wenselijk antwoord
1 (0.5)
Totaal Non-attitudinaal
209 (100)
1 (0.3)
83 (100)
292 (100)
35
4.2.1.2 De Non-responsoptie Bij het analyseren van de attitudinale overwegingen ten grondslag aan het kiezen van de nonresponsoptie (tabel 7) zijn, net als bij de middelste antwoordoptie, ‘ambivalentie’ en ‘het betwisten van de inhoud van de stelling’4 naar voren gekomen als de attitudinale redenen die participanten het vaakst aandroegen voor het kiezen van de non-responsoptie (beide 46.2%). Wat betreft non-attitudinale overwegingen (tabel 8), bleek dat participanten het vaakst ‘onwetend’ waren en daarom kozen voor de non-responsoptie. Dit was eveneens het geval bij de middelste antwoordoptie. ‘Onwetendheid’ als reden voor een keuze van de nonresponsoptie vormde 89.7% van de non-attitudinale overwegingen tijdens de interviews en het hardop denken en was daarmee ook in totaal de meest voorkomende reden voor het kiezen van de non-responsoptie. Wat vermeldenswaardig is over de keuzes voor de non-responsoptie, is dat de optie weinig is gekozen (1.6% van de antwoorden). De optie werd maar door tien participanten gekozen, waarvan 51.9% afkomstig was van slechts één participant. Bovendien bleken er geen attitudinale overwegingen bij deze non-responsoptie overgebracht te zijn tijdens het hardop denken (tabel 7). Vanwege deze beperkte data, is ervoor gekozen om met betrekking tot de non-responsoptie, in tegenstelling tot bij de middelste antwoordoptie, geen uitspraak over eventuele verschillen tussen de meetmethoden te doen.
Tabel 7 Frequenties Attitudinale Overwegingen bij Keuze voor de Non-responsoptie ‘Sla deze Vraag Over’ per Meetmethode (Percentages binnen Meetmethode) Code
Categorie
11
Dilemma
12
Ambivalentie
6 (46.2)
6 (46.2)
13
Inhoud stelling betwist
6 (46.2)
6 (46.2)
14
Stemhulp betwist
1 (7.7)
1 (7.7)
15
Vermijden consequenties eens of oneens
16
Stelling niet mee laten tellen in het advies. 13 (100)
13 (100)
Totaal attitudinaal
4
Interview
Voor exploratie van deze categorie, zie appendix E.
HOD
Totaal
36
Tabel 8 Frequenties Non-attitudinale Overwegingen bij Keuze voor de Non-responsoptie ‘Sla deze Vraag Over’ per Meetmethode (Percentages binnen Meetmethode) Code
Categorie
Interview
HOD
Totaal
20
Non-attitudinale / oppervlakkige respons
21
Onwetendheid
23 (88.5)
3 (100)
26 (89.7)
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
2 (7.7)
2 (6.9)
23
Niet van toepassing
1 (3.8)
1 (3.4)
24
Sociaal wenselijk antwoord Totaal Non-attitudinaal
26 (100)
3 (100)
29 (100)
4.2.1.3 Overige Overwegingen Naast attitudinale en non-attitudinale overwegingen, waren er ook nog enkele overige overwegingen die niet binnen deze tweedeling gevangen konden worden (tabel 9). Vijf keer werd de non-responsoptie ‘Sla deze vraag over’ gekozen omdat participanten dachten dat ze tijdens het invullen later bij die specifieke stelling terug zouden keren. Zij hadden dus extra bedenktijd nodig, zoals deze participant: “Ik dacht dat ik die stelling op het eind nog een keer zou krijgen”. Daarnaast bleek in 16 gevallen dat participanten een ‘foutieve keuze’ maakten, omdat zij per abuis voor de middelste antwoordoptie of de non-responsoptie kozen terwijl hun eigenlijke bedoeling was om voor eens of oneens te kiezen.
37 Tabel 9 Frequenties Overige Overwegingen per Antwoordoptie en Meetmethode (Percentages binnen Meetmethode) Middelste antwoordoptie Code
Categorie
31
Later op terug komen
32
Foutieve keuze
999
Missing Totaal
Interview
12 (100)
HOD
2 (33.3)
Non-responsoptie Interview
HOD
4 (66.7)
1 (100)
2 (33.3)
6 (100)
5 (20.0) 16 (64.0)
4 (66.7) 12 (100)
Totaal
4 (16.0) 6 (100)
1 (100)
25 (100)
4.2.2 Functies Antwoordopties Ter aanvulling op de redenen die bij specifieke stellingen ten grondslag lagen aan keuzes voor de middelste antwoordcategorie en de non-responsoptie, is de betekenis van de middelste antwoordoptie en de non-responsoptie op een andere manier geoperationaliseerd. Participanten zijn gericht gevraagd naar wat zij dachten dat de functies van de middelste antwoordoptie en de non-responsoptie waren. De verwachting was dat het beeld van de betekenis van deze opties via deze stellingoverschrijdende methode verder kon worden aangevuld. Bovendien werd verwacht een eerste inzicht te krijgen in of de functies gebruikt worden op basis van de gronden waarvoor ze bedoeld zijn. De antwoorden op deze vragen zijn gecodeerd volgens de categorieën van hoofdstuk 4.2.1. De frequenties hiervan worden getoond in tabel 10. Het codeerschema moest wel met twee responscategorieën uitgebreid worden, omdat de vraagstelling enkele andersoortige antwoorden bleek voort te brengen. In 5.9% van de antwoorden kwam bijvoorbeeld naar voren dat de functies van de middelste antwoordoptie en de non-responsoptie ‘uitwisselbaar’ waren in de ogen van de participant (code 33). Daarnaast bleek in 0.8% van de gevallen dat proefpersonen dachten dat de opties bedoeld waren om te voorkomen dat mensen een respons zouden geven terwijl zij niet voldoende van het onderwerp weten (code 34: ‘preventie nonrespons’). Ook bij deze operationalisatie vielen antwoorden in meerdere categorieën, zoals het antwoord van deze participant op de vraag “Kunt u mij in uw eigen woorden vertellen wat u denkt dat de functie is van de middelste antwoordoptie ‘geen van beide’?” illustreert: “Als je er geen kennis over hebt, of als je het niet interessant vindt.” Het antwoord van deze
38 participant duidt er tegelijkertijd op dat de participant de middelste antwoordoptie kiest bij ‘onwetendheid’ en bij ‘onverschilligheid’. Het antwoord kreeg in dergelijke gevallen twee codes. De functie die het vaakst aan de middelste antwoordoptie werd toegeschreven door participanten, was vanuit theoretisch oogpunt een van de ‘bedoelde’, namelijk om uiting te geven aan ‘ambivalentie’ (28.7%). Deze functie werd echter gevolgd door het uiting geven aan ‘onwetendheid’ (24.8%). Een theoretisch gezien, onjuiste interpretatie. Uiting geven aan een ‘dilemma’ werd als twee na vaakst genoemd (20.2%). Dit is een van de ‘correcte’ theoretische functies van de middelste antwoordoptie. De functie die participanten het vaakst aan de non-responsoptie toegewezen, was ‘onwetendheid’ (31.2%). Gevolgd door de globale categorie ‘non-attitudinale/oppervlakkige respons’ (16.5%) waarmee mensen aangaven dat zij de non-responsoptie kozen wanneer zij ‘geen mening’ hadden over de stelling, of de optie zagen als escape en als het niet beantwoorden van de vraag. De op twee na meest frequent toegeschreven optie betrof ‘onverschilligheid’ (12.8%). De participanten schatten de functie van de non-responsoptie over het algemeen goed in. De ‘incorrecte’ betekenissen van deze optie; ‘ambivalentie’ en ‘dilemma’, werden immers slechts 8 keer (7.3%) genoemd als functie van de nonresponsoptie. Het algemene beeld dat de resultaten van deze operationalisatie geven, is dat participanten grotendeels de theoretisch juiste functies toeschreven aan de middelste antwoordoptie en de non-responsoptie, wanneer gericht naar deze functies gevraagd werd. Het hoog scoren van ‘onwetendheid’ als functie van de middelste antwoordoptie duidt er echter op dat de functies nog niet helder zijn. In het volgende hoofdstuk wordt het ‘correcte’ gebruik van de antwoordopties verder onderzocht. Wanneer we een koppeling maken met de overwegingen tijdens het beantwoorden van stellingen dan schetst de huidige operationalisatie een ander beeld van de betekenis van de twee opties. Bij de overwegingen (hfdst. 4.2.1), bleek dat ‘onwetendheid’ de belangrijkste reden was om te kiezen voor zowel de middelste antwoordcategorie als de non-responsoptie en bleek ‘het betwisten van de stelling’ een frequent voorkomende overweging bij het kiezen voor het middenpunt. Toen participanten vervolgens gericht gevraagd werd naar de functie van de twee opties (de huidige operationalisatie), bleken zij het uiting geven aan ‘ambivalentie’ en ‘dilemma’s’ te zien als belangrijke functies van de middelste antwoordoptie en beschouwden zij de non-responsoptie als het niet geven van een antwoord/geen meningoptie (‘non-attitudinale/oppervlakkige respons’).
39
Tabel 10 Frequenties van de door Participanten Toegewezen Functies aan de Middelste Antwoordoptie en de Non-responsoptie (Percentages binnen Meetmethode) Code
Functie
1
Non-responsoptie
Totaal
Attitudinale respons / inhoudelijke respons 11
Dilemma
26 (20.2)
3 (2.8)
29 (12.2)
12
Ambivalentie
37 (28.7)
5 (4.6)
42 (17.6)
13
De inhoud van de stelling wordt betwist
5 (3.9)
2 (1.8)
7 (2.9)
14
De stemhulp wordt betwist
15
Vermijden consequenties eens of oneens
16
Stelling niet mee laten tellen in het advies.
1 (0.8)
12 (11.0)
13 (5.5)
2
Non-attitudinale / oppervlakkige respons 20
Non-attitudinale / oppervlakkige respons
11 (8.5)
18 (16.5)
29 (12.2)
21
Onwetendheid
32 (24.8)
34 (31.2)
66 (27.7)
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
8 (6.2)
14 (12.8)
22 (9.2)
23
Niet van toepassing
1 (0.8)
2 (1.8)
3 (1.3)
24
Sociaal wenselijk antwoord
4 (3.1)
3 (2.8)
7 (2.9)
31
Later op terug komen
4 (3.7)
4 (1.7)
3
4.3
Middelste antwoordoptie
Overige responsen 32
Foutieve keuze
33
Functies uitwisselbaar
3 (2.3)
11 (10.1)
14 (5.9)
34
Preventie non-respons
1 (0.8)
1 (0.9)
2 (0.8)
Totaal
129 (100)
109 (100)
238 (100)
Correct Gebruik van de Antwoordopties
Na het achterhalen van de betekenissen van de middelste antwoordoptie en de nonresponsoptie, is de tweede onderzoeksvraag onderzocht: “In hoeverre kiezen gebruikers van VAAs de middelste antwoordoptie en de non-responsoptie op basis van de bedoelde gronden?” Voordat een antwoord op deze vraag gegeven kon worden, is eerst een tussenstap gemaakt.
4.3.1 Attitudinaal, Non-attitudinaal of Beide? Omdat overwegingen van participanten in meerdere categorieën konden vallen, is onderzocht hoe het gebruik van de twee opties op basis van de ‘bedoelde gronden’, gemeten kon worden.
40 Het was daarvoor wenselijk om te onderzoeken of de tweedeling tussen attitudinale en nonattitudinale overwegingen zich bij participanten strikt gescheiden voordeed. Daarom is onderzocht in hoeveel gevallen overwegingen van een participant een attitudinale grondslag hadden, hoe vaak ze een non-attitudinale grondslag hadden en of de categorieën ook in combinatie voorkwamen (tabel 11). In 171 gevallen viel een overweging in de categorie attitudinaal, waarbij de overweging 109 keer (63.7%) volledig binnen de categorie attitudinaal viel en 62 keer (36.3%) in combinatie met een non-attitudinale reden voorkwam. In 208 gevallen viel een overweging in de categorie non-attitudinaal, waarbij de overweging 146 keer (70.2%) volledig uit non-attitudinale redenen bestond en vanzelfsprekend ook 62 keer (29.8%) in combinatie met een attitudinale grondslag voorkwam. Wat opviel was dat er geen zuiver attitudinale overwegingen tijdens de hardopdenk-methode voorkwamen, enkel in combinatie met non-attitudinale overwegingen. Ter illustratie herhalen we een voorbeeld van een combinatie van overwegingen uit hoofdstuk 3.6: “De gemeente is er voor uitkeringen, niet om de supermarkt voor arme huishoudens overeind te houden. Bovendien weet ik niet wat de supermarkt nu krijgt.” De verbalisatie bevat en een attitudinale respons in de vorm van ‘het verwerpen van de aanname’ dat het de taak van de gemeente is om geld te geven aan een supermarkt voor arme huishoudens. Daarnaast bevat de verbalisatie een non-attitudinale respons in de vorm van ‘onwetendheid’ over het bedrag dat de supermarkt op het moment van invullen van de VAA reeds ontving van de gemeente. Het blijkt dus dat attitudinale en non-attitudinale responsen bij beide meetmethoden ook in combinatie voorkwamen. Hierdoor kan ‘correct’ gebruik van de twee antwoordopties op basis van de ‘bedoelde gronden’, alleen gemeten worden door vast te stellen of aan keuzes voor de opties ten minste één juiste overweging ten grondslag ligt. Immers, wanneer een participant voor de middelste antwoordoptie kiest vanwege zowel ‘ambivalentie’ als ‘onwetendheid’, is dit dan ‘correct’ gebruik van de optie? Omdat niet bekend is welke overweging het zwaarst weegt, wordt in het volgende hoofdstuk een verbalisatie die minstens één overweging bevat die vanuit theoretisch oogpunt ‘correct’ is, als juist gebruik beschouwd.
41 Tabel 11 Frequenties Attitudinale Responsen, Non-attitudinale Responsen en Combinaties (Percentages binnen Categorieën) Interview
HOD
Totaal
Attitudinaal Non-attitudinaal
Attitudinaal Non-attitudinaal
Attitudinaal Non-attitudinaal
Binnen categorie
47 (56.6)
56 (60.9)
0 (0.0)
28 (51.9)
109 (63.7)
146 (70.2)
In combinatie
36 (43.4)
36 (39.1)
26 (100)
26 (48.1)
62 (36.3)
62 (29.8)
Totaal
83 (100)
92 (100)
26 (100)
54 (100)
171 (100)
208 (100)
4.3.2 Correct Gebruik van de Antwoordopties In hoofdstuk 2.3 werd geconstateerd dat de middelste antwoordoptie een attitude zou moeten vertegenwoordigen waarvan de intensiteit het midden van het eens-oneens bipolaire continuüm uitdrukt. Op basis van deze aanname rechtvaardigen de responscategorieën ‘dilemma’ en ‘ambivalentie’ correct gebruik van de middelste antwoordcategorie. Zoals hoofdstuk 2.4 toonde, zou de non-responsoptie een respons moeten vertegenwoordigen die, in tegenstelling tot een keuze voor de middelste antwoordoptie, niet bijdraagt aan de meting van de betreffende attitude. Op basis van deze aanname rechtvaardigen alle overige responscategorieën, correct gebruik van de non-responsoptie. Na analyse bleek dat 110 van de 283 keuzes voor de middelste antwoordoptie onder andere gemaakt worden op basis van een ‘dilemma’ of ‘ambivalentie’. Deze overwegingen bevatten ten minste een code voor dilemma of ambivalentie. Voor deze benadering is zoals gezegd gekozen omdat de codes geen gewicht mee kregen. Alle codes waren dus even belangrijk. Dit betekent dat aan 38.9% van de keuzes voor de middelste antwoordoptie, minimaal één correcte overweging ten grondslag lag. Aan 61.1% van de keuzes voor de middelste antwoordoptie lagen geen correcte overwegingen ten grondslag, dus alleen één of meerdere incorrecte overwegingen. Van de 27 keuzes voor de non-responsoptie, vonden er 26 plaats op basis van ten minste één van de correcte responscategorieën (dus niet zijnde een dilemma of ambivalentie) en ontbrak van één keuze een codering. Dit betekent dat aan alle gecodeerde keuzes voor de non-responsoptie, een correcte overweging ten grondslag lag. Wanneer participanten kozen voor de non-responsoptie, gebeurde dit dus ‘correct’. Echter, participanten hadden op basis van de aannames in dit hoofdstuk, in 61.1% van de gevallen moeten kiezen voor de nonresponsoptie in plaats van voor de middelste antwoordcategorie.
42 4.4
Gevolgen Antwoordopties voor Stemadvies
Na het achterhalen van het ‘correcte’ gebruik van de antwoordopties, restte de vraag: “In hoeverre schatten gebruikers van VAAs de verwerking van een keuze voor de middelste antwoordoptie en de non-responsoptie juist in?” Dit is onderzocht door proefpersonen te vragen: “Denkt u dat keuzes voor de antwoordopties ‘Geen van beide’ en ‘ Sla deze vraag over’ meegerekend worden in het stemadvies?” (tabel 12). Het bleek dat 50.9% van de participanten de werking van de VAA goed interpreteerde. Wanneer de middelste antwoordoptie wordt gekozen, wordt de stelling immers wel meegerekend in het stemresultaat en bij de non-responsoptie niet. Van de participanten interpreteerde 47.3% de werking van de VAA echter niet goed, door te stellen dat beide opties wel al dan niet meegenomen worden in het stemresultaat.
Tabel 12 Antwoordfrequenties bij Vraag: Keuze Middelste Antwoordoptie en Non-responsoptie Meegerekend in Stemadvies (Percentages)
Meeberekend
Frequentie
Alleen Middelste Antwoordoptie
28 (50.9)
Beide
15 (27.3)
Beide niet
11 (20.0)
Weet ik niet
1 (1.8)
Totaal
55 (100)
5. Conclusie en Discussie Studie 1 5.1
Conclusies
Studie 1 behandelt het gebruik van de middelste antwoordoptie en de non-responsoptie in VAAs. Met de studie is geprobeerd de betekenis te achterhalen van de middelste antwoordoptie en de non-responsoptie voor gebruikers van VAAs. Uit overwegingen van participanten bij het beantwoorden van VAA-stellingen blijkt dat ‘onwetendheid’ de voornaamste reden is om te kiezen voor de middelste antwoordoptie en de non-responsoptie, gevolgd
door
‘het
betwisten
van
een
stelling’
en
‘ambivalentie’.
Een
andere
stellingoverschrijdende operationalisatie toont aan dat mensen denken dat de functie van de middelste antwoordoptie, het uiting geven aan ambivalentie, onwetendheid en dilemma’s is.
43 De meest genoemde functies van de non-responsoptie zijn daarentegen uiting geven aan onwetendheid, een non-attitudinale/oppervlakkige respons en onverschilligheid. Uit de ene operationalisatie blijkt dus de uitwisselbaarheid van de twee opties. De andere operationalisatie toont wel een verschil in betekenis tussen de opties. Studie 1 probeerde daarnaast een antwoord te vinden op de vraag in hoeverre gebruikers van VAAs, de middelste antwoordoptie en de non-responsoptie gebruiken op basis van de functies waarvoor ze bedoeld zijn. Literatuuronderzoek wijst uit dat in het geval van ambivalentie of een dilemma, gekozen moet worden voor de middelste antwoordoptie. Het blijkt dat dit slechts in 38.9% van de keuzes voor de middelste antwoordoptie het geval is. De non-responsoptie wordt wel op basis van de bedoelde gronden gekozen. Participanten zouden echter bij 61.1% van de keuzes voor de middelste antwoordoptie, moeten kiezen voor de nonresponsoptie. Tot slot is in studie 1 onderzocht of gebruikers van VAAs de gevolgen van een keuze voor de middelste antwoordoptie of de non-responsoptie juist inschatten. Wanneer de middelste antwoordoptie wordt gekozen, wordt een stelling immers wel meegerekend in het stemresultaat, bij een keuze voor de non-responsoptie niet. Het blijkt dat slechts de helft van de participanten de werking van de VAA juist inschat. 5.2
Discussie
Studie 1 wijst uit dat keuzes voor de middelste antwoordoptie en de non-responsoptie vele betekenissen hebben. Om deze betekenissen goed te kunnen duiden, is een gedetailleerd codeerschema geconstrueerd dat in vervolgonderzoeken naar de middelste antwoordoptie en de non-responsoptie, door onderzoekers kan worden gebruikt. De resultaten van studie 1 geven aan dat mensen het vaakst voor de middelste antwoordoptie en de non-responsoptie kiezen vanwege ‘onwetendheid’, ‘het betwisten van stellingen’ en ‘ambivalentie’. Wat dat betreft zijn de resultaten vergelijkbaar met het enige soortgelijke onderzoek naar deze antwoordopties in VAAs door Baka et al. (2012). De resultaten van de huidige studie verschillen echter van het onderzoek van Baka et al. (2012) in het feit dat ‘onwetendheid’ veruit het vaakst de reden was voor een keuze van de middelste antwoordoptie of de non-responsoptie, waar dit bij Baka et al. (2012) het overbrengen van ‘dilemma’s en ambivalentie’ was. De verschillen met de resultaten van Baka et al. (2012) hebben waarschijnlijk te maken met de afwijkende methodologische keuzes in het huidige onderzoek: overwegingen van participanten zijn gedetailleerder gecodeerd. De data zijn verzameld via het invullen van
44 een daadwerkelijke VAA met een driepuntsantwoordschaal, waar de afname van Baka et al. (2012) plaatsvond op papier met een vijfpuntsantwoordschaal. En waar de participantengroep in deze studie bedoeld is als afspiegeling van de gebruikers van VAAs, bestond de groep van Baka et al. (2012) uit studenten. De resultaten waarvoor geen vergelijkende studies beschikbaar zijn, tonen aan dat in meer dan 60% van de gevallen, participanten in plaats van de middelste antwoordoptie, de non-responsoptie zouden moeten kiezen. Daarnaast blijkt uit de huidige studie dat de helft van de participanten, de werking van de antwoordopties in de VAA niet begrijpt. Deze resultaten trekken de validiteit van het stemadvies in twijfel. Immers, wanneer de antwoordopties niet goed gebruikt worden, wordt de politieke attitude van gebruikers niet goed gemeten. Het is zaak dat VAA-ontwikkelaars gebruikers duidelijk instrueren hoe zij de antwoordschalen moeten gebruiken. Tot slot: In hoofdstuk 4.1.1 is een grote variantie aan keuzes voor de twee antwoordopties binnen zowel persoons- als stellingkenmerken geconstateerd. Het aantal keuzes voor de middelste antwoordoptie en de non-responsoptie, varieert dus sterk tussen stellingen onderling en tussen personen onderling.
5
Deze constatering biedt twee
mogelijkheden voor vervolgonderzoek: het onderzoeken van persoonskenmerken die effect hebben op keuzes voor de middelste antwoordoptie en de non-responsoptie, of onderzoek naar stellingkenmerken die invloed hebben op het gebruik van de twee opties. In studie 2 is ervoor gekozen om stellingkenmerken te onderzoeken die mogelijk van invloed zijn op keuzes voor de middelste antwoordoptie en de non-responsoptie. Studie 2 focust zich daarbij op veroorzakers van ‘onwetendheid’ dat, zo bleek uit studie 1, voor participanten de belangrijkste reden is voor het kiezen van de middelste antwoordoptie en de non-responsoptie.
6. Studie 2: Begripsproblemen bij Stellingen Studie 2 onderzoekt of de middelste antwoordoptie en de non-responsoptie vaker worden gekozen, wanneer een stelling bepaalde kenmerken bezit. Dit wordt onderzocht aan de hand van stellingkenmerken die begripsproblemen veroorzaken. Dit lijkt een relevante benadering, omdat uit studie 1 bleek dat onwetendheid (onbegrip) een belangrijke reden is om te kiezen voor de middelste antwoordoptie en de non-responsoptie.
5
Hierbij moet vermeld worden dat de variantie van de interactie tussen personen en stellingen niet berekend is.
45 6.1
Begripsproblemen Vragenlijstliteratuur
In dit hoofdstuk wordt onderzocht of bekende begripsproblemen uit de vragenlijstliteratuur, invloed hebben op keuzes voor de middelste antwoordoptie en de non-responsoptie in VAAs. Zoals uit studie 1 bleek, zijn begripsproblemen (onwetendheid) bij het interpreteren van VAA-stellingen een belangrijke reden voor het kiezen van de middelste antwoordoptie en de non-responsoptie. Van enkele vraageigenschappen is bekend dat ze tot begripsproblemen kunnen leiden bij respondenten in vragenlijstonderzoek. Er komen negen potentiële veroorzakers van begripsproblemen aan bod, waarvan Tourangeau, Rips en Rasinski (2000) er zeven definiëren. De zeven types bronnen van begripsproblemen die zich voordoen in vragenlijstonderzoek volgens Tourangeau et al. (2000) zijn: grammaticale ambiguïteit, excessieve complexiteit, een foutieve vooronderstelling, vage concepten, vage kwantificaties, onbekende termen en overinterpretaties. Deze worden hieronder nader toegelicht. Een vraag met grammaticale ambiguïteit kan verwijzen naar meerdere onderliggende representaties. In een onderzoek naar linguïstische concepten definieert Zhang (1998) ambiguïteit als: uitdrukkingen die meer dan één semantisch ongerelateerde betekenis hebben. In andere woorden, een uitdrukking is ambigue als deze verscheidene parafrases (herformuleringen) heeft, die geen parafrases van elkaar zijn. Een voorbeeld hiervan ontleend aan Taalwinkel.nl is: “De commissie heeft de duistere praktijken van hooggeplaatste personen onder leiding van de Minister van Justitie onderzocht”. Deze zin heeft twee ongerelateerde betekenissen. De zin kan namelijk betekenen dat de minister de duistere praktijken leidde, maar kan ook betekenen dat de minister het onderzoek leidde. ‘Onder leiding van de Minister van Justitie’ heeft kortom twee parafrases die geen parafrases van elkaar zijn. Beide parafrases zijn mogelijk, maar de betekenis van de zin wordt normaal gesproken door de context duidelijk. In enquêtes ontbreekt echter de context vaak en kan grammaticale ambiguïteit mede uiteenlopende interpretaties door respondenten veroorzaken. Excessieve complexiteit betekent dat de structuur van een vraag voorkomt dat respondenten de bedoelde betekenis van de vraag kunnen afleiden. Deze stelling uit Stemwijzer Utrecht (Gemeenteraadsverkiezingen 2014) is hier een voorbeeld van: “Utrecht krijgt nieuwe taken op het gebied van zorg en ondersteuning. Omdat de regering hierop bezuinigt, moet de gemeente er zelf ook geld in steken.” Deze stelling verwoordt de causale relatie tussen de bezuinigingen van de regering en het verkrijgen van nieuwe zorg- en ondersteuningstaken onnodig complex. Het risico van moeilijke stellingen is dat respondenten niet alle mogelijkheden en vereisten kunnen onthouden, waardoor een deel van de betekenis verloren kan gaan. Verlies aan betekenis door complexiteit van een vraag kan een reden zijn
46 voor onbegrip, en zodoende voor het kiezen van de middelste antwoordoptie of de nonresponsoptie. Een vraag met een onjuiste vooronderstelling neemt iets aan dat niet per se waar hoeft te zijn. Neem bijvoorbeeld de stelling: “Om overlast door hangjongeren te voorkomen, moet meer geld worden uitgegeven aan jeugdvoorzieningen en welzijnswerk” (Stemwijzer Gemeente Helmond, Gemeenteraadsverkiezing 2014). In de stelling wordt er vanuit gegaan dat respondenten vinden dat hangjongeren overlast veroorzaken, of op zijn minst dat zij overlast door hangjongeren als een realistische dreiging zien en dat deze te voorkomen is. Respondenten die het niet eens zijn met deze aanname, weten mogelijk niet hoe de stelling te beantwoorden. Vele alledaagse concepten kunnen vaag zijn en verschillende respondenten interpreteren de termen wellicht afwijkend. In de stelling “De gemeente moet uitgaansactiviteiten
organiseren
voor
jongeren
onder
de
18
jaar.”
kunnen
‘uitgaansactiviteiten’ vele dingen betekenen. Zhang (1998) schaart zulke verwarrende concepten onder ‘fuzziness’, letterlijk vertaald als ‘wazigheid’. Een uitdrukking is vaag (wazig) als deze een kenmerk van ‘referentiële ondoorzichtigheid’ bevat. Hiermee wordt bedoeld dat in het voorbeeld, ‘uitgaansactiviteiten’ een vage set aan entiteiten vormt, met een continuüm van niveaus van lidmaatschap (Zadeh, 1965). Een feestavond zal mogelijkerwijs een centraal lid van de set uitgaansactiviteiten zijn, maar een bezoek aan de speeltuin wellicht een meer perifeer lid. De moeilijkheid zit hem in het definiëren van de grenzen van wat ‘uitgaansactiviteiten’ zijn. Respondenten kunnen uitgaansactiviteiten dus verschillend interpreteren en moeite hebben met de denotatie (concrete betekenis) van het concept. Op basis hiervan kunnen zij verschillende responsen geven. Sommige enquête items bevragen ook vage relatieve termen zoals vage kwantificaties. De stelling “Criminelen moeten strenger worden gestraft.” afkomstig uit de transnationale VAA EU Profiler (2009), impliceert door het gebruik van ‘strenger’ een soort van kwantiteit. Respondenten zullen niet allemaal dezelfde interpretatie delen over hoe streng ‘strenger’ is en zullen het item dus anders beantwoorden. Vage kwantificaties vallen ook binnen de term ‘fuzziness’ (wazigheid) van Zhang (1998). ‘Strenger’ kan betekenen dat de gemiddelde detentieperiodes verlengt moeten worden, maar kan ook betekenen dat criminelen voortaan van bruggen gegooid moeten worden. Wat verstaan wordt onder ‘strenger’, hangt dus af van de ervaringen, wereldkennis en overtuigingen van de respondent (Zhang, 1998). Kwantificaties leiden tevens tot problemen bij de interpretatie van responsen. Stel een respondent is het bijvoorbeeld oneens met de stelling. Vindt de respondent dan dat criminelen
47 minder zwaar gestraft moeten worden, of juist even zwaar als dat op het moment van reactie gebeurt? De extra dimensie ‘meer/minder’ vereist extra cognitieve inspanning van de respondent. Een andere bron van betekenisgerelateerde begripsproblemen is het gebruik van termen die respondenten niet kennen. Wanneer een participant niet weet wat onroerendezaakbelasting is, kan deze stelling afkomstig van
Stemwijzer Utrecht
(Gemeenteraadsverkiezingen, 2014) verwarrend werken: “De onroerendezaakbelasting (OZB) moet omlaag”. Tourangeau et al. (2000) eindigen hun zeven bronnen van begripsproblemen door te stellen dat respondenten enquêtevragen kunnen overinterpreteren en daar onjuiste gevolgtrekkingen aan over houden. Tourangeau et al. (2000) gebruiken als voorbeeld de stelling: “Kun je situaties voorstellen waarin je het goed zou keuren dat een politieagent een volwassen mannelijke burger slaat?”. Respondenten kunnen zich waarschijnlijk zulke omstandigheden wel voorstellen, maar zullen toch ‘nee’ antwoorden, omdat ze de vraag niet letterlijk interpreteren. In plaats daarvan reageren respondenten op de vermeende intentie van de vraag: om attitudes ten opzichte van politiegeweld vast te stellen. Zulke gevolgtrekkingen zijn een natuurlijk onderdeel van het interpretatieproces, maar kunnen respondenten op een dwaalspoor brengen. Groves, Fowler, Couper, Lepkowski, Singer en Tourangeau (2009) brengen met betrekking tot vragen naar attitudes in het bijzonder, nog een belangrijk punt ter sprake: het vermijden van zogenaamde ‘double-barreled items’ ter verbetering van het begrip van de vraag. Double-barreled items zijn stellingen die een attitude over meerdere attitudeobjecten bevragen. Volgens Gemenis (2012) komen zulke stellingen in VAAs, ondanks methodologische richtlijnen, met enige regelmaat voor. Gemenis (2012) stelt dat de reden hiervoor is dat ontwerpers van VAAs de noodzaak voelen om politieke alternatieven te presenteren in termen van wisselwerkingen (Gemenis, 2012). Wanneer de ontwerpers dit niet zouden doen, ontlokken zij inconsistente responsen waarbij stemmers ‘meer geld aan bijna alles willen uitgeven’ (Hansen, 1998, p. 514). Toch is interpretatie van zulke vragen moeilijk voor respondenten. Deze double-barreled stelling uit Stemwijzer Eindhoven (2014) “De onroerendezaakbelasting (OZB) moet omlaag, ook als dit leidt tot extra bezuinigingen.”, bevraagt bijvoorbeeld een attitude ten opzichte van de hoogte van de OZB en een attitude ten opzichte van bezuinigingen. Weergeven responsen op de stelling een attitude ten opzichte van het eerste attitudeobject, het tweede, of allebei?
48 Tot slot draagt Gemenis (2012) met betrekking tot VAA-stellingen nog een bron van misinterpretatie aan: kwalificaties in stellingen. Als voorbeeld gebruikt Gemenis (2012) de volgende stelling uit de Oostenrijkse VAA Wahlkabine van 2008: “Moeten belangrijke beslissingen genomen op EU niveau (zoals Turkije’s toetreding, hervormingsverdrag …) onderwerp zijn van een referendum in Oostenrijk, zelfs als een dergelijk referendum niet wordt gehouden in de EU?”. Het voorbeeld over Turkije dient als hulp aan respondenten om ‘belangrijke beslissingen’ te definiëren. Door dit te doen wordt echter een kwalificatie geïntroduceerd die de stelling verandert. Respondenten kunnen hun respons baseren op hun attitude ten opzichte van Turkije in plaats van hun attitude ten opzichte van referenda. De in dit hoofdstuk genoemde stellingkenmerken kunnen leiden tot begripsproblemen bij respondenten. Respondenten kunnen wanneer dit het geval is, hun onbegrip/onwetendheid uiten door te kiezen voor de middelste antwoordoptie of de non-responsoptie.
6.2
Onderzoeksvraag Studie 2
Het lijkt van belang om te onderzoeken in welke mate alle potentiële aanjagers van misinterpretatie genoemd in dit hoofdstuk, voorkomen in VAAs. Vervolgens is het interessant om te zien of stellingen die zulke aanjagers bevatten, ook samengaan met relatief hogere keuzepercentages
voor
de
middelste
antwoordoptie
en
de
non-responsoptie.
De
onderzoeksvraag van studie 2 luidt zodoende:
Kunnen bepaalde stellingkenmerken, keuzes voor de middelste antwoordoptie en de non-responsoptie voorspellen? 6.3
Methode
Om te onderzoeken of stellingen in VAAs de in het vorige hoofdstuk benoemde potentiële aanjagers van begripsproblemen bevatten, zijn aan de hand van een inhoudsanalyse van 149 Stemwijzer-stellingen, vraagformuleringen in kaart gebracht. De stellingen waren afkomstig van
vijf
VAA-vragenlijsten
van
Stemwijzer
ontwikkeld
voor
de
Nederlandse
gemeenteraadsverkiezingen van 2014. De vijf vragenlijsten waren gericht op inwoners van de volgende vijf gemeenten: Helmond, Tilburg, Utrecht, Amsterdam en Eindhoven. Iedere vragenlijst bestond uit 30 stellingen. Met uitzondering van de vragenlijst van Stemwijzer Eindhoven, deze bestond uit 29 stellingen.
49 De onderzoeker codeerde de in totaal 149 stellingen op basis van negen potentiële aanjagers van begripsproblemen die uiteengezet zijn in hoofdstuk 6.1. Wanneer een stelling een dergelijke aanjager bevatte, werd aan de stelling een ‘1’ toegedicht. Bevatte de stelling de betreffende aanjager niet, dan ontving de stelling een ‘0’. De potentiële aanjagers ‘onjuiste vooronderstellingen’, ‘bronnen van overinterpretatie’ en ‘kwalificaties’ deden zich nauwelijks voor in de stellingen en werden uitgesloten van verdere analyse. De overige aanjagers werden allen frequent aangetroffen. Of een stelling een eigenschap bevatte die bij participanten tot begripsproblemen zou kunnen leiden, is intuïtief beoordeeld door de onderzoeker. De interpretatie van de onderzoeker bepaalde dus of een concept mogelijk als ‘vaag’ beschouwd kon worden door een participant, of dat een term mogelijk ‘onbekend’ zou kunnen zijn bij de participant. Om de betrouwbaarheid van de codering van de onderzoeker te controleren, is een steekproef van 30 stellingen een tweede keer gecodeerd door een masterstudent Communicatie en Informatiewetenschappen aan Tilburg University, die eveneens een scriptie over VAAs schreef. Interbeoordelaarsbetrouwbaarheid werd gecontroleerd middels Cohen’s Kappa: K = .54 (SE = .06), Kmax = .69, K/Kmax = .78. Wanneer we wederom uitgaan van de interpretatierichtlijnen van Rietveld en Van Hout (1993, p. 219), scoort de kappa gedeeld door de maximale kappa waarde (.78) hoog in de categorie ‘goed’ (.60-.80). De tweede codeur deelde dus grotendeels de interpretaties van de onderzoeker. Stemwijzer biedt gebruikers de mogelijkheid om hun mening te vergelijken, met die van de overige gebruikers van de Stemwijzer voor de betreffende gemeente. Hieruit zijn de keuzepercentages voor de vier antwoordopties van alle gebruikers af te lezen. Aan de hand van deze statistieken is het gebruik van de antwoordcategorieën geanalyseerd. Voor de vijf gemeenten zijn per stelling de keuzepercentages achterhaald voor de vier antwoordopties in de antwoordschaal: ‘eens’, ‘geen van beide’, ‘oneens’ en ‘sla deze vraag over’. 6.4
Resultaten 6.4.1 Regressie Keuzepercentages Middelste Antwoordoptie en Non-responsoptie
Een meervoudige regressie is uitgevoerd om te onderzoeken of stellingen die grammaticale ambiguïteit, excessieve complexiteit, vage concepten, vage kwantificaties, onbekende termen of double-barreled items bevatten, keuzes voor de middelste antwoordoptie en de nonresponsoptie voorspellen. Omdat vanuit de theorie de aanjagers niet onderscheiden konden worden in belangrijkheid, werd gekozen voor een simultane invoering van alle predictoren.
50 De
predictoren
waren
onderling
niet
sterk
gecorreleerd.
De
aannames
voor
generaliseerbaarheid van de regressiemodellen werden onderzocht. Er werden geen verontrustende signalen van multicollineariteit (VIF, Tolerance), homoscedasticiteit (ZPRED, ZRESID), niet normaal verdeelde residuen of afhankelijkheid van errors (Durbin-Watson) gevonden. Er werden geen outliers gedetecteerd (Cook’s distance). Het eerste model bevatte alle predictoren. Dat wil zeggen alle mogelijke aanjagers van begripsproblemen. Dit model verklaarde 19.3% van de gecorrigeerde variantie in keuzes voor de middelste antwoordoptie en de non-responsoptie (F = 6.92, p < .001). De aanwezigheid van vage kwantificaties (ß = .21, p = .007) en onbekende termen (ß = .39, p < .001) lijken goede voorspellers van keuzes voor de middelste antwoordoptie en de non-responsoptie te zijn. Gemiddeld genomen nemen bij stellingen die vage kwantificaties en onbekende termen bevatten, keuzes voor deze twee opties toe met respectievelijk 3.78 en 10.61 procentpunt. Omdat maar twee predictoren significant bleken, is een tweede regressiemodel gedraaid met daarin alleen de significante predictoren vage kwantificaties en onbekende termen. Dit model verklaarde 19.2% van de gecorrigeerde variantie in keuzes voor de middelste antwoordoptie en de non-responsoptie (F = 18.60, p < .001). Dit was een verbetering van het complete model, aangezien de gecorrigeerde variantie nu verklaard werd door slechts twee predictoren in plaats van zes, waarvan ook niet significante predictoren onderdeel uitmaakten. Tabel 13 toont de veranderingen (B) en de gestandaardiseerde veranderingen (β) van keuzes voor de middelste antwoordoptie en de non-responsoptie, veroorzaakt door de predictoren in het complete model en het nieuwe model. ‘B’ indiceert de verandering in het keuzepercentage voor de middelste antwoordoptie en de non-responsoptie wanneer de predictor (bron misinterpretatie) met één eenheid toeneemt. Het gemiddelde keuzepercentage voor de middelste antwoordcategorie en de non-responsoptie was bijvoorbeeld standaard 17%, maar was bij stellingen die een vage kwantificatie bevatten 17% + 3.78%. ‘β’ indiceert hetzelfde, maar dan uitgedrukt in standaardafwijkingen.
51 Tabel 13 Verandering en Gestandaardiseerde Verandering van Keuzes voor Middelste Antwoordoptie en Non-responsoptie, Veroorzaakt door Predictoren in het Complete model en het Nieuwe Model Compleet model
Nieuw Model
Variabele
B
SE B
β
Double-Barreled Kwantificatie Vaag concept Ambiguïteit Complexiteit Onbekende term
-2.04 3.78 1.68 -1.77 1.45 10.61
1.10 1.39 1.34 2.28 2.51 2.05
-.10 .21* .10 -.06 .04 .39*
B
SE B
β
3.68
1.36
.20*
10.37
2.05
.38*
* p < .01.
6.4.2 Onbekende Locaties Om te zien of overwegingen in de categorie ‘onwetendheid’ tijdens het invullen van Stemwijzer Helmond uit studie 1 (hfdst. 4.2.1), wellicht te herleiden zijn naar stellingkenmerken
die
begripsproblemen
kunnen
veroorzaken
(hfdst.
6.4.1),
zijn
overwegingen in deze categorie specifieker uitgewerkt (appendix F). Hieruit bleek dat 49.4% van de overwegingen in de categorie ‘onwetendheid’ te herleiden is, naar stellingkenmerken. Wanneer participanten onwetend waren en daarom kozen voor de middelste antwoordoptie of de non-responsoptie, wezen zij dus in de helft van de gevallen, bewust of onbewust, een eigenschap van de stelling aan als zijnde (mede)verantwoordelijk voor hun onwetendheid. Wat opviel bij deze exploratie van de subcategorieën van onwetendheid, was dat wanneer er sprake was van een voor de participant onbekende term, dit vaak ging om een in de stelling genoemde locatie. In 71.7% van de ‘onbekende termen’, ging het om een locatie waar de participant niet bekend mee was. Een voorbeeld hiervan is de verbalisatie van deze participant, onttrokken aan het hardopdenk-onderzoek: “Ik weet niet waar de Brouwhuisse Heide ligt.” Het codeerschema uit tabel 1 is zodoende uitgebreid met ‘onbekende locatie’ als subcategorie van ‘onbekende termen’. Het codeerschema nam daardoor zijn definitieve vorm aan en is te vinden in appendix G. Zie voor een coderingsvoorbeeld van de hardop verwoorde gedachten van een willekeurige participant appendix H. Tot slot is onderzocht of ‘onbekende locaties’ in het databestand van 149 VAAstellingen uit studie 2, wellicht net als ‘vage kwantificaties’ en ‘onbekende termen’ een
52 predictor vormde voor keuzefrequenties van de middelste antwoordoptie en de nonresponsoptie. De 149 VAA-stellingen zijn opnieuw bestudeerd en stellingen waarin een specifieke locatie genoemd werd, zijn gecodeerd met een ‘1’ in de nieuw gevormde categorie. Onbekende locaties zijn vervolgens toegevoegd aan het regressiemodel met vage kwantificaties en onbekende termen. Na een nieuw uitgevoerde regressie bleek dat ook onbekende locaties, keuzes voor de middelste antwoordoptie en de non-responsoptie voorspellen. Het nieuwe model met drie predictoren verklaarde 30.3% van de gecorrigeerde variantie in keuzes voor de middelste antwoordoptie en de non-responsoptie (F = 22.48, p < .001). Het nieuwe model was hiermee een fikse verbetering van het model met twee predictoren (R2adj = 19.2%). De resultaten van de laatste regressie staan in tabel 14. Tabel 14 Verandering en Gestandaardiseerde Verandering van Keuzes voor de Middelste Antwoordoptie en Non-responsoptie Veroorzaakt door Predictoren in het Definitieve Model Variabele Kwantificatie Onbekende term Onbekende locatie
B 4.68 10.16 7.88
SE B 1.28 1.90 1.60
β .26* .37* .34*
* p < .01.
7. Conclusie en Discussie Studie 2 7.1
Conclusies
Studie 2 trachtte te achterhalen of bepaalde stellingkenmerken, keuzes voor de middelste antwoordoptie en de non-responsoptie kunnen voorspellen. Uit de vragenlijstliteratuur afkomstige stellingkenmerken die begripsproblemen kunnen veroorzaken, blijken ook voor te komen in VAA-stellingen. Drie van deze aanjagers van begripsproblemen gaan samen met hogere keuzepercentages voor de middelste antwoordoptie en de non-responsoptie. Wanneer een stelling een ‘vage kwantificatie’, een ‘onbekende term’ of een ‘onbekende locatie’ bevat, kiezen gebruikers van VAAs gemiddeld vaker voor de middelste antwoordoptie en de nonresponsoptie. Een regressiemodel met deze drie stellingkenmerken voorspelt maar liefst 30.3% van de gecorrigeerde variantie in keuzes voor deze twee opties.
53 7.2
Discussie
Dat een groot deel van de keuzes voor de middelste antwoordoptie en de non-responsoptie voorspeld kan worden aan de hand van aanwezigheid van drie stellingkenmerken, is een belangrijk resultaat voor VAA-ontwikkelaars. Zij lijken er verstandig aan te doen om vage kwantificaties, onbekende termen en onbekende locaties te vermijden bij het formuleren van stellingen. De overige vier onderzochte bronnen van begripsproblemen lijken weliswaar niet te leiden tot meer keuzes voor de middelste antwoordoptie en de non-responsoptie, maar moeten indien mogelijk toch vermeden worden bij de ontwikkeling van VAA-stellingen. Begripsproblemen uiten zich immers niet alleen in keuzes voor de middelste antwoordoptie of non-responsoptie, maar kunnen er ook toe leiden dat mensen ‘eens’ kiezen terwijl hun eigenlijke attitude vertegenwoordigt wordt door ‘oneens’.
8. Algemene Discussie 8.1
Aanbevelingen voor Vervolgonderzoek
De resultaten van het kwalitatieve onderzoek in studie 1 tonen aan dat mensen vaak op basis van de verkeerde gronden de middelste antwoordoptie gebruiken. Het lijkt er echter op dat zij op stellingoverschrijdend niveau, beter weten wat de functie van deze optie en de nonresponsoptie is. Deze resultaten duiden erop dat het interessant is om het gebruik van de middelste antwoordoptie en de non-responsoptie op een kwantitatieve wijze verder te bestuderen. Wat daarbij interessant lijkt, is om te onderzoeken of verandering van bepaalde ontwerpaspecten in VAAs, zoals het toevoegen van een objectieve toelichting bij een stelling of een korte uitleg over de antwoordschaal bij aanvang, effect heeft op het aantal keuzes voor de middelste antwoordoptie en de non-responsoptie. Bij een dergelijk onderzoek is het verstandig de samenstelling van de participantengroep uitgebreid in overweging te nemen. De huidige studie bouwt bijvoorbeeld voort op de studie van Baka et al. (2012), door gebruik te maken van een meer heterogene participantengroep. Deze groep is echter niet ideaal. Omdat alle proefpersonen woonachtig zijn in Helmond, zijn zij mogelijk geen goede steekproef van de doorsnee kiezer. Ter uitbreiding van het huidige onderzoek kan gedacht worden aan het onderzoeken van een grotere dataset met gemeentelijke VAAs, stellingen van (trans)nationale VAAs en buitenlandse VAAs, om de generaliseerbaarheid van de resultaten te vergroten. Daarnaast kunnen andere factoren onderzocht worden, zoals de rol van attitudesterkte of reactietijden
54 tijdens het beantwoorden van stellingen en kunnen andere predictoren in een regressiemodel opgenomen worden, zoals woord- en zinslengtes in VAA stellingen. 8.2
Aanbevelingen voor Ontwikkelaars van VAAs
Voor de ontwikkelaars van VAAs en voor Stemwijzer in het bijzonder brengen de twee uitgevoerde studies een aantal zaken aan het licht, die van nut kunnen zijn. Studie 1 toonde aan dat de functies van de middelste antwoordoptie en de non-responsoptie voor participanten soms uitwisselbaar zijn, dat de opties vaak niet gebruikt worden voor hetgeen ze bedoeld zijn en dat participanten de gevolgen van keuzes voor de twee opties niet goed inschatten. Het is voor ontwikkelaars van VAAs dus zaak om het gebruik van de antwoordschaal uit te leggen voordat de participant de stellingen beantwoord. Een andere suggestie is het toevoegen van een objectieve toelichting/samenvatting van de context die bij het onderwerp van een stelling hoort. Dit was een aanbeveling die meerdere participanten in de eerste studie deden na afloop van het onderzoek. Participant: “Misschien dat het helpt als je een samenvatting of een voorbeeld bij die stelling krijgt. Dat miste ik wel.” Een andere participant: “Het zou fijn zijn als er bij de stellingen een 'i'-tje zou komen staan, waar je een klein stukje uitleg kunt krijgen. Dan zou ik misschien wel eens of oneens in kunnen vullen.” Een plattegrondje met daarop de in de stelling genoemde locatie, zou bijvoorbeeld het begripsprobleem bij een onbekende locatie deels kunnen verhelpen. Uit studie 1 komt ook een aanbeveling met betrekking tot een ander ontwerpaspect naar voren. In VAAs wordt het gebruik van de non-responsoptie ontmoedigd door de optie anders op te maken dan de overige antwoordopties (zie hfdst. 2.2.1). Meerdere participanten in studie 1 gaven te kennen dat zij de non-responsoptie ‘sla deze vraag over’ niet gezien hadden tijdens het invullen van de VAA, zo ook deze participant: “Ik zag ’sla deze vraag over’ eigenlijk pas later. Misschien had dat duidelijker gekund. Eigenlijk valt de optie niet op. Je wordt zo meer gedwongen tot die middelste optie.” Voor Stemwijzer in het bijzonder, is het wenselijk om na te denken over de labeling van de middelste antwoordoptie en de non-responsoptie. De vragenlijstliteratuur (Johns, 2010; Lam et al., 2010) duidt aan dat ‘noch eens/noch oneens’ waarschijnlijk een beter label is voor de middelste antwoordoptie dan ‘geen van beide’. Daarnaast blijkt uit studie 1 dat het label van de non-responsoptie ‘sla deze vraag over’ tot verwarring leidt. Sommige participanten dachten door deze benaming dat ze later bij die stelling terug zouden keren wanneer ze de optie kozen.
55 Tot
slot
een aanbeveling voortkomend uit
de resultaten van
studie 2.
Stellingkenmerken die kunnen leiden tot begripsproblemen moeten indien mogelijke vermeden worden, in het bijzonder vage kwantificaties, onbekende termen en onbekende locaties. Ontwikkelaars van VAAs moeten meer aandacht besteden aan de kwaliteit van de stellingen.
Referenties Aardal, B., & Van Wijnen, P. (2005) Issue voting. In J. Thomassen (Ed.), The European voter (pp. 192-212). Oxford, Verenigd Koninkrijk: Oxford University Press. Baka, A., Figgou, L., & Triga, V. (2012). 'Neither agree, nor disagree': a critical analysis of the middle answer category in Voting Advice Applications. International Journal of Electronic Governance, 5(3), 244-263. Boren, T., & Ramey, J. (2000). Thinking aloud: Reconciling theory and practice. Professional Communication, IEEE Transactions on, 43(3), 261-278. Dalton, R.J. (2002). Political cleavages, issues, and electoral change. In L. LeDuc, R. Niemi, & P. Norris (Eds.). Comparing democracies 2 (pp. 189-209). Londen, Verenigd Koninkrijk: Sage. Dalton, R.J., & Wattenberg, M.P. (2000) Parties without partisans: Political change in advanced industrial democracies. Oxford, Verenigd Koninkrijk: Oxford University Press. Duncan, O. D., & Stenbeck, M. (1987). Are Likert scales unidimensional? Social Science Research, 16(3), 245-259. Emans, B.J.M. (2002). Interviewen. Theorie, techniek, training (4e ed.). Groningen, Nederland: Stenfert-Kroese. Francis, J. D., & Busch, L. (1975). What we now know about "I don't knows”. Public Opinion Quarterly, 39(2), 207-218. Franklin, M. N., Mackie, T. T., & Valen, H. (2009). Electoral change: Responses to evolving social and attitudinal structures in Western countries. Colchester, Verenigd Koninkrijk: ECPR Press. Garzia, D., & Marschall, S. (2012). Voting Advice Applications under review: The state of research. International Journal of Electronic Governance, 5(3), 203-222. Gemenis, K. (2012). Estimating parties’ policy positions through voting advice applications: Some methodological considerations. Acta politica, 48(3), 268-295.
56 Groves, R. M., Fowler Jr., F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey methodology. Hoboken, NJ: John Wiley & Sons. Hansen, J.M. (1998). Individuals, institutions, and public preferences over public finance. American Political Science Review 92(3), 513–531. Johns, R. (2010). Likert items and scales. Survey Question Bank Methods Fact Sheet 1. Colchester, Verenigd Koninkrijk: UK Data Archive. Krahmer, E., & Ummelen, N. (2004). Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. Professional Communication, IEEE Transactions on, 47(2), 105-117. Krosnick, J.A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied cognitive psychology, 5(3), 213-236. Krosnick, J.A. & Presser, S. (2010). Question and questionnaire design. In P.V. Marsden & J.D. Wright (Eds.). Handbook of Survey Research (pp. 263–314). Bingley, Verenigd Koninkrijk: Emerald. Lam, T., Allen, G. and Green, K. (2010). Is “neutral” on a Likert scale the same as “Don’t know” for informed and uninformed respondents? Effects of serial position and labeling on selection of response options. Paper Presented at the Annual Meeting of the National Council on Measurement in Education. Mei 2010, Denver, CA. Leighley, J. E. (Ed.). (2010). The Oxford handbook of American elections and political behavior. Oxford, Verenigd Koninkrijk: Oxford University Press. Maes, F., Ummelen, N., & Hoeken, H. (1996). Instructieve teksten. Analyse, ontwerp en evaluatie. Bussum, Nederland: Couthinho. Matthews, B., & Ross, L. (2010). Research methods: A practical guide for the social sciences. New York, NY: Pearson Education. Norris, P., & Curtice, J. (2008). Getting the message out: A two-step model of the role of the Internet in campaign communication flows during the 2005 British general election. Journal of Information Technology & Politics, 4(4), 3-13. Rietveld, T., & Van Hout, R. (1993). Statistical techniques for the study of language and language behaviour. Berlijn, Duitsland: Mouton de Gruyter. Ruusuvirta, O. (2010). Much ado about nothing? Online voting advice applications in Finland. In L. Cedroni & D. Garzia (Eds.), Voting Advice Applications in Europe. The state of the art (pp. 47-63). Napels, Italië: ScriptaWeb. Schuman, H., & Presser, S. (1996). Questions and answers in attitude surveys: Experiments on question form, wording, and context. Londen, Verenigd Koninkrijk: Sage.
57 Sturgis, P., Roberts, C., & Smith, P. (2014). Middle alternatives revisited: How the neither/nor
response
acts
as
a
“face-saving”
way
of
saying
“I
don’t
know”. Sociological Methods and Research, 43, 15-38. Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The psychology of survey response. Cambridge, Verenigd Koninkrijk: Cambridge University Press. Van den Haak, M., De Jong, M., & Schellens, P.J. (2003). Hardopdenkprotocollen als pretestmethode: Synchroon en retrospectief hardopdenken vergeleken. Tijdschrift voor Taalbeheersing, 25, 236–252. Van den Haak, M.J., De Jong, M.D.T., & Schellens, P.J. (2007). Evaluation of an informational website: Three variants of the think-aloud method compared. Technical Communication, 54, 58–71. Van de Pol, J., Holleman, B., Kamoen, N., Krouwel, A. P. M., & De Vreese, C. (geaccepteerd). Beyond young, higher educated males: A typology of VAA users. Journal of Information Technology and Politics. Wagner, K. M., & Gainous, J. (2009). Electronic grassroots: Does online campaigning work? The Journal of Legislative Studies, 15(4), 502-520. Zadeh, L.A. (1965). Fuzzy sets. Information and Control, 8(3), 338-353. Zhang, Q. (1998). Fuzziness-vagueness-generality-ambiguity. Journal of Pragmatics, 29(1), 13-31. Zittel, T., & Fuchs, D. (Eds.). (2006). Participatory democracy and political participation: Can participatory engineering bring citizens back in? Londen, Verenigd Koninkrijk: Routledge.
58
Appendices Appendix A: Stellingen Stemwijzer Helmond 1. De gemeente moet stoppen met het uitbreiden van het huidige winkelcentrum (het Centrumplan). 2. Om overlast door hangjongeren te voorkomen, moet meer geld worden uitgegeven aan jeugdvoorzieningen en welzijnswerk. 3. Als projectontwikkelaars milieuvriendelijke woningen willen bouwen, mag de gemeente de grond voor een lagere prijs verkopen. 4. Er mogen meer coffeeshops komen in Helmond. 5. Als de gemeente onvoldoende geld van het Rijk krijgt voor thuiszorg, mogen de lokale belastingen omhoog. 6. De gemeente moet uitgaansactiviteiten organiseren voor jongeren onder de 18 jaar. 7. Er moet een groter theater komen in Helmond. 8. De gemeente moet het schoolzwemmen mogelijk maken. 9. Helmond moet toeristenbelasting invoeren. 10. De gemeente moet uitgeprocedeerde asielzoekers zo nodig onderdak bieden. 11. De gemeente moet grond onder de prijs verkopen, zodat er meer betaalbare woningen gebouwd kunnen worden. 12. De sluitingstijden in de horeca moeten volledig vrij worden. 13. Winkeliers mogen zelf bepalen wanneer hun winkel open is. 14. Om de veiligheid van kinderen te vergroten moeten tijdens de haal- en brengtijden de straten rond scholen autovrij zijn. 15. Op bedrijvenparken mogen windmolens komen. 16. Bijstandsgerechtigden die geen vrijwilligerswerk willen doen, krijgen minder geld. 17. Op alle rotondes moeten fietsers voorrang krijgen. 18. Als de gemeente Helmond vacatures heeft, moeten uitkeringsgerechtigden voorrang krijgen. 19. De gemeente moet meer geld geven aan Super Sociaal (de supermarkt voor arme huishoudens). 20. De gemeente moet zich met alle macht verzetten tegen verbreding van de N279.
59 21. Om de veiligheid te vergroten moet er meer straatverlichting komen in Helmond. 22. Bij belangrijke beslissingen moet de gemeente de inwoners raadplegen via een referendum. 23. Als de aanleg van de Ruit toch doorgaat, moet de gemeente extra geld beschikbaar stellen om de N279 ruim om Dierdonk heen te laten gaan. 24. Mensen die een bijstandsuitkering krijgen, moeten als tegenprestatie zinvol werk doen, bijvoorbeeld als verkeersregelaar of sportcoach. 25. Op de Brouwhuisse heide (BZOB Bos) mag geen bedrijventerrein komen. 26. De gemeente betaalt mee aan een nieuw stadion voor Helmond Sport. 27. De gemeente doet nu genoeg om arme gezinnen te ondersteunen. 28. Bij Varenschut mag een overslaghaven komen. 29. Om de veiligheid te vergroten moet er ook cameratoezicht buiten het winkel- en uitgangscentrum komen. 30. Het Obragasterrein moet een stadspark worden.
60
Appendix B: Vragenlijst Hardopdenk-methode
Ik vraag uw medewerking aan een onderzoek naar de Stemwijzer van de gemeente Helmond tijdens de gemeenteraadsverkiezingen van 2014.
De Stemwijzer is een online politieke stemhulp. Dit is een hulpmiddel dat uw politieke voorkeur test aan de hand van stellingen en uitspraken uit de verkiezingsprogramma's van de politieke partijen, die aan de verkiezingen meedoen.
Doel van het onderzoek Dit
is
een
onderzoek
uitgevoerd
voor
mijn
afstudeerscriptie
Communicatie-
en
Informatiewetenschappen aan Tilburg University. Het onderzoek is bedoeld om inzicht te verkrijgen in het gebruik van online politieke stemhulpen. Om dit te realiseren, wil ik u vragen de stemhulp Stemwijzer Helmond in te vullen. Terwijl u de Stemwijzer invult, vraag ik u om hardop te vertellen wat u denkt. Deze onderzoeksmethode wordt ook wel de hardopdenkmethode genoemd. Door de Stemwijzer hardop te laten invullen, krijg ik een beeld van hoe mensen een online stemhulp gebruiken. Op deze manier kan onderzoek zorgen voor een verbetering van stemhulpen. Bovendien kunt u zien welke partij qua standpunten het dichtst bij u staat.
Meer informatie over het verloop van het onderzoek De Stemwijzer die u dadelijk invult bevat 30 stellingen die gebruikt werden tijdens de gemeenteraadsverkiezingen van maart 2014. Als u bezig bent met het onderzoek, gebruik dan de Stemwijzer zoals u dit normaal ook zou doen.
Voordat u de Stemwijzer invult, wil ik eerst uw toestemming vragen om uw gegevens voor het onderzoek te gebruiken. Daarna leest u de instructies voor hardop denken. Vervolgens vult u een formulier met persoonsgegevens in. Omdat u misschien nog niet bekend bent met het hardop denken, zult u dit formulier ter oefening al hardop denkend invullen. Tijdens het invullen raakt u alvast gewend aan het hardop denken. Ook kunt u tijdens het invullen vragen stellen over de methode. Daarna start u met het invullen van de Stemwijzer voor de gemeente Helmond. Wanneer u alle stellingen beantwoord heeft, vraag ik u nog een korte vragenlijst in te vullen, gevolgd door een interview met mij.
Indien u geen vragen heeft kunt u de toestemmingsverklaring op de volgende pagina invullen. Ik stel uw medewerking erg op prijs en ben u daarvoor zeer dankbaar.
Rob van Outersterp
61
Toestemmingsverklaring
Hierbij verklaar ik dat de uitspraken die ik tijdens het hardop denken en het interview doe, opgenomen mogen worden. Daarnaast geef ik toestemming dat deze gegevens mogen worden gebruikt ten behoeve van een onderzoek in opdracht van Tilburg University. Uw gegevens worden niet aan derden verstrekt en zullen enkel door de proefleider geraadpleegd worden.
Datum ………………………………
Naam ………………………………
Handtekening ………………………………
U kunt nu doorbladeren naar de instructies voor hardop denken op de volgende pagina.
62 Instructies hardop denken Bij hardop denken bent u de verteller en de proefleider de luisteraar. Probeer terwijl u de Stemwijzer invult, aan de proefleider uit te leggen wat u denkt.
Probeer zo goed mogelijk uw gedachten te verwoorden. Hieronder worden enkele voorbeelden weergegeven: Liever niet alleen… · ‘Ik heb zojuist de stelling gelezen’ · ‘Ik ben de stelling aan het bekijken en ben op zoek naar het gepaste antwoord’ · ‘Ik ben de partijtoelichting door aan het lezen’ Dit zijn vooral handelingen.
Maar vooral ook… · ‘Ik kies antwoord x, omdat ….’ · ‘Ik begrijp niet wat er met deze zin bedoeld wordt’ · ‘Ik twijfel of ik antwoord x of antwoord y zal kiezen’ · ‘Ik vind het stom dat de stelling …’ · ‘Nu ik deze stelling nogmaals gelezen heb ben ik niet zeker van mijn antwoord’ · ‘Nu zoek ik op x om te kijken of ik extra informatie over deze stelling kan vinden’
Als u nog vragen heeft kunt u deze nu stellen. Daarna begint u ter oefening met hardop denken door het invullen van het formulier met persoonsgegevens. U heeft tijdens en na het invullen van dit formulier nogmaals de gelegenheid om vragen te stellen.
63 Formulier persoonsgegevens Vult u nu alstublieft onderstaande persoonsgegevens in. Verwoord uw gedachten hierbij hardop.
Wat is uw geslacht? o
Man
o
Vrouw
Wat is uw leeftijd? ____ jaar
In welke gemeente woont u? ________________________
Wat is het niveau van uw hoogst genoten opleiding? Als u op dit moment bezig bent met een opleiding vul dan dit niveau in. o
Lager of basisonderwijs
o
Voorbereidend middelbaar beroepsonderwijs (vmbo, mavo, LTS, LHNO)
o
Algemeen voortgezet onderwijs (mulo, havo)
o
Voorbereidend wetenschappelijk onderwijs (atheneum, gymnasium, HBS)
o
Middelbaar beroepsonderwijs (MBO)
o
Hoger beroepsonderwijs (HBO)
o
Universiteit (WO)
o
Anders, namelijk: ________________
Bent u bekend met online stemhulpen zoals Stemwijzer of Kieskompas? o
Ja
o
Nee
Heeft u tijdens of in aanloop naar de gemeenteraadsverkiezingen van 2014, gebruik gemaakt van de Stemwijzer voor de gemeente Helmond? o
Ja
o
Nee
o
Weet ik niet
64 Hoeveel interesse heeft u in de politiek?
Heel veel interesse
Veel interesse
Niet veel/ Niet weinig
Weinig interesse
Helemaal geen interesse
O
O
O
O
O
Ik vind dat ik de politieke kwesties die momenteel in onze gemeente spelen goed begrijp. Helemaal eens
Eens
Niet eens/ Niet oneens
Oneens
Helemaal oneens
O
O
O
O
O
Heeft u uw stem uitgebracht tijdens de gemeenteraadsverkiezingen van Helmond in maart 2014? o
Ja
o
Nee
Waar plaatst u zichzelf op deze politieke as? Links O
Rechts O
O
O
O
O
O
O
O
O
O
Waar plaatst u zichzelf op deze politieke as? Progressief O
Conservatief O
O
O
O
O
O
O
O
O
O
Indien u nog vragen heeft, kunt u die nu stellen. Als alles duidelijk is, kunt u nu de Stemwijzer invullen. Vergeet niet om uw gedachten hardop te verwoorden. Tijdens het invullen van de Stemwijzer kunt u mij geen vragen stellen.
65 Vragenlijst na invulling Stemwijzer
Geef aan in hoeverre u het met onderstaande stellingen eens bent. Ik vond deze Stemwijzer:
Helemaal eens O O O O O O
Moeilijk Eenvoudig Onduidelijk Overzichtelijk Onlogisch opgebouwd Bondig
Eens
Niet eens/ Niet oneens
Oneens
Helemaal oneens
O O O O O O
O O O O O O
O O O O O O
O O O O O O
Vragen over antwoordopties De volgende vragen gaan over de antwoordopties in de Stemwijzer.
Bij het invullen van de 30 stellingen van Stemwijzer Helmond kon u bij elke stelling kiezen voor vier antwoordopties: ‘Eens’, ‘Geen van beide’, ‘Oneens’ en ‘Sla deze vraag over’.
In welke mate heeft u voor uw gevoel gebruik gemaakt van deze antwoordopties?
Eens Geen van beide Oneens Sla deze vraag over
Zeer vaak
Vaak
Niet vaak/ Niet weinig
Weinig
Zeer weinig
Nooit
O O O O
O O O O
O O O O
O O O O
O O O O
O O O O
66 Evaluatie hardop denken De volgende vragen gaan over het werken met de hardopdenkmethode.
Had u voor aanvang van dit onderzoek al eerder gewerkt met de hardopdenkmethode? o
Ja
o
Nee
o
Weet ik niet
Geef aan in hoeverre u het met onderstaande stellingen eens bent. Het hardop denken heb ik ervaren als: Moeilijk Vervelend Vermoeiend Onnatuurlijk Tijdrovend
Helemaal eens O O O O O
Eens O O O O O
Niet eens/ Niet oneens O O O O O
Oneens O O O O O
Helemaal oneens O O O O O
De proefleider zal u nu nog enkele vragen stellen over het invullen van de Stemwijzer.
67
Appendix C: Interviewschema Tilburg University Interview onderzoek Stemwijzer
Datum van afname:
Proefpersoonnummer: Conditie: Tijdstip van afname:
Geluidsopname starten bij: 1. HOD-conditie: Begin formulier persoonsgegevens. 2. Interview-conditie: Na invullen laatste vraagformulier. Participant heeft bij stelling X als antwoord ‘geen van beide’/’sla deze vraag over’ gekozen. Vraag 1: Wat was of waren uw overwegingen bij het beantwoorden van deze stelling? Indien vraag niet begrepen wordt door participant Vraag 1a: Wat voor soort reden of redenen zou u aanvoeren voor uw keuze van dit antwoord? Vraag 1b: Waarom koos u niet voor het antwoord ‘Eens’ of ‘Oneens’? Indien antwoord participant niet informatief genoeg is Vraag 1c: Dat begrijp ik niet helemaal. Kunt u me uitleggen waarom u koos voor antwoord X? A Indien de participant niet in staat is vraag 1 te beantwoorden kan gerichter gevraagd worden naar non-attitudinale redenen. Vraag 2: Begreep u de stelling niet, vond u de stelling onbelangrijk of is er een andere reden waarom u voor dit antwoord gekozen hebt? B1/B2/B3/A Indien participant neigt naar onwetendheid: Vraag 2a: Wat begreep u niet?
B1
Indien participant neigt naar desinteresse: Vraag 2b: Waarom vindt u deze vraag minder belangrijk?
B2
Indien anders:
A/B3
Vraag 3: Wat vindt u van de stelling?
A
Indien geen voldoende informatief antwoord volgt Vraag 3a: Wat vindt u van de inhoud van de stelling?
A
68 Indien participant de vraag niet kan beantwoorden Vraag 3b: Wat vindt u van de formulering van de stelling?
B
Indien participant nog steeds geen voldoende informatieve respons gegeven heeft, wordt een laatste poging gedaan om een verklaring te krijgen. Vraag 4: Als u één reden zou moeten geven voor het kiezen van antwoord X, wat zou deze dan zijn? Indien participant niet in staat is om te antwoorden: volgende stelling. Indien participant voldoende informatief antwoord geeft De proefleider vat het antwoord van de participant samen en vraagt deze om bevestiging dat het antwoord juist geïnterpreteerd is. Vraag 5: Als ik het goed begrijp waren/was uw belangrijkste overweging(en) …. Klopt dit? Volgende stelling.
ALLEEN BIJ HOD Indien een participant tijdens het hardop denken bij een stelling een indicatie van een vluchtredenering geeft, maar toch kiest voor ‘eens’ of ‘oneens’ Gericht vragen naar een verklaring: Vraag 6: Bij stelling X zei u: ‘….’. Wat waren uw overwegingen bij het kiezen voor ‘eens’/’oneens’? Indien vraag niet begrepen wordt door participant Vraag 6a: Wat voor soort reden of redenen zou u aanvoeren voor uw keuze van dit antwoord? Vraag 6b: Waarom koos u niet voor het antwoord ‘Geen van beide’ of ‘Sla deze vraag over’? Indien antwoord participant niet informatief genoeg is Vraag 6c: Dat begrijp ik niet helemaal. Kunt u me uitleggen waarom u koos voor antwoord X?
Vraag 7: Bij het invullen van de Stemwijzer kon u bij elke stelling kiezen uit vier antwoordopties: ‘Eens’, ‘Geen van beide’, ‘Oneens’ en ‘Sla deze vraag over’. Kunt u mij in uw eigen woorden vertellen wat u denkt dat de functie van de middelste antwoordoptie ‘Geen van beide’ is? Indien vraag niet begrepen wordt door participant Vraag 7a: Waar denkt u dat de antwoordoptie ‘Geen van beide’ voor bedoeld is? Vraag 7b: In wat voor situatie zou u kiezen voor deze antwoordoptie?
69 Indien antwoord participant niet informatief genoeg is Vraag 7c: Dat begrijp ik niet helemaal. Kunt u me uitleggen waar de antwoordoptie ‘Geen van beide’ volgens u voor dient? Vraag 8: Kunt u mij in uw eigen woorden vertellen wat u denkt dat de functie van de antwoordoptie ‘Sla deze vraag over’ is?
Indien antwoord participant op de vragen 7 en 8 met elkaar overeenkomen. Vraag 9: Denkt u dat de functies van de antwoordopties ‘Geen van beide’ en ‘Sla deze vraag over’ van elkaar verschillen? Zo nee: Vraag 9a: Waarom denkt u dat er deze antwoordopties dan toch allebei aangeboden worden? Zo ja: Vraag 9b: Wat denkt u dat het belangrijkste verschil is tussen de antwoordopties ‘Geen van beide’ en ‘Sla deze vraag over’? Vraag 10: Denkt u dat keuzes voor de antwoordopties ‘Geen van beide’ en ‘Sla deze vraag over’ meegenomen worden in het stemadvies?
ALLEEN INDIEN PARTICIPANT ÉÉN OF BEIDE VLUCHTOPTIES NIET HEEFT GEBRUIKT Vraag 11: Heeft u getwijfeld om gebruik te maken van de optie ‘Geen van beide’/’Sla deze vraag over?’ Vraag 12: Waarom wel/niet?
Vraag 13: Heeft u zelf nog vragen of opmerkingen met betrekking tot dit onderzoek? De participant hartelijk bedanken voor deelname aan het onderzoek.
70
Appendix D: Codeerschema Baka, Figgou & Triga (persoonlijke communicatie, 13 maart, 2014) 1. Lack of knowledge or indifference 11 unawareness 111 don’t know 112 lack of domain-specific knowledge. 113 lack of understanding of the question 12
indifference
2. Dilemmas and ambivalence 21 juxtapose values 211 security versus liberty. 212 equality-equity, 213 cost versus benefit issues. 214 other write 22
‘theory’ vs ‘practice’
23
juxtapose different sectors (eg. ‘economy’ versus ‘culture’).
3. Disputing the terms of the question and/or challenging its assumptions 31 objections to the assumptions presupposed in the question 32
reject the dilemmas formulated in the question.
33
challenge the importance of factor mentioned by the question as the main reason
34
challenge the comparative formulation (more) ‘
35 unwillingness to take a positive or a negative stance on the issue, unless more information is provided 36 refuse to choose between two mutually exclusive alternatives, consider both poles of the question equally important and analogous instead of contradicting.
71
Appendix E: Exploratie Betwistingen van de Stelling De resultaten in hoofdstuk 4.2.1 (zie tabel 5 en 7) toonden aan dat de meest voorkomende attitudinale overweging bij het kiezen van de middelste antwoordoptie en de non-responsoptie ‘het betwisten van de stelling’ (code 13) was. Deze overwegingen zijn vervolgens verder gespecificeerd. Dit resulteerde in een aanvulling op het codeerschema van tabel 1. De aanvullende subcategorieën van ‘het betwisten van de stelling’ met definities en voorbeelden staan in tabel 15. Twee categorieën uit deze tabel, kwamen ook voor in het onderzoek van Baka et al. (2012) (appendix D): ‘Het betwisten van de veronderstelde aanname in de stelling’ en ‘het betwisten van de veronderstelde vergelijking in de stelling’. De overige categorieën kwamen niet, of in een andere vorm, voor in het onderzoek van Baka et al. (2012). Er is gekozen voor een eigen indeling en benaming van deze subcategorieën, omdat deze in de ogen van de onderzoeker het best aansloten bij de data en hiermee de overwegingen het best geduid werden. Het bleek dat participanten het vaakst de stelling betwistten doordat zij het niet eens waren met de ‘verwoording en/of zinsconstructie van de stelling’ (26.7%) (tabel 16). In deze subcategorie vielen bijvoorbeeld uitspraken waarbij een term of de zin te algemeen of juist te stellig bevonden werd. Overwegingen waarbij ‘de veronderstelde causaliteit in de stelling betwist’ werd, kwam eveneens vaak voor (22.4%). Daarnaast betwistten participanten even vaak ‘de veronderstelde aanname in de stelling’ als ‘de haalbaarheid/werkzaamheid van een maatregel’ (beide 19.8%). De categorie ‘de veronderstelde vergelijking wordt betwist’ uit de studie van Baka et al. (2012) kwam weliswaar niet voor in de data van dit huidige onderzoek, maar is toch opgenomen in het codeerschema van tabel 15. De onderzoeker erkent namelijk dat deze categorie voor kan komen, de stellingen in Stemwijzer Helmond bevatten echter geen vergelijking, zodoende is er door de participanten logischerwijs ook geen vergelijking betwist.
72
Tabel 15 Subcategorieën van het Betwisten van de Stelling, Inclusief Definities en Voorbeelden Code
Attitudinale / inhoudelijke respons
Definitie
Voorbeeld
De inhoud van de stelling wordt betwist
De participant kiest bewust voor de middelste antwoordoptie of de nonresponsoptie omdat deze wil ageren tegen de stelling.
"Dat vind ik een stomme stelling."
131
De verwoording en/of zinsconstructie van de stelling wordt betwist
De stelling maakt gebruik van een of meerdere woorden of is dusdanig geconstrueerd dat de participant deze niet gepast vindt.
"Dat is ook weer zo'n onberedeneerde stelling zonder enige nuance."
132
De veronderstelde aanname in de stelling wordt betwist
De stelling bevat een aanname die in zijn geheel betwijfeld/ontkend wordt of waarvan de belangrijkheid betwist wordt.
"De gemeente is er voor uitkeringen, niet om een supermarkt voor arme huishoudens overeind te houden."
133
De veronderstelde vergelijking in de stelling wordt betwist
De in de stelling geopperde wisselwerking wordt betwist omdat de participant vindt dat de geopperde alternatieven elkaar niet uitsluiten. De participant vindt de vergelijking 'vals'.
"Het een beïnvloedt het ander, dus beiden verdienen evenveel aandacht."
134
De veronderstelde causaliteit in de stelling wordt betwist
De gevolgtrekking in de stelling wordt betwist door de participant , omdat deze van mening is dat deze niet bestaat, of dat het belang/gewicht van de oorzaak en/of het gevolg niet juist weerspiegeld wordt.
"Ik denk niet dat veiligheid met straatverlichting te maken heeft."
135
De haalbaarheid/werkzaamheid van een geopperde maatregel wordt betwist
De aangedragen maatregel met betrekking tot de in de stelling geopperde situatie wordt wel erkend, maar de participant twijfelt aan de effectiviteit/haalbaarheid/ werk-zaamheid van de oplossing wanneer deze in praktijk gebracht zou worden.
"Als je de opkomst bij de verkiezingen ziet, dan gaat zo'n referendum ook niet werken. Opzich een mooi instrument, maar wat doe dan met de uitslag van het referendum?"
136
De geopperde kwalificatie in de stelling wordt betwist
De stelling bevat een of meerdere voorbeelden die niet gepast worden bevonden door de participant.
"Ik vind wel dat ze iets zouden moeten/kunnen doen, maar het wil niet zeggen dat wanneer je in de bijstand zit, je een goede verkeersregelaar of sportcoach bent."
137
Het moment waarop het onderwerp van de stelling ter discussie staat wordt betwist
Het onderwerp van de stelling is op dit moment nog niet aan de orde. De participant acht het moment in de tijd niet juist, om te discussiëren over de stelling.
"Het is nog te vroeg, die discussie is nog niet op zijn plaats."
1 13
73 Tabel 16 Frequenties van Overwegingen in de Categorie 'Betwisten van de Stelling' per Antwoordoptie en Meetmethode (Percentages binnen Meetmethode) Middelste antwoordoptie Interview HOD 3 (3.3) 2 (10.0)
Non-responsoptie Interview HOD
Totaal
Code 13
Reden De inhoud van de stelling wordt betwist
131
De verwoording en/of zinsconstructie van de stelling wordt betwist
29 (32.2)
2 (10.0)
132
De veronderstelde aanname in de stelling wordt betwist
13 (14.4)
7 (35.0)
3 (50.0)
23 (19.8)
133
De veronderstelde vergelijking in de stelling wordt betwist
134 De veronderstelde causaliteit in de stelling wordt betwist
21 (23.3)
2 (10.0)
3 (50.0)
26 (22.4)
135 De haalbaarheid/werkzaamheid van een geopperde maatregel wordt betwist
18 (20.0)
5 (25.0)
23 (19.8)
136 De geopperde kwalificatie in de stelling wordt betwist
3 (3.3)
1 (5.0)
4 (3.4)
137
Het moment waarop het onderwerp van de stelling ter discussie staat wordt betwist
3 (3.3)
1 (5.0)
4 (3.4)
Totaal
90 (100)
20 (100)
5 (4.3) 31 (26.7)
6 (100)
116 (100)
74
Appendix F: Exploratie Onwetendheid In dit hoofdstuk is geprobeerd om de resultaten van de regressie te koppelen aan de resultaten uit studie 1. De resultaten van de regressie over begripsproblemen bij stellingen, tonen aan dat een tweetal potentiële aanjagers voor begripsproblemen in enquêtes, samengaan met relatief frequentere keuzes voor de middelste antwoordoptie en de non-responsoptie. Wanneer we ervan uitgaan dat begripsproblemen leiden tot ‘onwetendheid’, zouden de overwegingen in de categorie ‘ onwetendheid’ tijdens het invullen van Stemwijzer Helmond in studie 1, wellicht te herleiden zijn, naar de stellingkenmerken die begripsproblemen kunnen veroorzaken. Om dit te onderzoeken werd het codeerschema van tabel 1, uitgebreid met de potentiële aanjagers voor begripsproblemen als subcategorieën van onwetendheid. Deze subcategorieën staan in tabel 17.
Tabel 17 Subcategorieën van Onwetendheid, Inclusief Definities en Voorbeelden Non-attitudinale / oppervlakkige respons
De participant geeft geen antwoord op de stelling. Heeft geen mening. Gebruikt de middelste antwoordoptie of nonresponsoptie als vlucht.
"Dan geef je geen antwoord." "Daar heb ik geen mening over." "Als escape voor mensen."
Onwetendheid (ongespecificeerd)
De participant kiest voor de middelste antwoordoptie of non-responsoptie omdat deze niet genoeg kennis heeft van het onderwerp van de stelling. De stelling draagt niet genoeg informatie met zich mee of is verwarrend doordat:
"Daar weet ik niet genoeg vanaf."
211
Grammaticale ambiguïteit
De constructie van de stelling multiinterpretabel is.
(Categorie deed zich niet voor)
212
Excessieve complexiteit
De constructie van de stelling te ingewikkeld is.
"Ik vond dit best wel een lastige vraag, hoe het er staat."
213
Vage concepten
Een concept/begrip in de stelling is multiinterpretabel.
"En wat zijn dan belangrijke beslissingen?"
214
Vage kwantificaties
De stelling een vage relatieve term bevat waarmee een extra dimensie (naast de eens-oneens dimensie) bevraagd wordt.
"Ik weet niet hoeveel ze nu krijgen en ik weet niet hoeveel ze dan omhoog gaan."
215
Onbekende termen
De stelling een of meerdere specifieke termen/ concepten bevat die onbekend zijn voor de participant.
"Ik weet niet wat een overslaghaven is."
216
Double-barreled items
De stelling een attitude over meerdere attitudeobjecten bevraagt
"Je kunt hier niet aangeven dat je wel vindt dat er extra geld beschikbaar moet komen, maar vanuit de provincie in plaats van de gemeente."
2
21
75 Na herbestudering van de overwegingen in de categorie ‘onwetendheid’ uit studie 1, bleek dat 50.6% van de overwegingen in de categorie ‘onwetendheid’ niet toegeschreven konden worden aan aanjagers van begripsproblemen. Bij de overige overwegingen (49.4%) werd onwetendheid wel veroorzaakt door stellingkenmerken die zorgden voor begripsproblemen. De tellingen hiervan staan in tabel 18. De twee significante predictoren van keuzes voor de middelste antwoordoptie en de non-responsoptie uit hoofdstuk 6.4.1; vage kwantificaties en onbekende termen, bleken het vaakst genoemd te worden als reden voor het kiezen van de middelste antwoordoptie of de non-responsoptie tijdens het hardop denken en het interview na invulling van Stemwijzer Helmond. De twee aanjagers vormden respectievelijk 19.3% en 18.9% van het totale aantal overwegingen in de categorie onwetendheid. Vage concepten bleken ook regelmatig ten grondslag te liggen aan onwetendheid. Bij 8.6% van de overwegingen kon onwetendheid toegeschreven worden aan het gebruik van vage concepten in de stellingen van de VAA. Met uitzondering van ‘grammaticale ambiguïteit’, werden alle bronnen van begripsproblemen teruggevonden in de overwegingen in de categorie ‘onwetendheid’ afkomstig uit studie 1.
Tabel 18 Frequenties van Overwegingen in de Categorie ‘Onwetendheid’ per Antwoordoptie en Meetmethode (Percentages binnen Meetmethode) Middelste antwoordoptie Interview HOD
Non-responsoptie Interview HOD
72 (45.9)
40 (66.7)
11 (47.8)
Excessieve complexiteit
2 (1.3)
2 (3.3)
Vage concepten
14 (8.9)
2 (3.3)
3 (13.0)
214
Vage kwantificaties
35 (22.3)
9 (15.0)
3 (13.0)
215
Onbekende termen
33 (21.0)
7 (11.7)
5 (21.7)
216
Double-barreled items
1 (0.6)
Totaal
157 (100)
Code
Reden
21 211
Onwetendheid (ongespecificeerd) Grammaticale ambiguïteit
212 213
123 (50.6) 4 (1.6) 2 (66.7)
23 (100)
21 (8.6) 47 (19.3)
1 (33.3)
1 (4.3) 60 (100)
Totaal
46 (18.9) 2 (0.8)
3 (100)
243 (100)
76
Appendix G: Compleet Codeerschema 1
Attitudinale / inhoudelijke respons
Definitie
Voorbeeld
11
Dilemma
De twee alternatieven in de geopperde wisselwerking van de stelling wegen even zwaar voor de participant.
"Ik vind wel dat de thuiszorg gehandhaafd moet worden, maar ik vind niet dat de lokale belastingen omhoog mogen."
12
Ambivalentie
De participant koestert tegenstrijdige gevoelens ten opzichte van het in de stelling bevraagde attitudeobject.
"For the time being vind ik het een leuke oplossing, maar ik denk dat er ook wel iets anders gebouwd kan worden."
13
De inhoud van de stelling wordt betwist
De participant kiest bewust voor de middelste antwoordoptie of de nonresponsoptie omdat deze wil ageren tegen de stelling.
"Dat vind ik een stomme stelling."
131
De verwoording en/of zinsconstructie van de stelling wordt betwist
"Dat is ook weer zo'n onberedeneerde stelling zonder enige nuance."
132
De veronderstelde aanname in de stelling wordt betwist
De stelling maakt gebruik van een of meerdere woorden of is dusdanig geconstrueerd dat de participant deze niet gepast vindt. De stelling bevat een aanname die in zijn geheel betwijfeld/ontkend wordt of waarvan de belangrijkheid betwist wordt.
133
De veronderstelde vergelijking in de stelling wordt betwist
De in de stelling geopperde wisselwerking wordt betwist omdat de participant vindt dat de geopperde alternatieven elkaar niet uitsluiten. De participant vindt de vergelijking 'vals'.
"Het een beïnvloedt het ander, dus beiden verdienen evenveel aandacht."
134
De veronderstelde causaliteit in de stelling wordt betwist
De gevolgtrekking in de stelling wordt betwist door de participant , omdat deze van mening is dat deze niet bestaat, of dat het belang/gewicht van de oorzaak en/of het gevolg niet juist weerspiegeld wordt.
"Ik denk niet dat veiligheid met straatverlichting te maken heeft."
135
De haalbaarheid/werkzaamheid van een geopperde maatregel wordt betwist
"Als je de opkomst bij de verkiezingen ziet, dan gaat zo'n referendum ook niet werken. Opzich een mooi instrument, maar wat doe dan met de uitslag van het referendum?"
136
De geopperde kwalificatie in de stelling wordt betwist
De aangedragen maatregel met betrekking tot de in de stelling geopperde situatie wordt wel erkend, maar de participant twijfelt aan de effectiviteit/haalbaarheid/ werkzaamheid van de oplossing wanneer deze in praktijk gebracht zou worden. De stelling bevat een of meerdere voorbeelden die niet gepast worden bevonden door de participant.
137
Het moment waarop het onderwerp van de stelling ter discussie staat wordt betwist
Het onderwerp van de stelling is op dit moment nog niet aan de orde. De participant acht het moment in de tijd niet juist, om te discussiëren over de stelling.
"Het is nog te vroeg, die discussie is nog niet op zijn plaats."
14
De stemhulp wordt betwist
De participant hekelt het medium, omdat Stemwijzer en/of de stellingen niet voldoen aan de verwachtingen/eisen van de participant.
"Dan zit je in zo'n modus van: weer zo'n onzinvraag en dan ga je steeds meer overslaan."
15
Vermijden consequenties eens of oneens
De participant kiest voor de middelste antwoordoptie of de non-responsoptie om de mogelijke consequenties van een keuze voor eens of oneens op het resultaat van de Stemwijzer te voorkomen.
"Als ik oneens kies, lijkt het alsof ik het tegenovergestelde nastreef, maar dat is niet."
16
Stelling niet mee laten tellen in het advies.
De participant kiest voor de middelste antwoordoptie of de non-responsoptie omdat deze in de veronderstelling is dat de stelling dan niet meegenomen wordt in het resultaat van de Stemwijzer.
"Zodat je die niet meetelt in de punten die worden vergeleken met de partijen."
"De gemeente is er voor uitkeringen, niet om een supermarkt voor arme huishoudens overeind te houden."
"Ik vind wel dat ze iets zouden moeten/kunnen doen, maar het wil niet zeggen dat wanneer je in de bijstand zit, je een goede verkeersregelaar of sportcoach bent."
77 Appendix G (Vervolg): Compleet Codeerschema 2
Non-attitudinale / oppervlakkige respons
Definitie
Voorbeeld
20
Non-attitudinale / oppervlakkige respons
De participant geeft geen antwoord op de stelling. Heeft geen mening. Gebruikt de middelste antwoordoptie of non-responsoptie als vlucht.
"Dan geef je geen antwoord." "Daar heb ik geen mening over." "Als escape voor mensen."
21
Onwetendheid
De participant kiest voor de middelste antwoordoptie of non-responsoptie omdat deze niet genoeg kennis heeft van het onderwerp van de stelling. De stelling draagt niet genoeg informatie met zich mee of is verwarrend.
"Daar weet ik niet genoeg vanaf."
211
Grammaticale ambiguïteit
De constructie van de stelling multiinterpretabel is.
(Categorie deed zich niet voor)
212
Excessieve complexiteit
De constructie van de stelling te ingewikkeld is.
"Ik vond dit best wel een lastige vraag, hoe het er staat."
213
Vage concepten
Een concept/begrip in de stelling is multiinterpretabel.
"En wat zijn dan belangrijke beslissingen?"
214
Vage kwantificaties
De stelling een vage relatieve term bevat waarmee een extra dimensie (naast de eensoneens dimensie) bevraagd wordt.
"Ik weet niet hoeveel ze nu krijgen en ik weet niet hoeveel ze dan omhoog gaan."
215
Onbekende termen
De stelling een of meerdere specifieke termen/ concepten bevat die onbekend zijn voor de participant.
"Ik weet niet wat een overslaghaven is."
Onbekende locatie
In de stelling wordt een locatie genoemd, die onbekend is bij de participant.
"Ik weet niet waar de Brouwhuisse Heide ligt."
Double-barreled items
De stelling een attitude over meerdere attitudeobjecten bevraagt
"Je kunt hier niet aangeven dat je wel vindt dat er extra geld beschikbaar moet komen, maar vanuit de provincie in plaats van de gemeente."
22
Onverschilligheid / Onbezorgdheid / Onbelangrijk
De stelling wekt relatief minder interesse bij de participant waardoor deze de stelling een mindere mate van overweging gunt.
"Wat interesseert mij dat nou?"
23
Niet van toepassing
Het onderwerp van de stelling is niet van toepassing op de participant en deze wil/kan de stelling daarom niet beantwoorden met eens of oneens.
"Ik heb geen auto, dus ik weet niet hoe groot het probleem is."
24
Sociaal wenselijk antwoord
De participant wil geen sociaal onwenselijke inhoudelijke respons geven dus gebruikt de middelste antwoordoptie of non-responsoptie als 'safe haven'.
"Ik houd mijn mening hierover liever privé."
31
Later op terug komen
De participant kiest voor 'Sla deze vraag over' in de veronderstelling dat deze de stelling later nogmaals gepresenteerd krijgt.
"Ik dacht: dan kom ik hier later op terug."
32
Foutieve keuze
De participant wilde eigenlijk voor eens of oneens kiezen maar koos per abuis voor een de middelste antwoordoptie of nonresponsoptie.
"Dat had eigenlijk eens/oneens moeten zijn."
2151 216
3
Overige responsen
78
Appendix H: Voorbeeld Codering Verbalisaties Hardopdenk-methode 53
53
25
22
19
10
De gemeente doet nu genoeg om arme gezinnen te ondersteunen.
Op de Brouwhuisse heide (BZOB Bos) mag geen bedrijventerrein komen.
Bij belangrijke beslissingen moet de gemeente de inwoners raadplegen via een referendum.
De gemeente moet meer geld geven aan Super Sociaal (de supermarkt voor arme huishoudens).
De gemeente moet uitgeprocedeerde asielzoekers zo nodig onderdak bieden.
De gemeente moet stoppen met het uitbreiden van het huidige winkelcentrum (het Centrumplan). 5. Als de gemeente onvoldoende geld van het Rijk krijgt voor thuiszorg, mogen de lokale belastingen omhoog.
Stelling
"Ken ik ook niet"
"Geen idee. Geen mening"
"Ken ik niet. Dus.."
"Uhh, nou nee. Zou ik niet weten."
"Ik weet niet wat er nu aan uitgeven dus…"
"Geen mening."
"Daar heb ik niet echt een mening over, maar.. Eigenlijk ben ik het er wel mee eens zal ik maar zeggen, maar uh ja daar zit ik niet echt mee"
"Daar heb ik geen mening over eerlijk gezegd."
HOD-verbalisatie
2151: Onwetendheid door onbekende locatie
21: Onwetendheid (ongespecificeerd)
2151: Onwetendheid door onbekende locatie
21: Onwetendheid (ongespecificeerd)
214: Onwetendheid door vage kwantificatie
2: Ongespecificeerde non-attitudinale /oppervlakkige respons
2: Ongespecificeerde non-attitudinale /oppervlakkige respons
2: Ongespecificeerde non-attitudinale /oppervlakkige respons
Categorie 1
nvt
2: Ongespecificeerde nonattitudinale /oppervlakkige respons
nvt
nvt
nvt
nvt
22: Onverschilligheid/ onbezorgdheid/onbelangrijk
nvt
Categorie 2
Proefpers Stellingnr . . 53 1
53 27
Bij Varenschut mag een overslaghaven komen.
53
5
53 28
53
53
