Meten en operationaliseren van de concepten tevredenheid met en vertrouwen in de overheid binnen de context van survey onderzoek

KATHOLIEKE UNIVERSITEIT LEUVEN

Meten en operationaliseren van de concepten tevredenheid met en vertrouwen in de overheid binnen de context van survey onderzoek Derde Rapport “Burgergericht Besturen: Kwaliteit en Vertrouwen in de Overheid"

Dr. Jarl K. Kampen Prof dr. Bart Maddens Prof. dr. Geert Bouckaert Steven Van de Walle Katholieke Universiteit Leuven Instituut voor de Overheid E. Van Evenstraat 2A B-3000 Leuven Januari 2002

FACULTEIT SOCIALE WETENSCHAPPEN DEPARTEMENT POLITIEKE WETENSCHAPPEN E. VAN EVENSTRAAT 2 A - B-3000 LEUVEN - BELGIE

TEL: 0032 16 32 32 70 FAX: 0032 16 32 32 67 E-mail: [email protected]

Inhoudsopgave 1 Inleiding

3

2 Methodologische aspecten van het survey onderzoek 2.1 Bedenkingen bij het surveyonderzoek . . . . . . . . . . . . . . . . . . . 2.2 Inhoud van de bevraging . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Doelgroep en methode . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Face-to-face enquˆetes . . . . . . . . . . . . . . . . . . . . . . . . 2.3.2 Telefoon-enquˆetes . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.3 Post-enquˆetes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.4 Exit-bevraging . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.5 Internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.6 Focusgroepen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Opstellen van de vragenlijst . . . . . . . . . . . . . . . . . . . . . . . . 2.4.1 Vraagformulering . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.2 Vraagvolgorde . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.3 Open of gesloten vragen . . . . . . . . . . . . . . . . . . . . . . 2.4.4 Antwoordcategorie¨en . . . . . . . . . . . . . . . . . . . . . . . . 2.4.5 Een typologie van vragen . . . . . . . . . . . . . . . . . . . . . 2.5 Het aanmaken van het data-bestand . . . . . . . . . . . . . . . . . . . 2.6 Opsporen van bronnen van ruis . . . . . . . . . . . . . . . . . . . . . . 2.6.1 Aandachtspunten bij de opvolging van interviewers . . . . . . . 2.6.2 Corrigeren voor totale non-response: het wegen van data . . . 2.6.3 Corrigeren voor item non-response: data imputatie technieken

5 5 7 8 9 11 11 12 12 13 14 14 15 15 16 18 20 21 21 23 24

3 Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken 3.1 De inhoud van enkele surveys . . . . . . . . . . . . . . . . . . . . . . 3.1.1 De APS survey . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1.2 Het ISPO verkiezingsonderzoek . . . . . . . . . . . . . . . . . 3.1.3 De People’s Panel . . . . . . . . . . . . . . . . . . . . . . . . 3.1.4 Citizens First . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Drie bestuurskundige dimensies . . . . . . . . . . . . . . . . . . . . . 3.2.1 Politiek−ambtelijk . . . . . . . . . . . . . . . . . . . . . . . . 3.2.2 Locaal−centraal . . . . . . . . . . . . . . . . . . . . . . . . . 3.2.3 Hardware−software . . . . . . . . . . . . . . . . . . . . . . . 3.3 Indicatoren van tevredenheid . . . . . . . . . . . . . . . . . . . . . . 3.3.1 Socio-demografische variabelen . . . . . . . . . . . . . . . . . 3.3.2 Culturele en nationale identiteit . . . . . . . . . . . . . . . . 3.3.3 Nationalisme en patriotisme . . . . . . . . . . . . . . . . . . .

27 28 28 32 33 34 35 35 38 38 39 39 41 41

1

. . . . . . . . . . . . .

2

Meten en operationaliseren

3.4

3.3.4 Politicologische indicatoren 3.3.5 Sociologische indicatoren . 3.3.6 Direkte bevraging . . . . . 3.3.7 Sympathie-scores . . . . . . Indicatoren van vertrouwen . . . . 3.4.1 Direkte bevraging . . . . . 3.4.2 Indirekte bevraging . . . . 3.4.3 Overige covariaten . . . . .

4 Besluit

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

44 45 52 52 52 52 53 54 57

Hoofdstuk 1

Inleiding Dit rapport vormt de neerslag van de studie naar de adequaatheid van het survey instrument voor het meten van de concepten tevredenheid met en vertrouwen in de overheid. Het rapport is de eerste stap gezet naar de concrete opstelling van de vragenlijst van de burger survey af te nemen in het kader van het project Burgergericht Bestuur: Kwaliteit en Vertrouwen in de Overheid1 , welke staat gepland voor afname in april−juni 2002. Het rapport valt in twee delen uiteen. In het eerste deel bespreken we methodologische aspecten van dergelijk onderzoek. We proberen hierbij een aanvulling te vormen op het Draaiboek ISPO-onderzoeken2 en de handleiding Kwaliteitsrichtlijnen bij het Uitvoeren van Surveyonderzoek3, waarbij we alleen ingaan op zaken die daar weinig of onvoldoende aan de orde komen. Dat betekent dat we niet ingaan op de vraag hoe steekproeven te trekken, hoe adressenlijsten moeten worden opgesteld, hoe respondenten benaderd moeten worden, enz. Dit zijn allemaal zaken die in het voornoemde en andere werken voldoende behandeld worden. Waar we w´el op ingaan zijn inhoudelijke aspecten van de vragenlijst, bv. vraagformulering en vraagvolgorde, het gebruik van open en gesloten vragen, de keuze van het aantal antwoordcategorie¨en, enz. In het tweede deel gaan we nader in op de operationalisering van de concepten tevredenheid met en vertrouwen in de overheid. Literatuurstudie heeft duidelijk gemaakt dat met name het concept vertrouwen geen eenduidige definitie kent in de politicologische literatuur4 . We bespreken achtereenvolgens, drie bestuurskundige dimensies die betrekking hebben op vertrouwen en tevredenheid, het verschil tussen vertrouwen en tevredenheid, indicatoren van tevredenheid, en indicatoren van vertrouwen. In kaders geven we telkens de vraagstellingen die corresponderen met de toetsing van de deeltheorie¨en zoals voorgesteld in de respectievelijke paragrafen. Veel van die vraagstellingen en batterijen kunnen worden overgenomen uit eerder onderzoek, in het bijzonder de APS surveys en de Belgische nationale verkiezingsstudie (BNV). We proberen telkens tot de meest concrete vraagformuleringen te komen. Vraagformulering heeft echter een belangrijke invloed op de waargenomen kansverdeling van antwoorden. We kun1 Programma

Beleidsgericht Onderzoek, PBO 99B/1/14 1999 3 APS, 2002 4 Bouckaert & Van de Walle, 2001 2 Cambr´ e,

3

4

Meten en operationaliseren

nen dit nagaan door de verdelingskarakteristiek van twee vergelijkbare, maar niet identieke vraagstellingen zoals gesteld in de APS en BNV van 1999 naast elkaar te leggen. We zien dan bijvoorbeeld dat de gerapporteerde niveau’s van vertrouwen in de regering verschillen tussen de twee surveys omdat in APS expliciet naar “de nationale regering”, in BNV algemeen naar “de regering” wordt gevraagd5. In de komende maanden moet onze onderzoeksgroep in een aantal gevallen nog studeren op dit onderwerp alvorens de definitieve vraagformuleringen te presenteren. Op deze problematiek komen we in het besluit van dit rapport terug.

5 Kampen

et al., 2001

Hoofdstuk 2

Methodologische aspecten van het survey onderzoek SOCRATES En kan dan de bedrieger in alle dingen bedriegen behalve in het rekenen, en zou hij niet kunnen bedriegen bij het tellen? HIPPIAS Waarachtig wel, hij kan dat ook bij de getallen — Plato, De Kleine Hippias

2.1

Bedenkingen bij het surveyonderzoek

De sociaal wetenschapper heeft weinig middelen om theorie aan de praktijk te toetsen. E´en van de belangrijkste instrumenten om empirie te verzamelen is het surveyonderzoek. Surveyonderzoek wordt echter evenvaak verguisd als geprezen. De problemen zijn legio. We noemen maar eens paar1 : twijfels aan de representativiteit van de steekproef; totale en parti¨ele non-response; interviewer-effecten; de invloed van context, formulering en volgorde van vragen; de zg. “ja-zeggers” i.e. mensen die alle items positief beantwoorden; enz. Waarom dan vasthouden aan een instrument waarvan in het verleden herhaaldelijk is aangetoond dat hij misleidende resulten kan produceren? Het antwoord is even eenvoudig als onbevredigend: er is geen alternatief. Tenzij men er vrede mee heeft een aantal decennia te wachten op een beschrijving van de hedendaagse sociologische stand van zaken bestaat de enige manier om relaties van attitudes in de actualiteit te onderzoeken d.m.v. het problematische survey- en opinie-onderzoek. Surveyonderzoek leidt tot de verzameling van een groot aantal gedragsmetingen bij een grote groep individuen. Het gemeten gedrag is het resultaat van een complex geheel van achtergrond en stemming van de respondent en interacties met de interviewer dat uiteindelijk leidt tot het aankruisen of schrijven van een antwoord op een vragenlijst. Deze beschouwing mag misschien wat al te klinisch zijn, maar op de keper beschouwd is dat waar het op neer komt: aan het einde van een interview is de output van de onderneming een formulier waarop tekens zijn afgebeeld. Met de interpretatie van deze tekens hebben noch de respondent, noch de interviewer iets te maken: deze 1 Billiet,

1993

5

6

Meten en operationaliseren

is de verantwoordelijkheid van de socioloog die met de cijfers, de “data” aan de slag zal gaan. Hier kan men twee soorten sociologen onderscheiden. Aan het ene uiteinde staan de sociologen die de antwoorden letterlijk nemen, de invloed van de interviewers negeren en de steekproef als onproblematisch beschouwen2 . En aan de andere kant staan de sociologen die ten aanzien van al deze aspecten sceptisch staan. Leden van beide groepen hebben de neiging om het spreekwoordelijke kind met het badwater weg te gooien: de eerste, aangezien zij conclusies verbinden aan vervuilde data – zij nemen de data te serieus; de tweede omdat zij integendeel, de data in het geheel niet serieus nemen. Het ligt voor de hand om een gulden middenweg te kiezen. Niettemin, in dit rapport ligt het zwaartepunt ook bij die aspecten waar het surveyonderzoek de mist in kan gaan, niet waar zij verrassende en interessante inzichten kan opleveren. We definieerden zo¨even de praktijk van het interviewen in termen van gedrag. Dit sluit aan bij een belangrijke stroming in de psychologie, het zgn. behaviorisme3 . Behavioristen vatten alle cognitieve processen die kunnen voor komen bij mensen op in termen van gedrag, dat wil zeggen, in termen van het observeerbare. We nemen een simpel voorbeeld. Beschouw de volgende twee items die in een attitude onderzoek aan de orde zijn gekomen4 : 1. Ik woon graag in Groot-Lokeren 2. De plaatsing van kunstwerken [in Groot-Lokeren] is een goed alternatief Nu zouden we kunnen aannemen dat respondenten die “volledig akkoord” hebben aangekruist op beide vragen ook in werkelijkheid graag in Groot-Lokeren wonen en blij zijn met de kunstwerken; en als disproportioneel veel respondenten die graag in Groot-Lokeren wonen ook de plaatsing van kunstwerken een goed initiatief vinden, zeggen dat er graag wonen en blij zijn met kunstwerken samenhangen of zelfs meer, dat het graag in Lokeren wonen wordt veroorzaakt door de waardering van kunstwerken. In de behavioristische zienswijze wordt de grens getrokken bij de laatste aanname van causaliteit, en wordt slechts geconstateerd dat het aankruisen van het antwoord “volledig akkoord” op item 1 vaak samengaat met het aankruisen van het antwoord “volledig akkoord” op item 2. In dit geval zal er weinig dispuut bestaan of dat de juiste zienswijze is. Neteliger wordt het wanneer bijvoorbeeld partijkeuze in verband wordt gebracht met ethnisch vooroordeel; hier wordt een causale relatie snel gepostuleerd terwijl de aard van de data, interviewvragen in een survey, dezelfde is. Met name de richting van causaliteit kan op statistische gronden moeilijk kan worden aangetoond5 , en is vrijwel altijd gebaseerd op consensus. Bijvoorbeeld, stemt iemand Vlaams Blok vanwege zijn/haar etnisch vooroordeel of maakt de propaganda van het Vlaams Blok zijn kiezers bevooroordeelder? Het moet duidelijk zijn dat survey-data geen “koele cijfers” zijn maar dat zij vatbaar zijn voor interpretatie. Of, om Billiet (1993: 58) te citeren: De ‘werkelijke’ waarden of de ‘ware’ antwoorden zijn immers geen objectieve en externe feiten buiten de geest van de onderzoeker. ... Daarom is geldigheid aantonen niet alleen een kwestie van technische operaties en procedures maar evenzeer van de creatieve geest. 2 Schuman,

1982; zie Billiet, 1993: 23 1988: 79 4 Bevolkingsenquˆ ete Lokeren; zie Bouckaert et al., 2001 5 Kampen, 2001; Tacq, 1987 3 Bechtel,

Methodologische aspecten van het survey onderzoek

7

De socioloog en de psycholoog zijn het beste toegerust om die geldigheid aan te tonen, maar zijn juist door die toerusting, en ik refereer hier aan Plato, ook in staat tot de grootste misleidingen.

2.2

Inhoud van de bevraging

Elke bevraging heeft uiteraard een doel, en het doel bepaalt de inhoud van de bevraging. Surveys kunnen drie doelen dienen: het beschrijven, vergelijken, of verklaren van kennis, attitudes en/of gedrag6. In veel gevallen bestaat een bevraging uit een aantal luiken. Een tevredenheidsbevraging is bv. vaak te verdelen in een luik inhoudelijke dienstverlening (output) en een luik proces van dienstverlening7 . Binnen elk luik wordt vervolgens een batterij vragen met betrekking op het daar te behandelen onderwerp gesteld. Er is natuurlijk een beperking aan het aantal luiken dat in ´e´en bevraging aan de orde kan komen. Op de eerste plaats omdat niet van de respondent kan worden verwacht een inspanning te doen die te veel van zijn/haar tijd vergt. Op de tweede plaats omdat lange interviews meer kosten en zodoende aan budgetaire beperkingen onderhavig zijn: als de interviews lang duren zal het aantal respondenten dat bevraagd kan worden beperkt zijn. Er is met andere woorden een trade-off tussen de lengte van het interview en de grootte van de steekproef. Een onderscheid dat moet worden gemaakt bij het doel van een bevraging is of het gaat om exploratief of confirmatief onderzoek. Bij exploratief onderzoek heeft de onderzoeker geen vooraf opgestelde hypothesen die middels de empirische data zullen worden getoetst, en worden de gegevens louter voor beschrijvende doeleinden gebruikt; bij confirmatief onderzoek beschikt de onderzoeker over een aantal duidelijke onderzoeksdoelen in de vorm van de toetsing van hypotheses, in de meeste gevallen relaties tussen verschillende attitudes van respondenten. Een confirmatief onderzoek kan bijvoorbeeld de toetsing inhouden of bepaalde beleidsmaatregelen tot de gewenste resultaten hebben geleid (zgn. evaluatieonderzoek8). Confirmatieve onderzoeken leiden over het algemeen tot nauwkeurig geformuleerde vraagstellingen die met een kort, meestal gesloten antwoord kunnen worden beantwoord, terwijl bij exploratief onderzoek open vragen een grotere rol spelen. De inhoud van de bevraging kan goed worden opgesteld wanneer men een accuraat beeld heeft van de inhoud van het rapport dat de uiteindelijke neerslag vormt van de survey. Ook hier spelen de drie mogelijke doelen de hoofdrol: wil men beschrijven en/of vergelijken (exploratief) of wil men verklaren (confirmatief). Er moet worden geanticipeerd op de statistische analyses die op de data zullen worden uitgevoerd. Een vragenlijst die wordt opgesteld zonder in het achterhoofd te hebben hoe de data uiteindelijk zullen worden geanalyseerd kan alleen maar leiden tot moeilijkheden. Zo moeten er bijvoorbeeld mogelijkheden zijn om de validiteit van de gebruikte items te toetsen. Met validiteit van een item wordt bedoeld of een item datgene meet wat het bedoeld was te meten. Er worden vier vormen van validiteit in de literatuur onderscheiden9 : 6 Fink,

1995: 1 et al., 2001: 17-19 8 Cronbach, 1982 9 Litwin, 1995: 35 7 Bouckaert

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken

55

Box 9. Vertrouwen i. Direkte bevraging 1. In hoeverre heeft u vertrouwen in: [BNV99 113, APS00 ] a overheidsadministraties in het algemeen b de gemeentelijke administratie c het gemeentebestuur d de Vlaamse administratie e de Vlaamse regering f de federale administratie g de federale regering h de overheid in het algemeen i de Koning j de Kerk k de patroons of de werkgevers l media: TV, radio, kranten m banken n de vakbonden o grote bedrijven p Het Europees Parlement q De NAVO r De partij waarvoor u gewoonlijk stemt s de politie en Rijkswacht t het leger u het gerecht v het onderwijs w de pastoor of parochiepriester [AS 75.5] x de mensen in uw buurt [AS 75.7] y sociale werkers [AS 75.12]

ii. Indirekte bevraging 2. In hoeverre verwacht u dat de regering Verhofstadt bij de volgende verkiezingen een positief resultaat van haar beleid aan de bevolking kan voorleggen? 3. In hoeverre bent u het eens met de stelling dat de overheid meer gecontroleerd zou moeten worden? 4. In hoeverre bent u het eens met de stelling dat de regering Verhofstadt meer gecontroleerd zou moeten worden? 5. In hoeverre verwacht u dat de regering Dewael bij de volgende verkiezingen een positief resultaat van haar beleid aan de bevolking kan voorleggen? 6. In hoeverre bent u het eens met de stelling dat de Vlaamse overheid meer gecontroleerd zou moeten worden? 7. In hoeverre bent u het eens met de stelling dat de regering Dewael meer gecontroleerd zou moeten worden?

56

Meten en operationaliseren

Hoofdstuk 4

Besluit We hebben in de voorgaande hoofdstukken een beeld proberen te schetsen van de praktische problemen die (kunnen) optreden bij de vertaling naar de praktijk van theorie¨en over tevredenheid met en vertrouwen in de overheid van de burger naar concrete operationalisaties in survey-onderzoek. Een aantal vraagtekens blijven open vooraleer aan de formulering van de uiteindelijke vragenlijst van de burger-survey kan worden overgegaan. De eerste kanttekening betreft het grote volume aan vragen dat resulteert uit de opname van de complete vragenbatterijen van de verschillende luiken. Zoals we al aangaven in paragraaf 2.2 is er een beperking aan de inspanning die van de respondenten mag worden gevraagd zodat inkorting van de vragenbatterijen ge¨ındiceerd is. Het besluit om sommige items te schrappen en andere te handhaven kan slechts ten dele door empirische argumenten worden bestendigd, zodat de uiteindelijke keuze in meer of mindere mate arbitrair zal zijn. Niettemin, multicolliniariteit van items kan in een aantal gevallen worden vastgesteld door analyses van bestaande surveys en geeft een valide aanwijzing welke items kunnen worden weggelaten1 . Naast inkorten van de lijst kan ook worden besloten om bij de respondenten een schriftelijke vragenlijst achter te laten met de idee dat deze zal worden nagestuurd; deze methode werd met enig succes toegepast door het ISPO in de verkiezingsstudie van 1999. Een tweede kanttekening betreft het belang van de vraagvolgorde. Moet men beginnen met een algemene tevredenheidsvraag en dan in andere items constituenten van dit oordeel verder uitdiepen? Of is het misschien beter om pas na detailvragen een algemeen oordeel te eliciteren? Moeten vragen over tevredenheid voorafgaan of volgen op vragen over vertrouwen? In lang niet alle gevallen kan hier een sluitend antwoord worden gegeven, en lijkt het aangewezen om de totale proefgroep te splitsen in een aantal subgroepen die elk een andere vraagvolgorde krijgen aangeboden zoals we suggereerden in paragraaf 2.4.2. Er is echter een grens aan het aantal zinvolle opdelingen dat kan worden gedaan, omdat de resulterende substeekproeven van voldoende omvang (n > 100) moeten zijn. Een derde punt betreft de kwestie of de post-enquˆete werkelijk totaal ongeschikt is als medium voor de bevraging. Non-response in post-enquˆetes kan immers tot aanvaardbare proporties worden teruggedrongen door toepassen van TDM (zie Hoofdstuk 2, paragraaf 2.3.1). Een onderzoeksstrategie die inzicht kan verschaffen in eventuele ver1 Kampen

et al., 2001

57

58

Meten en operationaliseren

schillen tussen uitkomsten van een post-survey steekproef en een face-to-face survey steekproef is door beide parallel af te nemen. D.w.z. dat de helft van het aantal respondenten via de post, en de andere helft persoonlijk worden benaderd (uiteraard vooraf anticiperend op te verwachten non-response). Budgettair komt dit naar schatting neer op een verdeling van twee-derde van het totale budget voor de face-toface interviews en terwijl een-derde voor de post-enquˆete moet worden gereserveerd. In de post-enquˆete is dan inbegrepen: een aankondigingsbrief, een herinneringsbrief, en een incentive (te verloten boeken- of platenbonnen). Een voordeel van de postenquˆetes is, wanneer zij verspreid over een langere periode worden afgenomen, dat er de mogelijkheid is om zg. media-events te “vangen”. Huwelijksaankondigingen van koninklijke familieleden en gebeurtenissen als de terroristische aanval op de Verenigde Staten van 11 september 2001 kunnen aantoonbare invloed hebben op het gerappporteerde vertrouwen van respondenten in de overheid en andere instituties2 . Theoretisch kunnen media-events ook optreden ten tijde van de afname van face-to-face interviews, maar deze worden binnen een betrekkelijk korte termijn afgenomen omdat bv. interviewernetwerken maar beperkte tijd beschikbaar zijn zodat de kans dat een belangrijke gebeurtenis plaatsvindt ten tijde van de afnames kleiner is. Een vierde kanttekening betreft het ontbreken van een overkoepelende theorie die de uiteindelijke keuze van de vragenbatterijen grotendeels zal bepalen. In het vorige hoofdstuk hebben we immers wel een ingredi¨entenlijst besproken, maar geen uitspraken gedaan over de relatieve bijdragen van elk van de deelcomponenten. De literatuurverkenning van het thema vertrouwen in de overheid wordt in het najaar afgerond, en zal de basis vormen van de uiteindelijke onderzoekshypothesen die door middel van de burgersurvey zullen worden getoetst. We bereiden met andere woorden een confirmatieve studie voor (zie paragraaf 2.2).

2 Maddens

& Billiet, 2001

Referenties APS (2002). Handleiding Kwaliteitsrichtlijnen bij het uitvoeren van surveyonderzoek. Batagelj, Z. & V. Vehovar (1998). Technical and Methodological Issues in WWW Surveys. Paper presented at AAPOR 98. Software and Methods for Conducting Internet Surveys, St. Louis. Bechtel, W. (1988). Philosophy of mind: an overview for cognitive science. Hillsdale, New Jersey: Lawrence Erlbaum. Billiet, J. (2002). (Sub)-National and ethnic identity, Social identities in ESS, forthcoming. Billiet, J. (2000). De publieke opinie ondervraagd. Over de zin en onzin van opiniepeilingen. In: B. Raymaekers & A. Van De Putte (Eds.), Krachten voor de toekomst. Lessen voor de eenentwintigste eeuw. Leuven: Davidsfonds/UP. Billiet, J. (1993). Ondanks beperkt zicht. Brussel: VUB Press. Billiet, J., G. Loosveldt & L. Waterplas (1984). Het survey-interview onderzocht. Leuven: Sociologisch Onderzoeksinstituut. Billiet, J., G. Loosveldt & L. Waterplas (1988). Response-effecten bij survey-vragen in het Nederlands taalgebied. Leuven: Sociologisch Onderzoeksinstituut. Blank, T., P. Schmidt & B. Westle (2001). Patriotism - a contradiction, a possibility or an empirical reality?. Paper presented at the European Group of Public Administration Congress in Vaasa (Finland), 5-8 Sept. 2001. Bouckaert, G., J. K. Kampen, B. Maddens & S. Van de Walle (2001). Klantentevredenheidsmetingen bij de Overheid. Leuven: Instituut voor de Overheid. Bouckaert, G., S. Van de Walle, B. Maddens & J. K. Kampen (2002). Identity versus performance. An overview of theories explaining trust in government. Leuven: Instituut voor de Overheid. Cambr´e, B. (1999). Draaiboek ISPO onderzoeken, ISPO Bulletin 36: 1-29. Cronbach, L. J. (1982). Designing evaluations of educational and social programs . San Francisco: Jossey-Bass Croon, M.A. (1991). Investigating Mokken scalability of dichotomous items by means of ordinal latent class analysis, British Journal of Mathematical and Statistical Psychology, 44, 315-331. Deschouwer, K. (1998). Opverkenning in de kloof. In: Elchardus, M. (Ed.). Een wantrouwig landje. Brussel: VUBPress.

59

60

Meten en operationaliseren Dessens, J. A. G. & W. Jansen (1987). Operationaliseren: Traditie en kritiek. Dissertatie: Rijksuniversiteit Utrecht. De Winter, L. (1998). Etnoterritoriale identiteiten in Vlaanderen: verkenningen in een politiek en ideologisch mijnenveld. In: M. Swyngedouw, J. Billiety, A. Carton & R. Beerten (Eds.), De (on)redelijke kiezer. Onderzoek naar de politieke opvattingen van Vlamingen. Leuven: Acco. Dillman, D. A. (1978). Mail and Telephione Surveys. New York: Wiley. Dillman, D. A. & D. K. Bowker ( 2000 ). The Web Questionnaire Challenge to Survey Methodologists. Book chapter forthcoming. See URL http://websm.org/literabc.html Elchardus, M. (1998). Was U Vandaag Al Slachtoffer of Werd U Beschuldigd? Gebruiksaanwijzing voor een Wantrouwende Samenleving. In: Elchardus (Ed.) Wantrouwen en Onbehagen. Brussel: VUB Press. Fink, (1995). How to design surveys. London: SAGE. Fowler, F. J. (1995). Improving survey questions. London: SAGE. Gamson, W. A. (1968). Power and discontent. Illinois: The Dorsey Press. Hurwitz, J. & M. Peffley (1999). International attitudes. In: Robinson, J. P. , P. R. Shaver & L. S. Wrightsman (1999). Measures of Political Attitudes. London: Academic Press. Kampen, J. K. (2001). The adequacy and interpretation of models for ordinal association. Dissertatie: KUBrussel. Kampen, J. K., J. Billiet & G. Molenberghs (2001). Constituents of trust in government in Flanders: An exploration. Paper presented at the European Group of Public Administration Congress in Vaasa (Finland), 5-8 Sept. 2001. Kampen, J. K. & M. Swyngedouw (2000). The ordinal controversy revisited, Quality & Quantity 34: 87-102. Kosterman, R. & S. Feshbach (1989). Toward a measure of patriotic and nationalistic attitudes, Political Sociology 10: 257-274. Loosveldt, G. (1997). Research note: Interaction characteristics of the difficult-tointerview respondent, International Journal of Public Opinion Research 4: 386-394. Loosveldt, G. & A. Carton (2001). Kwaliteitsevaluatie van surveys. Een toepassing op de surveys naar culturele verschuivingen in Vlaanderen. In: Vlaanderen gepeild. Brussel: APS. Loosveldt, G., & Carton, A. (1997). Evaluatie van datakwaliteit in survey-onderzoek: Het gebruik van het na-interview en het rapport van de interviewer, Mens en Maatschappij 72: 166-175. Linschoten, J. (1962). Idolen van de psycholoog. Utrecht: Bijleveld. Maddens, B. & J. Billiet (2001). Bagalot revisited: the monarchy as a factor for political support: the case of Flanders/Belgium. Paper presented at the European Group of Public Administration Congress in Vaasa (Finland), 5-8 Sept. 2001. Meersseman, E., J. Billiet, A. Depickere and M. Swyngedouw (2001). 1999 General Election Study Flanders − Belgium. Codebook and Questionnaire. Leuven: ISPO.

Tevredenheid en vertrouwen: Vragenbatterijen en vragenluiken

61

Miller, A. H. (1974). Political issues and trust in government: 1964-1970, American Political Science Review 68(3): 951-972. Miller, G. A. (1956). The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information, The Psychological Review 63: 81-97. Mishler, W. & R. Rose (1996). Trajectories of fear and hope − Support for democracy in post-Communist Europe, Comparative political studies 28: 553-581. Pickery, J. (2000). Applications of multilevel analysis in survey data quality research. Random coefficient models for respondent and interviewer effects. Dissertatie: KULeuven. Sudman, S. & N. Schwartz (1987). Contributions of cognitive psychology to data collection, ZUMA-Arbeitsbericht 02. Steen, A. (1996). Confidence in institutions in post-communist societies: the case of the Baltic states, Scandinavian political studies 3: 205-255. Swyngedouw, M. (2001). The subjective cognitive and affectieve map of extreme right voters: using open-ende questions in exit-polls, Electoral Studies 20: 217-241. Swyngedouw, M. , R. Beerten & J. K. Kampen (1999). De Veranderingen in de Samenstelling van de Kiezerskorpsen 1995-1999, ISPO Bulletin 35: 1-37. Szompka, P. (1996). Trust and emerging democracy: Lessons from Poland, International sociology 1: 37-62. Uslaner, E. (1998). Social Capital, Television, and the ‘Mean World’: Trust, Optimism, and Civic Participation, Political Psychology 19: 441-467.