4
UITVOERING
VAN HET ONDERZOEK
In dit hoofdstuk wordt ingegaan op de onderzoeksopzet en de praktische uitvoering daarvan. Om te beginnen wordt de aanpak van de dataverzameling uitgelegd (met name het onderzoeksinstrument en het bepalen van de steekproef) en vervolgens komen de dataverwerking en de respons op de enquête aan bod. Het doel van dit onderzoek is vast te stellen wat de opvattingen zijn van Nederlandse journalisten ten aanzien van ontwikkelingssamenwerking. Daarmee is het een verkennend onderzoek: het is niet de bedoeling om een hypothese te toetsen, het gaat erom een beter begrip te krijgen van het werk van journalisten en de plaats die het onderwerp ontwikkelingssamenwerking in dat werk krijgt. Dit onderzoek moet daarom een inventarisatie worden van hoe ontwikkelingssamenwerking ‘het doet’ onder de Nederlandse journalisten.
4.1
Dataverzameling: survey
Om meer inzicht te verkrijgen in het werk van journalisten is er al veel kwalitatief onderzoek gedaan op nieuwsredacties. De onderzoeker loopt dan mee met de redacteuren, interviewt hen en hun leidinggevenden en woont redactievergaderingen bij (Gans, 1980; Hermans, 2000; Tuchman, 1973). De redenen om desondanks te kiezen voor een kwantitatieve onderzoeksopzet liggen besloten in de centrale vraag en de deelvragen. Om in het algemeen iets te kunnen zeggen over de opvattingen die leven binnen de beroepsgroep van journalisten op nieuwsredacties is een grootschalige opzet nodig. De kwantitatieve gegevens maken het ook makkelijk vergelijkingen te trekken met het eerdere onderzoek dat ik in voorgaande hoofdstukken besproken heb. Survey-onderzoek is een onderzoekstype dat binnen de communicatiewetenschap veel gebruikt wordt om een bepaalde populatie te kunnen beschrijven (Hendriks Vettehen & Nelissen, 1995, p. 95). In bovengenoemde kwalitatieve onderzoeken komt concrete kennis (zij het ‘algemene ontwikkeling’ of juist specialistische kennis) van journalisten niet of weinig aan bod komt. Met een enquête is het beter mogelijk om op een grote schaal en op een gestandaardiseerde, betrouwbare manier opvattingen, kennis en visies te meten. Om de centrale vraag van dit onderzoek te kunnen beantwoorden, is een enquête opgesteld met 74 vragen. Uit de besproken literatuur volgden deze drie onderwerpen, 29
Uitvoering van het onderzoek
die in de vragenlijst zijn uitgewerkt om een antwoord te kunnen geven op de centrale vraag: ten eerste informatie over de respondenten (waaronder functie, leeftijd, specialismen), ten tweede beroepspraktijk (gebruik van bronnen, de samenwerking met ontwikkelingsorganisaties, interesse voor en betrokkenheid bij ontwikkelingssamenwerking), en ten derde kennis/visie. De vragenlijst zelf is integraal opgenomen in bijlage B; de precieze operationalisatie van die onderwerpen naar concepten en indicatoren is terug te vinden in bijlage A. De meeste vragen in de vragenlijst zijn afkomstig uit eerder onderzoek. Hendriks Vettehen en Nelissen (1995) bevelen deze aanpak aan, want het formuleren van vragen is bepaald geen sinecure. De ontwerper van een vragenlijst doet er daarom allereerst verstandig aan om na te gaan in hoeverre vakgenoten in soortgelijk onderzoek al eerder tot goede vragen zijn gekomen. Dit voorkomt dat hij opnieuw het wiel moet uitvinden en kan bovendien de vergelijkbaarheid van zijn eigen onderzoek met dat van de betreffende vakgenoten bevorderen. (Hendriks Vettehen & Nelissen, 1995, p. 103) De theoretische concepten zijn geoperationaliseerd door een combinatie te maken van vragen uit het Draagvlakonderzoek en het onderzoek van Buckens et al., en die aan te vullen met een aantal eigen vragen die specifiek gericht zijn op de journalistieke beroepsgroep. Beroepsgroep-specifieke vragen Hoewel het niet makkelijk is een norm op te stellen voor het kennisniveau van journalisten (Van Schuur & Vis, 2000), is het wel mogelijk de opvattingen van journalisten te vergelijken met die van hun publiek én met wat anderen van de journalisten verwachten. Aanvankelijk was het de bedoeling om journalisten te vragen naar thema’s waar voorlichters van ontwikkelingsorganisaties van vinden dat journalisten er tenminste van op de hoogte zouden moeten zijn. Er zijn daarom in de aanloop naar het opstellen van de vragenlijst interviews gehouden (gemiddelde duur drie kwartier) met drie voorlichters en twee ‘deskundigen’. Hoewel het interessante gesprekken waren, bleken de geïnterviewden geen lijstje te hebben van concrete onderwerpen die ze kwijt willen aan journalisten of waarvan ze vinden dat journalisten er van op de hoogte van zouden moeten zijn. Wel zeiden ze allen graag te willen dat journalisten een brede of bredere kijk op de wereld(economie) zouden hebben. De interviews hebben dus geen concrete vragen opgeleverd, al hielpen ze wel bij de uiteindelijke keuze van vragen voor de vragenlijst. 30
Uitvoering van het onderzoek
Naast de vragen die overgenomen werden uit bestaande vragenlijsten werden een aantal nieuwe vragen toegevoegd, om een antwoord te kunnen geven op de onderzoeksvragen over kennis en de beroepspraktijk. De kennisvragen uit het Draagvlakonderzoek werden aangevuld met vragen over drie thema’s: de Dick Scherpenzeelstichting, de plaats van Nederland op de ontwikkelingsindex van de Verenigde Naties en het bedrag dat de Nederlandse overheid uitgeeft aan ontwikkelinssamenwerking. In 1975 nam toenmalig minister voor ontwikkelingssamenwerking Jan Pronk het initiatief tot oprichting van de Dick Scherpenzeelstichting. De stichting heeft als doelstelling het “analyseren en stimuleren van berichtgeving over niet-westerse landen en Noord-Zuid verhoudingen in de Nederlandse media”.6 Vanwege die doelstelling is het interessant om in het kader van het gebruik van bronnen te informeren naar de bekendheid met de Scherpenzeelstichting. Ook wordt er een vraag gesteld over ‘vergeten verhalen’: in 2005 stelde de Scherpenzeelstichting voor de tweede keer een top tien samen van verhalen die meer aandacht zouden moeten krijgen in de media. Ook andere organisaties zoals Artsen zonder Grenzen en Reuters’ Alertnet maken jaarlijks zo’n overzicht. Elk jaar berekent de VN-ontwikkelingsorganisatie UNDP de Human Development Index. Het is een lijst van praktisch alle landen in de wereld, gerangschikt naar welvaart en met name ook welzijn. De index combineert cijfers over levensverwachting, het aantal kinderen dat naar school gaat, geletterdheid en inkomen, “to allow a broader view of a country’s development than does income alone” (UNDP, 2005). De meest ontwikkelde landen staan bovenaan, de minst ontwikkelde landen onderaan. Nederland stond sinds 1999 op de achtste plaats en in de afgelopen twee jaar op de vijfde plaats.7 Door de respondenten deze ranking te laten schatten, wordt geprobeerd te achterhalen in welke mate zij de relatieve welvaart van Nederland in verhouding tot de rest van de wereld goed weten te beoordelen. Verder wordt een aantal vragen gesteld over het bedrag dat de Nederlandse regering uitgeeft aan ontwikkelingssamenwerking. Al in 1970 spraken de rijke landen op een vergadering van de Verenigde Naties af om 0,7 procent van hun bruto nationaal inkomen te besteden aan ODA: official development assistance (Dickenson, 1996; Shah, 2005). Nederland besteedt 0,8 procent van het nationaal inkomen aan ontwikkelingsBron: http://www.scherpenzeel.org/, retrieved 23 januari 2006 In de laatste editie van het Human Development Report is Nederland een aantal plaatsen gezakt, net als België. Dat komt niet doordat beide landen slechter scoren op de indicatoren, maar doordat een aantal andere landen het nog beter doet (Baker & De Ron, 2005). Dit werd overigens bekend ná het afronden van de enquête. 6 7
31
Uitvoering van het onderzoek
samenwerking (ongeveer 4 miljard euro per jaar8) en is daarmee één van de weinige landen die zich aan de gemaakte afspraken houdt. Vanwege het belang dat in de ontwikkelingssector aan dit percentage wordt gehecht, is het interessant om te meten of journalisten bekend zijn met dit percentage. Derde wereld in beeld Om de visie van de journalisten op Nederlandse nieuwsredacties te kunnen peilen, zijn een aantal vragen overgenomen uit het afstudeeronderzoek ‘De Derde Wereld in beeld’ van Boschman, Buckens en Rijsdijk (1990). Zij onderzochten het verband tussen mediagebruik en opvattingen over ontwikkeling. De onderzoeksopzet bestond uit twee delen: een inhoudsanalyse op informatieve programma’s en daarnaast een publieksonderzoek. Voor het publieksonderzoek werd een aantal vragen meegenomen in een telefonische enquête van de Dienst Kijk- en Luisteronderzoek. Om de visie van de journalisten in dit onderzoek te meten, is het instrument van Boschman et al. gebruikt, met als bijkomend voordeel dat het mogelijk wordt een vergelijking te kunnen maken tussen de journalisten en het Nederlandse publiek. De volgende vragen zijn opgenomen in de vragenlijst: ‘leest u wel eens een speciaal tijdschrift over de Derde Wereld? welke tijdschriften?’ en ‘komt geld van televisie-acties meestal wel of meestal niet goed terecht?’. Om de opvattingen van journalisten over ontwikkelingthema’s op een systematische manier te kunnen meten, werd hen gevraagd te reageren op een aantal oplossingen en stellingen. Ook deze vragen zijn rechtstreeks ontleend aan het onderzoek van Boschman, Buckens en Rijsdijk. Zij stelden acht mogelijke oplossingen en tien stellingen op, allen “voortkomend uit de ideaaltypische modernisatie- en dependentievisie” en “met betrekking tot de Derde-Wereldproblematiek en ontwikkelingshulp” (Boschman, Buckens & Rijsdijk, 1991, p. 102). De respondenten werden gevraagd cijfers uit te delen aan de oplossingen en aan te geven in welke mate men het eens was met de stellingen. Vervolgens is op basis van hun antwoorden op de stellingen en oplossingen voor elke respondent bepaald welke visie hij of zij er op na houdt ten aanzien van ontwikkeling. De stappen die zijn gezet om tot die indeling te komen zijn terug te vinden in bijlage H. Om meer inhoudelijk zich te krijgen op de visie van de journalisten over ontwikkeling, werden ook de drie open vragen overgenomen waarmee de respondenten worden gevraagd op te noemen wat de problemen van ontwikkelingslanden zijn, wat de
8
Exacte cijfers zijn te vinden op de OECD-website (zie ‘aid statistics’): http://www.oecd.org/dac/
32
Uitvoering van het onderzoek
oorzaken van die problemen zijn en wat mogelijke oplossingen voor de problemen zouden zijn. De antwoorden bij elk van deze vragen zijn gecodeerd; de gebruikte categorieën zijn terug te vinden in de bijlagen, net als de bijbehorende frequentietabellen. Draagvlakonderzoek Alle overige vragen komen uit het al genoemde Draagvlakonderzoek dat de NCDO (Nationale Commissie voor Duurzame ontwikkeling en Ontwikkelingssamenwerking) sinds 1971 ongeveer elke vier jaar uitvoert. Dit Draagvlakonderzoek bestaat uit een vragenlijst die elke vier jaar telefonisch wordt afgenomen (in 2002 bij 803 respondenten). Met dat onderzoek wordt gemeten wat de Nederlanders afweten van de Nederlandse ontwikkelingssamenwerking en in welke mate wij het beleid en de uitgaven ervoor steunen, oftwel hoe groot het draagvlak is (NCDO, 2000; Pollet & Develtere, 2003). Als het kennisniveau van de gemiddelde Nederlander een indicatie is, dan zou het met de kennis van journalisten op dit onderwerp wel eens tegen kunnen vallen. Om daar iets over te kunnen zeggen zal een vergelijking worden gemaakt tussen de opvattingen van de journalisten en die van de Nederlandse bevolking als geheel. Een paar kennisvragen die zijn overgenomen uit het Draagvlakonderzoek behoeven enige inleiding. Ten eerste is een vraag opgenomen die bedoeld is om een idee te krijgen van het beeld dat mensen hebben van de welvaart van Nederland in de wereld in verhouding tot andere landen (en slaat dus op het concept kennis/visie). De journalisten worden gevraagd het indexcijfer te schatten van het bruto nationaal product van een aantal landen. Het is niet de bedoeling hier na te gaan of de schatting klopt, het gaat meer om de vergelijking met de Nederlanders. Het Draagvlakonderzoek gaat namelijk vrij uitgebreid in op het onvermogen van de Nederlanders om het bruto nationaal product van arme en rijke landen goed in te schatten: De volgorde van rijk naar arm hebben de volwassenen in Nederland vrij goed. De schatting van de koopkracht van de in de vraag genoemde rijke landen ligt iets onder, maar dicht bij, de werkelijke cijfers. De koopkracht van de minder rijke en arme landen wordt veel en veel te hoog geschat. (NCDO, 2002) Ten tweede is een vraag overgenomen die verwijst naar remittances: ‘Denkt u dat iemand van buitenlandse afkomst in Nederland gemiddeld meer, evenveel of minder geld of goederen geeft aan mensen in ontwikkelingslanden dan de gemiddelde Nederlander?’. Eigenlijk wordt hier indirect gevraagd of men bekend is met remittances, de bedragen die migranten overmaken naar het land van herkomst. Miljoenen gezinnen en de facto hele economieën draaien op het geld dat emigranten naar hun familie opsturen. Het volume 33
Uitvoering van het onderzoek
van de gelden die zo de wereld overgaan is voor veel landen groter dan de buitenlandse investeringen én de omvang van hulpgelden (Dickenson et al., 1996, p. 253). Na het samenstellen van de vragenlijst zijn een aantal handelingen uitgevoerd om er een degelijk instrument van te maken: door hem vantevoren een paar keer door proefpersonen in te laten vullen, konden vragen worden opgespoord die niet duidelijk gesteld waren. Ook werd er gekeken of het invullen niet teveel tijd zoukosten.
4.2
Onderzoekspopulatie
Dataverzameling begint met de vraag naar de theoretische populatie of het universum: over welke groep mensen wil men met het onderzoek uitspraken doen? De centrale vraag van dit onderzoek heeft betrekkling op alle journalisten die zich bezighouden met de dagelijkse nieuwsvoorziening in Nederland, dus zij vormen in dit geval de theoretische populatie (Baarda & De Goede, 2001, p. 151-152). Om over hen uitspraken te kunnen doen, moet vastgesteld worden binnen wat voor groep mensen het onderzoek zal worden uitgevoerd. De beslissingen op basis waarvan die ‘operationele populatie’ tot stand is gekomen, worden nu eerst toegelicht. De operationele populatie, de groep eenheden waarbinnen het onderzoek uitgevoerd zal worden en “waaruit we vervolgens relatief eenvoudig de steekproef kunnen trekken” (Hendriks Vettehen & Nelissen, 1995, p. 99), valt in dit geval samen met de theoretische populatie. De hierboven behandelde literatuur gaat over (de kenmerken van) de journalistiek en de berichtgeving, waarbij men zich bijvoorbeeld baseerde op onderzoek op nieuwsredacties van de grote Amerikaanse networks (Gans, 1980; Wallis & Baran, 1990) en de Nederlandse politiek redacteuren (Van Schuur & Vis, 2000). De onderzoeksvragen die gesteld zijn aan het begin van dit hoofdstuk zijn afgeleid van dat onderzoek en het ligt daarom voor de hand om dezelfde operationele populatie te hanteren, namelijk alleen journalisten op informatieve redacties. De redacties waar de redacteuren gevraagd zijn de vragenlijst in te vullen, zijn dan ook allen nieuwsredacties van kranten, persbureaus en televisienieuwsrubrieken (zie tabel 4-3 op pagina 41). Om dezelfde reden zijn alleen die deelredacties van vragenlijsten voorzien die werken met ‘hard nieuws’: er is gekozen voor de redacties algemeen, binnenland, buitenland, politiek (Den Haag) en economie, en daarnaast de journalisten die zich bezighouden met algemene verslaggeving en de onderwerpen landbouw en de Europese Unie. Door de theoretische populatie op deze manier in te perken, wordt ook voorkomen dat er een steekproef ontstaat die zó gevarieerd is (met mensen die zó van elkaar verschillen in
34
Uitvoering van het onderzoek
functie en redactie) dat het moeilijk zou worden om de verschillende soorten redacties met elkaar te vergelijken. Er moet benadrukt worden dat er bewust voor is gekozen om de populatie niet te beperken tot journalisten die ontwikkelingssamenwerking als specialisme hebben of er extra veel mee te maken hebben. De bedoeling is nu eenmaal niet om meer te weten te komen over dat deel van de journalistiek dat zich specifiek met ontwikkelingssamenwerking of globalisering bezighoudt, maar juist over hoe algemene media omgaan met het onderwerp ontwikkelingssamenwerking. Deze praktische methode om respondenten voor het onderzoek te vinden, kan het beste worden getypeerd als een ‘selecte, toevallige steekproef’ (`t Hart & Snijkers, 2005; Baarda & De Goede, 2001, p. 164). Redacties werden uitgekozen (geselecteerd) en bij toestemming en medewerking van de contactpersoon werden vervolgens voor zover mogelijk alle journalisten op de genoemde deelredacties voorzien van een vragenlijst. De kans die eenheden hebben om in de steekproef te zitten is daardoor onbekend en waarschijnlijk ook ongelijk (Baarda & De Goede, 2001, p. 163-166). Die kans hing af van de inzet van de contactpersonen en de mate waarin zij de door de onderzoeker gegeven instructies voor verspreiding begrepen en opgevolgd hebben. In die zin is de steekproef dus toevallig: wie ik kon bereiken (wie beschikbaar was), zat in de steekproef. Journalisten die niet vaak aanwezig zijn op de redacties hadden dan ook waarschijnlijk een kleinere kans in de steekproef te zitten, zoals correspondenten, freelancers en redacteuren op andere locaties dan de centrale redactie. Een voordeel van deze aanpak is dat de eenheden binnen elk cluster (de nieuwsredactie) gemakkelijk in één keer met een vragenlijst kunnen worden benaderd. Een duidelijk nadeel is dat er de onderzoeker weinig controle heeft over de uiteindelijke verspreiding: het is tenslotte niet zeker of de contactpersoon zich gehouden heeft aan de afspraken over het uitdelen van de vragenlijst en het versturen van een herinnering aan de redacteuren. Hierdoor is het niet mogelijk om met precisie iets te zeggen over de respons. De redacties zijn uitgekozen op basis van een aantal overwegingen. Het was belangrijk dat de steekproef voldoende groot zou worden om representatief te kunnen zijn voor de genoemde populatie. Verder zou de steekproef moeten bestaan uit voldoende respondenten van verschillende redacties (krant en televisie, landelijk en regionaal) om met de onderzoeksresultaten iets te kunnen zeggen over onderlinge verschillen. Het aantal nieuwsredacties is niet zo groot in Nederland, zodat het mogelijk was om een groot deel van hen te vragen mee te doen. Door veel redacties te benaderen zou de uiteindelijke steekproef flink wat redacties tellen, waardoor ook bij een lage algemene respons toch een redelijk aantal enquêtes zou komen (Stoop, 2005). 35
Uitvoering van het onderzoek
Ten eerste zijn alle landelijke dagbladen benaderd (Bakker & Scholten, 2003, p. 6) plus Parool en het Financieele Dagblad. Ook werden een paar regionale titels hieraan toegevoegd. Uit praktische overwegingen werd de grootste regionale krant, Dagblad van het Noorden, overgeslagen en werden de twee kranten gekozen die daarop volgen voor wat betreft oplagecijfers, namelijk de Gelderlander en de Stentor (Cebuco, 2005). Daarmee zijn de regionale kranten wel ondervertegenwoordigd in de steekproef, zeker aangezien iets meer dan de helft (54%) van de totale oplage van Nederlandse kranten (3,9 miljoen) voor rekening komt van de regionale bladen.9 Ten tweede is er in de categorie Radio en Televisie grofweg gekozen voor rubrieken met nationale bekendheid die elke dag uitgezonden worden: NOS Journaal en RTL Nieuws (inclusief RTL-Z), Netwerk, 2Vandaag, Radio1 Journaal. Verder zijn ook een aantal redacties van de Wereldomroep benaderd. Business News Radio wordt gemaakt door hetzelfde bedrijf als het Financieele Dagblad, maar van de FD-respondenten gaf niemand aan bij de radio te werken. Overigens is Llink (voorheen De Nieuwe Omroep) niet gevraagd mee te doen met het onderzoek. Deze omroep, die méér aandacht voor ontwikkelingssamenwerking wil bewerkstelligen, bestaat nog maar kort en zoals al opgemerkt is de journalistiek in het algemeen hier onderwerp van onderzoek, niet de specialisten op het thema ontwikkelingssamenwerking. In de vragenlijst is de respondenten ook niet gevraagd of ze die omroep kennen, omdat Llink op het moment van de enquête net van naam was veranderd en het resultaat van die vraag daardoor weinig informatief was geweest. Ten derde zijn de twee grote persbureaus in Nederland in de steekproef opgenomen, namelijk de GPD en ANP. Zij zijn geen publicatiemedia op zich, maar horen in zoverre tot de groep Nederlandse nieuwsredacties, dat ze verantwoordelijkheid zijn voor een groot deel van de selectie en invulling van de onderwerpen die in de Nederlandse media aan bod komen. Door de GPD mee te nemen, zijn tevens de regionale media in Nederland beter vertegenwoordigd, aangezien die veel putten uit het GPD-aanbod. Tot slot is nog overwogen en geprobeerd om ter vergelijking met de overige redacties ook een aantal special interest-bladen op het gebied van ontwikkelingssamenwerking of globalisering in het onderzoek te betrekken, zoals IS en Onze Wereld. Het lukte echter niet om binnen de metingperiode om de nodige contacten te leggen, vooral aangezien deze bladen voornamelijk werken met freelancers. Door deze pogingen is zijn er echter
Bakker en Scholten melden wel dat de verhouding landelijk/regionaal langzaam verandert ten gunste van de landelijke dagbladen (Bakker & Scholten, 2003, p. 9). 9
36
Uitvoering van het onderzoek
wel twee freelancers met ontwikkelingssamenwerking als specialisme in de steekproef terecht gekomen.
4.3
Verspreiding vragenlijst
De enquête is uitgevoerd in juni en juli 2005.10 Om de vragenlijst te verspreiden is elke redactie afzonderlijk benaderd. Er is eerst telefonisch contact gezocht: aan secretaresses, (adjunct-)hoofdredacteuren en redactiechefs werd de vraag voorgelegd of zij bereid waren de vragenlijst op hun redactie te verspreiden. Aan de contactpersoon op die redacties werd vervolgens uitgelegd welke deelredacties relevant waren voor het onderzoek, dat alle mensen op die deelredacties er één zouden moeten krijgen en dus niet alleen mensen die volgens de contactpersoon met het onderwerp te maken hadden. Op tien redacties is een papieren vragenlijst verspreid, op vijf redacties werden de redactieleden via e-mail op een vragenlijst gewezen die op internet ingevuld kon worden (zie tabel 4-1 en tabel 4-3). Op die vijf redacties vond men het namelijk te omslachtig om een papieren vragenlijst onder de redacteuren te verspreiden, maar werd er wel akkoord gegaan met het versturen van een mailtje over het onderzoek.11 De online enquête was zo opgezet dat hij bijna exact leek op de papieren versie, om te voorkomen dat de beide meetmethoden verschillen in de data zouden veroorzaken (‘moduseffecten’; Stoop, 2005, p. 47-50). Op basis van de link naar de online enquête die rondgemaild werd op die redacties, kon later weer achterhaald worden van welke redactie de respondent kwam.12 Na ongeveer anderhalve week werd op bijna alle redacties (zowel papier als digitaal) een e-mail rondgestuurd om de journalisten aan de vragenlijst te herinneren en weer een week later werden de ingevulde –papieren- vragenlijsten bij de redacties opgehaald of door de redacties opgestuurd.
4.4
Respons
De respons wordt in dit onderzoek gevormd door de redacties die medewerking verleenden en de journalisten die een vragenlijst invulden. Om te beginnen behandel ik
Overigens meldden de contactpersonen dat het op dat moment, ondanks de aankomende vakantieperiode, niet zo was dat veel redacteuren weg waren. 11 Aanvankelijk was daar niet in voorzien, omdat de respons op digitale vragenlijst nog steeds lager schijnt te zijn dan bij een meer conventionele methode. 12 Wat ook meteen een vorm van beveiliging was tegen ongewenste respondenten. De basis-URL van de online enquête was http://www.student.ru.nl/j.meijers/. 10
37
Uitvoering van het onderzoek
hier eerst de strategieën die toegepast zijn om een redelijke respons te krijgen en dan waar al deze tactieken toe hebben geleid: de medewerking van de redacties en vervolgens de respons op de enquête zelf. De vragenlijst verspreiden middels persoonlijk contact met contactpersonen was één van de tactieken die toegepast werden teneinde een goede respons te krijgen (Dillman, 2000; Stoop, 2005). In de hoop dat mensen eerder geneigd zouden zijn mee te werken, werd nog een aantal strategieën toegepast in de begeleidende brief. Zo werd de actuele relevantie van het onderzoek toegelicht, werd de respondenten verteld dat zij kans maakten op een boek en dat ze er voor konden kiezen om een verslag van het onderzoek te ontvangen. Om het de respondenten verder gemakkelijk te maken, hoefde de enquête niet opgestuurd te worden maar kon men hem centraal op de redactie inleveren. Wat de respons mogelijk níet ten goede is gekomen, is dat de vragenlijst met zijn 74 items vrij lang was. Hoewel in de begeleidende brief werd aangekondigd dat het invullen ongeveer 15 minuten zou duren, rapporteerden sommige respondenten dat het hen aanmerkelijk meer tijd had gekost. 4.4.1
Aanvankelijke respons
Vijftien van de een-en-twintig nieuwsredacties die zijn gebeld, gaven hun toestemming, zes wilden niet meewerken (zie tabel 4-1). Parool, Quote en NRC weigerden niet expliciet, maar lieten weinig van zich horen. In het geval van het Parool werd de vragenlijst alleen door de contactpersoon ingevuld; die is in de dataset opgenomen. In de eerste instantie was het de bedoeling om ook de ‘vakbladen’ op het gebied van ontwikkelingssamenwerking in het onderzoek op te nemen. Als tegenhanger in deze categorie ‘magazines’ is ook maandblad Quote benaderd, maar ook daar is de enquête alleen door de contactpersoon zelf ingevuld. Het maandblad past op zich niet in het rijtje van de operationale populatie; hun deelname was alleen zinvol geweest ter vergelijking met die andere magazines in de steekproef. Aangezien die niet in het onderzoek zijn betrokken, is ook deze enkele respondent niet in de dataset opgenomen. De overige non-respons bestaat uit de weigerachtigheid (`t Hart et al., 1998, p. 243) van de redacties van de Telegraaf en de televisieprogramma’s Netwerk, NOS Journaal en Nova. Deze redacties vonden dat de medewerkers het er al druk genoeg hebben. Een paar keer werd ‘onderzoeksmoeheid’ aangevoerd: “We hebben al onderzoekers rondlopen en worden sowieso bedolven onder de aanvragen voor onderzoeken”.
38
Uitvoering van het onderzoek
Tabel 4-1. Redacties in de steekproef, naar medium Medewerking
Geen medewerking
Totaal
Radio en televisie
4
3
7
Print
9*
3
12
Persbureaus
2
-
2
Totaal
15
6
21
* waaronder twee regionale titels Zoals al eerder is toegelicht, is het door de gebruikte sampling-methode niet mogelijk om met zekerheid iets te zeggen over de non-respons. Hooguit kan er een schatting gemaakt worden van het aantal verspreide vragenlijsten: Tabel 4-2. Vragenlijsten Verspreid
Ingevuld
Schatting respons
Papier
725
138
~ 19%
Digitaal
170?
79
~ 47% ?
Totaal
895?
217
~ 24% ?
Deze cijfers moeten worden beschouwd als niets meer dan een zeer ruwe schatting. Het aantal verspreide papieren enquêtes is het aantal dat afgeleverd is op de redacties; het is onzeker welk deel daarvan daadwerkelijk bij redacteuren terecht is gekomen. Aangezien er ongetwijfeld minder zijn uitgedeeld dan ik afgeleverd heb, zal het responspercentage voor de papieren vragenlijsten in werkelijkheid hoger zijn. Hoeveel mensen een e-mail hebben gehad waarin hen gevraagd wordt de online enquête in te vullen, is helemaal onduidelijk. De verspreiding wordt geschat op basis van wat de contactpersonen hebben opgegeven. Het genoemde aantal digitaal ingevulde enquêtes is al exclusief de respondenten die wel de eerste pagina van de vragenlijst bekeken, maar niets invulden. De algehele respons zal waarschijnlijk in werkelijkheid tussen de 19 en 30 procent liggen. 4.4.2
Dataverwerking en uiteindelijke respons
De ‘uiteindelijke respons’ (Baarda & De Goede, 2001) ligt nog iets lager dan het aantal teruggekregen vragenlijsten. De werkelijk bruikbare informatie blijft over na het opschonen van de dataset. Nu wordt eerst de dataverwerking behandeld, dan de datacleaning en tot slot de uiteindelijke grootte van de dataset.
39
Uitvoering van het onderzoek
De verzamelde papieren vragenlijsten zijn door zes datatypisten ingevoerd in dezelfde MySQL-database en met praktisch hetzelfde soort formulier als waar respondenten de online enquête mee konden invullen.13 De datatypisten hadden de extra mogelijkheid invoer-opmerkingen aan het record toe te voegen. Na de data-entry werden de online ingevulde vragenlijsten en de ingevoerde vragenlijsten samengevoegd tot één dataset, die uit de database werd gehaald in een formaat dat in SPSS ingelezen kon worden. De antwoorden op open vragen zijn opgeslagen in een Access-bestand. Respondenten vullen vragen soms verkeerd of onduidelijk in en datatypisten maken wel eens een typefout bij het invoeren. Er is zoveel mogelijk geprobeerd dat soort fouten uit de dataset te halen (‘datacleaning’; Hendriks Vettehen & Nelissen, 1995, p. 105-106), onder andere aan de hand van de aantekeningen van de datatypisten. Zij hadden namelijk de instructie gekregen niet te raden naar wat er stond, maar aantekening te maken van onleesbare of anderszins onduidelijke antwoorden. Records in de dataset waar fouten in werden gevonden, zijn nog eens vergeleken met de originele vragenlijst. Verder is een aantal (toevallig gekozen) enquêtes opnieuw ingevoerd (door een andere datatypist) om inconsistenties en fouten op te sporen. De records van een aantal respondenten zijn verwijderd uit de dataset. Enerzijds gaat het om de partiële non-respons (’t Hart et al., 1998, p. 242) oftewel vragenlijsten waarbij de respondenten op een gegeven moment zijn opgehouden met invullen. De records van respondenten die alleen de eerste van de dertien pagina’s hadden ingevuld, zijn weggehaald. Anderzijds zijn er een paar respondenten verwijderd die op basis van hun functie niet in de operationele steekproef thuishoren, zoals een vertaler en een corrector. Al met al zijn er op die manier 18 respondenten uit de dataset verwijderd (nadat eerder al de lege vragenlijsten waren verwijderd), waardoor de uiteindelijke respons 199 eenheden groot is. 177 Respondenten vulden alle pagina’s in, 22 respondenten stopten vroeger in de vragenlijst. Het gevolg is dat de respons door de vragenlijst heen steeds lager ligt dan 199: aan het begin en het einde van de vragenlijst doordat veel mensen geen persoonlijke gegevens wilden invullen zoals voor welk medium ze werken en politieke voorkeur, en in de loop van de vragenlijst doordat sommigen eerder afhaakten. Overigens hielden de ‘online invullers’ het vaak eerder voor gezien dan de respondenten die een papieren vragenlijst voor zich hadden. Het lijkt erop dat de respons op de digitale vragenlijst beter is, maar dat de papieren vragenlijsten completer worden ingevuld.
Bij de respondenten werd ook nog het IP-nummer en de sessie-identificatie in de database opgeslagen, zodat onder meer kon worden nagegaan of mensen niet vaker dan één keer de vragenlijst invulden. 13
40
Uitvoering van het onderzoek
Tabel 4-3. Respons per redactie Frequentie
Percentage
ANP
31
15,6
Wereldomroep
27
13,6
Volkskrant
25
12,6
RTL Nieuws
23
11,6
Radio 1 Journaal
20
10,1
Nederlands Dagblad
16
8,0
Financieele Dagblad
15
7,5
GPD
11
5,5
2Vandaag
8
4,0
Trouw
6
3,0
Reformatorisch Dagblad
4
2,0
Gelderlander
4
2,0
AD
3
1,5
Stentor
3
1,5
Freelancers
2
1,0
Parool
1
,5
Totaal
199
100,0
In absolute aantallen en als percentage van de hele steekproef Uitgesplitst naar medium: 38 procent van de vragenlijsten is afkomstig van print-media, 39 procent van radio en televisie en 21 procent van de beide persbureaus (afgeronde percentages). 4.4.3
Demografische opbouw van de steekproef
Bij een toelichting op de respons hoort ook een beschrijving van hoe de steekproef is opgebouwd. Daarom nu eerst een overzicht van de kenmerken van de respondenten in de steekproef.
41
Uitvoering van het onderzoek
Sexe, leeftijd, opleiding en politieke voorkeur De
steekproef
bestaat
uit
199 Tabel 4-4. Leeftijdcategorieën journalisten, waarvan driekwart Jonger dan 24 2 mannelijke journalisten en één kwart 28 vrouwelijke journalisten. Zoals 24-30 hierboven al meegedeeld zijn de meeste journalisten rond de 40 jaar oud (mediaan: mannen 41, vrouwen 35). De Nederlandse journalist is, ook in vergelijking met collega’s in het
1% 16%
31-40
59
34%
41-50
61
35%
51-60
23
13%
Ouder dan 60
2
1%
buitenland, opmerkelijk hoog opgeleid. n=175 100% Deuze merkt op: “In general it seems clear that, like in the US, a bachelor’s degree is the minimum qualification Tabel 4-5. Hoogst genoten opleiding necessary for entering journalism in The MBO 3 2% Netherlands…” (2002, p. 70). Ook de HBO SvJ 53 30% journalisten in de voorliggende steek12 7% proef voldoen aan dit beeld: 162 respon- Andere HBO denten (92%) hebben een opleiding in het hoger onderwijs afgerond, waaronder 53 afgestudeerden van de School voor Journalistiek (zie tabel 4-5).
WO
97
55%
Middelbaar onderwijs
11
6%
n=176
100%
Voor wat politieke voorkeur betreft zijn de journalisten in de steekproef grofweg Tabel 4-6. Aantal respondenten per medium als volgt onder te verdelen. Als er op het Print 76 38% moment van de enquête verkiezingen 78 39% zouden zijn geweest, zou ruim de helft RTV van de respondenten (55%) op één van de linkse partijen hebben gestemd en bijna twintig procent op één van de rechtse partijen. 26 procent wist het nog niet.14
Persbureau
42
21%
OS-specialisten
3
1,5%
Totaal
199
100%
Er wordt uitgegaan van een onderverdeling waarin PvdA, D66, GroenLinks en SP de linkse partijen zijn en CDA, VVD, SGP, ChristenUnie en LPF de rechtse partijen. 14
42
Uitvoering van het onderzoek
Medium, functie en deelredactie De ondervraagde journalisten zijn vooral redacteuren en verslaggevers. Gevraagd naar hun functie-omschrijving, kruisten veel van de ondervraagde journalisten meerdere functies aan. Journalisten die zowel ‘redacteur’ als ‘verslaggever’ aankruisten zijn in onderstaande tabel apart vermeld. Zij die andere combinaties invulden/aankruisten zijn ingedeeld bij ‘Anders’.15 Tabel 4-7. Functies Redacteur
70
35%
Verslaggever
37
19%
Redacteur/verslaggever
28
14%
Anders
21
11%
Eindredacteur
18
9%
Redactiechef
9
5%
(Adjunct-) Hoofdredacteur
6
3%
Presentator
6
3%
Correspondent
4
2%
n=199
100%
De meeste ondervraagde journalisten werken op de redacties algemeen/binnenland, buitenland en economie. Het aantal keer dat elke redactie genoemd werd: hoofdredactie 6, algemeen/binnenland 65, buitenland 38, politiek/Den Haag 19, economie 36, andere redacties 41. Dit is een onderverdeling van de respondenten naar redactie (mensen die meer dan één antwoord gaven zijn ingedeeld in de categorie 'Overig'):
Deuze rapporteert een hoge variëteit in functiebeschrijvingen die mensen geven, wat volgens hem wijst op een verdere ‘functionele differentiatie’ in de journalistiek. 15
43
Uitvoering van het onderzoek
Tabel 4-8. Redacties waar de respondenten zeggen te werken Hoofdredactie
6
3%
Algemeen/binnenland
54
27%
Buitenland
24
12%
Politiek/Den Haag
14
7%
Economie
31
16%
Overig
69
35%
n=198
100%
4.5
Geldigheid en betrouwbaarheid
Het is door de gekozen aanpak niet precies duidelijk hoeveel journalisten daadwerkelijk de vragenlijst onder ogen hebben gehad. Ook is het niet waarschijnlijk dat alle eenheden in de operationele populatie een even grote kans hadden om in de steekproef te zitten. De verzamelde data lenen zich daardoor niet voor inductieve statistiek. Het is niet mogelijk op basis van deze steekproef te bepalen in hoeverre de resultaten met een bepaalde foutmarge ook opgaan voor de gehele theoretische populatie (Baarda & De Goede, 2001, p. 150). Toch zijn de resultaten van het onderzoek daarmee niet onbetrouwbaar: het onderzoek is bedoeld als een verkenning van een bepaald onderdeel van de werkelijkheid. Er wordt niet gezocht naar (causale) verbanden en daarom is representativiteit minder belangrijk. De resultaten die zullen worden besproken gaan alleen op voor de onderzochte groep mensen en niet per se voor de hele beroepsgroep. Waar ik ‘de journalisten’ schrijf, bedoel ik de journalisten in de steekproef. Er is zeker reden om te denken dat het met de gebruikte steekproef mogelijk is een beeld te schetsen van de opvattingen van journalisten op Nederlandse nieuwsredacties. Voor zover nagegaan kan worden, is het namelijk niet zo dat de steekproef een vertekend beeld geeft vanwege selectieve non-respons, dus doordat er “bepaalde categorieën in de populatie zijn die door non-respons ondervertegenwoordigd zijn” (’t Hart et al., 1998, p. 244). Volgens ’t Hart et al. is het mogelijk achteraf op selectieve non-respons te controleren, onder meer door de steekproef te vergelijken met informatie over de gehele populatie. In dit geval is dat mogelijk: de groep respondenten die meewerkten aan deze enquête komt in sterke mate overeen met wat bekend is over de gehele populatie. Dat is vooral van betekenis gelet op de grote homogeniteit binnen die populatie (Deuze, 2002). De mate waarin deze groep overeenkomsten vertoont met de gegevens die bekend zijn over de beroepsgroep als geheel wordt verder toegelicht in bijlage C. 44
Uitvoering van het onderzoek
Bij het samenstellen van de vragenlijst kon er in dit geval geprofiteerd worden van het werk uit twee eerdere onderzoeken. Het Draagvlakonderzoek is echter geen wetenschappelijk onderzoek, maar een opinie-onderzoek dat informatie moet leveren op basis waarvan de overheid en de non-gouvernementele organisaties beleid kunnen maken (Kleynen, 1974). Het is (bij mijn weten) geen instrument dat getest is op geldigheid (’t Hart et al., 1998, p. 173) met vragen die ‘hun waarde hebben bewezen’ met “een lage item non-respons en een hoge validiteit en betrouwbaarheid hebben” (’t Hart & Snijkers, 2005, p. 238). Wel heeft de NCDO het Draagvlakonderzoek al vaak herhaald en is de vragenlijst gebaseerd op hun kennis op het gebied van ontwikkelingssamenwerking.16 De belangrijkste reden om vragen uit het Draagvlakonderzoek te gebruiken, is dat het op die manier mogelijk is de opvattingen van journalisten te vergelijken met die van de gemiddelde Nederlander. Boschman, Buckens en Rijsdijk (1990) hebben hun vragenlijst wel getest, met een pre-test en factoranalyses om te kijken in hoeverre zij hun concepten goed geoperationaliseerd hadden. Die factoranalyses zijn in dit onderzoek nog eens herhaald om te zien of hun operationalisaties nog steeds bruikbaar zijn.
In 2003 ontstond enige beroering toen VVD-kamerlid Szabo de methodiek en geloofwaardigheid van het Draagvlakonderzoek in twijfel trok. Zijn opmerkingen en een toelichting daarop zijn te vinden op de site van de NCDO, www.ncdo.nl. 16
45
