Van evalueren naar verkennen

Van evalueren naar verkennen Dit artikel betoogt dat het rapport van de Algemene Rekenkamer uit de jaren negentig van de vorige eeuw de katalysator vormde voor de professionalisering van het communicatieonderzoek: een systematische evaluatie van Postbus 51 campagnes en het testen van communicatiemiddelen. De onverwachte opkomst van de LPF, begin van deze eeuw, zorgde voor een verbreding van het communicatieonderzoek: naast evalueren en testen ook onderzoek om een strategie te bepalen en meningen te verkennen. Tegenwoordig wordt communicatieonderzoek ingezet om continu de vinger aan de pols te houden van de samenleving. Algemene Rekenkamer In 1991 verscheen het rapport van de Algemene Rekenkamer (1) naar de doelmatigheid van voor lichtingscampagnes van het Rijk. De onderzoekers concludeerden dat het schortte aan een doelmatige voorbereiding, uitvoering en evaluatie van de voor lichtingscampagnes. Doelstellingen werden nog al eens te ambitieus geformuleerd en effecten van de campagnes waren in de meeste gevallen niet of nauwelijks aantoonbaar.

Vanaf 1999 gebeurt dit via campagne effectonder zoek. Aangezien ministeries verplicht zijn om hun campagnes met deze methode te evalueren, kunnen de resultaten met elkaar worden vergeleken. Eens per jaar wordt een totaalevaluatie van alle campagnes ter verantwoording naar de Tweede Kamer gestuurd.

Het rapport leidde tot bezuinigingen op het voor lichtingsbudget en tot een professionalisering van het communicatieonderzoek. De Dienst Publiek en Communicatie van het ministerie van Algemene Zaken heeft hierbij het voortouw genomen en er veel aan gedaan om onderzoek naar meer verantwoording over de resultaten van voorlichtingscampagnes op

In dezelfde periode is ook het zogenaamde pretest onderzoek toegenomen. Dit onderzoek, waarbij concept communicatiemiddelen onder de doelgroep getest worden, heeft veel kennis opgeleverd over wat wel en niet werkt met massamediale campagnes en specifieke communicatiemiddelen (folder, tv-spot, radiospot).

gang te krijgen. Zo worden sinds 1993 de effecten van massamediale Postbus 51 campagnes systematisch geëvalueerd.

Communicatieonderzoek: van evalueren naar verkennen - Pagina 1

LPF De onverwachte opkomst van de LPF in 2002 deed het besef groeien dat de politiek onvoldoende in staat was om de gevoelens van de bevolking aan te voelen. Het rapport van de commissie Wallage (2) en daarop volgend het rapport van de commissie Wolffensperger (3) zien “communicatie in het hart van beleid” als dé manier om de kloof tussen de burger en de over heid te dichten. Communicatie in het hart van beleid wil zeggen dat bij de totstandkoming van beleid de mening en de wensen van de burger meegewogen worden. Zo wordt vroegtijdig aan draagvlak voor het overheidsbeleid gewerkt. De commissie Wolffensper ger pleitte dan ook voor “meer kennis over en contact met de samenleving door enquêtes, consultatie en expertmeetings”. Opzetten van monitoren als reactie Het kabinet trok zich de kritiek van beide commissies aan en startte in februari 2003 met een belevingsmo nitor. Met dit onderzoek wilde het kabinet inzicht krijgen in de manier waarop burgers van Nederland maatschappelijke vraagstukken en het beleid van de overheid ervaren. Maandelijks werd aan een represen tatief deel van de Nederlandse bevolking van 16 jaar en ouder gevraagd welke maatschappelijke proble men hen bezighield en in welke mate de overheid daar volgens hen voldoende aandacht aan besteedde. Na een looptijd van drie jaar stopte het kabinet met het onderzoek. Het onderzoek leverde het kabinet onvoldoende handvatten op voor beleid. Het onderzoek is daarna door de Voorlichtingsraad (overlegorgaan van de directeuren Communicatie van alle Ministeries) op afstand gezet en bij het Sociaal en Cultureel Planbureau (SCP) ondergebracht. Het SCP startte in 2008 met het zogenaamde Continu Onder zoek Burgerperspectieven (COB). Het SCP onderzoekt waar burgers zich zorgen over maken, wat ze belang rijk vinden, hoe het met de burger gaat, met de maat

schappij en met de politiek. Maar vooral besteedt het COB aandacht aan waarom ze dat vinden. Het COB wordt nog steeds elk kwartaal uitgevoerd. De communicatieafdelingen van de ministeries zetten in deze periode ook zelf monitoren op die worden uitgevoerd onder burgers of andere voor het beleid belangrijke doelgroepen (bij het ministerie van OCW kan dat bijvoorbeeld de ouder van schoolgaande kinderen zijn). Hierin stelt men hen vragen over onderwerpen die binnen het ministerie als beleids prioriteit of communicatieprioriteit zijn aangewezen. De uitkomsten bieden input voor beleid en voor communicatie. Huidig communicatieonderzoek Tot zover een terugblik op het verleden. De huidige onderzoekspraktijk van communicatieadviseurs en – onderzoekers is een geheel andere dan aan het eind van de vorige eeuw. Nu wordt eerst verkennend onderzoek gedaan en worden de gegevens gebruikt om een communicatiestrategie op te stellen. En naast de einddoelgroep (vaak de burger) wordt ook het netwerk waarin wordt samengewerkt, de politiek en de media onderzocht. Het testen van middelen en het evalueren van de gekozen communicatieaanpak vindt nog steeds plaats. Naast de eerder besproken katalysatoren zijn de veranderingen in het communicatieonderzoek mede vorm gegeven door vijf maatschappelijke en techno logische ontwikkelingen. Deze worden hieronder kort besproken voordat in een samenvattende figuur – aan de hand van vier onderzoekscirkels - het huidige palet aan communicatieonderzoek wordt weergegeven. 1e ontwikkeling: de mondigere burger De tijd dat burgers alles aannamen wat de overheid zei ligt achter ons. Burgers zijn steeds beter opgeleid en informeren zich via allerlei verschillende bronnen.


Dat betekent dat overheidscommunicatie geloof waardig moet zijn en dat het aan moet sluiten bij de leefwereld van de burger. Burgers moeten zich herkennen en aangesproken voelen door het verhaal. Men wil steeds meer informatie ‘op maat’. Onderzoek wordt dan ook steeds meer ingezet om na te gaan welke denkkaders (‘frames’) burgers hebben en welke associaties ze hebben bij bepaalde onderwerpen. Dit kan door met burgers te praten, te luisteren naar hun verhalen (storypicking) of te luisteren naar hoe ze met anderen praten of chatten over een onderwerp. Gericht onderzoek onder doelgroepen is nodig om de juiste strategie te bepalen voor de inzet van commu nicatie. 2e ontwikkeling: diversificatie van het medialandschap In de laatste 20 jaar zijn er steeds meer informatieka nalen bijgekomen. Hierdoor kan de burger kiezen op welke manier hij of zij informatie tot zich neemt. Zo zijn er naast de drie publieke zenders vele commerci ële zenders gekomen. Naast betaalde kranten zijn er ook gratis kranten en er komen steeds meer digitale kranten. Het medialandschap is divers geworden en burgers kiezen zelf welke media ze gebruiken voor welk type informatie. Dit betekent dat de communi catieadviseur steeds beter zicht moet hebben op het informatiezoekgedrag van zijn doelgroep. Onderzoek is nodig om de juiste keuzes te bepalen. 3e ontwikkeling: de netwerksamenleving Door de veranderende rol van de Rijksoverheid en de mondigere burger is steeds meer sprake van een netwerksamenleving. De overheid is niet dé be palende partij, maar moet samen optrekken met anderen om iets voor elkaar te krijgen. Voor sommige beleidsthema’s zijn beleidsmedewerkers redelijk op de hoogte van het netwerk. Voor nieuwe beleidsthema’s vaak niet. Als de kennis onvolledig is of zelfs geheel ontbreekt, kan onderzoek worden gebruikt om het netwerk in kaart te brengen. Verschillende ministeries voeren netwerkanalyses uit. Dit gebeurt veelal door beleidsmedewerkers en com municatieadviseurs samen. Belangrijke actoren voor een bepaald beleidsthema worden benoemd. Vervol gens wordt bekeken welke mening en argumentatie de actoren aanhangen en in welk krachtenveld ze samen werken. Het gaat hierbij om partijen die bekend zijn bij het ministerie en/of een formele rol hebben voor een beleidsonderwerp. Echter ook groepen zonder een for mele rol kunnen belangrijke spelers zijn. Naast de ken nis die op het ministerie al bekend is over het netwerk kan door het analyseren van het internet (websites of discussiefora) of andere media (kranten, radio/tv) een compleet beeld gekregen worden van het netwerk. 4e ontwikkeling: medialogica De invloed van de media is de afgelopen jaren groter geworden. In rapporten van de RMO (4) en de Rob (5 ) wordt gesproken over een “medialogica”. Beide orga nisaties stellen dat de media steeds meer het publieke debat bepalen.

De medialogica heeft tot gevolg dat het voor minis ters en voor ministeries steeds belangrijker wordt hoe men in de media komt. Woordvoerders op ministe ries doen er alles aan om met het ministerie of de minister ‘goed’ in het nieuws te komen. Zij willen ook steeds meer weten of het lukt om aandacht voor hun beleidsonderwerp te krijgen in kranten, op tv, in tijdschriften of op internet. Of de boodschap die het ministerie over wil brengen ook over komt en welke reacties de berichtgeving heeft opgeroepen. Het gevolg is dat er in de afgelopen jaren een sterke opkomst van het mediaonderzoek plaats heeft ge vonden. Met mediaonderzoek wordt hier bedoeld, onderzoek naar wat er in de media verschijnt; zowel online als offline media. Dit onderzoek kan verschil lende vormen aannemen: van tellen (aantal artikelen, hits), inventarisatie van actoren (wie zegt iets over het onderwerp), inhoudelijke analyse van wat er gezegd wordt, tot welke argumenten gebruikt worden. De analyse kan zich richten op een bepaald beleidsthema, op het ministerie of op de minister. 5e ontwikkeling: opkomst internetonderzoek In 2012 beschikt 94% van de Nederlandse huishou dens over een internetaansluiting (6). De komst van internet heeft er onder andere toe geleid dat snel ler en goedkoper onderzoek kan worden gedaan. Vroeger gebeurde onderzoek uitsluitend telefonisch, schriftelijk of mondeling. Nu, met internet, kan aan veel mensen tegelijk een vragenlijst toegezonden worden en kan het onderzoeksbureau in een relatief korte tijd resultaten opleveren. Internet maakt het mogelijk om op een andere ma nier onderzoek te doen. Zo worden er bijvoorbeeld researchcommunities ingericht. Bij een researchcom munity wordt een beperkte groep mensen (25 tot 300 personen) voor een beperkte periode in een besloten internetomgeving samengebracht. Binnen deze com munity kunnen de deelnemers verschillende activi teiten uitvoeren, zoals discussieren op een forum, meewerken aan creatieve opdrachten of polls en korte vragenlijsten invullen. Onderzoekscirkels In de onderstaande figuur zijn de belangrijkste typen onderzoek aangegeven die momenteel plaats vinden bij de directies Communicatie van de ministeries en uitvoeringsorganisaties. Elke cirkel staat voor een bepaald type communicatieonderzoek, dat wil zeggen onderzoek gericht op een bepaald doel. De binnenste twee cirkels waren de belangrijkste typen communica tieonderzoek tot het begin van deze eeuw: het doel was evalueren en testen. De buitenste cirkels zijn er mede gekomen door de onverwachte opkomst van de LPF: onderzoek om te bepalen (van een strategie) en te verkennen. Naast de vier cirkels is in de figuur ook een onderscheid gemaakt naar de verschillende actoren waarop het onderzoek betrekking kan heb ben: politiek, media, publiek en het netwerk (stake holders).


Figuur 1. Overzicht van soorten onderzoek uitgevoerd bij directies Communicatie van ministeries.

Publiek

Monitor departement op beleidsprioriteiten

Verkennen

Actoren inventarisatie (stakeholders, politiek)

Media

Onderzoek van adviesorganen Focusgroepen m bv. SCP (COB), Argumentenanalyse Media Storypicking WRR, CBS TrendFlitspeilingen (Concept) analyse Krachtenveld Onderzoek Informatietesten van analyse van omroepen, zoekgedrag specifieke onderzoek- en Framingadviesbureaus middelen, onderzoek zoals Campagne-, effectde kernonderzoek, mediabereik Argumenten Krachtenveld boodschap analyse analyse TV of radio spot, Krachtenveld websit, etc. analyse Inventariseren Inventariseren Argumentenanalyse van Informatie zoekgedrag van prioriteiten stakeholders en en standpunten belangengroepen

Bepalen Testen

Evalueren

Netwerk

Politiek Bron: Quatro-J Beleidscommunicatie, 2013.

Wanneer we de huidige situatie vergelijken met de situatie in de jaren negentig van de vorige eeuw, dan ... ... wordt er veel meer communicatieonderzoek uitge voerd. Het verkennend onderzoek naar draagvlak voor beleid neemt toe. Daarnaast neemt onderzoek om strategische communicatiekeuzes te bepalen, toe. Dit betreft bijvoorbeeld focusgroeponderzoek om denkkaders en frames in kaart te brengen. ... blijft het testen van communicatiemiddelen en evaluatieonderzoek belangrijk. ... vindt communicatieonderzoek vaker vooraan in het beleidsproces plaats. Dit onderzoek is verkennend van aard en richt zich op hoe een beleidsonderwerp wordt beleefd. ... richt communicatieonderzoek zich op meerdere doel groepen. Naast onderzoek onder het publiek wordt het netwerk dat zich met een bepaald beleidsonderwerp bezig houdt steeds beter in kaart gebracht en vindt veel onderzoek plaats naar wat er in de media verschijnt.

... w int onderzoek door internet aan snelheid. Ministe ries sluiten contracten af met onderzoeksbureaus om snelle metingen (zogenaamde flitspeilingen) uit te voeren. ... wordt naast enquêteren, observeren belangrijker. Onderzoeksvormen zoals framingonderzoek of sto rypicking analyseren hoe mensen met elkaar praten over een bepaald onderwerp of bestuderen welke verhalen mensen elkaar vertellen. Ook eyetracking en emotieherkenning winnen aan populariteit. ... gaan communicatieadviseurs op ministeries nu anders met onderzoeksresultaten om. Resultaten van communicatieonderzoek worden meer in samenhang bekeken. Dat betekent dat communicatie afdelingen resultaten van een burgerpeiling, een media-analyse en bijvoorbeeld een netwerkanalyse samen beschrijven en duiden. Ze betrekken hierbij ook onderzoek dat uitgevoerd wordt door andere partijen. Ze noemen dit vaak een omgevingsbeeld, en spreken over ‘omgevingskennis’.

... wordt vooral op media-analyses veel capaciteit ingezet. Ministeries monitoren vaak zelf wat er in de media gebeurt. De knipselkrant is vervangen door dagelijkse mediasignaleringen.


Er doen zich dus drie bewegingen voor in het onder zoek. Allereerst is er een uitbreiding van de doelen waarvoor onderzoek wordt ingezet: naast evalueren en testen van middelen ook het bepalen van de stra tegie en verkennen van meningen. Ten tweede is er een uitbreiding van de doelgroepen van het onder zoek: van onderzoek onder vooral burgers naar ook onderzoek naar het netwerk, de politiek en naar de media. De derde beweging is er een van het in samen hang duiden van onderzoeksgegevens. Waar gaat communicatieonderzoek heen? De verbreding van het communicatieonderzoek past bij deze tijd. In de jaren negentig van de vorige eeuw was de situatie nog zo dat de overheid het beleid bedacht en communicatieonderzoek vooral inzette om te testen of de boodschap begrepen werd en of de boodschap ook daadwerkelijk was aangekomen bij de doelgroep. Tegenwoordig is de invloed van de overheid op zijn retour en vindt het leven veel meer plaats in een netwerksamenleving. De overheid moet bij het maken van nieuw beleid op zoek naar aanslui ting in de maatschappij. Een breed beeld van wat er speelt in die maatschappij is hiervoor noodzakelijk. De vraag naar omgevingskennis zal bij de overheid naar verwachting dan ook alleen maar toenemen. Omge vingskennis is nodig voor de overheid om de juiste rol en positie te bepalen en om deze rol vervolgens optimaal vorm te geven. De veranderende rol van de overheid wakkert de discussie weer aan over de doelmatigheid van over heidscommunicatie. De accountability discussie van begin jaren negentig van de vorige eeuw is weer te rug. Op zich is dit toe te juichen omdat accountability belangrijk is voor de kwaliteit en de professionaliteit van het communicatievak. Het risico is wel dat door deze discussie de aandacht voor communicatieonder zoek weer meer komt te liggen bij het evalueren. Met andere woorden, een beweging terug naar het midden van figuur 1.

De vijfde onderzoekscirkel: participeren Een dergelijk ontwikkeling zou ik betreuren. Immers de samenleving maakt het afgelopen decennium een wezenlijke verandering door. De overheid geeft samen met burgers en maatschappelijke organisaties vorm aan deze nieuwe samenleving. Mijns inziens moet het communicatieonderzoek juist een stap voor waarts maken en moet het onderzoek zich verleggen van verkennen naar participeren. Pas als de overheid echt ziet en voelt waar in de samenleving behoefte aan is, kan ze haar rol daarin goed vervullen. Het is dan ook mijn overtuiging dat over niet al te lange tijd de directies Communicatie van de ministeries ook participerend onderzoek zullen doen.

Dit artikel kwam mede tot stand naar aanleiding van opdrachten uitgevoerd bij directies Communicatie bij ministeries en door het leveren van een bijdrage aan de Vaktraining Communicatieonderzoek van de Academie voor Overheidscommunicatie. (1) A lgemene Rekenkamer, 1991. Voorlichtingscampagnes van het Rijk. SDU, 1991. (2) C ommissie Toekomst overheidscommunicatie: In dienst van de democratie. SDU, 2001. (3) C ommissie-Wolffensperger, ’50 aanbevelingen voor communicatie met en door een Andere Overheid’. 2005. (4) M edialogica. Over het krachtenveld tussen burgers, media en politiek (2003), Raad voor Maatschappelijke Ontwikkeling. (5) P olitiek en media. Pleidooi voor een LAT-relatie. (2003), Raad voor het Openbaar Bestuur. (6) w ww.pcmweb.nl/nieuws/nederland-heefthoogste-aantal-internetaansluitingen.html

Jolanda Joossen: van 1991 tot 1997 werkte zij bij DPC. “Ik heb de verandering die het rapport van de Algemene Rekenkamer met zich meebracht van dichtbij meegemaakt. Communicatieonderzoek staat vanaf die tijd hoog op de agenda bij de directies Communicatie van de ministeries. Dat het onderzoek zich verder ontwikkelt is logisch. Het communicatievak maakt grote veranderingen door. Het onderzoek sluit daarbij aan”. Vanaf 2001 werkt zij als zelfstandig adviseur onder de naam Quatro-J Beleidscommunicatie. Zij adviseert overheden en non-profitorganisaties over communicatie en onderzoek. Jolanda is lid van de Communicatiepool Rijksoverheid. Reacties op dit artikel zijn welkom op [email protected]


Van evalueren naar verkennen

Recommend Documents