Beslissing MOA Ombudsman, 12 december 2011 In de zaak van : Tegen : Inzake 1
Bestuur MarktOnderzoekAssociatie (MOA) gevestigd te Amsterdam D66 gevestigd te Den Haag D66 ONDERNEMERSONDERZOEK 2011
De procedure
D66 heeft een onderzoek uitgevoerd onder ondernemers in Nederland. De vragenlijst voor het onderzoek is medio juli 2011 online gezet. D66 heeft vervolgens, via de website van D66, via diverse (social) media en via allerlei branche/ondernemersorganisaties (die het –al dan niet- onder de aandacht van hun leden brachten), gewezen op het bestaan van dit onderzoek. Tot 31 augustus was het mogelijk om deel te nemen. D66 heeft, na afronding van het onderzoek, op 5 September een digitale nieuwsbrief uitgestuurd. Op basis van dit bericht voor de pers en de beschikbare informatie heeft het bestuur van de MarktOnderzoekAssociatie besloten om de MOA-Ombudsman in te schakelen en een klachtenprocedure op te starten. De MOA Ombudsman heeft de klacht behandeld conform de procedures zoals die zijn vastgelegd in het reglement “Ombudsman marktonderzoek”. D66 werd op 17 Oktober op de hoogte gebracht van de klacht en werd uitgenodigd verweer te voeren. D66 heeft, bij monde van de heer J.C. Sneller, van deze mogelijkheid gebruik gemaakt. 2
Omschrijving van de klacht
Op grond van de door klager ingebrachte informatie kan de klacht als volgt kan worden omschreven: In de samenvatting van het D66 ONDERNEMERSONDERZOEK 2011 treffen wij de volgende zinsnede aan:
Uit het in deze zomer door D66 uitgevoerde online ondernemersonderzoek 2011 blijkt dat ondernemers kritisch zijn over het gevoerde kabinetsbeleid. De 774 deelnemers geven het kabinet Rutte een magere 5.8. In de verdere rapportage over het onderzoek wordt echter geen deugdelijke en afdoende verantwoording afgelegd over de onderzoeksopzet en de onderzoeksvaliditeit. Op grond van de beschikbare informatie constateert de MOA het volgende: Het onderzoek was voor iedereen vrij toegankelijk. Ook niet-ondernemers konden participeren. Het onderzoek werd nadrukkelijk uitgevoerd onder D66-vlag. Dit kan er toe hebben geleid dat een overmaat aan D66 georiënteerde ondernemers aan het onderzoek hebben
1
deelgenomen. Omdat politieke voorkeur geen onderdeel uitmaakt van de vraagstelling kan hiervoor niet worden gecorrigeerd. Vooralsnog veronderstellen wij dit, omdat gegevens hierover in de rapportage ontbreken. Daarnaast werd de MOA gehinderd door het feit dat de link naar de vragenlijst niet werkte. De MOA kon derhalve niet vaststellen of de vraag naar politieke voorkeur in de vragenlijst is opgenomen. De response-analyse suggereert dat het onderzoek representatief voor ondernemers in Nederland, maar een vergelijk met universumgegevens ontbreekt. Het feit dat in de rapportage gesproken wordt over een oververtegenwoordiging van specifieke groepen had aanleiding moeten zijn een herwegingsprocedure onderdeel te laten uitmaken van de analyse. Het onderzoek baseerde zich op zelfselectie van respondenten. Een bekend fenomeen hierbij is het feit dat met name ontevreden ondernemers deelnemen aan het onderzoek. Men kan dit vergelijken met de evaluatieformulieren die in hotelkamers aanwezig zijn en die alleen door de zeer ontevreden respondenten worden ingevuld. Het geringe aantal deelnemers aan het onderzoek ondersteunt deze veronderstelling. Samenvattend: ① Indien gesproken wordt over de ondernemers suggereert D66, ten onrechte, landelijke representativiteit. ② Indien het schoolcijfer 5.8 wordt toegekend, baseert het onderzoek zich op een onevenredig grote groep deelnemende ontevreden ondernemers. Het wordt “ mager” als classificatie van het schoolcijfer is derhalve misleidend. 3
Het verweer
D66 reageert als volgt: “In de klacht wordt gesteld dat D66 dit onderzoek heeft gepresenteerd als zijnde representatief. Die analyse deel ik niet. En die pretentie hebben wij ook niet gehad. In de responsanalyse staat duidelijk uitgesplitst hoe het totaal van 774 deelnemers is opgebouwd. Er wordt in dit hoofdstuk geen uitspraak gedaan over de representativiteit van deze groep. Van een claim ten aanzien van het wetenschappelijk karakter die volgens uw begeleidende brief 'nadrukkelijk door de opdrachtgever' zou worden gedaan, is dan ook allerminst sprake. In de weergave van de resultaten valt voorts het volgende te lezen: "Maar bovenal is het onderzoek voor ons een bron van directe informatie op basis waarvan we op korte termijn concrete voorstellen gaan doen, ter versterking van de positie van ondernemers en zelfstandigen." 4
Het oordeel van de commissie MOA Ombudsman
4.1
De representativiteit
De doelstelling van het onderzoek was tweeledig zoals blijkt uit het onderstaande citaat:
1/ D66 wil dat de overheid ondernemers met goed beleid meer ruimte en betere kansen geeft. In aanvulling op onze ideeën en (eerdere) voorstellen over ondernemerschap wilden wij weten wat ondernemers zelf van de voor hen belangrijke onderwerpen vinden.
2
2/ Daarbij is het onderzoek een goede manier om te kijken hoe het huidige kabinet beoordeeld wordt op zijn daden. In de verslaglegging en berichtgeving omtrent het onderzoek wordt systematisch gesproken over “ondernemer” en “ondernemers” Hierbij wordt de suggestie gewekt dat er sprake is van onderzoeksuitkomsten die representatief zijn voor de ondernemers van Nederland. Hoewel het niet verstandig is om interne beleidsvorming te baseren op niet representatieve onderzoeksresultaten staat het de partij vrij om “de lat” lager te leggen. Indien door middel van nieuwsbrieven de publiciteit gezocht wordt, dient te worden aangegeven voor welke onderzoeksdoelgroep de resultaten representatief zijn. Indien dit niet bekend is, zal dit laatste in de tekst duidelijk moeten worden weergeven dan in het onderhavige D66 rapport. Dit is in de onderhavige rapportage niet gebeurd en is derhalve laakbaar.
4.2 De politieke voorkeur van de deelnemers De zichzelf selecterende deelnemers vulden een vragenlijst in met behulp van een bezoek aan http://www.kwiksurveys.com/ Dit verklaart het feit dat de vragenlijst niet meer online ingezien kan worden. Uit oogpunt van transparantheid achten wij dit minder gewenst. Uit de verslaglegging blijkt dat de Website van D66 een centrale rol heeft gespeeld bij de zelfselectie van deelnemers. Het vermoeden van het feit dat er geen controle heeft plaatsgevonden op politieke voorkeur werd tijdens de wederhoor niet bestreden en wij gaan ervan uit dat een vraag naar politieke voorkeur, ten onrechte, niet in de vragenlijst is opgenomen. 4.3
De vergelijking met universumgegevens ontbreekt
In het onderzoek zijn een aantal gegevens over regio, bedrijfsgrootte en branche opgenomen. Indien representativiteit voor D66 geen issue is dan kan de vraag gesteld worden waarom dan zo uitvoerig wordt stilgestaan bij eerdergenoemde kenmerken. 4.4
Vrije toegankelijkheid
De MOA vermoedt dat het ook voor niet-ondernemers mogelijk was om aan het onderzoek deel te nemen. In het verweer is dit door D66 niet weersproken. Bij de huidige testopzet is dit onvermijdelijk. Middels controleprocedures had dit voorkomen moeten worden. Daarnaast vreest de MOA Ombudsman dat het ook mogelijk was om meerdere malen aan het onderzoek deel te nemen. Ook hiervoor werd, naar wij veronderstellen, niet gecorrigeerd. De MOA Ombudsman acht dit laakbaar. 4.5
Het schoolcijfer
Wanneer vragenlijsten worden ingevuld op basis van zelfselectie zullen, gemiddeld genomen, andere schoolcijfers worden gegeven dan wanneer de vragenlijsten worden ingevuld op basis van een random selectie van deelnemers. Zelfselectie leidt ertoe dat er relatief veel negatieve deelnemers zullen overgaan tot het invullen van de vragenlijst. Het in de publiciteit brengen van een dergelijk, door zelfselectie ernstig vertekend, schoolcijfer is laakbaar. 4.6
3
Tenslotte
Over de MOA (MarktOnderzoekAssociatie) De MOA is een vereniging van bedrijven en instellingen die zich bezig houden met Marketing Research en Marketing Intelligence. De MOA bestaat uit vier specifieke bedrijfsgroepen; de marktonderzoekbureaus, de opdrachtgevers van marktonderzoek, de toeleveranciers en de selectiebureaus voor de marktonderzoekbranche. Over de MOA Ombudsman De MOA Ombudsman is ingesteld door de ledenvergadering van de MOA en kan gevraagd of ongevraagd een onderzoek instellen naar de kwaliteit van uitgevoerd marktonderzoek/opinieonderzoek en/of naar de vraag of – kort gezegd – bij de uitvoering van marktonderzoek behoorlijk is gehandeld indien dat in het belang is van het marktonderzoek/opinieonderzoek in het algemeen. Dit belang wordt groter naarmate uitgevoerd onderzoek een rol speelt in de maatschappelijke discussie en besluitvorming . Dr. A.J. Olivier
OMBUDSMAN MOA e-mail:
[email protected] Center for Information Based Decision Making & Marketing Research Arlandaweg 92 1043 EX Amsterdam Tel.070—323 88 20 tel. 020 – 686 93 28 12 december 2011
4
Bijlage 1
NIEUWSBERICHT
Ondernemer geeft magere 5,8 aan 'Ondernemerskabinet' Ondernemers staan niet bepaald te juichen voor het kabinet. Ondernemers in het middenen kleinbedrijf (mkb) en zelfstandigen zonder personeel (zzp) geven Rutte en Verhagen een krappe 5,8 als rapportcijfer. Dat blijkt uit het ondernemersonderzoek van D66 onder zo'n 800 deelnemers. Daaruit blijkt onder meer dat het voor kleinere bedrijven erg moeilijk is om een overheidsopdracht te bemachtigen. En ondanks de mooie woorden van Rutte en Verhagen lopen veel bedrijven nog steeds aan tegen allerlei bureaucratische rompslomp en procedures in hun gemeente of provincie. Richtingwijzer en graadmeter D66-Kamerlid Kees Verhoeven: "Ondernemers spelen een steeds belangrijkere rol in Nederland, zowel economisch als maatschappelijk. Dan moeten ze ook gehoord worden. Het onderzoek is voor ons als ondernemerspartij een goede richtingwijzer en wijst ons op de nijpende problemen van bedrijven. Op basis van deze informatie komen wij dit najaar met ons Ondernemersplan 2011. Voor het kabinet betekent ons onderzoek een graadmeter. Die laat zien of ze hun beloftes uit het regeerakkoord daadwerkelijk nakomen. Helaas blijkt dat in veel gevallen niet zo te zijn." Open de markt voor de kleine ondernemer Uit de resultaten komt naar voren dat vooral de kleine ondernemer het moet ontgelden. Verhoeven komt daarom met twee wetswijzigingen in de Aanbestedingswet om het voor het kleinbedrijf makkelijker te maken een overheidsopdracht te bemachtigen. "Dit is het kabinet van de gevestigde orde. De kleinere ondernemer blijft buitenspel staan doordat het kabinet gestapelde megaopdrachten en grote raamcontracten in leven houdt. Er moet meer ruimte komen voor de innovatieve MKB'er. De aanbesteder klampt zich vaak nog halsstarrig vast aan één materiaalsoort of licentie in een contract, terwijl het op een andere manier vaak beter en goedkoper kan. Geef de ondernemer met verstand van zaken de ruimte." Brief aan Ombudsman Ook schrijft Verhoeven een brief aan de Nationale Ombudsman. Veel ondernemers geven aan dat ze verdrinken in de bureaucratische regels en procedures van de 422 gemeentelijke loketten en worden vaak van het kastje naar de muur gestuurd. "Premier Rutte kan vanuit het torentje veel beloven, maar ondernemers hebben het gevoel dat ze nergens kunnen aankloppen als ze met hun gemeente of provincie in de clinch liggen over onbetaalde facturen of eindeloos moeten wachten op hun vergunning. Ik wil graag van de Ombudsman horen of ondernemers bij hem aan het juiste adres zijn en bij hem meer aandacht vragen voor dit soort gevallen."
5
VERSLAGLEGGING TELEGRAAF
ma 05 sep 2011, 05:30
Pover rapportcijfer kabinet
door Wouter de Winther
DEN HAAG - Het bedrijfsleven is tot nu ontevreden over het kabinet. Het kabinet krijgt van de 774 ondervraagden een 5,8 als gemiddeld rapportcijfer.
Foto: ANP Met name rond ontslagrecht en arbeidsmigratie doet de ploeg van Rutte te weinig, zeggen de zelfstandigen in een enquête van D66. Maar liefst 79 procent van de ondervraagden hekelt de regels rond ontslagbescherming. Opvallend is dat slechts 3 procent van de ondernemers tevreden is met het aanbestedingenbeleid van de overheid. „Een blinde vlek”, concludeert D66-Kamerlid Verhoeven. „Gemeenten besteden het schoonmaakwerk, de catering of de beveiliging van bijvoorbeeld al hun scholen bij één aanbieder aan. Een startende ondernemer staat daardoor bij voorbaat buiten spel.” Aanmerkelijk positiever zijn de ondervraagden over de mogelijkheid goed geschoold personeel te vinden.
6
BIJLAGE 2 Zelfselectie en Online onderzoek 10 verstandige richtlijnen. Bij ieder onderzoek waarbij een openbaar toegankelijke website wordt ingezet als hulpmiddel bij de steekproefselectie, dient de vraag gesteld te worden of en wanneer deze werkwijze voor de marktonderzoekbranche acceptabel is. Marktonderzoek, waaronder nadrukkelijk ook het beleids-en opinieonderzoek wordt gerekend, classificeert zichzelf als een vorm van toegepaste wetenschap (applied science). Dit impliceert dat aan methodologische uitgangspunten concessies kunnen worden gedaan, indien praktische randvoorwaarden hiertoe noodzaken en indien met zekerheid kan worden vastgesteld dat de gemeten resultaten een afdoend betrouwbare weergave van de werkelijkheid opleveren. Aan publicaties in het publieke domein met de kwalificatie marktonderzoek, opinieonderzoek en beleidsonderzoek mogen stringente eisen worden gesteld. Aan de basis van verantwoord onderzoek staat het begrip “representativiteit”. Statistisch gezien betekent dit dat ieder individu/meetobjekt uit het te meten universum een gelijke kans moet hebben om in de steekproef te vallen. In de praktijk blijkt het hier te gaan om een weerbarstige materie die het onvermijdelijk maken om de gewenste representativiteit te bereiken waarbij het verschijnsel van de potentiële non-response vertekening het meest tot de verbeelding spreekt. Deze vertekeningen doen zich voor bij alle onderzoeksvormen. Telefonische onderzoeken, face-to-face onderzoeken, schriftelijke enquêtes kennen allemaal hun beperkingen en ervaren onderzoekers weten door middel van herbezoek, stratificatie, herweging de betrouwbaarheid in afdoende mate te waarborgen. Het openstellen van deelname aan een onderzoek middels een hyperlink op een website leidt tot zelfselectie en daarmee tot ernstige vertekeningen in antwoordpatronen. Hierdoor kan van van representatief onderzoek geen sprake zijn. Zoals hierboven opgemerkt zouden soortgelijke opmerkingen ook voor andere onderzoeksvormen kunnen worden gemaakt, met dien verstande voor deze onderzoeksvormen is aangetoond onder welke omstandigheden deze de onderzoeksmethoden wel aanvaardbaar zijn. Onderzoeksdeelname weigeren geeft aanmerkelijk minder kans op niet representatief onderzoek dan de, voor de representativiteit, veel bedreigendere, zelfselectie. Dit maakt het noodzakelijk om een aantal gedragsregels te formuleren en er scherp op toe te zien dat onderzoeken voldoen aan deze regels. Richtlijn 1 Er dient nauwkeurig te worden aangegeven voor welk universum de onderzoeksresultaten representatief zijn. Niet alleen in de inleiding of in de onderzoeksverantwoording, maar door de gehele tekst van de publicatie. De woorden Nederland, de burger, “men” dienen niet te worden gebruikt als hiertoe geen aanleiding is.
7
Richtlijn 2 Onder alle omstandigheden dient een verifieerbare registratie plaats te vinden van de herkomst van de onderzoeksdeelnemer. Voorbeeld: Hoe kwam men op de site terecht?
Richtlijn 3 De hyperlink die toegang geeft tot onderzoek met een geclaimde representativiteit die breder ligt dan de bezoekers van de site kan nooit geplaatst worden op een site met een voor het onderzoek specifiek karakter. Voorbeeld: Onderzoek naar drankgebruik onder jongeren kan niet meer representatief zijn nadat respondenten toegang hebben verkregen tot het onderzoek via de site www.ikhebproblemenmetalcohol.nl Richtlijn 4 Hyperlinks op neutrale websites kunnen wel worden gebruikt mits men aannemelijk kan maken dat dit niet tot vertekening leidt en het onderzoek zodanig is opgezet dat validering tot de mogelijkheden behoort. Voorbeelden •
Onderzoek onder Nederlanders via een link op www.nrc.nl kan niet
•
Onderzoek onder advocaten via een link op www.nos.nl kan wel mits er sprake is van representatieve recruitering.
•
Onderzoek onder diëtisten via een link op www.pvda.nl kan wel mits er sprake is van representatieve recruitering en mits herwogen wordt naar politieke voorkeur.
•
Onderzoek onder werkenden via een link op www.jobtrack.nl kan niet
•
Onderzoek onder werkenden via een link op www.jobtrack.nl die doorlinkt naar www.hetnationalewerkonderzoek.nl kan niet.
Richtlijn 5 Het onderzoek moet zodanig worden opgezet en/of geprogrammeerd dat het meerdere malen meedoen aan het onderzoek niet tot de mogelijkheden behoort. Bij korte simpele onderzoeken is de kans op substantiële meervoudige deelname aanmerkelijk groter. Responseverhogende incentives zoals geldelijke vergoeding en deelname aan wedstrijden of populariteitstoetsingen dienen, gelet op het gevaar dat respondenten meerdere malen gaan deelnemen, dan ook achterwege te blijven.
8
Richtlijn 6 Bij onderzoek onder beperkte specifieke doelgroepen dient te worden vastgesteld of de deelnemer inderdaad tot de doelgroep behoort. Bij deelname op uitnodiging heeft deze verificatie op voorhand plaats gevonden. Dit betekent dat het bij een keuze voor zelfselectie de verificatie achteraf zal moeten plaatsvinden. Voorbeeld: Kunnen ook niet huisartsen deelnemen aan het onderzoek onder huisartsen.
Richtlijn 7 In situaties waarin ernstige vertekeningen mogelijk zijn door zelfselectie, dient aanvullend representatief onderzoek plaats te vinden bij een controlegroep. In de onderzoeksverantwoording dient een vergelijking gemaakt te worden tussen beide onderzoeksuitkomsten. Richtlijn 8 Buitenstaanders zijn vaak van mening dat grote steekproeven betrouwbaarder zijn dan kleine steekproeven. Boven de 5000 onderzoeksdeelnemers is het betrouwbaarheidstoename echter minimaal. Wel kunnen binnen grotere steekproeven kleinere subgroepen worden onderscheiden. Dit is echter alleen verantwoord als de totale steekproef afdoende representatief genoemd mag worden. Richtlijn 9 Een onderzoek waarin vragen zijn opgenomen die ten doel hebben een commerciële transactie te laten ontstaan zijn is geen onderzoek maar is een direct marketing activiteit. Deze activiteiten vallen onder de beroepscode van de direct marketeers. Het DMIN. Hier spreekt men over een enquête en niet over (representatief) onderzoek. Richtlijn 10 Het zou goed zijn als iedereen die over onderzoek publiceert zich aan de volgende richtlijnen zou houden. Deze richtlijnen zijn voor leden van de MOA verplicht en voor leden en voor niet leden dringend aanbevolen Onderzoekers die aangesloten zijn bij de MOA, verplichten zich bij het uitsturen van persberichten met betrekking tot het wereldkundig maken van onderzoeksresultaten een vast onderzoekskader mee te sturen. Zowel aan de externe media als aan de interne persdiensten wordt het verzoek gedaan dit onderzoekskader onder aan het artikel mee te plaatsen In dit onderzoekskader worden de volgende items verplicht opgenomen:
9
•
wie zijn er ondervraagd, de onderzoekspopulatie
•
de netto steekproefomvang
•
de methode van dataverzameling
•
de periode van dataverzameling
•
Onderzoekbureau X is lid van de MOA
Uiteraard kan in het persbericht c.q. artikel zelf op facultatieve basis nog andere informatie aangaande het uitgevoerde onderzoek worden opgenomen, zoals: •
de status van het onderzoek, representatief of indicatief
•
naam van de opdrachtgever
Daarnaast zullen de percentages in dit soort pers- en mediaberichten afgerond worden op hele getallen en zal er door de onderzoeker een duidelijk onderscheid gemaakt worden tussen de feitelijke onderzoeksresultaten en de interpretatie van de uitkomsten van het onderzoek.
10
