Syntheserapport marktconsultatie “Survey Samenleven in diversiteit”
1. Inleiding Van 19 februari tot en met 6 maart 2016 werd een marktconsultatie georganiseerd in het kader van de voorbereiding van een mogelijke overheidsopdracht voor het uitvoeren van het veldwerk, de codering en datacleaning van de survey “samenleven in diversiteit”. Een marktconsultatie heeft tot doel een zo volledig mogelijk beeld te krijgen van een specifiek onderwerp door belanghebbenden uit te nodigen hun ideeën en suggesties erover mee te delen. Dit document geeft een synthese weer van de antwoorden die de deelnemers formuleerden op de vragenlijst.
2. Vragenlijst en synthese 1. De overheidsopdracht zou de uitvoering van het veldwerk (ontwikkeling webmodule, vertaling vragenlijsten, communicatie/contactname naar steekproefpersonen, testfase, inzet, training en controle van de interviewers), de codering, datacleaning en eerste analyse van de (non)-respons omvatten. Wat is uw mening over de voorgestelde algemene inhoud van de opdracht? Door welke aspecten weg te laten/toe te voegen meent u dat het project aantrekkelijker wordt voor de markt? Voor de deelnemers was de omschrijving van de inhoud over het algemeen duidelijk. Eén deelnemer gaf aan dat het niet helemaal duidelijk is wat de ontwikkeling van de webmodule inhoudt.
2. Welke competenties en ervaring zijn noodzakelijk in een team om het project tot een goed einde te brengen? Er werd aangegeven dat enkel grote marktonderzoeksbureaus met brede ervaring in staat zijn om dergelijk onderzoek aan te vatten en uit te voeren met een minimale kwaliteitsgarantie. Deze ervaring kan via referenties opgevraagd worden. Eén deelnemer gaf aan dat ook ervaring met grootschalig face-to-face onderzoek onder migranten noodzakelijk is. Voor een bureau dat geen ervaring heeft, is het moeilijk omdat het lastiger is dan bij "gewone" veldonderzoeken. Er moet een hele sterke projectleiding/leider zijn en ervaren supervisors. De projectleider/coördinator moet best zelf uit de belangrijke migrantendoelgroepen komen ofwel daar heel veel kennis van hebben uit de praktijk, hetzelfde geldt voor de supervisors/regionale aanstuurders.
3. De programmering van een module voor zowel CAWI als CAPI zou opgenomen worden in de opdracht. Acht u dit haalbaar? De deelnemers achten dit haalbaar en zelfs wenselijk om zo veel mogelijk in eigen beheer te hebben.
4. Wat zijn volgens u de kritische succesfactoren en op welke wijze meent u dat ABB hier best mee omgaat? -
Afstemming met het onderzoeksbureau Prijs/kwaliteit Timing is een zeer kritisch element. Het pushen van timings is een zeer groot risico. Voldoende tijd nodig voor de voorbereiding.
-
Toegewijde stressbestendige biculturele coördinator Realtime aansturingssysteem
5. Wat zijn uw suggesties om de voorgestelde herkomstgroepen face-to-face te benaderen met het oog op het behalen van een zo hoog mogelijke respons (bv. invloed van de herkomst van de interviewers, invloed mannelijke/vrouwelijke interviewers, invloed van de leeftijd van de interviewers, invloed van de taalkennis van de interviewers, tijdstip interview,…)? -
-
6.
Probeer interviewer zoveel mogelijk met de respondent te matchen, in volgorde van belangrijkheid: etniciteit, geslacht. Mannelijke interviewers zijn over het algemeen minder effectief, vrouwelijke kunnen ook mannen doen, mannelijke kunnen lastiger vrouwen en mannen interviewen. M.b.t. leeftijd zijn er gemengde ervaringen, te jong kan soms niet goed zijn, maar veel ouderen hebben moeite met de digitale contactregistratie en veel meer uitleg nodig voor de CAPI: een mix is het beste. Dubbele / meervoudige taalkennis (dus Nederlands en de vreemde taal, en Engels of Frans) is een must voor alle migrantendoelgroepen. Voor de Maghreb doelgroep is Marokkaans arabisch (darrijah) en tamazight (berbers) heel belangrijk, zeker voor de eerste generatie respondenten. Voor de Turkse respondenten zijn Turkse interviewers ook een must, zelfde geldt ook voor de Oost-Europeanen, die nauwelijks tot geen Nederlands, wel vaak goed Engels spreken. Hun moedertalen Pools, Roemeens, Bulgaars, zijn ook een must. Voor de Centraal Afrikaanse respondenten zijn Frans en Engels belangrijk. De insteek andersom zetten. Vooreerst is er een introductiebrief nodig (in verschillende talen). Dan is F2F rekruteren in een paar talen (NL/FR/ENG) een optie om zo de respondent de keuze te laten om dan F2F of online de vragenlijst in te vullen. Om meteen een CAWI methode toe te passen lijkt dan problematisch (respons zeer gelimiteerd + wat is het bronbestand?).
Welke respons verwacht u maximaal (CAWI+CAPI) voor de verschillende herkomstgroepen Vertrouwelijk
7. Wat is uw mening over de werkwijze van de brutosteekproeftrekking? In het bijzonder met betrekking tot: a) Het aantal beschikbare adressen (8388). b) De representativiteit naar geslacht, leeftijd, graad van verstedelijking c) Het feit dat 15% van de steekproef in het Brussels Hoofdstedelijk gebied getrokken wordt. d) Over het werken met clusters van gemeenten op niveau van de kieskantons om verplaatsingskosten te drukken in het ‘restgebied Vlaanderen’. Welk effect heeft dit volgens u op de kostprijs? a) De brutosteekproef is niet voldoende om een nettosteekproef van 4000 respondenten te behalen. Er moet ook rekening worden gehouden met de oneigenlijke non respons en het feit dat sommige gebieden sterk onder responderen. Een suggestie is om meteen extra adressen te hebben omdat het aanvragen veel tijd vergt en mocht het nodig zijn bij groepen waar nog geen exacte respons- kengetallen van zijn, zoals de Centraal-Afrikaanse herkomst, kan er tijdig worden geanticipeerd. b) Representativiteit naar stedelijkheid zorgt voor een meerkost, maar is haalbaar. Immers, door het lange veldwerk en de keuze van o.a. grootsteden moet er rekening gehouden worden met verhuisbewegingen van respondenten die niet te onderschatten zijn. Een suggestie is om streefresponstargets per verstedelijkingsgraad af te spreken. In de
monitoring van de respons zal er steeds op basis van totale aantallen, geslacht, leeftijd en graad van verstedelijking gerapporteerd moeten worden. c) Haalbaar en logisch gezien de grote groep migranten daar. Onderzoek in Brussel is duurder dan in Vlaanderen. d) Alles om de verplaatsingskosten te drukken is gunstig voor de kostprijs en het kan een bepaalde kost verlagen. Een exacte studie op populatie en aantallen moet gedaan worden om hier precieze uitspraken over te doen. Vele andere specificaties maken de kost echter weer duurder. 8. Wat zijn uw suggesties over het al dan niet werken met een incentive en de omvang/aard van de incentive? Werken met waardebonnen of cash geld. Dient wel goed afgestemd te worden met de fiscus. 9. Wat vindt u van de voorgestelde werkwijze om een kwaliteitsvolle vertaling van de vragenlijsten te bekomen? Heeft u suggesties hieromtrent? - Positieve reactie van de deelnemers. Een kwaliteitsvolle vertaling zorgt voor een eenduidige interpretatie. - Suggestie: Vertalen in derrija (fonetisch), Tamazight, Turks, Pools, Roemeens, Bulgaars, Engels, Frans en evt. kernbegrippen in het Koerdisch. 10. Om zoveel mogelijk respondenten te bereiken, zouden we een beroep willen kunnen doen op tweetalige interviewers al dan niet uit de eigen herkomstgroep (Nederlands + Frans/Engels/Arabisch/Berbers/Turks/Pools/Bulgaars/Roemeens). Hoe haalbaar acht u het inzetten van tweetalige interviewers? Heeft u bijkomende suggesties hieromtrent? Hieromtrent zijn uiteenlopende reacties. -
-
Voor één deelnemer vormt dit geen probleem indien er een ruime voorbereidingsperiode voorzien kan worden. Eén deelnemer werkt niet met interviewers die de genoemde herkomsttalen spreken (wel Engels en Frans). Het is wel mogelijk om specifiek te rekruteren op nieuwe interviewers gezien de beoogde doelstelling. Opmerking bij het rekruteren van nieuwe interviewers: dit gaat een impact hebben op de kwaliteit. Nieuwe enquêteurs hebben geen ervaring en zullen een hogere respons halen maar een lagere inhoudelijke kwaliteit van de interviews. Dit kan deels opgevangen worden door training, maar er zullen sterke interviewereffecten blijven.
11. Wat is uw mening omtrent het gebruik van het algemeen Nederlands voor het afnemen van de Nederlandstalige interviews? Kan de streektaal van de respondent invloed hebben op de respons? Heeft u suggesties hieromtrent? Rekening houden met de streektaal lijkt in de praktijk moeilijk uitvoerbaar aangezien tweetalige interviewers al relatief moeilijk te vinden zijn, los van de streektaal die zij spreken. 12. Wat is uw mening omtrent de voorgestelde werkwijze om de kwaliteit van het veldwerk en de timing te garanderen? a. M.b.t. de maximumgrens van 50 interviews per interviewer (om intervieweffecten te minimaliseren)?
b. M.b.t. het beschikken over ervaring van de interviewers met elementaire computervaardigheden, de CAPI-methode, het afnemen van niet-commerciële face-to-face interviews? c. M.b.t. het beschikken over ervaring van de interviewers met afnemen van interviews bij personen van buitenlandse herkomst? d. M.b.t. de haalbaarheid van het werken via CAWI en CAPI, zowel qua methodologie als uitrusting (laptops, software,…) a) De deelnemers geven aan dat deze grens hoger mag of niet haalbaar is. b) OK c) Dit is een belangrijke eis. Eén deelnemer geeft aan dat het niet mogelijk is om dit te vragen voor alle interviewers. d) OK 13. Wat vindt u van de voorgestelde werkwijze om de vragenlijst te testen? Heeft u suggesties hieromtrent? Dit lijkt de standaardwerkwijze. Suggestie: Neem bij 5 respondenten per groep de vragenlijst in eerste instantie af, opdrachtgever kan desgewenst meekijken via camera. Vervolgens een uitgebreidere veldtest bij aanvang bij 10 gesprekken per doelgroep, waarbij uitgangspunt is dat de vragenlijsten door de eerste test goed zijn en meegenomen kunnen worden, maar dit biedt extra optie om nog kleine zaken aan te passen en te overleggen, voor de grootschaligere uitrol. 14. Heeft u suggesties omtrent de controle op het veldwerk? Deze werkwijze wordt goed bevonden door de deelnemers. Een randbemerking is dat controle veel tijd en middelen kost, maar van essentieel belang is. 15. De op te leveren producten zijn een gecleand databestand, een eerste analyse van de nonrespons en respons en een methodologisch rapport. Wat verstaat u onder datacleaning? Acht u dit haalbaar? Wat verstaat u onder een eerste analyse van de (non)-respons? Dit wordt omschreven als haalbaar. Suggestie is om de analyse van de non respons voortdurend te laten plaatsvinden en niet enkel op het einde. 16. De totale duurtijd van de opdracht ramen we op 8 maanden, waarvan 4.5 maanden voor de effectieve uitvoering van het veldwerk (CAWI en CAPI-afname, nettorespons van +/- 4000). De overige maanden dienen voor de voorbereiding (vertalingen, testen, opleiden interviewers,…), codering, datacleaning, eerste verwerking resultaten en methodologisch rapport. Acht u deze timing van 8 maanden haalbaar? Zo niet, welke timing stelt u voor voor volgende onderdelen: a) voorbereiding (vertalingen, programmering voor CAWI en CAPI, testen, opleiden interviewers,…) b) uitvoering veldwerk (CAWI en CAPI) c) codering, datacleaning, eerste analyse van de (non)-respons en opmaak methodologisch rapport. De ingeschatte duurtijd van 8 maanden wordt als haalbaar tot niet haalbaar ingeschat. Eén tot 2,5 maanden extra tijd worden opgegeven als wenselijk.
17. Hoeveel tijd meent u dat er nodig zal zijn voor de opmaak van een offerte? De deelnemers geven aan dat 2 tot 6 weken volstaan voor het opmaken van een offerte. 18. Hoeveel raamt u de kostprijs per onderdeel (incl. BTW)? Vertrouwelijk 19. In dit document wordt een bepaalde werkwijze voorgesteld. Heeft u suggesties bij de beschreven werkwijze om de kostprijs te drukken. De nettorespons van circa 4000 eenheden (ca. 800 per herkomstgroep) dient gerespecteerd te worden . - Steekproef nog getrapter te trekken in de grote steden waardoor afstand tussen adressen minder groot kan zijn en doordoor de benodigde tijd minder lang en dus minder duur. - Afhankelijk van de randvoorwaarden: aantal adressen, aantal vervangadressen, aantal taalvereisten interviewers, aantal vertalingen nodig, aantal respondenten in Brussel en grootsteden,… 20. Welke andere suggesties heeft u? - Open gesprek over dit soort onderzoek - Techniek van location sampling 21. Zijn er randvoorwaarden waarvan u denkt dat ze bijkomend moeten ingevuld worden? - Betere uitwerking van CAWI - Vragenlijst dient zeer goed geoperationaliseerd te zijn 22. Wat is uw visie op de algemene planning en timing van het project? De algemene planning en timing worden ingeschat gaande van haalbaar tot té uitdagend. Enkele maanden speling voorzien is aan te raden.
