Inhoud van dit college Survey Onderzoek Uitdagingen en praktijk j Voorbeeld uit de p Ronald Batenburg 8 oktober 2009
Basis-uitdagingen bij surveyonderzoek Lees-voorbeeld Toepassing en illustratie op basis van een evaluatieonderzoek naar het overheidsprogramma ‘Nederland gaat Digitaal’ Afsluiting
1
Lees-Voorbeeld
4 basis-uitdagingen bij surveyonderzoek 1. Waar haal je de voldoende adressen/namen vandaan?
Eén op de tien ict projecten mislukt volledig. Dat blijkt uit de nieuwste ICT-barometer van Ernst & Young. Opvallend is volgens Ernst & Young het hoge aantal mislukte bedrijfskritische ICTprojecten, zoals systeem- en officemigratie en de implementatie van financiële of boekhoudsystemen.
2. Hoe maak je een goede vragenlijst?
Van de ICT-projecten die de afgelopen twee jaar zijn opgestart, blijkt 60 procent gedeeltelijk of volledig mislukt. Eén op de tien projecten faalde volledig, terwijl vijf op de tien gedeeltelijk misliep. Bij 27 procent van de (deels) mislukte projecten werd niet aan de verwachtingen voldaan, en liep het project uit op de tijdsplanning. Bij 16 procent rezen de kosten de pan uit. uit
– Vaak: willekeurig – Beter: gebruik steekproeftheorie
– Vaak: verzin wat vragen bij elkaar – Beter: gebruik conceptuele modellen en theorie
3. Hoe haal je een voldoende response? – Vaak: 1 keer reminden en afsluiten – Beter: doe non-response onderzoek
4. Hoe haal je het meeste uit surveydata?
– Vaak: draai wat percentages en tabellen uit – Beter: gebruik meetmodellen en toetsende statistiek
Volgens Jacob Verschuur, directeur Ernst & Young ICT Leadership mislukken er niet alleen meer projecten dan vorig jaar, maar worden er ook minder opgestart. Gemiddeld zeventien procent minder dan vorig jaar. ‘In de afgelopen twee jaar mislukte de implementatie van financiële of boekhoudsystemen bij ruim 95.000 bedrijven deels of geheel. Bij officemigratie geldt dit voor ruim 47.000 bedrijven en bij systeemmigratie is dit voor meer dan 41.000 bedrijven het geval. Schrikbarende aantallen voor de continuïteit van het Nederlandse bedrijfsleven’, aldus Verschuur. De ICT Barometer is het tweemaandelijks onderzoek van Ernst & Young naar ontwikkelingen op het gebied van ICT in Nederland en maakt deel uit van de EY Leadership programma’s. De ICT Barometer is uitgevoerd door Interview-NSS onder 600 directeuren/managers en professionals.
Het onderzoeksdomein
Een voorbeeld y van surveyonderzoek uit de praktijk
Nederland Gaat Digitaal Periode 2002-2006 Budget van € 33,5 miljoen Workshops, seminars, basis- en uitgebreide adviezen schriftelijk en digitaal adviezen, informatiemateriaal Gericht op het MKB om de toepassing van ICT/e-business te stimuleren Verantwoordelijkheid: Ministerie van Economische Zaken Uitvoering: Syntens
1
Het onderzoeksdoel
De onderzoekstrigger Beleidsdoelstelling: Het verhogen van de toepassing van ICT en e-commerce door het Nederlandse MKB tot een niveau dat zich minimaal kan meten met de top van Europa
?
?
(A) Toename bewustwording MKB over ICT
?
(B) Toename toegang & gebruik ICT in MKB
?
Het evalueren van het programma Nederland Gaat Digitaal, door het vaststellen van de:
? ?
(C) Impact op prestaties MKB
?
?
– Doeltreffendheid van het programma – Doelmatigheid van het programma
Het formuleren van beleidsadviezen ten aanzien van: – Bijstelling – Eventuele voortzetting
(D) NGD en programmaonderdelen (workshops, spreekuren, advies, brancheprogramma’s, etc.) 7
WO-college Survey-onderzoek
8
WO-college Survey-onderzoek
Terug naar het doel: een evaluatie-onderzoek
De onderzoekscontext Opdrachtonderzoek
Was het programma doeltreffend? – Zien we ‘een effect’? – Was men tevreden?
– Andere vormen van onderzoek?
Opdrachtgever: Ministerie van Economische Zaken – Waarom EZ?
Opdrachtnemer: Dialogic
Was het programma doelmatig? – Is alles goed verantwoord? – Bleef alles binnen budget?
Moet met het programma worden doorgegaan? – Bijstellen doelen – Bijstellen middelen
– Waarom Dialogic?
Vraag 1: Zien we een effect?
Aanpak effectmeting: steekproeftrekking Steekproef naar Branche, grootteklasses
Hoe bepaal je dat? Hoe onderzoek je dat?
Deelnemers aan NGD (schatting: 20.000)
1. Waar haal je de voldoende adressen/namen vandaan? 2. Hoe maak je een goede vragenlijst? 3. Hoe haal je een voldoende response? 4. Hoe haal je het meeste uit surveydata?
1-9 Wn
10-19 wn
20-99 wn
100-200 wn
Industrie
31
31
31
31
Bouw
31
31
31
31
Groothandel
31
31
31
31
Auto/reparatie
31
31
31
31
Detail
31
31
31
31
Horeca
31
31
31
31
Transport
31
31
31
31
Zakelijke dienst
31
31
31
31
(schatting 20.000)
Alle MKBbedrijven in Nederland (1 200 (1-200 werknemers)
Target = 800 voor NGD-gebruikers + 200 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand)
Steekproefkaders zijn identiek !
Schatting CBS:
Niet-deelnemers
326.810
(schatting: 300.000)
(per 1/1/2005)
Syntens: Ca. 600.000
WO-college Survey-onderzoek
en intensiteit Data- en registratiebestanden
Business Monitor – (totaal 12.000 vestigingen)
1-9 Wn
10-19 wn
20-99 wn
100-200 wn
Industrie
12
12
12
12
Bouw
12
12
12
12
Groothandel
12
12
12
12
Auto/reparatie
12
12
12
12
Detail
12
12
12
12
Horeca
12
12
12
12
Transport
12
12
12
12
Zakelijke dienst
12
12
12
12
Target = 320 voor NGD-gebruikers + 80 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand)
12
Streven: voor elke 2 NGD deelnemers is er 1 vergelijkbare nietdeelnemer als ‘evenknie’
2
Maak gebruik van bestaande theorie: maturity-modellen (1)
Maak gebruik van bestaande theorie: maturity-modellen (2) 5
5 2
1 Bewustwording (‘awareness’)
1. 2.
Kennis-vergroting en -verhoging Concreet gedrag (toegang&gebruik) Bedrijfsprestaties (‘impact’) 13
3. 4. 5.
4
3
1
Het MKB-bedrijf is overtuigd van het belang van ICT/e-business voor het bedrijf Het MKB-bedrijf is overtuigd van de noodzaak om in ICT/e-business te investeren Het MKB-bedrijf zorgt voor nieuwe ICT/e-business-competenties, kennis en vaardigheden ( intern dan wel extern) Het MKB-bedrijf vergroot en verbetert de toepassing ICT/e-business binnen het bedrijf Het MKB-bedrijf verhoogt haar bedrijfsperformance door de toepassing ICT/e-business WO-college Survey-onderzoek
1. Enkel passief gebruik van externe netwerken; geen aanbod van online diensten; 2. Presentatie van het eigen bedrijf via een website; 3. Het ontvangen van orders via elektronische netwerken, zoals internet; 4. Elektronisch leveren van goederen of diensten, en/of klantenondersteuning via elektronische netwerken; 5. Automatische koppeling tussen de ICT-systemen van klanten en de eigen ICT-systemen voor het verwerken van verkooporders 14
Aanpak effectmeting: dataanalyses Webenquête, deel 2
2
4
3
WO-college Survey-onderzoek
Effectmeting 1: zijn er verschillen in ICT-gebruik?
- Bedrijfsprestaties (winst, omzet) - Status en ontwikkeling ICTinvesteringen - Digitale diensten
Nonresponse analyse
Significante verschillen in ICT-investering en – ontwikkeling, uitgesplitst naar:
- Infrastructuur - Projecten
• Combinatie grootte-sector
- Bedrijfsprestaties (winst, omzet)
- Digitale diensten
Elektronische orderontvangst
• Regio Nonresponse analyse
- Infrastructuur - Projecten
• Moment / periode ICT volwassenhe id / econ. Performance
NGD deelnemers
?
- Houding en toekomstige ICTinvesteringen 15
Elektronische (uit)levering controlegroep
Externe systeemkoppeling
2002-2005
WO-college Survey-onderzoek
16
Effectmeting 2: zijn er verschillen in ICT-meerwaarde? Geschatte positieve effect van on-line inkoop
NGD-
Controle-
gebruikers
groep
WO-college Survey-onderzoek
Vraag 2: Was men tevreden? 1.
Geschatte positieve effect van on-line on line verkoop Geschatte toegevoegde waarde van CRM
2. 3. 4.
Impact ICT/e-business is positief voor: •Interne processen •Productinnovatie •Samenwerking •Planning en management Tevredenheid met succes van ebusiness 17
groep
Websitepresence
• Intensiteit deelname
Telefonische enquête
Controle-
Passief netwerkgebruik
• Sector / Grootteklasse
- Houding en toekomstige ICTinvesteringen
- Status en ontwikkeling ICTinvesteringen
NGD-gebruikers
Primaire analyses:
WO-college Survey-onderzoek
Hoe bepaal je dat? Hoe onderzoek je dat? Waar haal je de voldoende adressen/namen d / vandaan? d ? Hoe maak je een goede vragenlijst? Hoe haal je een voldoende response? Hoe haal je het meeste uit surveydata? WO-college Survey-onderzoek
3
Aanpak tevredenheidsmeting: steekproeftrekking
Aanpak surveyonderzoek: meetinstrumenten Steekproef naar
Steekproef naar
Branche, grootteklasses
Branche, grootteklasses
Deelnemers aan NGD
en intensiteit
1-9 Wn
10-19 wn
20-99 wn
100-200 wn
Industrie
31
31
31
31
Bouw
31
31
31
31
Groothandel
31
31
31
31
Auto/reparatie
31
31
31
31
Detail
31
31
31
31
Horeca
31
31
31
31
Transport
31
31
31
31
Zakelijke dienst
31
31
31
31
Data- en registratiebestanden
(schatting: 20.000)
(schatting 20.000)
Alle MKBbedrijven in Nederland (1 200 (1-200 werknemers)
Target = 800 voor NGD-gebruikers + 200 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand)
Schatting CBS:
Deelnemers aan NGD (schatting: 20.000)
Data- en registratiebestanden
en intensiteit
(schatting 20.000)
Webenquête, deel 2 Webenquête, deel 1
-Bedrijfsprestaties (omzet, winst)
- Deelname NGD/CIC programmaonderdelen:
-Status en ontwikkeling ICTinvesteringen
- Soort, intensiteit, tijdstip, etc.
- Digitale diensten
- Evaluatie NGD/CIC programmaonderdelen
- Infrastructuur
- Soort, intensiteit, tijdstip, etc
- Projecten
-Doelmatigheid
326.810
20-99 100-200deel Webenquête, wn wn
(per 1/1/2005)
Syntens: Ca. 600.000
1
- Was een alternatief goedkoper/effectiever?
- Deelname NGD/CIC programmaonderdelen:
Industrie
12
12
Bouw
12
12
-12Soort, intensiteit, tijdstip, etc. 12
Groothandel
12
12
-12Evaluatie 12 NGD/CIC programmaonderdelen
Auto/reparatie
12
12
12 -12Soort, intensiteit, tijdstip, etc
12
12
12 12 -Doelmatigheid
Horeca
12
12
12 -12Was een alternatief goedkoper/effectiever?
Transport
12
12
12
12
Zakelijke dienst
12
12
12
12
Target = 320 voor NGD-gebruikers + 80 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand)
WO-college Survey-onderzoek19
12
Tevredenheid: deelnemersevaluatie
-Houding en toekomstige ICTinvesteringen
Tevredenheid: deelnemersevaluatie
WO-college Survey-onderzoek
20
Dat was het onderzoeksplan …
Opzet tevredenheidsmeting Primaire analyses: • Tevredenheid en toegevoegde waarde per soort dienst/product
Nonresponse analyse
Webenquête, deel 1 - Deelname NGD/CIC programmaonderdelen: -Soort, intensiteit, tijdstip, etc. - Evaluatie NGD/CIC programmaonderdelen: -Soort, intensiteit, tijdstip, etc -Tevredenheid Tevredenheid -Toegevoegde waarde - Doelmatigheid -Was een alternatief goedkoper/effectiever?
En dan nu de praktijk …!
• Profiel van voor- en achterlopers, intensieve – sporadische deelnemers
Vergelijking met:
Vergelijking met:
• Oorspronkelijke doelstellingen
•Syntens evaluaties
• Bijgestelde doelstellingen
•Bureau Bartels onderzoek
WO-college Survey-onderzoek21
WO-college Survey-onderzoek
Steekproef websurvey NGD-deelnemers (2)
Steekproef websurvey NGD-deelnemers (1) BESCHIKBARE BRONNEN-ADMINISTRATIES MEDIAPLAZA SYNTENS SYNTENS WORKSHOPS WORKSHOPS ADVIES TOTAAL 946 24050 5934 30930
AANTAL 'RECORDS' AANTAL UNIEKE PERSONEN - WAARVAN MET EMAIL-ADRES
854 641
15990 4426
5630 4676
22474 9743
- WAARVAN DOELGROEP
632
4391
4676
9699
AANTAL UNIEKE BEDRIJVEN
518
3415
4617
8550
STEEKPROEF OP BASIS VAN JAAR EN NGD-ACTIVITEIT:
• Meerdere (contact)personen per bedrijf • Meerdere workshops/adviezen per persoon en/of per bedrijf • Onvolledige of ontbrekende (email) adressen • Onvolledige of ontbrekende bedrijfskenmerken (grootte/branche) 23
WO-college Survey-onderzoek
24
4
Voorbeeld onderdeel websurvey NGD-deelnemers
Response websurvey NGD-deelnemers N 2494 2360 N 689 409 % 29,19 17,33
A. Email verstuurd B. Email adres bruikbaar C. Enquete begonnen D. Enquete afgerond Bruto response (C/B) Netto response (D/B) WO-college Survey-onderzoek
26
WO-college Survey-onderzoek
Responsverdeling naar deelname aan NGD-deelname
Responsverdeling naar omvang (links) en branche (rechts)
0
20
40
60
80
100
120
140
50-199 10%
200+ 4%
0 8%
overig 14%
128
Uitgebreid advies
landbouw 2%
63
Workshop, basisadvies, uitgebreid advies, documentatie
industrie 18%
60
Basisadvies 51
Documentatie 20-49 15%
10-19 13%
bouwnijverheid 8%
19
Basisadvies, uitgebreid advies, documentatie
16
Basisadvies, uitgebreid advies
14
Workshop, uitgebreid advies
reparatie handel horeca 10%
1-9 50%
verhuur, zakelijke en financiele diensten 19%
32
Workshop, documentatie
openbaar bestuur, d ij zorg, overige i onderwijs, diensten 22%
13
Basisadvies, documentatie
vervoer opslag communicatie 7%
Workshop, basisadvies
13
Workshop, basisadvies, documentatie
12 10
Workshop, uitgebreid advies, documentatie Uitgebreid advies, documentatie Workshop, basisadvies, uitgebreid advies
27
WO-college Survey-onderzoek
28
Responsverdeling naar functie respondent
Steekproef telefonisch survey niet-NGD-deelnemers Grootteklasse
(ICT) manager/ afdelingshoofd 13%
Bedrijfsleider 3%
Directeur/ eigenaar 66%
BIK
Branche
1 t/m 9
t/m
50 t/m 199
15-37
industrie
37
22
26
17
103
45
bouwnijverheid
6
8
8
5
27
50-55
reparatie, handel, horeca
49
18
12
5
85
60-64
vervoer, opslag, communicatie
8
4
6
4
23
65-74
verhuur, zakelijke en financiële dienstverlening
101
15
10
4
130
75-93
openbaar bestuur, onderwijs, zorg, milieudienst, overige dienstverlening Totaal
WO-college Survey-onderzoek29
5 3
WO-college Survey-onderzoek
Anders, namelijk... 9%
Directeur 9%
160 150
Workshop
10 19
t/m
20 49
Totaal
24
3
3
2
33
226
70
67
38
400
WO-college Survey-onderzoek
30
5
Voorbeeld onderdeel telefonisch survey niet-NGD-deelnemers
Response telefonisch survey niet-NGD-deelnemers
A. Telefonisch benaderd B. Respondent bruikbaar C. Enquete begonnen D. Enquete afgerond Netto response (D/B)
24 | Heeft de invoering van ICT/e-business toepassingen effecten op uw bedrijfsprestaties?
N 2.193 1.660 N 1.660 400 % 24,10
WO-college Survey-onderzoek
Ja Nee
25 | Hoe groot is de bijdrage geweest van ICT/e-business in uw b d f op de bedrijf d volgende l d aspecten?Is deze d bijdrage… b d
Vrijwel nihil Klein Niet klein, maar ook niet groot Tamelijk groot Groot Weet niet / wil niet zeggen
31
Verschillen tussen NGD-eelnemers en niet-NGD-deelnemers…
WO-college Survey-onderzoek
De effect-analyses: aanpak Brede mix en robuustheid als oplossing voor het ‘netto-effect’-probleem
Waar ligt dat aan? Hoe kun je bepalen wat het ‘echte’ of ‘netto’ effe effectt iis van n het NGD NGDprogramma zelf?
Effectmeting
– ICT-gebruik (verschillende indicatoren)
• Effectgroep-vergelijking (wel/geen NGD-deelnemer) • Subgroep-vergelijking S b lijki (klein/groot, (kl i / t sector) t ) • Effect-vergelijking (extensief/intensieve NGD-deelnemer)
– ICT-meerwaarde (verschillende indicatoren)
• Effectgroep-vergelijking (wel/geen NGD-deelnemer) • Subgroep-vergelijking (klein/groot, sector) • Effect-vergelijking (extensief/intensieve NGD-deelnemer)
– Zo nee, waarom niet? – Zo ja, hoe dan?
Tevredenheidsmeting – Algemene programma – Specifieke onderdelen
WO-college Survey-onderzoek
Effect-meting ICT-gebruik (1)
WO-college Survey-onderzoek
Effect-meting ICT-gebruik (2)
35
WO-college Survey-onderzoek
36
6
Robuustheid effect-meting ICTgebruik: sugbroepen (*=sig)
Robuustheid effect-meting ICTgebruik: mate NGD-gebruik (sig) NGD
Verschil NGD-deelnemers en niet-deelnemers MKB-onderneming is in het bezit van een:
T
10-
10+
HH
ZD
MKB-onderneming is in het bezit van een:
OD
Extensieve deelnemers (N=286)
Intensieve deelnemers (N=230)
Netwerk, nl:
Netwerk, nl: - LAN
*
- Intranet
*
- extern toegankelijk bedrijfsnetwerk
*
*
*
- LAN
* *
*
*
74
84
- Intranet
29
33
- extern toegankelijk bedrijfsnetwerk
41
97
Eigen website met:
Website met daarop: - bedrijfspresentatie
*
*
*
*
*
*
- productinformatie
*
*
*
*
*
*
- vaste klantenpagina
*
*
*
- digitaal producten af te leveren
*
*
*
- klanten en after sales te ondersteunen
*
*
*
91
96
- productinformatie
88
94
- vaste klantenpagina Webapplicatie om:
Webapplicatie om:
*
- bedrijfspresentatie
- digitaal producten af te leveren
16
29
*
23
29
*
- klanten en after sales te ondersteunen
*
IT-applicaties die gekoppeld zijn met die van externen op het terrein van:
ICT-applicaties die gekoppeld zijn met die van externen op het terrein van:
34
50
- inkoop
27
38
- productieplanning en logistiek
22
40
- financieel management
38
- personeelsmanagement
21
27
- kennismanagement
19
30
- verkoop
- verkoop
*
*
*
*
- inkoop
*
*
*
*
*
- productieplanning en logistiek
*
*
*
*
- financieel management
*
- personeelsmanagement
*
- kennismanagement
*
*
*
*
*
*
*
*
WO-college Survey-onderzoek
37
Effect-meting ICT-meerwaarde (sig)
WO-college Survey-onderzoek
Deelnemers (N=516)
38
Robuustheid effect-meting ICTmeerwaarde: subgroep (*=sig) Verschil NGD-deelnemers en nietdeelnemers
NGD MKB-onderneming heeft bijdrage van ICT ervaren aan:
47
Nietdeelnemers (N=124)
MKB-onderneming heeft bijdrage van ICT ervaren aan:
T
10-
10+
HH
ZD
OD
Kostenreductie
2,8
2,0
Kostenreductie
*
*
*
*
*
*
Omzetverhoging
29 2,9
19 1,9
Omzetverhoging
*
*
*
*
*
*
Tijdwinst
3,5
2,8
Tijdwinst
*
*
*
*
Betere interne communicatie
3,1
2,1
Betere interne communicatie
*
*
*
*
*
*
Hogere klanttevredenheid
3,2
2,2
Hogere klanttevredenheid
*
*
*
*
*
*
Betere productkwaliteit
2,8
2,0
Betere productkwaliteit
*
*
*
*
*
Nieuwe producten en diensten
2,9
1,9
Nieuwe producten en diensten
*
*
*
*
*
*
Hogere arbeidsproductiviteit
3,0
2,1
Hogere arbeidsproductiviteit
*
*
*
*
*
*
WO-college Survey-onderzoek
39
WO-college Survey-onderzoek
40
Uitkomsten tevredenheidsmeting (1; schaal 1-4)
Robuustheid effect-meting ICTmeerwaarde: mate NGD-gebruik (sig) NGD MKB-onderneming heeft bijdrage van ICT ervaren aan:
Extensieve deelnemers (N=286)
Intensieve deelnemers (N=230)
Kostenreductie
2,9
2,7
Omzetverhoging
27 2,7
31 3,1
Tijdwinst
3,5
3,6
Betere interne communicatie
2,9
3,2
Hogere klanttevredenheid
3,0
3,4
Betere productkwaliteit
2,7
2,9
Nieuwe producten en diensten
2,8
3,0
Hogere arbeidsproductiviteit
3,0
3,0
WO-college Survey-onderzoek
41
WO-college Survey-onderzoek
42
7
Uitkomsten tevredenheidsmeting (2 ; schaal 1-4)
De effect-analyses: uitkomsten (consistent) Effectmeting
NDG
– ICT-gebruik (verschillende indicatoren)
De workshops/seminars hebben bijgedragen aan de ICT-toepassing: - één of meerdere bedrijfsfuncties zijn geautomatiseerd
2,04
- verschillende bedrijfsfuncties zijn geautomatiseerd en verbonden met een netwerk
2,12
- verschillende bedrijfsfuncties zijn geautomatiseerd en maken gebruik van eenzelfde gegevensbestand door middel van een geïntegreerd informatiesysteem
2,12
- bedrijfs functies zijn geautomatiseerd en verbonden met informatiesystemen van andere organisaties
2 15 2,15
• Effectgroep-vergelijking (wel/geen NGD-deelnemer) • Subgroep-vergelijking (klein/groot, sector) • Effect-vergelijking (extensief/intensieve NGD-deelnemer)
– ICT-meerwaarde ICT d (verschillende ( hill d indicatoren) i di )
• Effectgroep-vergelijking (wel/geen NGD-deelnemer) • Subgroep-vergelijking (klein/groot, sector) • Effect-vergelijking (extensief/intensieve NGD-deelnemer)
Het basisadvies heeft bijgedragen aan de ICT-toepassing: - één of meerdere bedrijfsfuncties zijn geautomatiseerd
2,53
- verschillende bedrijfsfuncties zijn geautomatiseerd en verbonden met een netwerk
2,48
- verschillende bedrijfsfuncties zijn geautomatiseerd en maken gebruik van eenzelfde gegevensbestand door middel van een geïntegreerd informatiesysteem
2,40
- bedrijfs functies zijn geautomatiseerd en verbonden met informatiesystemen van andere organisaties
2,02
WO-college Survey-onderzoek
Terug naar het doel: antwoorden evaluatie-onderzoek?
Tevredenheidsmeting – Algemene programma – Specifieke onderdelen
43
WO-college Survey-onderzoek
Afsluiting: hoe kan survey-onderzoek nog beter?
Was het programma doeltreffend? – Zien we ‘een effect’? – Was men tevreden?
Was het programma doelmatig? – Is alles goed verantwoord? – Bleef alles binnen budget?
Moet met het programma worden doorgegaan?
1. Waar haal je de voldoende adressen/namen vandaan? 2 Hoe 2. H maakk jje een goede d vragenlijst? lij t? 3. Hoe haal je een voldoende response? 4. Hoe haal je het meeste uit surveydata?
– Bijstellen doelen – Bijstellen middelen WO-college Survey-onderzoek
WO-college Survey-onderzoek
8
