SIXTAT Statistiek Marktonderzoek
Software
Herhalen of vernieuwen? Het correlatieonderzoek MBI
26 april 2004 Prof. Dr. D Sikkel
[email protected]
Schout van Eijklaan 98 2262 XV LEIDSCHENDAM 070-3200031 www.sixtat.nl
ii Inhoudsopgave
pagina
Samenvatting
iii
Summary
iv
1. Inleiding
1
2. Statistische achtergrond
2
3. Stabiliteit van de populatie
4
4. Steekproef en respons
5
5. Aantallen in 2002 en 2004 5.1 Inbraak 5.2 Diefstal 5.3 Vernieling 5.4 Geweld
8 8 11 15 17
6. Conclusies
19
BIJLAGE. CONSTRUCTIE VAN DE STEEKPROEF
22
iii Samenvatting Om het beleid ten aanzien van criminaliteitsbestrijding te kunnen evalueren vinden de de Ministeries van Justitie en Binnenlandse Zaken het wenselijk om een nauwkeurig inzicht te hebben in de ontwikkeling van slachtofferschap van misdrijven bij bedrijven. In metingen die in 2002 en 2003 zijn gedaan bleek de nauwkeurigheid een probleem te zijn. Een mogelijkheid om dit probleem op te lossen is het overgaan op panelonderzoek. Om inzicht te krijgen in de effectiviteit van de methode heeft het WODC opdracht gegeven voor een pilotonderzoek. Hierin zijn 102 bedrijven uit de steekproef van 2002 in 2004 opnieuw ondervraagd. De belangrijkste resultaten zijn: -
het veldwerk leek soepeler te verlopen dan bij cross-sectie onderzoek, hetgeen aannemelijk maakt dat panelonderzoek niet substantieel duurder is de nauwkeurigheid van de uitkomsten werd door de panelopzet niet substantieel verhoogd het uitblijven van de verhoging van de nauwkeurigheid had twee redenen: grote veranderingen bij individuele bedrijven en onjuiste opgave van aantallen slachtoffers de opzet gaf wel de gelegenheid om de dynamiek op bedrijfsniveau te meten; de uitkomsten hiervan zijn inhoudelijk interessant en beleidsrelevant; met name de vraag in welke mate veranderingen in aantallen misdrijven zijn toe te schrijven aan overheidsbeleid drong zich op
Op grond van de uitkomsten kan worden betwijfeld of het geschatte populatietotaal aan misdrijven een valide indicator is voor de effectiviteit van het overheidsbeleid. Dit cijfer wordt zeer bepaald door een beperkt aantal bedrijven in zeer specifieke omstandigheden. Percentages bedrijven die wel eens, of minstens een bepaald aantal malen slachtoffer zijn, zijn een indicator waarvoor deze twijfel niet aanwezig is. Dit is aanleiding om een gewijzigde opzet van de criminaliteitsmeting bij bedrijven voor te stellen. -
een periodiek cross-sectioneel onderzoek voor het vaststellen van percentages een niet representatief panel van enkele honderden bedrijven, waarin longitudinaal onderzoek wordt gedaan en waarin op basis van gemiddelden een soort in de tijd consistente AEX-index voor slachtofferschap wordt berekend
iv Summary In order to evaluate the policy with respect to crime reduction the Ministries of the Interior and of Justice require accurate figures for the development of victimization of firms. In surveys in 2002 and 2003, accuracy appeared to be a problem. A possibility to solve this problem is to use a panel design. To obtain insight in the effifacy of this method, the WODC initiated a pilot study. In this study 102 firms from the sample of 2002 were reinterviewed in 2004. The main results are -
the fieldwork appeared to run more smoothly than in a cross sectional design; this suggests that in this case a panel design is not substantially more expensive the accuracy of the figures was not substantially improved by using a panel design the lack of improvement of accuracy had two reasons: large changes in individual firms and incorrect answers of the respondents about numbers of victimizations the design did allow to measure the dynamics at firm level; the results are substantively of interest and relevant for policy makers, mainly on the issue of which changes are attributable to government policy
On the basis of the results it can be doubted that the estimated population totals are valid indicators for the effectiveness of government policy. These figures are very much determined by a limited number of firms in very specific conditions. Percentages of firms which are at least once, or a given number of times, victim of a crime, are indicators for which these doubts do not exist. This is reason to propose a modified design of measurement of victimization of companies -
a periodical cross-sectional survey for the measurement of percentages a non representative panel of severeal hundreds of firms, in which longitudinal research is carried out and in which on the basis of averages some time-consistent “AEX-index” for victimization is calculated
1 1. Inleiding Criminaliteit is een belangrijk beleidsterrein. Zowel politiek als ambtelijk worden functionarissen afgerekend op behaalde resultaten. Eén van deze resultaten is de mate waarin bedrijven slachtoffer worden van criminaliteit. Betrouwbare meting hiervan is dus zeer wenselijk, maar helaas ook problematisch. De variatie binnen de bedrijvenpopulatie is zeer groot. Wanneer bij een steekproef van bedrijven het aantal slachtofferschappen wordt gevraagd is de spreiding daardoor ook zeer groot. De nauwkeurigheid van populatieschattingen is daardoor onplezierig laag. Eén van de potentiële mogelijkheden om de nauwkeurigheid van de metingen bij gelijkblijvende kosten te verhogen is het overgaan op panelonderzoek. Daarbij worden bedrijven die in de steekproef vallen op gezette tijden (bijvoorbeeld tweejaarlijks) opnieuw ondervraagd. Deze manier van meten heeft in statistische zin voordelen. Wanneer aantallen slachtofferschappen in de tijd redelijk stabiel zijn is de nauwkeurigheid waarmee ontwikkelingen in de tijd kunnen worden geschat aanzienlijk hoger dan wanneer bij elke meting steeds nieuwe bedrijven worden ondervraagd. Het is echter niet vanzelfsprekend dat deze voordelen in een panelopzet daadwerkelijk worden gerealiseerd. Hier is voor nodig dat aan een aantal randvoorwaarden is voldaan. Deze zijn: 1. De bedrijvenpopulatie moet tussen twee opeenvolgende metingen niet te sterk veranderen 2. De respons tussen twee opeenvolgende metingen moet sterke overlap vertonen 3. Wat de respondenten aan het onderzoekbureau rapporteren moet betrouwbaar zijn 4. De verschillen tussen bedrijven moeten redelijk stabiel zijn; met andere woorden: een bedrijf dat op tijdstip 1 een relatief hoog aantal slachtofferschappen rapporteert moet dat op tijdstip 2 ook doen, terwijl bedrijven die op tijdstip 1 laag scoren dat op tijdstip 2 ook moeten doen. Daarnaast is er nog een praktische randvoorwaarde: 5. Het veldwerk moet op basis van een panelopzet goed uitvoerbaar zijn (en bijvoorbeeld niet leiden tot een veel langere onderzoekperiode) Dit rapport is een verslag van een pilot study, waarin is onderzocht in welke mate aan de bovenstaande randvoorwaarden is voldaan. Aan 102 bedrijven die in 2002 aan een groot slachtofferonderzoek hebben meegewerkt is een verkorte versie van de toenmalige vragenlijst voorgelegd. Het onderzoek is uitgevoerd door TNS NIPO in de periode 29 maart – 13 april 2004. In paragraaf 2 wordt ingegaan op de statistische achtergrond van het onderzoek en de uitgevoerde analyses. Vervolgens worden de randvoorwaarden besproken, in paragraaf 3 komt de bedrijvenpopulatie aan de orde, in paragraaf 4 het veldwerk en de respons. De statistische uitkomsten staan in paragraaf 5. In paragraaf 6 worden de conclusies gegeven. Hierin wordt uitvoerig ingegaan op de vragen die in de startnotitie voor het onderzoek zijn gesteld.
2 2. Statistische achtergrond Kern van het onderzoek is het meten van de correlatie tussen waarnemingen in verschillende jaren. De correlatie tussen twee waarnemingen geeft de mate aan waarin de tweede waarneming uit de eerste kan worden voorspeld met behulp van een lineaire functie, dus de mate waarin de vergelijking x2 = a + bx1
(1)
opgaat. Wanneer de waarnemingen tussen twee metingen een hoge correlatie hebben, heeft dit als gevolg dat het verschil tussen x2 en x1 relatief nauwkeurig kan worden geschat. De correlatiecoëffieciënt is een getal tussen -1 en 1. Wanneer de variantie van x1 en x2 beide gelijk is aan 2 geldt voor de variantie van het gemiddelde van x2-x1 bij een steekproefomvang n
var( x 2 − x1 ) =
2(1 − ρ )σ 2 , n
(2)
Dus hoe hoger de correlatie, hoe nauwkeuriger de ontwikkeling van het aantal slachtofferschappen kan worden gemeten. Doel van het pilotonderzoek is na te gaan of er tussen de metingen van 2002 en 2004 hoge correlaties zijn, zeg groter dan 0,8. Normaal gesproken komt men zulke correlaties in survey-onderzoek zelden tegen. Het voornaamste argument om zulke correlaties toch te verwachten is dat de variatie in de aantallen slachtofferschappen zeer groot is. Dit wordt geïllustreerd in figuur 2.1, waarin een mogelijke uitkomst van de metingen van 2002 en 2004 wordt weergegeven. Figuur 2.1. Fictieve uitkomst van aantallen slachtofferschappen bij metingen in 2002 en 2004 Meting 2004
Meting 2002
Globaal zijn de afwijkingen van de punten ten opzichte van de rechte lijn klein ten opzichte van de totale variantie. Dit komt doordat de hoge variantie geheel is toe te schrijven aan de uitbijters, de metingen in de buurt van 100 slachtofferschappen. Deze verhouding, relatief kleine afwijkingen van de lijn, komt overeen met een hoge correlatie! Hadden we ons beperkt tot de roze rechthoek in figuur 1, dan waren de afwijkingen van de lijn ten opzichte van de totale variantie in de rechthoek groot geweest, en was de correlatie verwaarloosbaar klein
3 geweest. De puntenwolk in de figuur geeft een realistisch beeld van wat bij twee opeenvolgende metingen verwacht kan worden (mits uiteraard de uitbijters in 2002 ook de uitbijters in 2004 zijn). Wil er dus sprake zijn van hoge correlatie, dan zal het van de uitbijters moeten komen. De bedrijven die megaslachtoffer zijn moeten dat, althans vanuit statistisch oogpunt, blijven. Deze veronderstelling komt er op neer dat verschillen in slachtofferschap bij bedrijven stabiel zijn, omdat sommige bedrijven zich nu eenmaal meer lenen voor criminaliteit dan andere of omdat sommige bedrijven nu eenmaal in criminelere omgevingen gevestigd zijn dan andere. Dit lijkt plausibel, maar het zou doorkruist kunnen worden doordat bedrijven die veel last hebben van criminaliteit daar twee jaar later met succes tegen zijn opgetreden, of dat juist in onveilige omgevingen met succes anti-criminaliteitsbeleid is gevoerd. Wanneer dit soort maatregelen selectief erg succesvol zijn ebt het panelvoordeel weg. Immers, dan valt het verband tussen het gerapporteerde aantal slachtofferschappen op tijdstip 1 het aantal slachtofferschappen op tijdstip 2 weg en is de correlatie tussen beide metingen laag of mogelijk zelfs negatief. Wil er sprake zijn van hoge correlaties die in de praktijk zoden aan de dijk zetten, dan zijn de fictieve cijfers uit figuur 1 alleen niet voldoende. Daarnaast moet aan een aantal andere randvoorwaarden zijn voldaan: 1. De metingen moeten op individueel niveau (per bedrijf dus) betrouwbaar zijn. 2. De populatie van bedrijven die slachtoffer zijn van grote aantallen delicten mag niet te sterk veranderen. 3. De respons, met name bij bedrijven die slachtoffer zijn van grote aantallen delicten, moet op peil blijven. Ad. 1. De betrouwbaarheid van de gegeven antwoorden is op basis van de data uit 2002 alleen niet ondubbelzinnig vast te stellen. Bedrijven waar grote verschillen ten opzichte van 2002 worden waargenomen worden daarom in het pilotonderzoek met het feit geconfronteerd dat er sprake is van een grote stijging of daling. Aan hen wordt vervolgens gevraagd om een verklaring te geven. Ad 2. Dat bedrijvenpopulaties veranderen is een bekend gegeven. Wanneer dit alleen geldt voor bedrijven die zelden slachtoffer zijn is dit niet erg. Ze zijn immers niet sterk bepalend voor de hoogte van de correlatie. Wanneer de populatie van bedrijven die vaak slachtoffer zijn ook sterk wijzigt onstaat er een probleem. Ad 3. Panelonderzoek kan alleen maar nauwkeuriger schattingen leveren als de responsbereidheid van de bedrijven die eerder hebben meegedaan hoog is. Wanneer de fractie responderende bedrijven op tijdstip 2 gelijk is aan r, en de steekproef wordt aangevuld met een fractie 1-r nieuwe bedrijven, geldt voor de variantie van het gemiddelde verschil bij dezelfde veronderstellingen als bij formule 2 var( x 2 − x1 ) =
2(1 − ρ )σ 2 1 , n r + (1 − r )(1 − ρ )
(3)
Voor r=1 (alle bedrijven in het panel responderen) is dit hetzelfde als formule 2. Voor r=0 (geen van de bedrijven in het panel respondeert) is er vanzelfsprekend ook geen panelvoordeel. Voor =1 en r>0 is de variantie 0, want dan zijn de waarnemingen op tijdstip 2 perfect voorspelbaar op basis van tijdstip 1. Maar voor lage r en lage ebt het panelvoordeel weg.
4
3. Stabiliteit van de populatie De basisgegevens van de 102 bedrijven die respondeerden bleken zeer stabiel te zijn. De sector waartoe het bedrijf behoort en de politieregio waarin het bedrijf is gevestigd bleken in 2004 voor 100% overeen te komen met 2002. De grootteklasse bleek, begrijpelijkerwijs, in 2004 soms enigszins verschoven te zijn, zie tabel 3.1. Hierin staan 69 bedrijven op de hoofddiagonaal; deze zijn in dezelfde klasse gebleven. De overige 32 bedrijven, bijna 30%, zijn van grootteklasse veranderd. Wanneer er naar grootteklasse wordt gerapporteerd verkleint dit het panelvoordeel, in de andere gevallen maakt het geen verschil. Tabel 3.1. Grootteklasse in 2002 en 2004. 2002 1 2-4 5-9 10-19 20-49 50-99 100+ totaal
2004 1 7 1 0 0 0 0 0 8
2-4 1 10 2 1 1 0 1 16
5-9 1 0 9 3 0 0 0 13
10-19 0 0 6 17 4 0 0 27
20 - 49 0 0 0 4 17 3 0 24
50 - 99 0 0 1 1 2 4 0 8
100+ 0 0 0 0 0 0 5 5
totaal 9 11 18 26 24 7 6 101
In het totaal zijn er 199 bedrijven benaderd. Voor slechts 10 bedrijven gold dat er twijfel kon bestaan of ze nog wel tot de populatie behoorden. Twee jaar later geldt dat de bedrijvenpopulatie van 2002 voor 95% aantoonbaar intact is, en dat binnen deze 95% beperkte verschuivingen in grootteklasse zijn. Op basis van de pilot is er geen reden om aan te nemen dat instabiliteit van de bedrijvenpopulatie een beletsel is voor de panelaanpak.
5
4. Steekproef en respons Voor de pilot is een steekproef samengesteld van 400 bedrijven, waarin de bedrijven met veel slachtofferschappen oververtegenwoordigd waren. De reden hiervoor staat in paragraaf 2. Voor een nauwkeurige beschrijving van de geconstrueerde steekproef wordt verwezen naar de bijlage. Omdat de veldwerkperiode van de pilot slechts twee weken besloeg bestond de zorg dat deze korte periode de oorzaak van een hoge non-respons zou kunnen zijn. Om een zo goed mogelijk zicht op het proces te houden is de steekproef daarom in vier tranches van 100 bedrijven verdeeld die zo veel mogelijk volgtijdelijk zouden worden benaderd. Uit tabel 4.1 blijkt dat alle bedrijven in de eerste tranche zijn benaderd, de helft van de bedrijven in de tweede tranche en een kwart van de bedrijven in tranche 3 en tranche 4. Tabel 4.1. Respons naar tranche tranche 1 2 3 4 totaal
niet benaderd n % 53 26.4 73 36.3 75 37.3 201 100.0
benaderd, geen benaderd, respons respons n % n % 61 62.9 39 38.2 17 17.5 30 29.4 9 9.3 18 17.6 10 10.3 15 14.7 97 100.0 102 100.0
De angst dat de korte veldwerkperiode een lage respons zou veroorzaken bleek geheel en al ongegrond. Dit blijkt goed uit tabel 4.2, waarin de uitkomsten van 2002 en 2004 worden vergeleken. Het aantal geslaagde gesprekken was in 2004 procentueel bijna het dubbele van 2002: 51,3% tegenover 28,4%. Bij een langere veldwerkperiode zullen deze cijfers voor de panelopzet vermoedelijk nog iets gunstiger uitvallen. In het eindrapport van het NIPO wordt overigens een veel hoger responspercentage voor 2002 genoemd, namelijk 45%. Dit is terecht, omdat contacten die niet tot stand zijn gekomen en telefoonummers die verwezen naar bedrijven of personen buiten de doelpopulatie hierin niet zijn meegeteld. Dit soort contactpogingen horen echter wel tot de werklast van het veldwerkapparaat. Daarom horen ze in een beschouwing over de effectiviteit van panelonderzoek wel te worden meegeteld. Tabel 4.2. Respons in 2004 en 2002 en gemiddelde duur totaan de laatste contactpoging in dagen (contact op de 1e dag = 0 dagen). *
2004 uitkomst laatste contact geslaagd afspraak niemand gesproken weigering verkeerd bedrijf overig totaal
*
n 102 3 21 54 10 9 199
2002
gemiddelde % duur 51.3 1.8 1.5 0.3 10.6 27.1 5.0 4.5 100.0
3.0 2.0 1.1 3.6 2.0
n 4120 987
% 28.4 6.8
gemiddelde duur 5.2 8.6
2806 4508 1353 754 14528
19.3 31.0 9.3 5.2 100.0
13.3 6.0 4.8 8.7 7.4
gemidddelde duur (<12 dagen) 2.5 2.2 1.8 1.9 1.1 2.2 2.0
Uitkomsten gebaseerd op ongeveer 80% van de bedrijven in de steekproef van 2002.
6 De gemiddelde duur totaan een geslaagd gesprek was in 2004 gelijk aan 1,8 dag. De vergelijking met 2002 (5,2 dag) is hier niet helemaal eerlijk, omdat er in 2002 langer geprobeerd kon worden een geslaagd gesprek te realiseren. Voor die contacten die binnen 12 dagen tot een geslaagd gesprek leidden was in 2002 de gemiddelde duur 2,5 dag. En zo blijkt hier een nieuw argument te bestaan om een panelopzet te kiezen: het veldwerk verloopt veel soepeler, iets wat bij een groot onderzoek waarschijnlijk meer gewicht in de schaal legt dan de eenmalige extra programmeer-inspanning om de oude met de nieuwe gegevens te matchen. Omdat alle variabelen uit het onderzoek uit 2002 bekend zijn, kan worden onderzocht of de respons in 2004 selectief is voor de sleutelvariabelen in het onderzoek. Daarbij gaat het natuurlijk om aantallen inbraken, diefstallen, vernielingen en geweldsdelicten. De gegevens staan in tabellen 4.2 tot en met 4.5. Op de tabellen is een overall 2 (chi-kwadraat) toets uitgevoerd om te kijken of de drie verdelingen van “niet benaderd”, “benaderd, geen respons” en “benaderd, respons” significant verschillen. Daarnaast is een aparte 2-toets uitgevoerd op de beide “benaderd”-kolommen om na te gaan of de responsbereidheid afhing van slachtofferschap. Voor een significant verschil moet gelden p<0.05. Dit is voor geen enkele toets het geval. De pilot geeft dus geen aanleiding om te veronderstellen dat de respons op de sleutelvariabelen selectief is. Tabel 4.2. Respons naar niveau inbraak in 2002. inbraak 0 maal 1 maal 2 maal 3-4 maal 5 maal of vaker totaal
niet benaderd n % 138 69.3 17 8.5 10 5.0 15 7.5 19 201
9.5 100.0
benaderd, geen benaderd, respons respons n % n % 53 55.2 57 57.0 9 9.4 15 15.0 9 9.4 13 13.0 11 11.5 5 5.0 14 97
Overall: 2=15.3 df=8 p=0.053 Respons-non respons: 2=5.2 df=4 p=0.266
14.6 100.0
10 102
10.0 100.0
Tabel 4.3. Respons naar niveau diefstal in 2002. diefstal 0 maal 1 maal 2-9 maal 10-99 maal 100 maal of vaker totaal
niet benaderd n % 120 59.7 23 11.4 23 11.4 31 15.4 4 201
2.0 100.0
benaderd, geen benaderd, respons respons n % n % 57 58.8 57 55.9 8 8.2 5 4.9 19 19.6 15 14.7 8 8.2 20 19.6 5 97
Overall: 2=13.6 df=8 p=0.091 Respons-non respons: 2=6.2 df=4 p=0.186
5.2 100.0
5 102
4.9 100.0
7 Tabel 4.4. Respons naar niveau vernieling in 2002. vernieling 0 maal 1 maal 2-9 maal 10-24 maal 25 maal of vaker totaal
niet benaderd n % 115 57.2 23 11.4 41 20.4 10 5.0 12 201
6.0 100.0
benaderd, geen benaderd, respons respons n % n % 58 59.8 54 52.9 11 11.3 14 13.7 18 18.6 17 16.7 7 7.2 8 7.8 3 97
Overall: 2=5.1 df=8 p=0.749 Respons-non respons: 2=3.5 df=4 p=0.482
3.1 100.0
9 102
8.8 100.0
Tabel 4.5. Respons naar niveau geweldsmisdrijven in 2002. geweld 0 maal 1 maal 2-4 maal 5-9 maal 10 maal of vaker totaal
niet benaderd n % 163 81.1 8 4.0 9 4.5 8 4.0 13 201
6.5 100.0
benaderd, geen respons benaderd, respons n % n % 83 85.6 80 78.4 4 4.1 7 6.9 3 3.1 6 5.9 2 2.0 7 97
Overall: 2=6.8 df=8 p=0.555 Respons-non respons: 2=3.8 df=4 p=0.441
7.2 100.0
7 102
6.9 100.0
De respons in de pilot wijkt (in positieve zin) dermate af van de respons in 2002 dat het maken van een model om de beperkte veldwerkperiode te verdisconteren niet zinvol is. Blijkens tabel 4.2 zijn er immers slechts 3 procedures om contact te maken geëindigd in een afspraak die niet kon worden opgevolgd; voor de overgrote meerderheid bleek (in tegenstelling tot 2002) de periode van 2 weken voldoende. De steekproef van bedrijven wijkt dus zo af van die in 2002 dat kwantitatieve wetmatigheden uit 2002 niet op 2004 overdraagbaar zijn. Wel kan, mathematisch, worden nagegaan wat de responsfractie r voor invloed heeft op de nauwkeurigheid van de uitkomsten. Wanneer we r=0.5 invullen in vergelijking (3) geeft dit
var( x 2 − x1 ) =
2σ 2 1 − ρ , n 1 − 0.5 ρ
(4)
dus de winst is dan een factor (1 − ρ ) /(1 − 0.5 ρ ) in termen van relatieve marge. Voor een correlatie 0,6 is dit een reductie met een factor 0.76; voor een correlatie van 0.8 is het een factor 0.58 en voor een correlatie van 0.9 is het een factor 0.43. Met andere woorden, bij een respons van 50% is een voor een panelopzet een lager steekproefaantal nodig dat voor een cross sectionele opzet. De reductie is echter minder groot dan bij volledige respons. Voor =0.6 is de reductie 0.762=0.62 (bij volledige respons is dit 0.4). Dus als het bereiken van een voorgeschreven nauwkeurigheid in een cross sectie opzet 1000 gesprekken vergt, dat vergt dit bij =0.6 en 100% respons 400 gesprekken en bij =0.6 en 50% respons 620 gesprekken. Voor =0.8 zijn deze cijfers 200 gesprekken bij 100% respons en 385 gesprekken bij 50% respons; voor =0.9 zijn 100 gesprekken respectievelijk 217 gesprekken nodig.
8
5. Aantallen in 2002 en 2004 Hamvraag is of de aantallen malen dat een bedrijf slachtoffer is geweest van een misdrijf in 2002 overeenkomt met 2004. In deze paragraaf zal deze vraag worden beantwoord via cijfers en grafieken voor inbraak, diefstal, vernieling en geweldsmisdrijven. 5.1 Inbraak Een globale vergelijking van de aantallen inbraken in tabel 5.1 leert dat de verschuivingen bij de meeste bedrijven niet groot zijn. Bij 18 bedrijven is een verschuiving van meer dan twee niveaus opgetreden; deze staan in de tabel cursief aangegeven. Tabel 5.1. Aantallen inbraken in 2002 en 2004 2004 2002 0 maal 1 maal 2 maal 3-4 maal 5 maal of vaker totaal
0 maal 46 13 7 0
1 maal 5 2 4 2
1 67
2 15
2 maal 3-4 maal 3 1 0 0 1 1 1 1 0 5
2 5
5 maal of vaker weet niet 0 2 0 0 0 0 1 0 4 7
1 1
totaal 57 15 13 5 10 100
Tabel 5.2 laat zien dat het ongewogen gemiddeld aantal inbraken in 2004 aanzienlijk (significant) lager is dan in 2002. Echter, de steekproef voor de pilot is bewust zeer scheef getrokken, teneinde veel bedrijven waar veel aan de hand is te kunnen ondervragen en goed te kunnen inschatten hoe hoog de correlaties tussen de twee metingen zijn. Wanneer wordt herwogen naar het aantal inbraken in 2002 (zie de bijlage), dan is het verschil tussen beide metingen niet significant, en komt de meting in 2004 zelfs iets hoger uit! De reden hiervan is dat de bedrijven die vaak slachtoffer waren in 2002 in 2004 oververtegenwoordigd zijn en daardoor een laag gewicht krijgen; wanneer in 2004 andere bedrijven vaak slachtoffer zijn hebben die een relatief hoog gewicht. Voor het beoordelen van de effectiviteit van panelonderzoek is de ongewogen schatting het meest relevant; voor het zo goed mogelijk schatten van populatiegemiddelden kan beter naar de gewogen cijfers worden gekeken. Tabel 5.2. Gemiddeld aantal inbraken in 2002 en 2004 2002 2004
ongewogen gewogen gem. stand. fout gem. stand. fout 1.7 0.4 0.4 0.1 0.8 0.2 0.5 0.1
In figuur 5.1 wordt de relatie tussen het aantal inbraken in 2002 en 2004 weergegeven door een zonnebloemplot. Wanneer de posities van een aantal bedrijven samenvallen in de figuur wordt dit aantal aangegeven door korte uitstekende lijntjes. In het punt (0 inbraken in 2002, 0 inbraken in 2004) zijn dit er zo veel dat ze niet afzonderlijk zichtbaar zijn. In het punt (0 inbraken in 2002, 1 inbraak in 2004) worden 6 bedrijven aangegeven. De bedrijven die in 2004 minstens 4 inbraken hebben gehad staan in de figuur alle als losse punten. De diagonale lijn in de figuur is de regressielijn, de beste voorspelling van het aantal inbraken in 2004 gebaseerd op het aantal inbraken in 2002. De correlatie tussen het aantal inbraken in 2002 en 2004 is 0.549: deze geeft de kwaliteit van de voorspelling aan. Wanneer slechts wordt
9 gekeken naar wel of niet slachtoffer zijn van een misdrijf, zoals wordt gebruikt bij de berekening van percentages slachtoffers, is de correlatie gelijk aan 0.293. Figuur 5.1 Aantallen inbraken in 2002 en 2004
F: ontkent toename of afname P: meer preventie 1: (7 1) toeval 2: (2 0) door een groot hek en betere beveiliging 3: (0 2) toeval 4: (0 2) ruit ingooien via binnensluipen 5: (0 3) interessantere apparatuur om te stelen 6: (0 5) mentaliteit 7: (0 6) de wereld wordt rotter Correlatie op basis van aantallen: 0.549; op basis van percentage wel/geen slachtoffer: 0.293 Deze kwaliteit lijkt op grond van de correlatie acceptabel. Opvallend is echter dat de waarnemingen in 2004 veel minder hoog zijn. Er is dus wel sprake van een redelijk lineair verband, maar daarmee zijn de uitkomsten nog niet gelijk! De oorzaak van de afname van het aantal slachtofferschappen is vrijwel zeker het feit dat in de steekproef de bedrijven met hoge aantallen slachtofferschappen oververtegenwoordigd zijn. Wanneer er sprake is van variatie over de tijd, dan zullen er in 2004 andere bedrijven met hoge aantallen slachtofferschappen zijn; maar op deze bedrijven is uiteraard niet geselecteerd. Daarmee is de daling van het gemiddeld aantal slachtofferschappen op zichzelf geen verontrustend verschijnsel, al wijst het er wel op dat het verband tussen 2002 en 2004 niet ijzersterk is. Aan de bedrijven die in 2004 meer dan 2 niveau’s zijn verschoven ten opzichte van 2002 (cursief aangegeven in tabel 5.1) is de vraag gesteld wat daarvan de oorzaak was. De meeste
10 van deze oorzaken zijn ook aangegeven in figuur 5.1. De verschillende open antwoorden (anders, namelijk …) zijn aangegeven met cijfers. Uit de legenda blijkt dat de belangrijkste toenames, 6 en 7, worden toegeschreven aan algemene oorzaken buiten het bedrijf.De F’s wijzen op meetfouten: de respondent ontkent de juistheid van de meting in 2002. Dit is onder meer gebeurd bij de hoogste meting uit 2002, die in sterke mate verantwoordelijk is voor de hoge variantie, en daarmee de lage nauwkeurigheid van de uitkomsten. De weerslag van deze meetfout wordt dramatisch zichtbaar, wanneer deze waarneming uit de data set wordt verwijderd. In dit geval ligt het voor de hand om naar het ongewogen gemiddelde te kijken, omdat de weging vooral ten doel heeft om voor het relatief grote aantal hoge waarnemingen te corrigeren; door dit hoge aantal hoge waarnemingen is het effect van de ene meetfout al gereduceerd. Het ongewogen gemiddelde in 2002 van tabel 5.2 zakt dan van 1.7 naar 1.5, een verschil van 13% (wanneer we 1.5 als percentagebasis nemen); wanneer 10% als criterium voor significante stijging wordt aangehouden kan dit verschil dus ontstaan op basis van meetfout. Om dit soort risico’s te verminderen laat TNS-NIPO de hoogste 5% van de waarnemingen weg uit de berekeningen, maar uit het volgende voorbeeld blijkt dat er dan weer andere problemen kunnen ontstaan. Een voor de hand liggende vraag is of bij ook bij veel grotere steekproefaantallen het gemiddelde door slechts een paar waarnemingen wordt bepaald. Wanneer er niet sprake is van 100, maar van 10.000 waarnemingen, kunnen er immers vele waarnemingen zijn in de orde van 20 a 30 inbraken. In beginsel kan op grond van dit pilotonderzoek hierover alleen maar gespeculeerd worden. Daarbij lijkt het plausibel dat er veel grotere uitschieters naar boven Tabel 5.3. Frequentieverdeling en gemiddelden van het aantal inbraken in 2002 aantal 0 1 2 3 4 5 6 7 8 9 10 11 12 17 18 19 20 21 24 28 30 totaal gemiddeld gemiddeld excl. 21+ gemiddeld excl. 30
n
ongewogen % % cumulatief 3997 78.5 78.5 509 10.0 88.5 272 5.3 93.8 127 2.5 96.3 61 1.2 97.5 40 0.8 98.3 27 0.5 98.8 13 0.3 99.1 7 0.1 99.2 4 0.1 99.3 15 0.3 99.6 2 0.0 99.6 4 0.1 99.7 2 0.0 99.8 2 0.0 99.8 1 0.0 99.8 4 0.1 99.9 1 0.0 99.9 1 0.0 99.9 2 0.0 100.0 1 0.0 100.0 5092 100.0 0.539 0.517 0.533
n 633330 65097 25049 10966 3736 2687 2102 772 345 290 876 121 270 264 141 29 373 51 57 122 65 746743 0.316 0.307 0.314
gewogen % % cumulatief 84.8 84.8 8.7 93.5 3.4 96.9 1.5 98.4 0.5 98.9 0.4 99.2 0.3 99.5 0.1 99.6 0.0 99.6 0.0 99.7 0.1 99.8 0.0 99.8 0.0 99.9 0.0 99.9 0.0 99.9 0.0 99.9 0.0 100.0 0.0 100.0 0.0 100.0 0.0 100.0 0.0 100.0 100.0
11 kunnen zijn, maar het bewijs hiervoor ontbreekt. We kunnen echter ook terugvallen op de complete data set uit 2002, met de aantekening dat de hoogste 5% waarnemingen hieruit reeds voor TNS NIPO verwijderd zijn. We krijgen dus een conservatief beeld van de problemen. Uit tabel 5.3 blijkt dat de problemen onder deze condities enigszins meevallen. De meest zuivere analyse is gebaseerd op het gewogen gemiddelde. Weglating van de hoogste waarneming leidt daarbij tot een verlaging van het gemiddelde van 0.002, ofwel 0,7%. Weglating van de 5 hoogste waarnemingen, 1 promille dus, leidt echter al tot een verlaging van 0,09, ofwel 3%. Maar echt geruststellend is dit niet wanneer wordt bedacht dat de waarneming van 21 inbraken in 2002 nu in de pilot van 2004 een meetfout is gebleken. 5.2 Diefstal Bij een globale beoordeling, zoals in tabel 5.4, is het aantal diefstallen dat vanuit 2002 in 2004 minstens 2 niveaus verschoven is (cursief) redelijk hoog: 25 van 102 waarnemingen. Het ongewogen gemiddelde is blijkens tabel 5.5 in 2002 aanzienlijk hoger dan in 2004, namelijk 25.2. Wordt herwogen naar de verdeling uit het onderzoek in 2002 dan verdwijnt dit verschil weer omdat de hoge aantallen diefstallen dan een laag gewicht krijgen. Voor de beoordeling van de effectiviteit van een panelopzet is het ongewogen gemiddelde relevanter. Daarbij geeft de daling in 2004, die ook al bij inbraken zichtbaar was, te denken. Wanneer de uitbijters zijn gebaseerd op tijdelijke problemen of meetfout is een dergelijke daling te verwachten. Immers, de bedrijven zijn geselecteerd op uitbijterschap in 2002, maar in 2004 zijn de uitbijters andere bedrijven die een tijdelijk probleem hebben of verkeerd rapporteren. Hierop is de steekproef niet geselecteerd. Tabel 5.4. Aantallen diefstallen in 2002 en 2004 2004 2002 0 maal 1 maal 2-9 maal 10-99 maal 100 maal of vaker totaal
0 maal 42 2 7 3 0 54
1 maal 2-9 maal 5 7 2 1 1 4 6 3 0 11
2 20
10-99 maal 2 0 3 4
100 maal of vaker 1 0 0 2
Weet niet 0 0 0 2
totaal 57 5 15 20
2 11
0 3
1 3
5 102
Tabel 5.5. Gemiddeld aantal diefstallen in 2002 en 2004 2002 2004
ongewogen gem. stand. fout 25.2 11.0 11.0 4.4
gewogen gem. stand. Fout 4.7 4.7 5.6 2.8
12 Figuur 5.2 Aantallen diefstallen in 2002 en 2004
F: ontkent toe- of afname P: meer/minder preventie 1: (2 0) betere controle 2: (3 0) is hetzelfde 3: (5 0) betere beveiliging 4: (14 0) toeval 5: (0 2) opgroeiende jeugd op het terrein, hangjeugd 6: (0 2) de criminaliteit in het algemeen neemt toe en de politie doet er niets aan 7: (0 15) er is nog nooit iemand opgepakt in de afgelopen 7 jaar en dat weten zij 8: (0 24) mentaliteit mensen 9: (0 180) dat is een mentaliteitskwestie van de mensen Correlatie op basis van aantallen: 0.039; op basis van percentage wel/geen slachtoffer: 0.404 De aantallen diefstallen in 2002 en 2004 zijn geplot in figuur 5.2. De regressielijn loopt hier vrijwel horizontaal. Opbasis van 2002 is er dus voor 2004 niets te voorspellen. Dit blijkt ook uit de zeer lage correlatiecoëfficiënt van 0.039. De oorzaak is uit de grafiek duidelijk af te lezen. Het bedrijf met de meeste diefstallen in 2002 heeft het probleem door middel van preventie opgelost. In 2004 werd er niet meer gestolen. Het bedrijf dat daarna in 2002 de meeste diefstallen rapporteerde gaf aan dat die opgave toen fout was. De bedrijven die in 2004 hoog scoren, rapporteerden in 2002 geen diefstallen. Wanneer slechts wordt gekeken naar het al dan niet slachtoffer zijn van diefstal is de correlatie tussen 2002 en 2004 aanzienlijk hoger: 0.404, maar op zichzelf nog niet hoog genoeg om een panelopzet te rechtvaardigen.
13 Het bedrijf dat in 2002 het hoogst aantal slachtofferschappen (900) rapporteerde is blijkens figuur 5.2 naar 0 teruggezakt, deze maal niet door een meetfout, maar door succesvolle preventie. De invloed van deze waarneming op het gemiddelde is zeer groot: weglating van dit bedrijf doet het ongewogen gemiddelde over 2002 in tabel 5.4 zakken van 25 naar 16, een verschil van 22.5% (met 25 als percentagebasis). Het immense belang van deze, naar we aannemen correct gemeten, waarneming, roept een aantal vragen op. De eerste vraag is of in dit geval wel het effect van overheidsbeleid wordt weergegeven. Het gaat kennelijk om een bedrijf dat ernstig last van diefstal had en zelf orde op zaken heeft gesteld. De vraag in welke mate de overheid hierbij ondersteunend is geweest is in het pilot-onderzoek niet gesteld, maar het lijkt aannemelijk dat het voorkomen van criminaliteit op deze schaal voornamelijk door het bedrijf zelf moet worden aangepakt. De tweede vraag is hoe in dit verband het weglaten van de hoogste 5% waarnemingen moet worden beoordeeld. Dit soort grote effecten verdwijnen dan uit de berekeningen. Met name is de vraag of dit soort schommelingen bij veel grotere steekproeven niet meevallen. Ook in dit geval kan voor het zoeken naar een antwoord worden teruggevallen op de data set van 2002. Tabel 5.6. Frequentieverdeling en gemiddelden van het aantal inbraken in 2002 aantal 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 22 23 24 25 26 28 29 30 32 35 37 40 41
n 4027 286 164 95 63 55 34 8 10 7 37 4 23 3 6 9 3 1 1 1 8 4 1 3 8 2 1 1 9 1 1 2 7 1
ongewogen % 81.24 5.77 3.31 1.92 1.27 1.11 0.69 0.16 0.20 0.14 0.75 0.08 0.46 0.06 0.12 0.18 0.06 0.02 0.02 0.02 0.16 0.08 0.02 0.06 0.16 0.04 0.02 0.02 0.18 0.02 0.02 0.04 0.14 0.02
% cumulatief 81.2 87.0 90.3 92.2 93.5 94.6 95.3 95.5 95.7 95.8 96.6 96.6 97.1 97.2 97.3 97.5 97.5 97.5 97.6 97.6 97.7 97.8 97.8 97.9 98.1 98.1 98.1 98.1 98.3 98.3 98.4 98.4 98.5 98.6
n 604058 30360 21531 14480 9235 6954 3073 554 485 588 3560 945 3524 262 317 1381 128 89 582 29 921 552 56 986 1848 80 88 154 1499 51 50 379 1690 38
gewogen % % cumulatief 83.3 83.29 4.2 87.48 3.0 90.44 2.0 92.44 1.3 93.71 1.0 94.67 0.4 95.10 0.1 95.17 0.1 95.24 0.1 95.32 0.5 95.81 0.1 95.94 0.5 96.43 0.0 96.46 0.0 96.51 0.2 96.70 0.0 96.72 0.0 96.73 0.1 96.81 0.0 96.81 0.1 96.94 0.1 97.02 0.0 97.02 0.1 97.16 0.3 97.41 0.0 97.43 0.0 97.44 0.0 97.46 0.2 97.67 0.0 97.67 0.0 97.68 0.1 97.73 0.2 97.96 0.0 97.97
14
aantal 50 52 55 56 60 73 80 100 101 102 120 150 156 200 300 301 350 360 365 500 900 totaal gemiddeld gemiddeld excl. 365+ gemiddeld excl. 900
n 15 8 1 1 3 1 1 10 1 1 3 3 1 4 7 1 1 1 6 1 1 4957 3.14 2.42 2.95
ongewogen % 0.30 0.16 0.02 0.02 0.06 0.02 0.02 0.20 0.02 0.02 0.06 0.06 0.02 0.08 0.14 0.02 0.02 0.02 0.12 0.02 0.02 100.00
% cumulatief 98.9 99.0 99.1 99.1 99.1 99.2 99.2 99.4 99.4 99.4 99.5 99.5 99.6 99.6 99.8 99.8 99.8 99.8 100.0 100.0 100.0
n 5235 2094 80 49 875 40 52 1071 408 110 1879 745 50 335 517 33 44 268 697 83 59 725250 3.07
gewogen % % cumulatief 0.7 98.69 0.3 98.98 0.0 98.99 0.0 99.00 0.1 99.12 0.0 99.12 0.0 99.13 0.1 99.28 0.1 99.34 0.0 99.35 0.3 99.61 0.1 99.71 0.0 99.72 0.0 99.77 0.1 99.84 0.0 99.84 0.0 99.85 0.0 99.88 0.1 99.98 0.0 99.99 0.0 100.00 100.0
2.59 3.00
Viel bij het aantal inbraken het effect van weglaten van de hoogste waarnemingen nog enigszins mee, bij diefstallen is het blijkens tabel 5.6 dramatisch. Weglating van de waarneming ‘900 diefstallen’ verlaagt het gewogen gemiddelde van 3.07 naar 3.00, ruim 2% dus. De waarneming ‘365 diefstallen’ is in zoverre verdacht, dat het waarschijnlijk een reflectie is van het antwoord ‘er wordt hier elke dag gestolen’. Dit zegt natuurlijk wel dat het aantal diefstallen groot is, maar dat precieze omvang van dit aantal precies gelijk is aan 365 is onwaarschijnlijk. Wanneer de 8 waarnemingen van 365 of meer diefstallen worden weggelaten zakt het gewogen gemiddelde terug naar 2.59 ofwel 16%. Dit is zeer veel, zeker gegeven het feit dat ook TNS NIPO al onplausibele waarnemingen uit het bestand heeft verwijderd. De onvermijdelijke conclusie is dan ook dat het doen van grote aantallen waarnemingen geen garantie biedt dat de data verschoond blijven van zeer invloedrijke uitbijters met een twijfelachtige interpretatie. Het stellen van een grens waarboven waarnemingen worden verworpen biedt enig soelaas, maar kennelijk is een grens van 5% te laag. Wanneer de grens wordt opgetrokken doet de vraag zich voor of het dan gemeten gemiddelde nog met recht kan worden opgehoogd naar iets wat we “het geschatte totaal aantal diefstallen” kunnen noemen. Bovendien wordt het verschil met een andere, veel beter gedefinieerde maat, bijvoorbeeld het percentage bedrijven met minstens 10 diefstallen, kleiner.
15
5.3 Vernieling Het aantal vernielingen in 2004 is blijkens tabel 5.7 aanzienlijk veranderd ten opzichte van 2002. Het aantal bedrijven dat 2 niveaus is verschoven bedraagt 25. De tabel suggereert dat het aantal vernielingen is teruggelopen. Dit wordt bevestigd in tabel 5.8 waar het ongewogen gemiddelde in 2004 aanzienlijk lager is. Ook hier kan het selectie-effect de oorzaak zijn, zie paragraaf 5.1. Tabel 5.7 Aantal vernielingen 2002 en 2004 2004 2002 0 maal 1 maal 2-9 maal 10-24 maal 25 maal of vaker totaal
0 maal 39 10 6 4
1 maal 2-9 maal 6 6 3 1 4 4 1 1
2 61
0 14
10-24 maal 1 0 2 1
25 maal of vaker 0 0 1 1
Weet niet 2 0 0 0
2 6
1 3
0 2
4 16
Tabel 5.8. Gemiddeld aantal vernielingen in 2002 en 2004 2002 2004
ongewogen gem. stand. fout 9.4 3.9 2.8 0.8
gewogen gem. stand. fout 0.9 0.9 1.3 0.4
Total totaal 54 14 17 8 9 102
16 Figuur 5.3. Aantallen vernielingen in 2002 en 2004
F: ontkent toe- of afname P: meer preventie 1: (2 0) betere bescherming 2: (6 0) tralies, rolluiken, nepcamera’s; de auto’s mogen niet meer op het terrein worden geplaatst, alleen op de openbare weg 3: (15 0) toeval 4: (30 6) betere controle en student-proof middelen 5: (0 8) normen en waarden liggen anders 6: (0 9) verveling Correlatie op basis van aantallen: 0.171; op basis van percentage wel/geen slachtoffer: 0.249. De aantallen vernielingen in 2002 en 2004 zijn geplot in figuur 5.3. Ook hier is sprake van een bescheiden correlatie van 0.171, hetgeen zich vertaalt in een vlakke regressielijn. De belangrijkste oorzaak hiervan is het meest rechtse punt, het bedrijf met het hoogste aantal vernielingen in 2002. Door preventiemaatregelen is het aantal vernielingen in 2004 drastisch gereduceerd. Een aantal bedrijven rapporteert in 2004 een relatief hoog aantal gevallen van vernieling, maar ontkent dat het hierbij om een toename gaat. Kortom, er is zowel sprake van meetfout als van drastische veranderingen in de populatie die de correlatie tussen beide meetmomenten tot bijna 0 reduceren. Ook de correlatie van de percentages slachtoffers bij de twee metingen is laag: 0.249.
17 5.4 Geweld De verschuivingen in de aantallen slachtofferschappen van geweldsdelicten zijn blijkens tabel 5.9 niet erg groot. Slechts 14 bedrijven schoven 2 niveaus op van 2002 naar 2004. Wel is het zo dat 4 bedrijven vanuit “10 maal of vaker” terugvielen naar een lager niveau. Het gemiddeld aantal geweldsdelicten in 2002 is, ongewogen, dan ook aanzienlijk lager dan in 2002. Tabel 5.9 Aantal geweldsmisdrijven 2002 en 2004 2004 2002 0 maal 1 maal 2-4 maal 5-9 maal 10 maal of vaker totaal
0 maal 72 5 4 1 1 83
1 maal 2-4 maal 3 3 0 2 0 1 0 0 1 4
5-9 maal 2 0 1 1
10 maal of vaker 0 0 0 0
Weet niet 0 0 0 0
totaal 80 7 6 2
0 4
2 2
1 1
7 102
2 8
Tabel 5.10. Gemiddeld aantal geweldsdelicten in 2002 en 2004 2002 2004
ongewogen gewogen gem. stand. fout gem. stand. fout 1.1 0.4 0.4 2.5 0.6 0.2 0.4 0.1
18
Figuur 5.4. Aantallen geweldsmisdrijven in 2002 en 2004
F: ontkent toe- of afname P: meer preventie 1: (2 0) De persoon die twee jaar geleden onder druk is gezet was voor een reorganisatie werkt hier nu niet meer 2: (5 0) het is gesust 3: (14 3) toeval, en er zijn een aantal mensen die dat deden de pijp uitgegaan (verslaafden, junks e.d.) 4: (0 2) de agressie wordt erger 5: (0 2) toeval 6: (0 3) ze worden niet opgepakt en dat weten ze; er is geen respect meer en daardoor hebben wij het bedrijf verkocht; alcohol en de gokkast spelen hier ook een rol in, ik wil geen bedrijf meer waar alcohol en gokkasten zijn. 7: (0 6) mensen zijn mondiger geworden Correlatie op basis van aantallen: 0.717; op basis van percentage wel/geen slachtoffer: 0.423 In figuur 5.4 doet zich de situatie voor die in figuur 2.1 in paragraaf 2 was voorzien. Er is sprake van een uitbijter die zowel in 2002 als in 2004 optreedt, waardoor een hoge correlatie (0.717) tussen beide metingen ontstaat. Technisch levert deze situatie dus een aanzienlijke variantiereductie op, maar helaas a. is dit gebaseerd op slechts één punt b. is er sprake van een zodanige daling, dat het niet geloofwaardig is dat deze naar de bedrijvenpopulatie kan worden gegeneraliseerd Anders gezegd, de betrouwbaarheid van deze (geschatte) hoge correlatie is zeer laag. Voor het overige zijn veel van de grotere veranderingen gebaseerd op foute opgaven in 2002.
19
6. Conclusies Op basis van de voorgaande analyses is, binnen de grenzen die men van een pilot met 100 waarnemingen kan verwachten, helderheid ontstaan over de vragen die in de startnototie van het onderzoek zijn gesteld. Deze vragen zullen achtereenvolgens worden beantwoord.
1. Wat is de correlatie tussen de metingen in 2002 en 2004? De correlaties voor de sleutelvariabelen varieerden van 0.039 tot 0.717. Voor de hoge correlaties geldt dat ze gebaseerd zijn op één of enkele punten. De laagste correlatie betrof de aantallen diefstallen. 2. Indien de correlatie laag is, wat is daarvan de oorzaak? Is het criminaliteitsniveau sterk veranderd, is er veel non-respons, of wijst dit op een meetprobleem? Er is zowel sprake van een meetprobleem als een werkelijke verandering bij individuele bedrijven. Daar waar zich grote aantallen delicten voordoen worden door bedrijven soms drastische maatregelen genomen die in opeenvolgende metingen tot geheel andere posities kunnen leiden. Omgekeerd kunnen veranderende activiteiten, logistiek en inboedel tot toenames van criminaliteit leiden. 3. Wat betekent dit voor de benodigde omvang van een panel in vergelijking met omvang van onafhankelijke steekproeven, gegeven de genoemde nauwkeurigheidseisen? Gegeven de uitkomsten van het onderzoek is het niet realistisch om bij een panelopzet te rekenen op reductie van de benodigde steekproefomvang voor het schatten van populatietotalen van slachtofferschappen. 4. Welke extra kosten zijn aan een panelopzet verbonden? Strikt genomen is dit een vraag voor het onderzoekbureau. Vergelijking van het veldwerk in 2002 en 2004 wijst erop dat de werklast van het veldwerkapparaat bij een panelopzet terugloopt omdat bedrijven die in de eerste golf respondeerden sneller opnieuw responderen, en er minder nummers hoeven worden gebeld die niet tot de doelpopulatie horen. Naarmate het onderzoek groter is zal dit voordeel zich sterker doen voelen. Hier tegenover staan extra programmeerkosten, die echter niet afhangen van de omvang van het onderzoek. Er moet dus een omvang zijn waarbij de kosten van een panelopzet lager zijn dan van onafhankelijke onderzoeken. 5. Welke andere voor en nadelen van een panelopzet in vergelijking met onafhankelijke steekproeven zijn van belang in de afweging te betrekken? Panelonderzoek geeft zicht op de dynamiek van het slachtofferschap van bedrijven op bedrijfsniveau. Het geeft een goed beeld van wat er werkelijk gebeurt en is bovendien een middel om meetfouten te detecteren en een strategie te ontwerpen om hier zo goed mogelijk mee om te gaan. Dit levert het inzicht dat de werkelijkheid soms niet zo gemakkelijk te beschrijven is als we graag zouden willen, maar ook goede argumenten voor een optimale strategie, zie het antwoord op de volgende vraag. 6. Is op basis van voorgaande een panelopzet aan te bevelen? Deze vraag zou algemener kunnen worden gesteld: welke opzet is, gegeven alle excercities tot nu toe, voor het volgen van de ontwikkeling van de criminaliteit tegen bedrijven aan te bevelen? Voor het beantwoorden van deze vraag zijn de uitkomsten van de pilot bruikbaar, maar ook de problemen met de betrouwbaarheidsmarges in eerdere metingen en de berekeningen van de gewenste steekproefaantallen om enigszins bij aanvaardbare marges in de buurt te komen. Een belangrijke observatie in deze pilot is dat interpretatie van de grote
20 gemeten veranderingen op bedrijfsniveau discutabel is. Enkele van zulke veranderingen zijn eenvoudig meetfouten; op grond van deze pilot zou dit percentage tussen 25% en 50% kunnen worden geschat. De procedure om de hoogste 5% van de waarnemingen weg te gooien vermindert de invloed van zulke fouten, maar wel op een onbekende en arbitraire manier. Daarnaast kan men de vraag stellen of correct waargenomen grote veranderingen bij bedrijven wel het gevolg zijn van overheidsbeleid. Is dit niet het gevolg van eigen maatregelen van bedrijven? Uit een vergelijking met de ruim 5000 waarnemingen van het onderzoek van 2002 blijkt dat grotere steekproefaantallen dan in deze pilot geen enkele garantie bieden dat zulke discutabele, zeer invloedrijke waarnemingen zich niet zullen voordoen. Op basis hiervan is validiteit van het gemiddeld aantal slachtofferschappen als evaluatiemiddel voor beleid discutabel. Wanneer de uitkomsten van het onderzoek inhoudelijk tegenvallen is er achteraf waarschijnlijk veel op af te dingen, met als gevolg negatieve beeldvorming. De consequentie hiervan is dat het percentage bedrijven dat slachtoffer wordt van een misdrijf een veel betere maat is om een tijdreeks van te maken. Dit wordt per definitie bepaald door grote aantallen bedrijven en het is aannemelijk dat bij overheidsbeleid dat met succes de criminaliteit bestrijdt dit percentage ook zal teruglopen. De excercities met de benodigde steekproefaantallen laten zien dat de kosten van het onderzoek dan ook beperkt blijven. Een mogelijke variant is dat ook een percentage wordt bijgehouden van bedrijven die minstens 5 of 10 maal slachtoffer zijn geweest. Tegen dit voorstel zijn drie bezwaren denkbaar. Het eerste is dat een percentage minder sexy is dan een totaal. Wanneer men vindt dat dit zwaarder moet wegen dan het validiteitsargument is verdere poging tot wetenschappelijke onderbouwing zinloos. Het tweede bezwaar is dat de aanbevelingen zijn gebaseerd op wel erg weinig waarnemingen. Het gaat immers om de interpretatie van slechts enkele uitbijters. Dit is op zichzelf juist, maar ook de lage gemiddelde aantallen slachtofferschappen in de steekproef ten opzichte van 2002 zijn een aanwijzing. Het is niet aannemelijk dat de gemiddelden zo dramatisch dalen, hetgeen betekent dat zich bij een meer aselect getrokken steekproef voor de pilot er andere uitbijters waren geweest, waarbij sprake was geweest van dezelfde percentage meetfouten en dezelfde aantallen moeilijk interpreteerbare veranderingen. Daarnaast geldt hetzelfde bezwaar van weinig waarnemingen in feite ook voor het berekenen van populatietotalen, omdat deze ook door slechts enkele uitbijters worden bepaald. Dit blijkt uit nadere bestudering van de data uit 2002. Het onderzoekbureau moet, in arren moede, een arbitraire regel hanteren welke uitbijters zo hoog zijn dat ze niet meer geloofwaardig zijn. Het derde bezwaar is dat bij het teruggaan naar een cross sectioneel onderzoek waarin niet meer naar kwantitatieve informatie wordt gevraagd veel beleidsrevante gegevens niet meer boven tafel komen. Een mogelijke tegemoetkoming aan deze bezwaren is om naast een periodiek cross-sectioneel survey om percentages vast te stellen ook een bedrijvenpanel van beperkte omvang wordt opgezet (enkele honderden bedrijven) waar zeer intensief wordt gemeten. Het panel hoeft dan niet representatief te zijn; juist die bedrijven of bedrijfstakken waar veel aan de hand is worden oververtegenwoordigd. Het panel moet wel zodanig worden ververst dat de cijfers door de tijd heen vergelijkbaar blijven, zodat een soort AEX-index (ook niet representatief) voor slachtofferschap ontstaat. Op deze manier onstaat het beste van twee werelden: - een eenvoudig periodiek survey waarin valide, representatieve indicatoren worden berekend - een dieper gravend onderzoek bij enkele honderden bedrijven waarin een in de tijd consistente indicator voor gemiddelde aantallen slachtofferschappen wordt berekend en waarin de dynamiek van individuele bedrijven door de tijd heen kan worden onderzocht
21
7. Wat zijn in het algemeen de voors en tegens van een panelopzet wanneer het gaat om onderzoek onder bedrijven? Deze vraag is grotendeels in het voorafgaande beantwoord. Voor: meer inzicht op bedrijfsniveau, potentieel nauwkeuriger schattingen (maar niet bij aantallen slachtofferschappen), lagere veldwerkkosten. Tegen: hogere programmeerkosten, kosten voor panelonderhoud en paneleffecten. Omdat de metingen ver uit elkaar liggen en het panel niet als zodanig wordt benoemd spelen de laatste twee argumenten bij slachtofferonderzoek geen rol. Een mogelijk extra tegenargument is nog dat de populatie van bedrijven veranderlijk is, maar op basis van de uitkomsten van de pilot lijkt dit geen doorslaggevend bezwaar. Een panel zoals dat gehanteerd wordt voor slachtofferschap is niet erg vergelijkbaar met een personen- of huishoudenpanel omdat het bedrijvenpanel minder vaak wordt benaderd. Er is dus ook minder sprake van panelmoeheid of paneleffecten en de kosten om het panel gemotiveerd te houden liggen lager. Wanneer er een beperkt panel wordt opgezet waarin intensiever wordt gemeten (zeg elke 3 maanden), met als incentive dat de uitkomsten door het beleid worden gebruikt, dan kan wel het risico van strategisch antwoordgedrag optreden. Vragenlijsten worden dan zodanig ingevuld dat men er zelf het meeste voordeel van denkt te hebben.
22 BIJLAGE. CONSTRUCTIE VAN DE STEEKPROEF Uit de redenering in paragraaf 2 kan worden afgeleid hoe de pilot het best worden geconstrueerd. De bedrijven met hoge aantallen slachtofferschap zijn sterk oververtegenwoordigd, want zij bepalen het nut van een toekomstige panelopzet. De variabelen waar het om gaat zijn inbraak, diefstal, vernieling en geweld. De verdeling van de aantallen slachtofferschappen varieert sterk per variabele. Daarom zijn per variabele verschillende niveaus gedefinieerd die aangeven hoeveel ‘veel’ is, zie tabel B.1. Deze niveaus zijn gebruikt om het bestand van 2002 te verdelen in mate van slachtofferschap. Een bedrijf heeft niveau 4 als het op tenminste één van de variabele niveau 4 scoort. Een bedrijf heeft niveau 3 als het niet tot niveau 4 hoort maar op tenminste één van de variabelen niveau 3 scoort, enzovoorts. Een bedrijf hoort dus tot niveau 0 als het op alle variabelen niveau 0 scoort. Met deze definitie is een bestand samengesteld van 400 bedrijven uit de meting van 2002 waarin relatief vaak de hoge niveaus worden gescoord. Tabel B.1. Niveaus van slachtofferschap van bedrijven en gewogen percentages in 2002. niveau 0 1 2 3 4
inbraak betekenis 0 maal 1 maal 2 maal 3-4 maal 5 maal of vaker
% 84.8 8.7 3.4 2.0 1.1
diefstal betekenis 0 maal 1 maal 2-9 maal 10-99 maal 100 maal of vaker
vernieling betekenis % 0 maal 82.7 1 maal 5.7 2-9 maal 10.0 10-24 maal 1.2 25 maal of 0.5 vaker
% 83.3 4.2 7.8 3.8 0.9
geweld betekenis % 0 maal 93.0 1 maal 2.6 2-4 maal 2.9 5-9 maal 0.6 10 maal 0.9 of vaker
Deze steekproef is verdeeld in vier tranches (deelsteekproeven) die achtereenvolgens ondervraagd kunnen worden totdat ofwel een respons van 100 bedrijven is verkregen of twee weken verstreken zijn. Tabel B.2 geeft de verdeling van de niveaus in de steekproef en in de verschillende tranches. In het totaal zijn er dus 80 bedrijven in de steekproef die in 2002 in het geheel niet slachtoffer waren; 98 bedrijven scoorden minstens op één van de variabele niveau 4. Tabel B.2. Verdeling van niveau naar tranche niveau 0 niveau 1 niveau 2 niveau 3 niveau 4 totaal
1 20 15 20 19 26 100
2 20 17 21 18 24 100
3 19 14 19 25 23 100
4 21 14 21 19 25 100
totaal 80 60 81 81 98 400
Tabel B.3. Verdeling van de bedrijfstakken naar tranche. Landbouw, jacht, bosbouw en visserij Industrie Bouwnijverheid Auto(-reparatie) en detailhandel Groothandel Horeca Vervoer, opslag en communicatie
1 3 3 13 22 11 9 11
2 4 4 13 22 8 10 13
3 4 3 15 22 8 10 13
4 4 3 13 24 9 9 13
totaal 15 13 54 90 36 38 50
23 Financiële en zakelijke dienstverlening Openbaar bestuur en onderwijs Gezondheids- en welzijnszorg Cultuur, recreatie en overige dienstverlen. totaal
12 7 3 6 100
11 6 5 4 100
11 5 7 2 100
10 6 4 5 100
44 24 19 17 400
In tabel B.3 is de verdeling van de bedrijfstakken naar branche weergegeven. Hierin zijn landbouw, industrie, openbaar bestuur, gezondheidszorg en cultuur etc ondervertegenwoordigd vanwege de onzekerheid of deze sectoren in het definitieve onderzoek zullen worden opgenomen. Autoreparatie en detailhandel is automatisch oververtegenwoordigd door het grote aantal slachtofferschappen. Tabel B.4, tenslotte, geeft aan hoe de aantallen slachtofferschappen over de tranches zijn verdeeld. Tabel B.4. Verdeling slachtofferschappen naar tranche. 1 57 13 9 7 12
2 68 9 8 4 10
3 59 10 9 12 9
4 64 9 6 8 12
totaal 248 41 32 31 43
0 maal 1 maal 2-9 maal 10-99 maal 100 maal of vaker
63 5 15 14 3
60 6 10 17 7
54 12 16 16 2
57 13 16 12 2
234 36 57 59 14
vernieling
0 maal 1 maal 2-9 maal 10-24 maal 25 maal of vaker
60 14 12 8 6
53 12 29 5 1
58 12 16 6 8
56 10 19 6 9
227 48 76 25 24
geweld
0 maal 1 maal 2-4 maal 5-9 maal 10 maal of vaker
85 5 3 0 7
79 4 7 3 7
81 4 5 3 7
81 6 3 4 6
326 19 18 10 27
100
100
100
100
400
inbraak
0 maal 1 maal 2 maal 3-4 maal 5 maal of vaker
diefstal
totaal
Om de uitkomsten van het pilotonderzoek vergelijkbaar te maken met het onderzoek in 2002 kunnen de aantallen slachtofferschappen worden herwogen naar de geschatte populatiepercentages van dezelfde variabele in 2002. Tabel B.5 laat zien hoe deze gewichten voor de verschillende variabelen zijn bepaald. Omdat de bedrijven die vaak slachtoffer zijn sterk zijn oververtegenwoordigd in de pilot krijgen deze steeds een laag gewicht.
24 Tabel B.5. Bepaling gewichten om de gemiddelde aantallen slachtoffers te wegen naar 2002. 2002 n
pilot n
%
%
gewicht
inbraak 0 maal 1 maal 2 maal 3-4 maal 5 maal of vaker
633330 65097 25049 14702 8565
84.8 8.7 3.4 2.0 1.1
57 15 13 5 10
57.0 15.0 13.0 5.0 10.0
1.487936 0.581167 0.258036 0.393754 0.114694
diefstal 0 maal 1 maal 2-9 maal 10-99 maal 100 maal of vaker
604058 30360 56899 27636 6298
83.3 4.2 7.8 3.8 0.9
57 5 15 20 5
55.9 4.9 14.7 19.6 4.9
1.490446 0.853973 0.533485 0.194337 0.177142
vernieling 0 maal 1 maal 2-9 maal 10-24 maal 25 maal of vaker
608259 42035 73202 8559 3452
82.7 5.7 10.0 1.2 0.5
54 14 17 8 9
52.9 13.7 16.7 7.8 8.8
1.562097 0.416382 0.597152 0.148377 0.053199
geweld 0 maal 1 maal 2-4 maal 5-9 maal 10 maal of vaker totaal
691227 19155 21550 4398 6961 743290
93.0 2.6 2.9 0.6 0.9 100.0
80 7 6 2 7 102
78.4 6.9 5.9 2.0 6.9 100.0
1.185693 0.375516 0.492867 0.301737 0.136468