Kenmerken van politiegerelateerd onderzoek

Kenmerken van politiegerelateerd onderzoek Een empirisch onderzoek naar de methodologische kenmerken van politiegerelateerd onderzoek

Politieacademie 2015

Kenmerken van politiegerelateerd onderzoek Een empirisch onderzoek naar de methodologische kenmerken van politiegerelateerd onderzoek

D.G. Andriessen J. van den Goor D. Janssen K. Jongmans J. Prins F. Veen

Politieacademie 2015

2

Inhoudsopgave 1.

Inleiding

4

Aanleiding

4

Doorwerking van onderzoek ten behoeve van de politie

4

Doelstelling en vraagstelling

6

Methodologie publicatieonderzoek

8

Methodologie interviews

2.

3.

12

Resultaten

13

Algemene kenmerken

13

Kenmerken van de betrokkenen

15

Kenmerken van de onderzoeksvraag

20

Kenmerken van het onderzoeksdesign

22

Kenmerken van de dataverzamelingsmethoden

28

Clusters van onderzoeken

31

Geïnterviewden over doorwerking

33

Conclusies en aanbevelingen

35

Doorwerking naar de praktijk

35

Designs en methoden

36

Profiel Politieacademie

36

Aanbevelingen

37

Literatuur

38

Bijlage 1 Werkwijze samenstellen bibliografie

40

Bijlage 2 Scoringsprotocol publicaties

41

Stap A – verhelderen van de onderzoeksvraag en variabelen

41

Stap B – scoring

41

Bijlage 3 Topiclijst interviews

51

3

1.

Inleiding

Aanleiding De Politieacademie heeft binnen het politiebestel de taak om wetenschappelijk onderzoek te verrichten en uit te besteden ten behoeve van de politie. Met ingang van 2015 is de strategische onderzoeksagenda voor de politie leidend voor dit onderzoek (Janssen & Venderbosch, 2014). De Politieacademie formuleert deze agenda met input van de Nationale Politie en wetenschappers en de minister van V&J stelt hem vast. De Politieacademie krijgt daarmee de verantwoordelijkheid voor de programmering van het onderzoek ten behoeve van de politie. Een belangrijk aspect van de zorg voor kwaliteit van het onderzoek is de doorwerking van politiekundige kennis in het politieonderwijs en de politiepraktijk. Om deze taak goed op zich te kunnen nemen wil de directeur Kennis & Onderzoek van de Politieacademie inzicht krijgen in de verschillende vormen van politiegerelateerd onderzoek in Nederland.

Doorwerking van onderzoek ten behoeve van de politie Naar de doorwerking van onderzoek in de praktijk kan op vele manieren worden gekeken (Weiss, 1979). Zo kan er een onderscheid worden gemaakt tussen doorwerking als het toepassen van fundamentele kennis in de praktijk versus doorwerking als het instrumentele gebruik van onderzoek als informatiebron bij het oplossen van concrete problemen. Ponsaers (2010) noemt dit het onderscheid tussen onderzoek naar versus onderzoek voor de politie. Ook kan onderscheid worden gemaakt tussen directe en indirecte doorwerking (Struiksma & Winter, 2008). Bij directe doorwerking worden resultaten van onderzoek op korte termijn en rechtstreeks toegepast. Bij indirect gebruik is de toepassing veel diffuser. Onderzoek kan indirecte impact hebben doordat concepten en theoretische perspectieven doorsijpelen in de praktijk (Weiss, 1979) of doordat het de politieke agenda beïnvloedt. Een specifieke vorm van doorwerking, die vaak als onwenselijk wordt ervaren, is het tactisch en politieke gebruik van onderzoek. Hierbij wordt onderzoek bijvoorbeeld ingezet om beslissingen uit te stellen of om een reeds ingenomen standpunt te verdedigen (Struiksma & Winter, 2008; Weiss, 1979). Er is vrij veel onderzoek gedaan naar het directe, instrumentele gebruik van onderzoek in overheidsorganisaties en de factoren die dat beïnvloeden (Caplan, 1975; Huberman, 1994; Landry, Lamari, & Amara, 2003; Lee & Staffeldt, 1977; Webber, 1984). Beïnvloedende factoren zijn te verdelen in drie categorieën (Huberman, 1994; Landry et al., 2003):

4

1. Kenmerken van het onderzoek, van de onderzoekers en van hun context; 2. Kenmerken van de interactie tussen de onderzoekers en de gebruikers; 3. Kenmerken van de gebruikers en hun context. Onder de eerste categorie vallen variabelen zoals de methodologische kenmerken en de gebruikersgerichtheid van het onderzoek, de mate waarin het onderzoek aansluit bij een behoefte en het vermogen van de onderzoeker om resultaten in verschillende vormen te dissemineren (Huberman, 1994). Onder de tweede categorie vallen factoren als de mate waarin de werkvloer betrokken is bij het agenderen, vormgeven, uitvoeren en toepassen van het onderzoek (Sprenger, Tops, & Kop, 2013). Onder de derde categorie vallen variabelen zoals de cultuur van de gebruikers en hun vermogen om kennis op te nemen (Cohen & Levinthal, 1990), evenals de indruk die gebruikers hebben van de toegevoegde waarde van het onderzoek. In de discussie over de doorwerking van politiegerelateerd onderzoek komen deze factoren ook terug. Onderzoekgerelateerde factoren die in de literatuur worden genoemd zijn:  het politiegerelateerd onderzoek is te gefragmenteerd (Bruinsma & Van der Vijver, 1998; Muller, 1998; Ponsaers, 2010; Van der Vijver, 2012; Van Reenen, 2012);  het onderzoek schiet tekort in analyse (Straver, 1998), is vooral beschrijvend van aard (Ponsaers, 2010; Van der Vijver, 2012) en te abstract (Vlek, 2012);  het onderzoek is van onvoldoende kwaliteit (Noije & Wittebrood, 2008; Van der Vijver, 2012; Van Reenen, 2012), en bestaande of traditionele onderzoeksmethoden passen niet bij de complexiteit van de problematiek (Sprenger et al., 2013; Van Reenen, 2012);  er is nog geen coherent samenstel van kennis en theorieën (Muller, 1998);  onderzoekers schrijven teveel voor collega’s en te weinig voor gebruikers (Straver, 1998);  er verschijnt teveel onderzoek (Straver, 1998);  onderzoekers hebben niet altijd de vaardigheid om te adviseren (Nelen, 1998);  onderzoek is te traag (Muller, 1998; Van Reenen, 2012);  onderzoek wordt te weinig bekend gemaakt en is te weinig actueel of relevant (Struiksma & Winter, 2008). Naast auteurs die wijzen op de beperkte gebruikersgerichtheid van het onderzoek, zijn er ook auteurs die juist pleiten voor meer onafhankelijk en fundamenteel onderzoek (Nelen, 1998; Ponsaers, 2010). Interactiegerelateerde factoren die in de literatuur voor komen zijn:  onderzoekers en politie spreken niet dezelfde taal (Nelen, 1998);  verspreiden van kennis via publicaties werkt onvoldoende (Vlek, 2012);  er is te weinig verbinding tussen beide werelden (Van Reenen, 2012). Gebruikersgerelateerde factoren die worden genoemd zijn:  wetenschappelijke kennis wordt door de leiding slecht vertaald in de organisatie (Bruinsma & Van der Vijver, 1998);  er is onvoldoende uitwisseling tussen korpsen (Muller, 1998); 5

 

politiefunctionarissen lezen en studeren selectief (Muller, 1998; Vlek, 2012); de politie heeft moeite met veranderen, met kritiek en met het benutten van wetenschap (Kwanten, 2007; Muller, 1998; Van der Vijver, 2012; Van Reenen, 2012; Vlek, 2012).

Overigens wijst Van Reenen (2012) op het gevaar van het teveel gebruik van onderzoek in de praktijk. Hij waarschuwt ervoor dat een sterk streven naar evidence-based policing kan leiden tot bureaucratisering. Dit gevaar is groot wanneer het leidt tot sterke protocollering van het werk en verlies van autonomie van politiemensen. Ook de aanbevelingen die in de literatuur worden genoemd om doorwerking te bevorderen kunnen in deze drie categorieën worden onderverdeeld. Zo pleit Van Reenen (2012) enerzijds voor een andere inhoud van het onderzoek waarbij het onderzoek meer wordt gericht op de thema’s waarmee men binnen de politieorganisatie aan de slag is, het onderzoek meer diepgravend is en beter theoretisch is gefundeerd. Dit stelt ook hogere eisen aan het onderzoeksdesign. Anderzijds pleit hij voor betere samenwerking tussen onderzoekers en politie, bijvoorbeeld door bij de toekenning van projecten de voorkeur te geven aan projecten die in samenwerking tussen politie en wetenschap tot stand zijn gekomen. Ook Sprenger et al. (2013) pleiten voor meer samenwerking en interactie in hun pleidooi voor politiegerelateerd praktijkonderzoek. Zij definiëren dit als onderzoek met als doel om op systematische wijze en in interactie met de omgeving de professionele werkpraktijk te verbeteren (p.13). In de discussie over de doorwerking van onderzoek wordt relatief weinig aandacht besteed aan de methodische kenmerken van het onderzoek. Weliswaar kijken Landry et al. (2003) in hun uitgebreide onderzoek naar determinanten van gebruik of er sprake is van kwalitatieve en kwantitatieve onderzoeksmethoden, maar zij hanteren daarbij grove indelingen. Zowel kwalitatieve als kwantitatieve onderzoeksmethoden blijken overigens gerelateerd aan de benutting van onderzoek. Toch ligt het voor de hand dat kenmerken van het onderzoek zelf van invloed zijn op doorwerking. Hierbij kunnen we bijvoorbeeld denken aan de aard van de onderzoeksvraag, het onderzoeksdesign en de mate waarin de praktijk in het onderzoek wordt betrokken.

Doelstelling en vraagstelling Voordat iets kan worden gezegd over de relatie tussen kenmerken van onderzoek en benutting dient eerst inzicht te ontstaan in de huidige kenmerken van politiegerelateerd onderzoek. Het doel van ons onderzoek is inzicht te bieden in de methodologische diversiteit van het politiegerelateerd onderzoek in Nederland, om zo een bijdrage te leveren aan een gefundeerde discussie over programmering, kwaliteit en doorwerking van het onderzoek. We proberen inzicht te bieden in: 6

• • • •

de soorten methodologieën die gebruikt worden in onderzoek ten behoeve van de politie; de methodologieën die dominant zijn; de overeenkomsten en verschillen tussen methodologieën; de motieven om bepaalde methodologieën te kiezen.

Daartoe stellen wij de volgende onderzoeksvraag: Welke soorten methodologieën komen voor in twee jaargangen onderzoek ten behoeve van de politie in Nederland en wat zijn daarbij de overwegingen van de onderzoekers? Onder methodologie verstaan wij de volgende kenmerken van onderzoek: • kenmerken van de betrokkenheid van de politiepraktijk; • kenmerken van de onderzoeksvraag; • kenmerken van het gehanteerde onderzoeksdesign; • kenmerken van dataverzameling- en analysemethoden. Onder politiegerelateerd onderzoek wordt onderzoek verstaan dat de politieorganisatie als onderwerp heeft en/of een thema behandelt dat ook in het werkveld van de politie speelt (Janssen, 2011). Onderzoek naar methodologische kenmerken van onderzoek staat ook wel bekend als prevalence research (Alise & Teddlie, 2010). Dit is onderzoek naar de voorkeuren van wetenschappers voor bepaalde typen methodologie. Het wordt veel gedaan op het gebied van mixed-method onderzoek waarin kwalitatieve en kwantitatieve dataverzamelingsmethoden worden gecombineerd (HurmerintaPeltomäki & Nummela, 2006; Ross & Onwuegbuzie, 2010). Ons onderzoek is uitdrukkelijk niet bedoeld om een oordeel te vellen over de methodologische kwaliteit van het onderzoek ten behoeve van de politie. Zoals aan de centrale vraag is te zien, is het onderzoek uitsluitend beschrijvend van aard en niet evaluerend. Een voorbeeld van een dergelijk evaluerend onderzoek is het onderzoek van Van Noije en Wittebrood (2008) waarin effectevaluatieonderzoeken worden gescoord op interne validiteit op basis van de Maryland Scientific Methods Scale. Ook doet ons onderzoek geen uitspraken over de mate van doorwerking van onderzoek ten behoeve van de politie. Het is een eerste stap gericht op het in kaart brengen van de huidige diversiteit. Voor ons onderzoek is een Stuurgroep samengesteld bestaande uit Dr. Cees Sprenger, voormalig lector Lerende Politieorganisatie en Roel Holvast MGM, hoofd onderzoek bij de Politieacademie. Het onderzoek bestaat uit een mixed-methods aanpak die uiteenvalt in twee delen. Het eerste deel is een onderzoek naar de methodologische kenmerken van onderzoek zoals gerapporteerd in publicaties. Het tweede deel bestaat uit een serie interviews met onderzoekers waarin wordt stilgestaan bij hun overwegingen 7

om voor bepaalde vormen van onderzoek te kiezen. Deze interviews zijn bedoeld om de resultaten van het publicatieonderzoek te verdiepen en met citaten te kunnen illustreren. Ze geven geen representatief beeld van de mening van alle politieonderzoekers in Nederland.

Methodologie publicatieonderzoek Populatie Het onderzoeksobject van ons onderzoek zijn de onderzoekspublicaties over politiegerelateerd onderzoek. Ons onderzoek gaat niet over de onderliggende onderzoeken zelf, maar alleen over wat er over die onderzoeken is gerapporteerd. Wanneer kenmerken van een onderzoek niet door de onderzoekers worden gerapporteerd, zijn deze ook niet in ons onderzoek meegenomen. Ook kan het voorkomen dat er over hetzelfde onderliggende onderzoek meerdere publicaties in de steekproef terecht komen. Politiegerelateerd onderzoek is geoperationaliseerd als 1) onderzoek dat uitgevoerd wordt in opdracht van Politie & Wetenschap, 2) onderzoek van de lectoraten van de Politieacademie (voor zover niet al gevat onder 1) en 3) ander relevant (qua strekking en omvang) onderzoek dat in opdracht van het ministerie van V&J of de Nationale Politie is uitgevoerd (voor zover niet onder 2). In opdracht van de onderzoekers heeft de mediatheek van de Politieacademie een inventarisatie gemaakt van onderzoekspublicaties uit 2013 en 2014 die aan bovenstaande kenmerken voldoen. Bijlage 1 geeft weer hoe deze bibliografie tot stand is gekomen. Het resultaat was een lijst van 342 openbaar toegankelijke publicaties. In deze lijst zijn niet de publicaties opgenomen die niet openbaar zijn omdat ze bijvoorbeeld vertrouwelijk zijn of alleen intern binnen een korps zijn verschenen. Ook niet meegenomen zijn scripties van studenten en inspectieonderzoek.

Steekproef Uit deze bibliografie hebben wij een steekproef getrokken van 117 publicaties. Hierbij is rekening gehouden met een representatieve verdeling over:  de twee jaren 2013 en 2014 (54% en 46%);  het aandeel van publicaties van lectoraten op het geheel (23%);  het soort publicatie: peer-reviewed (7%), tijdschrift of boek met redactie (16%), rapport (75%) en overig (2%). De steekproef bleek onder andere de volgende publicaties te bevatten:  25 publicaties waarbij lectoraten van de Politieacademie waren betrokken;  30 publicaties waarbij de (de)centrale overheid opdrachtgever was;  14 publicaties waarbij Politie & Wetenschap opdrachtgever was.

8

Codering Voor de codering van de publicatie is een scoringsprotocol opgesteld. Dit protocol is gebaseerd op een vergelijkbaar onderzoek dat het Lectoraat Methodologie van Praktijkgericht Onderzoek van de Hogeschool Utrecht in 2014 binnen de eigen hogeschool heeft gebruikt. Dit protocol is aangepast aan de specifieke kenmerken van politiegerelateerd onderzoek. Een team van codeurs van de Politieacademie is in twee sessies geschoold in het gebruik van het protocol. Tijdens de scholing is het protocol getest en aangescherpt. Iedere publicatie is eerst door twee codeurs onafhankelijk van elkaar gecodeerd. Vervolgens zijn beide codeurs in overleg gegaan over die variabelen waarover verschil van interpretatie was. Gezamenlijk is besloten tot één score.

Keuze van de variabelen De keuze van de te coderen variabelen wordt beperkt door de informatie die in onderzoekspublicaties wordt vermeld. Dat betekent dat er bijvoorbeeld geen variabelen gecodeerd kunnen worden, die te maken hebben met de vaardigheden van de onderzoeker of met de behoefte van de gebruiker. Ook evaluatieve variabelen, zoals een oordeel over de kwaliteit van het onderzoek of de leesbaarheid ervan, hebben we buiten beschouwing gelaten. De variabelen vallen uiteen in vijf categorieën: 1. algemene kenmerken; 2. kenmerken van de betrokkenheid van de politiepraktijk; 3. kenmerken van de onderzoeksvraag; 4. kenmerken van het gehanteerde onderzoeksdesign; 5. kenmerken van dataverzameling- en analysemethoden. Algemene kenmerken Codeurs hebben als eerste gekeken of de publicatie codeerbaar was. Niet alle publicaties bevatten informatie over het onderzoeksontwerp, bijvoorbeeld wanneer het een opinieartikel betreft. Vervolgens is gecodeerd wie het onderzoek heeft uitgevoerd en of dit een lectoraat was of een andere onderzoeksgroep. Dit maakt het mogelijk in de analyse te kijken naar mogelijke verschillen in de aard van onderzoek van lectoraten van de Politieacademie ten opzichte van andere onderzoeksgroepen (Tops, Kop, & Sprenger, 2013). Het onderwerp van het onderzoek is gecodeerd met twee variabelen:  Het domein waarop het onderzoek zich afspeelt (handhaving, opsporing, beide of overig);  Het onderwerp (politievak, politie- en veiligheidsbeleid, veiligheidsfenomeen of overig).

9

Kenmerken van de betrokkenheid van de politiepraktijk Er kunnen vele verschillende spelers bij het onderzoek zijn betrokken, variërend van een ministerie tot een politiemedewerker. In overleg met de Stuurgroep is een lijst van negentien actoren opgesteld. Zij kunnen binnen een onderzoek verschillende rollen vervullen, namelijk van opdrachtgever, financier, lid van een stuurgroep of begeleidingsgroep of medeonderzoeker. Ook kan de actor tijdens het onderzoek worden geconsulteerd. Hierbij wordt eerder verzamelde informatie voorgelegd aan een groep betrokkenen of experts met als doel deze informatie te verifiëren of te veralgemeniseren. Kenmerken van de onderzoeksvraag De onderzoeksvraag stuurt in belangrijke mate het onderzoek (Oost, 1999). Voor de methodologie van het onderzoek is van belang wat de aard is van het onderzoeksobject van het onderzoek en wat voor een soort vraag de onderzoekers daar over stellen. Onderzoek naar fysieke verschijnselen heeft te maken met andere methodologische problemen dan onderzoek naar sociale verschijnselen. Zo is het in de fysieke werkelijkheid (naar onze mening) bijvoorbeeld mogelijk te komen tot wetmatigheden die een universele geldigheid hebben. In de sociale werkelijkheid is geen sprake van universele wetmatigheden die overal en altijd geldig zijn. Dat heeft gevolgen voor de te kiezen methodologie. Daarom zijn de publicaties gecodeerd naar het soort onderzoeksobject waarover het onderzoek gaat (fysiek, sociaal, medisch of kunstuitingen, formules, algoritmen en teksten). Onderzoeksvragen zijn in te delen in verschillende soorten (Oost, 1999). Onderzoek vervult een functie in een bepaalde context. Oost en Markenhof (2002) onderscheiden zes soorten functies die onderzoek kan hebben: beschrijven, vergelijken, definiëren, evalueren, verklaren en ontwerpen. De onderzoeksvragen uit de publicaties zijn gecodeerd naar deze functies. Kenmerken van het gehanteerde onderzoeksdesign Een onderzoeksdesign is het raamwerk dat de onderzoekers gebruiken voor het verzamelen en analyseren van data. Hierin nemen onderzoekers beslissingen over het belang van causaliteit, generaliseerbaarheid, recht doen aan contextspecificiteit en verandering in de tijd (Bryman, 2012). Wij voegen hier nog aan toe het belang dat de onderzoekers hechten aan het realiseren van veranderingen tijdens het onderzoek. Sommige onderzoekers zien onderzoek niet alleen als middel tot het verzamelen van kennis, maar ook als instrument tot organisatieverandering (Sprenger et al., 2013).

10

De beslissingen die onderzoekers nemen, hebben gevolgen voor de volgende kenmerken: 1. wel of niet expliciet werken met variabelen en deze variabelen kwalitatief of kwantitatief meten; 2. wel of niet tijdens het onderzoek in de werkelijkheid interveniëren, bijvoorbeeld door bepaalde variabelen te manipuleren of door tijdens het onderzoek aanpakken in de praktijk uit te proberen; 3. wel of niet als onderzoeker in de praktijk participeren tijdens het onderzoek (participerende observatie); 4. wel of niet de betrokkenen mee laten doen in het onderzoek in de rol van onderzoeker; 5. wel of niet streven naar generaliseerbare uitspraken. Al deze kenmerken zijn door ons gecodeerd. Op deze manier is het onderzoeksdesign van het onderzoek uiteen gerafeld. Dit heeft als voordeel dat niet gewerkt hoeft te worden met standaard indelingen van onderzoeksdesigns. Niet alleen bestaan daar vele varianten van (De Groot, 1961; Swanborn, 1984), ze zijn vaak ook ongenuanceerd. Een voorbeeld is het grofmazige onderscheid tussen kwalitatief en kwantitatief onderzoek dat Verhoeven (2010) maakt. En soms worden met dezelfde term verschillende dingen bedoeld, zoals bijvoorbeeld met de term ‘actieonderzoek’ (Susman & Evered, 1978). Met behulp van onze coderingen kunnen wij in de analysefase verschillende onderzoeksdesigns reconstrueren. Echter, kenmerken 1 t/m 5 zijn daarvoor onvoldoende. Want hiermee wordt nog niet duidelijk op welke manier het onderzoek eventueel causaliteit wil vaststellen en hoe in het onderzoek wordt omgegaan met veranderingen in de tijd. Daarom is in aanvulling een variabele meegenomen die is gebaseerd op de indeling van Bryman (2012). Hij maakt onderscheid tussen een experimenteel design, een cross-sectie design, een longitudinaal design, een case study design en een vergelijkend design. Kenmerken van dataverzamelingsmethoden Tot slot is een inventarisatie gemaakt van de verschillende vormen van dataverzameling die in het onderzoek zijn gebruikt. Vormen van dataverzameling zijn niet direct gekoppeld aan een specifiek onderzoeksdesign. Zo komen interviews in veel designs voor. Het definitieve protocol is opgenomen in bijlage 2.

Analyse Met behulp van beschrijvende statistiek geven we inzicht in de diversiteit van de publicaties. Met een principale componentenanalyse kijken we welke twee dimensies het beste de diversiteit verklaren en welke publicaties het meest van elkaar verschillen.

11

Methodologie interviews Met behulp van de resultaten uit deel 1 is een selectie gemaakt van publicaties die optimaal van elkaar verschillen met als doel de betreffende auteurs te interviewen over hun motieven om voor een bepaalde vorm van onderzoek te kiezen. Drie publicaties waren zo verschillend van alle andere publicaties dat zij de componentenanalyse verstoorden. Deze zijn uit de analyse verwijderd en twee auteurs zijn geïnterviewd. De componentenanalyse liet vier clusters zien van publicaties. Uit drie clusters is één publicaties geselecteerd. Uit het cluster case studies twee papers die verschillen in de mate waarin ze gebruik maken van kwantitatieve variabelen. De betreffende onderzoekers (één, soms twee, per publicatie) zijn gedurende 45 minuten geïnterviewd op hun motieven om voor dit type onderzoek te kiezen. Het interviewprotocol is opgenomen in bijlage 3. De interviews zijn opgenomen en uitgewerkt.

12

2.

Resultaten

We beschrijven de resultaten van het onderzoek aan de hand van de vijf soorten kenmerken, die in het vorige hoofdstuk zijn genoemd. Waar mogelijk illustreren we de resultaten met uitkomsten uit de interviews. We besteden apart aandacht aan de opvattingen van de geïnterviewde over de doorwerking van hun onderzoek. We kijken ook of er verschillen zijn tussen groepen publicaties:  de 25 publicaties waarbij lectoraten van de Politieacademie waren betrokken versus de rest;  30 publicaties waarbij de (de)centrale overheid opdrachtgever was versus de rest;  14 publicaties waarbij Politie & Wetenschap opdrachtgever was. Wanneer er verschillen waren geven we dat weer in de grafiek. Als er geen verschillen waren toont de grafiek alleen het totaal. Waar de data dat toestaan is een Chi-kwadraat toets toegepast (Lavassani, Movahedi, & Kumar, 2009) om te kijken of de verschillen significant zijn. Om de leesbaarheid te vergroten geven wij in dit resultatenhoofdstuk ook al onze interpretatie van de bevindingen, als voorschot op de conclusies en discussie. Dit is cursief weergegeven.

Algemene kenmerken Soorten publicaties Politiegerelateerd onderzoek in Nederland wordt vooral gepubliceerd in rapporten. 75% van de 342 geïdentificeerde publicaties is een rapport. 16% verschijnt in een tijdschrift of boek met een redactie en 7% in een peer-reviewed tijdschrift.

Soort publicatie

Rapport Publicatie met redactie Peer reviewed publicatie Onbekend

13

Wat opvalt is het grote aantal rapporten dat wordt gemaakt. Een mogelijke verklaring hiervoor zou kunnen zijn dat politiegerelateerd onderzoek vaak in opdracht wordt uitgevoerd. Het aandeel van de lectoraten van de Politieacademie in de onderzoeksproductie is 23%.

Codeerbaarheid van publicaties Niet alle publicaties bevatten voldoende gegevens om de methodologische kenmerken te coderen. In 26% van de publicaties was er geen informatie beschikbaar over de gehanteerde methoden van dataverzameling waardoor coderen niet zinvol was. Vaak waren dit opiniërende stukken in tijdschriften met een redactie. Uiteindelijk zijn 87 publicaties gecodeerd, waaronder 21 waarbij lectoraten van de Politieacademie waren betrokken.

Domein van het onderzoek Er zijn meer publicaties die sec over handhaving gaan dan over opsporing. Ook komen vaak beide onderwerpen in één publicatie voor. Ander onderwerpen die aan de orde komen, zijn bijvoorbeeld de bejegening van getraumatiseerde slachtoffers of geweld tegen politiemedewerkers.

Domein van het onderzoek 2% 9% 34%

Handhaving Opsporing Beide

32%

Anders Onbekend 23%

Het politiegerelateerd onderzoek is vrij evenredig verdeeld over de domeinen handhaving en opsporing. Overigens bleek het bij het coderen vaak moeilijk om dit onderscheid te maken.

14

Onderwerp van onderzoek Onderzoek naar het politievak en naar veiligheidsfenomenen komen ongeveer even veel voor. Veel publicaties gaan over politie- en veiligheidsbeleid (62%). Dit gebeurt in iets meer dan de helft van de gevallen in combinatie met een onderzoek naar het politievak en/of een veiligheidsfenomeen. In dergelijke publicaties worden de implicaties van hetgeen is onderzocht voor het beleid besproken, bijvoorbeeld in de vorm van aanbevelingen. Onderwerp van onderzoek Politie- en veiligheidsbeleid Politievak Veiligheidsfenomeen Overig 0%

10%

20%

Niet-Politieacademie

30%

40%

50%

60%

70%

80%

Politieacademie

Lectoraten van de Politieacademie lijken vaker te publiceren over het politievak en minder vaak over politie- en veiligheidsbeleid of veiligheidsfenomenen. Hier waren meerdere coderingen mogelijk, waardoor we dit niet statistisch hebben kunnen toetsen.

Kenmerken van de betrokkenen Uit de publicaties komt het volgende beeld naar voren over de kenmerken van de betrokkenen.

Opdrachtgevers In 43% van de publicaties treedt de (de)centrale overheid op als opdrachtgever. Hieronder vallen in de codering ministeries, inspecties, het Openbaar Ministerie en provincie en gemeenten. Politie & Wetenschap was in 16% van de publicaties opdrachtgever, gevolgd door de politie zelf met 9% (politieleiding, teamchefs, politiemedewerkers of vakbonden).

15

Opdrachtgever Overheid Onbekend of eigen initiatief Politie & Wetenschap Politie Overig Politieacademie Onderzoeksbureau 0%

5% 10% 15% 20% 25% 30% 35% 40% 45% 50%

Niet-Politieacademie

Politieacademie

Bij publicaties van de lectoraten was de opdrachtgever significant anders (χ2=4,2; p=0,04). Er was vaker sprake van de politiekorpsen en de Politieacademie als opdrachtgever en minder vaak de overheid of eigen initiatief. De publicaties die we hebben onderzocht zijn nog van vóór de vorming van de Nationale Politie. De korpsleiding als opdrachtgever komt in de publicaties weinig voor. Ons vermoeden is dat veel onderzoek waar de korpsleiding de opdrachtgever is, wordt uitgevoerd door eigen medewerkers en niet wordt gepubliceerd. Ook kan het zijn dat dit onderzoek vaker vertrouwelijk is, waardoor het niet in onze populatie zit.

Stuurgroep of begeleidingsgroep In 38% van de publicaties wordt gerapporteerd over een stuurgroep of een begeleidingsgroep, die het onderzoek heeft begeleid. De (de)centrale overheid en onderzoeksbureaus waren daarin het meest vertegenwoordigd. De politie (politieleiding, teamchefs, politiemedewerkers of vakbonden) was in 16% van alle publicaties in de stuurgroep vertegenwoordigd. Onder de categorie overig (17%) vallen veelal onafhankelijke experts, soms uit het buitenland. De Politieacademie en Politie & Wetenschap worden veel minder vertegenwoordigd.

16

Stuurgroep of begeleidingsgroep Geen of onbekend Overheid Onderzoeksbureau Overig Politie Politieacademie Politie & Wetenschap 0%

10%

20%

30%

40%

50%

60%

70%

Publicaties met de (de)centrale overheid als opdrachtgever rapporteren vaker een stuurgroep of begeleidingsgroep dan andere publicaties (χ2=24,0; p=0,00). Ons valt op dat de politie zelf niet vaak in stuurgroepen of begeleidingsgroepen is vertegenwoordigd. In de theorie wordt geconstateerd dat een gebrekkige verbinding tussen de wereld van het onderzoek en de praktijk van de politie een van de verklarende factoren is voor gebrekkige doorwerking. Stuurgroepen zijn een middel om die werelden te overbruggen. Onbekend is of medewerkers van de korpsen niet worden gevraagd of dat zij zelf redenen hebben om niet in stuurgroepen zitting te nemen.

Consultatie In 37% van de publicaties wordt verzamelde informatie voorgelegd aan een groep betrokkenen of experts, met als doel deze informatie te verifiëren of te veralgemeniseren. In 25% van de publicaties waren dat politiemensen zelf. In 16% was dat de (de)centrale overheid en in evenzoveel onafhankelijke experts. Onderzoeksbureaus, de Politieacademie en Politie & Wetenschap worden veel minder geconsulteerd.

17

Geconsulteerd tijdens het onderzoek Geen of onbekend Politie Overheid Overig Onderzoeksbureau Politieacademie Politie & Wetenschap 0%

20%

40%

60%

80%

Consultatie is ook een manier om de afstand tussen onderzoek en praktijk te verkleinen. Het beeld is bij consultatie gunstiger dan bij de stuurgroepen. Er zijn meer publicaties waarin politiemedewerkers worden geconsulteerd dan publicaties waarin zij in de stuurgroep zitten. Dit terwijl consultatie even vaak voor komt als stuurgroepen. Consultatie van actoren tijdens het onderzoek gebeurt meestal op initiatief van de onderzoekers, terwijl bij de samenstelling van de stuurgroep de opdrachtgever vaak ook een grote rol speelt. Dit kan een mogelijke verklaring zijn. Consultatie vindt vaak dicht bij de werkvloer plaats, met direct leidinggevenden of wijkagenten, waar mogelijk de bereidheid groot is om hieraan mee te doen.

Meedoen als onderzoeker In 30% van de publicaties wordt gerapporteerd dat anderen dan de auteurs of medewerkers van het onderzoeksbureau of lectoraat hebben meegeholpen in het onderzoek. Meehelpen betekent het verrichten van onderzoekstaken. Dit zijn taken waarin onderzoeksgegevens worden verzameld of geanalyseerd om de hoofdvraag te kunnen beantwoorden. In de meeste publicaties is er sprake van dat de taken dan worden uitgevoerd door een ander onderzoeksbureau (17%) of door medewerkers van de Politieacademie (9%). In 8% van de publicaties is sprake van politiemedewerkers in de rol van onderzoeker.

18

Mede uitvoeren van onderzoekstaken Geen of onbekend Onderzoeksbureau Politieacademie Politie Overig Overheid Politie & Wetenschap 0%

10%

20%

30%

40%

50%

60%

70%

80%

In publicaties van de Politieacademie wordt relatief tweemaal zo vaak gerapporteerd (43% om 21%) dat externe onderzoekers zijn ingeschakeld dan in andere publicaties. Daarbij gaat het ook relatief vaker om het inschakelen van onderzoekers van onderzoeksbureaus en van de politie dan bij andere publicaties (X2=11,6; p=0,009). Zoals in de literatuurbespreking is aangegeven, is het inzetten van medewerkers uit de praktijk als onderzoeker ook een manier om de kloof tussen onderzoek en praktijk te overbruggen. Toch wordt dit maar in weinig publicaties gerapporteerd.

Vormen van betrokkenheid die worden genoemd in de interviews In de interviews worden allerlei vormen en gradaties van betrokkenheid van het werkveld genoemd: 1. werkveld heeft geen betrokkenheid; 2. werkveld levert de data aan; 3. werkveld is initiatiefnemer; 4. werkveld is klankbord; 5. lijnchefs zitten in een begeleidingsgroep; 6. werkveld is opdrachtgever; 7. politiemedewerkers maken rapporten met aandachtspunten en goede werkwijzen; 8. werkveld zoekt mee naar oplossingen; 9. werkveld voert interventies uit; 10.studenten voeren deelonderzoeken uit. Geïnterviewde onderzoekers die het werkveld intensief proberen te betrekken bij het onderzoek, geven aan dat ze dit doen om draagvlak te creëren en om er voor 19

te zorgen dat er een ontvanger is voor het onderzoek. De verwachting is dat politiemensen de manier van denken uit het onderzoek hebben meebeleefd en dat de implementatie daardoor gemakkelijker zal gaan.

Kenmerken van de onderzoeksvraag Het overgrote deel van de publicaties gaat over onderzoek naar de sociale werkelijkheid. Gedrag van mensen staat hierin centraal. 7% gaat (ook) over de fysieke werkelijkheid zoals technisch en forensisch onderzoek. Voor de uitkomsten van onderzoek is het van groot belang welke soorten vragen de onderzoeker zich stelt. Oost en Markenhof (2002) onderscheiden zes soorten functies die onderzoek kan hebben: beschrijven, vergelijken, definiëren, evalueren, verklaren en ontwerpen. Volgens Oost en Markenhof (2002) heeft een goede hoofdvraag slechts één onderzoeksfunctie. In de publicaties troffen we in driekwart van de gevallen een hoofdvraag aan met meerdere onderzoeksfuncties of meerdere hoofdvragen. De beschrijvende functie kwam daarbij het meeste voor (91%). In de zes onderzoeksfuncties van Oost en Markenhof zit echter een hierarchie. Wanneer je twee situaties wilt vergelijken, zal je ze altijd eerst moeten beschrijven. Wil je een verschijnsel definieren, dan zal je het moeten beschrijven en vergelijken met een taxonomie. Wil je een verschijnsel evalueren, dan vergelijk je met een norm. Wil je verklaren, dan vergelijk je met een theorie. Wil je een oplossing ontwerpen dan zal je eerst moeten evalueren of er sprake is van een probleem en verklaringen moeten vinden voor de oorzaken van het probleem. Dit verklaart waarom beschrijven zo vaak voorkomt. Op basis van deze theorie kunnen we kijken wat de ‘hoogste’ onderzoekfunctie is in een publicatie. Dit is de functie waar het onderzoek uiteindelijk naar toe werkt. Dan blijkt dat de meeste publicaties zich richten op het evalueren van maatregelen of verschijnselen (36%), gevolgd door verklaren (24%) en beschrijven (16%). Slechts 14% is ontwerpend van aard.

20

Onderzoeksfuncties Ontwerpen Verklaren Evalueren Definiëren Vergelijken Beschrijven 0%

5%

10%

15%

20%

25%

30%

35%

40%

Evalueren komt relatief meer voor bij publicaties die ook over politie- en veiligheidsbeleid gaan. De 22 publicaties die exclusief over beleid gaan, zijn in 45% van de gevallen evaluerend. Het grote aantal evaluerende publicaties is dus deels te verklaren door het grote aantal beleidsgerichte publicaties. Verder wijken evaluerende studies niet significant af van de andere publicaties, behalve dat ze vaker de (de-)centrale overheid als opdrachtgever hebben en vaker met een stuurgroep werken, waarin ook vaker de overheid zelf is vertegenwoordigd. Onderzoeksfunctie per onderwerp Ontwerpen Verklaren Evalueren Definiëren Vergelijken Beschrijven 0%

5%

10% Fenomeen

15% Beleid

21

20%

Politievak

25%

30%

Het valt ons op dat slechts 14% van de publicaties ontwerpend van aard is, dus onderzoek is dat antwoord geeft op de vraag hoe iets kan worden gemaakt, veranderd of verbeterd. Onze stelling is dat de werkvloer van de politie het meest direct profijt heeft van onderzoek dat ontwerpend is. Met de resultaten kan je direct aan de slag om je werkwijze te verbeteren. Deze uitkomst lijkt de theorie te bevestigen dat veel onderzoek beschrijvend en abstract is. Geïnterviewden geven verschillende redenen aan waarom zij geen ontwerpend onderzoek doen: er is geen tijd voor, het was niet de vraag van de opdrachtgever of het was niet aan de orde omdat de praktijk zelf al een hoop aanpakken had ontwikkeld. Een geïnterviewde gaf aan dat de opdrachtgever (onderdeel van de overheid) bij het betreffende onderzoek alleen antwoord wilde op een evaluerende vraag en niet op een ontwerpende vraag en ook geen aanbevelingen in het rapport wilde laten opnemen. Mogelijke andere reden is dat ontwerpend onderzoek een goede onderzoeksprogrammering vereist, omdat je veelal eerst ook moet beschrijven, evalueren en verklaren. Ook is ontwerpend onderzoek lastiger, omdat je als onderzoeker veel kennis van de praktijk moet hebben en het vaak moeilijk is om casussen te vinden waarin je ontwerpen kan uittesten. Dit soort onderzoek is mogelijk ook risicovoller en kent een hoger afbreukrisico. Ook zien sommige onderzoekers het misschien niet als hun taak om oplossingen te bieden, maar alleen om inzicht te genereren.

Kenmerken van het onderzoeksdesign Gebruik van variabelen Een eerste kenmerk van een onderzoeksdesign is of er gebruik wordt gemaakt van ‘variabelentaal’ en op welke manier deze variabelen worden gerepresenteerd. Representeren kan door ze met behulp van cijfers te meten (kwantitatief) of door ze beschrijvend weer te geven (kwalitatief). In 70% van de publicaties was duidelijk sprake van het gebruik van variabelen. In 46% van de publicaties vond alleen kwalitatieve operationalisatie plaats en in 7% alleen kwantitatieve operationalisatie. In 17% van de publicaties werd zowel gebruik gemaakt van kwalitatieve en kwantitatieve variabelen. Dit is een aanwijzing dat er in die publicaties sprake is van een mixed-method onderzoeksdesign. Gebruik van beide type variabelen is een noodzakelijke, maar niet voldoende voorwaarde voor een mixed-methods design (Teddlie & Tashakkori, 2010).

22

Gebruik van variabelen

17% 30%

Geen variabelen Kwalitatieve operationalisatie

7%

Kwantitatieve operationalisatie Beide 46%

Wij vinden het sterk kwalitatieve karakter van het politiegerelateerd onderzoek opvallen. Dat is des te opmerkelijker, omdat er wel veel bestaande data gebruikt wordt vanuit de registraties van de politie.

Ingrijpen in de werkelijkheid Een tweede belangrijk kenmerk van een onderzoeksdesign is of onderzoekers tijdens het onderzoek ingrijpen in de werkelijkheid of hun handen op hun rug houden. Wanneer er wordt ingegrepen is er sprake van een experimenteel design, dat veelal bedoeld is om causaliteit vast te stellen, dus om te verklaren of om bepaalde oplossingen te ontwikkelen, dus om te ontwerpen. In de gedoceerde publicaties kwam dit slechts in 3% van de publicaties voor en in alle gevallen was het onderdeel van een ontwerpend onderzoek.

Participeren in de praktijk Een derde kenmerk van een onderzoeksdesign is de mate waarin de onderzoekers deelnemen aan het leven van de groep die ze onderzoeken. Het idee is dat door dit leven mee te beleven een dieper inzicht ontstaat dan mogelijk is door het doen van interviews of observaties. Dit soort onderzoek is de dominerende onderzoeksstrategie in de antropologie (Swanborn, 1984). Dit kwam slechts in 3 % van de publicaties voor. Dat waren allemaal publicaties van lectoraten. Mogelijke verklaring voor dit lage percentage is dat wij dit gecodeerd hebben als de onderzoekers naast hun onderzoeksrol ook werkzaamheden verrichten in de onderzoeksdoelgroep/onderzoeksetting, bijvoorbeeld door zelf politieactiviteiten uit te voeren. Het gaat dus echt om bijvoorbeeld participerende observatie. Dit 23

gaat verder dan meelopen met een politiemedewerker. Dit laatste komt meer voor aangezien de dataverzamelingsmethode van observatie in 15% van de publicaties voor komt.

De praktijk zichzelf laten onderzoeken Hierboven is aangegeven dat in 8% van de publicaties sprake is van politiemedewerkers in de rol van onderzoeker. Een specifieke vorm is onderzoek waarin politiemedewerkers als onderzoeker worden ingezet om hun eigen situatie te onderzoeken en te verbeteren. Motieven hiervoor kunnen ideologisch zijn, zoals emancipatie van de betrokkenen (Kemmis & McTaggart, 2000) of meer praktisch, gericht op het vergroten van het duurzame effect van het onderzoek (Sprenger et al., 2013). Wij hebben gekeken in welke publicaties er sprake was van onderzoek waarin de onderzoekssubjecten zelf ook onderzoekstaken uitvoerden. Het gaat om subjecten die hun eigen praktijk onderzoeken. Onderzoekstaken kunnen zijn het verzamelen of analyseren van data, maar ook het ontwerpen van verbeteringen. Deze vorm van onderzoek is aan te duiden als participatief actieonderzoek (Kemmis & McTaggart, 2000) en werd in vier publicaties (5%) gerapporteerd. Wij zijn ons ervan bewust, dat er ook andere opvattingen over actieonderzoek bestaan (Susman & Evered, 1978). Zo geeft één van de geïnterviewden aan dat actieonderzoek onderzoek is, waarbij de onderzoeker meekijkt in de praktijk en optekent wat er gebeurt. In ons onderzoek valt dit onder observatie als methode van dataverzameling of eventueel onder participeren in de praktijk. Een geïnterviewde geeft overigens aan dat er vaak geen tijd is om samen met de praktijk onderzoek uit te gaan voeren.

Generaliseren Een publicatie kan uitspraken bevatten waarvan de reikwijdte zich beperkt tot de data die zijn verzameld of het kan op basis van die data uitspraken doen met een groter bereik. In dat laatste geval is sprake van generalisatie. Onderzoekers die de pretentie hebben tot generaliseerbare uitspraken, moeten hier vaak bij het onderzoeksdesign rekening mee houden, bijvoorbeeld door een specifieke steekproef te trekken. Generaliseren kan het doel zijn van een onderzoek, maar dat hoeft niet. Ook kan het voorkomen dat generaliseren wel wenselijk is, maar dat de data of het onderzoeksdesign dit niet toestaan. Generaliserende conclusies trekken kan door het opzetten van een inhoudelijke redenering (“gezien de kenmerken van de onderzochte groep ligt het voor de hand dat deze resultaten ook elders van toepassing zijn”) of door een inhoudelijke redenering aangevuld met statistische toetsen. In de meeste publicaties is sprake van algemene uitspraken op basis van inhoudelijke generalisatie (62%). In 15% van de publicaties is sprake van inhoudelijke 24

en statistische generalisatie. In 21% van de publicaties wordt niet gegeneraliseerd.

Generalisatie-ambitie 2%

15%

21%

Geen generalisatieambitie Inhoudelijke generalisatie Inhoudelijke en statistische generalisatie Onbekend

62%

Geïnterviewden gaven soms redenen aan om te generaliseren. Een geïnterviewde die een vergelijkende case studie heeft uitgevoerd, geeft aan bewust tot generaliserende uitspraken over te zijn gegaan om daarmee de discussie aan te gaan met alle betrokkenen. Een andere geïnterviewde geeft als motief aan, dat daarmee een betere bijdrage aan de praktijk mogelijk was. Ook wordt als reden genoemd dat de onderzoeksvraag daarop was gericht en dat het een urgent probleem betrof. Het grote aantal publicaties – waarbij sprake is van inhoudelijke generalisatie – is mogelijk te verklaren, doordat wij bij het coderen streng zijn geweest en sterk taalkundig hebben gekeken. Daar waar er in de formulering van de conclusies sprake was van een algemene uitspraak zonder verwijzing naar de onderzochte groep, hebben wij de publicaties gecodeerd als generaliserend. Conclusies worden al snel in algemene termen geformuleerd, zelfs wanneer onderzoekers ergens anders in de tekst een voorbehoud maken over de generaliseerbaarheid van hun resultaten. Wij vinden echter dat onderzoekers bij het formuleren van conclusies nauwkeurig te werk moeten gaan en een formulering moeten kiezen die de reikwijdte van de resultaten weerspiegelt.

Onderzoeksdesigns Het onderzoeksdesign dat het meeste voorkomt, is een design waarin over meerdere subjecten data wordt verzameld op één punt in de tijd over meerdere variabelen. Veelal gebeurt dat door middel van interviews of vragenlijsten. Vaak 25

wordt ook bestaande data uit registraties van de politie gebruikt. Dit cross-sectie design komt in 53% van de publicaties voor. Er wordt ook vaak gebruik gemaakt van het vergelijken van verschillende casussen met elkaar. Dit komt bij 47% van de publicaties voor. Dan worden er bijvoorbeeld korpsen, incidenten, evenementen of werkwijzen met elkaar vergeleken. Enkelvoudige case studies komen bij 21% van de publicaties voor. Het volgen van ontwikkelingen over een langere tijd komt bijna niet voor (5%), net zomin als experimenten (3%). De experimenten die worden uitgevoerd, zijn natuurlijke experimenten, dus zonder controlegroep. Wel willen we opmerken dat wij een onderzoeksdesign alleen als experiment hebben gecodeerd, wanneer er in de onderzoeksperiode variabelen worden gemanipuleerd. Het evalueren van bijvoorbeeld een experiment met de invoering van een Blackberry, is daarom niet als experiment, maar als cross-sectie design gecodeerd. Geïnterviewden geven aan dat ze wel vaker quasi-experimenten zouden willen uitvoeren, maar dat dit in de praktijk lastig is. Ook blijft dan altijd het probleem dat je niet alle variabelen kunt controleren, waardoor vergelijking tussen de experimentele groep en de controlegroep niet valide is. Longitudinale onderzoeken kosten veel tijd en geld en dat wil de opdrachtgever vaak niet. Onderzoeksdesign Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0%

10%

20%

30%

40%

50%

60%

De Politieacademie lijkt vaker te publiceren over enkelvoudige case studies en minder vaak op basis van een cross-sectie design of vergelijkende case studies. Ook experimenten lijken vaker in de publicaties voor te komen.

26

Politieacademie als onderzoeker Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0%

10%

20%

Niet-Politieacademie

30%

40%

50%

60%

Politieacademie

Publicaties met de overheid als opdrachtgever beschrijven vaker een cross-sectie design en minder vaak een vergelijkende case studie. Ook de meeste longitudinale publicaties zijn geschreven in opdracht van de overheid. Overheid als opdrachtgever Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0% Overig

10%

20%

30%

40%

50%

60%

70%

Overheid als opdrachtgever

Publicaties met Politie & Wetenschap als opdrachtgever beschrijven vaker een cross-sectie design. Politie & Wetenschap als opdrachtgever Cross sectie design Vergelijkende case study Enkelvoudige case study Longitudinaal design Niet gerapporteerd Experimenteel design 0% Overig

10% 20% 30% 40% 50% 60% 70% 80% Politie & Wetenschap

27

Kenmerken van de dataverzamelingsmethoden Binnen de hierboven geschetste onderzoeksdesigns is een keur aan dataverzamelingsmethoden mogelijk. In de meeste publicaties (92%) worden meerdere methoden gerapporteerd. De modus is drie dataverzamelingsmethoden, maar er zijn ook publicaties waarin er meer dan zes worden gerapporteerd. Een geïnterviewde die dat doet, geeft aan altijd een combinatie te gebruiken van straatinfo (observeren en interviews) en systeeminfo (dossiers en bestaande data). Interviews komen het meeste voor (78%), gevolgd door analyse van bestaande documenten en dossiers (63%) en het gebruik van bestaande data uit systemen van bijvoorbeeld de politie zelf (57%). Literatuurstudie komt uiteraard in vrijwel alle onderzoeken voor om te komen tot een theoretisch kader. Wij hebben gekeken wanneer literatuurstudie wordt gebruikt als een van de belangrijke dataverzamelingsmethode voor het beantwoorden van de onderzoeksvraag. Dat is in 54% van de publicaties het geval. Veel minder vaak komen groepsgesprekken (31%), zelfstandig in te vullen vragenlijsten (23%) en observatie (15%) voor. Een van de geïnterviewden geeft wel het belang aan van observaties: ‘Het gaat bij onderzoek om kijken wat er gebeurt, wat mensen doen. Je kunt je niet beperken tot wat ze zeggen te doen of gedaan hebben.’ Dataverzamelingsmethoden Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0%

10% 20% 30% 40% 50% 60% 70% 80% 90%

Het gebruik van technische meetinstrumenten wordt in 2% van de publicaties gemeld. De overige 5% zijn diverse methoden. Zo was er één publicatie gebaseerd op een meta-analyse van bestaande onderzoeken. Een geïnterviewde geeft aan dat er vaker gebruik gemaakt zou kunnen worden van meta-analyses, omdat er vaak al veel bekend en gepubliceerd is over een bepaald onderwerp. 28

Uit het grote gebruik van documenten en bestaande data blijkt de datarijkheid van de politiesector. Er wordt door de politie veel data verzameld die in onderzoek kan worden gebruikt. Het beperkte gebruik van vragenlijsten is in lijn met de eerdere constatering, dat er weinig gebruik wordt gemaakt van kwantitatieve operationalisatie. Mogelijk hebben onderzoekers de ervaring dat de respons op vragenlijsten in het werkveld vaak laag en weinig representatief is en kiezen ze er daarom niet voor. Observatie als methode wordt relatief weinig gerapporteerd. Mogelijk omdat het duur is en de onderzoeker een netwerk binnen het werkveld moet hebben. Ook zijn onderzoeken soms gericht op het achteraf beschrijven en verklaren van incidenten, waardoor observeren niet mogelijk is. Publicaties van lectoraten lijken vaker onderzoek te beschrijven, waarin gebruik is gemaakt van interviews, groepsgesprekken, observatie, vragenlijsten en analyse van documenten. Ook komen er significant vaker meer verschillende dataverzamelingsmethoden voor in hun publicaties (Mann-Whitney test, p=0,041). Politieacademie als onderzoeker Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0%

10% 20% 30% 40% 50% 60% 70% 80% 90%

Niet-Politieacademie

Politieacademie

In publicaties met de overheid als opdrachtgever lijken meer onderzoeken te worden beschreven met analyse van documenten en met groepsgesprekken. Een toets was hier niet mogelijk.

29

Overheid als opdrachtgever Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% Overig

10% 20% 30% 40% 50% 60% 70% 80% 90% Overheid als opdrachtgever

Publicaties met Politie & Wetenschap als opdrachtgever lijken vaker te rapporteren over onderzoek met interviews en literatuurstudie en minder vaak over onderzoek met analyse van documenten en bestaande data. P&W als opdrachtgever Interviews Analyse van documenten Bestaande data Literatuurstudie Groepsgesprekken Vragenlijst Observatie Overig Gestandaardiseerde metingen 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Overig

30

P&W

Clusters van onderzoeken Sommige kenmerken van publicaties komen vaker samen voor. Om deze clusters van publicaties te ontdekken, hebben we gebruik gemaakt van een principale componentenanalyse (HOMALS). Hiermee kan worden berekend welke componenten de variantie in de variabelen het beste kan verklaren. Bij het zoeken naar de juiste combinatie van variabelen en cases bleek al snel dat een achttal publicaties zo anders is dan de rest, dat zij de analyse sterk vertekenen. Deze uitbijters zijn de publicaties waarin sprake is van experimenten waarbinnen onderzoekssubjecten participeren als onderzoeker en publicaties waarin meer dan zes verschillende methoden van dataverzameling worden beschreven. De drie publicaties waarin natuurlijke experimenten worden gerapporteerd, beschrijven alle drie onderzoek met een ontwerpende functie. Verder zijn ze divers in de beschrijving van de gebruikte methoden van onderzoek en de mate van participatie van de onderzoekssubjecten. Twee publicaties rapporteren wel participatie van onderzoekssubjecten, maar beschrijven geen experimentele opzet. Er is sprake van een case study design, maar wel met een ontwerpende vraag. Drie publicaties beschrijven een onderzoek met meer dan zes verschillende methoden van dataverzameling, waarvan er één ook drie designs combineert. Twee ervan zijn evaluerend; de ander is beschrijvend van aard. De overige publicaties zijn met een HOMALS analyse in SPSS geanalyseerd. Het resultaat is zichtbaar in figuur X. De punten in de wolk geven de individuele publicaties weer. De computer heeft berekend dat de dimensies 1 en 2 de diversiteit het beste weergeven. Dimensie 1 hangt sterk samen met de mate waarin er sprake is van kwantitatieve variabelen, statistische generalisatie, een cross-sectie design en het gebruik van vragenlijsten en bestaande data (rechts). Naar links is er vaker sprake van observatie, literatuurstudie en een vergelijkende case study design. Dimensie 2 hangt sterk samen met het enkelvoudige case study design, het gebruik van groepsgesprekken en interviews, analyse van documenten alsook observatie en vragenlijsten. Hoewel er in het figuur een grote mate van diversiteit te zien is en veel publicaties zich op het grensvlak tussen clusters begeven, is het toch mogelijk om vier clusters te onderscheiden waarmee in totaal 43 publicaties kunnen worden beschreven.

Cluster A Statistische analyse van bestaande data Dit soort publicaties beschrijft onderzoek waarin bestaande data en ook andere kwantitatieve data worden gebruikt om met behulp van statistische analyse generaliseerbare uitspraken te doen. Tien publicaties voldoen aan deze beschrijving.

31

Cluster B Kwalitatieve case studies Elf publicaties beschrijven een kwalitatief onderzoek naar één specifieke casus. Hierbij wordt veel gebruik gemaakt van interviews, groepsgesprekken, documenten en literatuur. Een van de twee geïnterviewden uit cluster B geeft aan dat slechts één opsporingsteam bezig was met het onderwerp, waardoor een vergelijkende case studie niet mogelijk was. De case studie maakte het mogelijk om op zoek te gaan naar een praktische oplossing.

Cluster C Vergelijkende case studies Acht publicaties gaan over onderzoek waarin meerdere casussen worden vergeleken. Hierbij is vaak geen sprake van expliciete variabelentaal of de variabelen worden kwalitatief geoperationaliseerd. Er wordt veel gebruik gemaakt van interviews en analyse van documenten. In twee gevallen is er ook sprake van observatie. De geïnterviewden uit cluster C geven aan dat kwalitatieve vergelijkende case studies maximale mogelijkheid geven tot inventariseren op basis van nabijheid met het onderzochte. In interviews kan men zowel de breedte als de diepte ingaan en ze bieden de mogelijkheden om in te gaan op lastige thema’s. Kwalitatief onderzoek doen geeft deze onderzoekers de mogelijkheid te duiden, typologieën op te stellen en te interpreteren. Dat is vooral handig als er weinig literatuur en documenten over het onderwerp voorhanden zijn en de situatie snel verandert.

Cluster D Kwalitatieve cross-sectie designs Cluster D bestaat voor een groot deel uit publicaties waarin onderzoek wordt beschreven, waarbij kwalitatieve gegevens uit interviews, literatuur, documenten en soms ook vragenlijsten worden gebruikt om uitspraken te doen over een groot aantal respondenten. Soms is er naast het cross-sectie design ook sprake van een vergelijkend case study design.

32

Geïnterviewden over doorwerking Geïnterviewden geven aan dat doorwerking van politiegerelateerd onderzoek op veel verschillende manier kan plaatsvinden. Middelen die worden genoemd om doorwerking te bevorderen zijn: 1. publiceren; 2. pdf verspreiden onder betrokkenen; 3. persberichten uitbrengen en de media benaderen; 4. presentaties en workshops geven; 5. conferenties organiseren; 6. naar de betrokkenen terugkoppelen en in gesprek gaan over de publicatie; 7. korpsen adviseren die met de resultaten aan de slag gaan; 8. studenten aan de slag laten gaan met de aanbevelingen; 9. in het onderwijs terug laten komen; 10.via een medewerker van het lectoraat die bij een korps is gaan werken; 11.via kamervragen. Er worden ook belemmeringen genoemd. Een geïnterviewde die een onderzoek in opdracht van Politie & Wetenschap heeft gedaan, geeft aan dat er vanuit Politie & Wetenschap geen opdracht, tijd en geld was om aan het delen van onderzoeksresultaten te werken. De doorwerking moest vooral van de onderzoekers zelf komen. Doorwerking zou volgens deze respondent onderdeel moeten zijn van het onderzoeksvoorstel of misschien wel van de onderzoeksvraag. Ook geeft

33

een aantal respondenten aan dat de gemiddelde politieman volgens hen onderzoekspublicaties niet leest. ‘Het staat op papier, maar het moet gelezen worden door mensen die niet lezen’. We hebben in de interviewdata gezocht of er verschillen zijn in rolopvatting tussen onderzoekers. Die hebben we niet echt aangetroffen. Alle geïnterviewden vinden doorwerking van hun onderzoek belangrijk en allemaal willen ze daar een rol in spelen. Redenen om dat minder of niet te doen zijn vooral van praktische aard (tijd, geld, opdracht). Ook hebben we geen grote verschillen aangetroffen in motieven om voor een bepaald onderzoeksdesign en bepaalde methoden te kiezen. Die keuzes hangen vooral af van de vraagstelling en de beschikbaarheid van data, geld en tijd.

34

3.

Conclusies en aanbevelingen

Doorwerking naar de praktijk De literatuur geeft aan dat de doorwerking van onderzoek kan worden vergroot door samen te werken met de praktijk. Sprenger et al. (2013) spreken van praktijkonderzoek: onderzoek met als doel om op systematische wijze en in interactie met de omgeving de professionele werkpraktijk te verbeteren. Die interactie kan op tal van manieren worden vormgegeven. In ons onderzoek waarin we een selectie van twee jaar aan publicaties hebben geanalyseerd, hebben we gekeken naar verschillende vormen van samenwerking die in publicaties worden genoemd. Dat leidt tot de volgende bevindingen:  In de publicaties is de werkvloer relatief weinig opdrachtgever (direct 9%, indirect via Politie & Wetenschap 16%). De overheid is als opdrachtgever in de lead;  In de publicaties is de praktijk weinig vertegenwoordigd in stuurgroepen en begeleidingsgroepen (direct 16%, indirect via Politie & Wetenschap 3%);  In de publicaties wordt de praktijk wel relatief het meest geconsulteerd, maar nog slechts in een kwart van de gevallen;  In de publicaties wordt de praktijk weinig ingezet als onderzoeker (direct 11%, indirect via Politieacademie 13%);  In de publicaties wordt weinig participatief actieonderzoek gerapporteerd (5%). Dat is onderzoek waarbij de praktijk zelf onderzoekt op welke manier de eigen praktijk kan worden verbeterd. Onze conclusie is dan ook dat in publicaties over politiegerelateerd onderzoek weinig wordt gerapporteerd over manieren om de samenwerking tussen onderzoek en praktijk tijdens het onderzoek te vergroten. Daarnaast is slechts 14% van de publicaties gericht op het ontwerpen van oplossingen. Het meeste richt zich op evalueren. Deze uitkomst lijkt de theorie te bevestigen dat veel onderzoek beschrijvend en abstract is. Onze stelling is dat de werkvloer van de politie vooral direct profijt heeft van onderzoek dat ontwerpend is. Met de resultaten kan je direct aan de slag om je werkwijze te verbeteren. Uiteraard kan het zijn dat een ontwerpende vraagstelling (nog) niet mogelijk is, omdat de beschrijvende, evaluerende en verklarende kennis die daarvoor nodig is, niet beschikbaar is. Dit is alleen op te lossen met een goede onderzoeksprogrammering waarin de kennis wordt opgebouwd van beschrijvende kennis, via evaluerende en verklarende kennis naar onderzoeken, die ontwerpend van aard zijn. We hebben in de interviewdata geen duidelijke verschillen aangetroffen tussen onderzoekers in hun opvatting over hun rol als onderzoeker in deze. Alle geïnterviewden vinden doorwerking van hun onderzoek belangrijk en willen daar een rol in spelen. Redenen om dat minder of niet te doen, zijn vooral van praktische aard (tijd, geld, opdracht). Geïnterviewden geven aan dat het ideale onderzoek

35

een onderzoek is waarbij er tijd en geld is voor longitudinaal kijken, er experimenten kunnen worden uitgevoerd en dat impact heeft of spraakmakend is.

Designs en methoden In publicaties over politiegerelateerd onderzoek wordt in Nederland in de onderzochte jaren vooral gebruik gemaakt van cross-sectie designs en case studies. Operationalisatie is daarbij vooral kwalitatief. Er is weinig sprake van experimenten en er wordt weinig gebruik gemaakt van meta-analyse. Data wordt vooral verzameld via interviews, analyse van documenten en vanuit bestaande registraties van de politie. Vier clusters van typen publicaties die naar voren komen zijn: 1. Kwalitatieve enkelvoudige case studies; 2. Kwalitatieve vergelijkende case studies; 3. Kwalitatieve cross sectie designs; 4. Statistische analyse van bestaande data. Daarnaast zijn er acht publicaties (9%), die sterk afwijken van de rest omdat erin sprake is van:  natuurlijke experimenten;  en/of een participatie van onderzoekssubjecten in het onderzoek;  of een combinatie van een groot aantal dataverzamelingsmethoden en onderzoeksdesigns. In de interviewdata hebben we geen verschillen aangetroffen in motieven om voor een bepaald onderzoeksdesign en bepaalde methoden te kiezen. Die keuzes hangen vooral af van de vraagstelling en de beschikbaarheid van data, geld en tijd.

Profiel Politieacademie Er zijn verschillen gevonden tussen publicaties waaraan de lectoraten van de Politieacademie hebben meegewerkt en de andere publicaties. In publicaties van de Politieacademie is sprake van:  meer onderzoek naar politievak en minder vaak naar beleid of fenomenen.  vaker de politie zelf als opdrachtgever en minder vaak de overheid of Politie & Wetenschap;  het vaker inschakelen van andere onderzoekers; relatief vaker dan in andere publicaties zijn dat onderzoeksbureaus en de politie zelf;  meer enkelvoudige case studies en minder cross-sectie designs of vergelijkende case studies;  meer natuurlijke experimenten;  meer verschillende dataverzamelingsmethoden;  meer onderzoek op basis van groepsgesprekken, observatie, vragenlijsten en analyse van documenten. Daarmee lijkt het onderzoek in deze publicaties meer te werken aan doorwerking tijdens het onderzoek dan het onderzoek in andere publicaties. 36

Aanbevelingen Op basis van bovenstaande conclusies komen wij tot de volgende twee aanbevelingen voor opdrachtgevers van onderzoek en onderzoekers:  Maak vaker gebruik van de verschillende manieren die er zijn om de samenwerking tussen onderzoek en praktijk te intensiveren: de praktijk de rol geven van opdrachtgever, de praktijk een plek geven in een stuurgroep of begeleidingsgroep, de praktijk tussentijds consulteren en de praktijk inschakelen als onderzoeker.  Houdt bij de programmering van onderzoek rekening met de opbouw van de kennis op een bepaald terrein langs de lijn: beschrijven, evalueren, verklaren naar ontwerpen. Initieer vaker, daar waar dat kan, een ontwerpend onderzoek.

37

4.

Literatuur

Alise, M. A., & Teddlie, C. (2010). A Continuation of the Paradigm Wars? Prevalence Rates of Methodological Approaches Across the Social/Behavioral Sciences. Journal of Mixed Methods Research, 4(2), 103–126. http://doi.org/10.1177/1558689809360805 Bruinsma, G. J. N., & Van der Vijver, C. D. (1998). Politie en sociale wetenschap. Justitiele Verkenningen, 24(8), 8–17. Bryman, A. (2012). Social research methods. Oxford: Oxford University Press. Caplan, N. (1975). The Use of Social Science Information by Federal Executives. In G. M. Lyons (Ed.), Social Science and Public Policies (pp. 47–67). Hannover: Dartmouth College, Public Affairs Center. Cohen, W. M., & Levinthal, D. A. (1990). Absorptive Capacity: A New Perspective on Learning and Innovation. Administrative Science Quarterly, 35(1), 128– 152. http://doi.org/10.2307/2393553 De Groot, A. D. (1961). Methodologie; Grondslagen van onderzoek en denken in de gedragswetenschappen. Den Haag: Uitgeverij Mouton. Huberman, M. (1994). Research utilization: The state of the art. Knowledge & Policy, 7(4), 13. Retrieved from http://www.dbproxy.hu.nl/login?url=http://search.ebscohost.com/login.aspx ?direct=true&db=aph&AN=9503091143&lang=nl&site=eds-live Hurmerinta-Peltomäki, L., & Nummela, N. (2006). Mixed methods in international business research: A value-added perspective. Management International Review, 46(4), 439–459. Retrieved from http://www.dbproxy.hu.nl/login?url=http://search.ebscohost.com/login.aspx ?direct=true&db=bsh&AN=22564187&lang=nl&site=eds-live Janssen, J. (2011). Politie en wetenschap *. Tijdschrift Voor Criminologie, 2011(53), 163–172. Janssen, J., & Venderbosch, A. (2014). Politie en wetenschap. Tijdschrift Voor Criminologie, 2014(56), 81–90. Kemmis, S., & McTaggart, R. (2000). Participatory action research. In N. K. Denzin & Y. S. Lincoln (Eds.), Handbook of qualitative research (Vol. 2nd, pp. 567–605). London: Sage Publications. Kwanten, C. (2007). Geen betere praktijk dan een goede theorie. In D. Hilarides & P. Tops (Eds.), Passie voor politie (pp. 213–230). Apeldoorn: Politieacademie. Landry, R., Lamari, M., & Amara, N. (2003). The Extent and Determinants of the Utilization of University Research in Government Agencies. Public Administration Review, 63(2), 192–205. http://doi.org/10.1111/15406210.00279 Lavassani, K. M., Movahedi, B., & Kumar, V. (2009). Developments in Analysis of Multiple Response Survey Data in Categorical Data Analysis : the Case of Enterprise System Implementation in Large North American Firms. Journal Of Applied Quantitative Methods, 4(1), 45–53. Lee, R. D., & Staffeldt, R. J. (1977). Executive and Legislative Use of Policy Analysis in the State Budgetary Process: Survey Results on JSTOR. Policy Analysis, 3(3), 195–405. Retrieved from http://www.jstor.org/stable/42796286?seq=1#page_scan_tab_contents Muller, E. R. (1998). De vervlechting van politie en wetenschap. Justitiele Verkenningen, 24(8), 35–41. Nelen, J. M. (1998). Kind aan huis bij de politie. Justitiele Verkenningen, 24(8), 18–26. 38

Noije, L. Van, & Wittebrood, K. (2008). Sociale veiligheid ontsleuteld. Den Haag: Sociaal en Cultureel Planbureau. Retrieved from http://scholar.google.com/scholar?hl=en&btnG=Search&q=intitle:Sociale+v eiligheid+ontsleuteld#1 Oost, H. (1999). De kwaliteit van probleemstellingen in dissertaties (The quality of research problems in dissertations). Doctoral dissertation, University of Utrecht, Utrecht: IVLOS Reeks. Oost, H., & Markenhof, A. (2002). Een onderzoek voorbereiden. Baarn: HBUitgevers. Ponsaers, P. (2010). Politieonderzoek, of caleidoscoop zonder lichtinval. In K. Van der Vijver & P. Deelman (Eds.), De verantwoordelijkheid voor veiligheid. Dordrecht: Stichting Maatschappij, Veiligheid en Politie. Ross, A. A., & Onwuegbuzie, A. J. (2010). Mixed methods research design: A comparison of prevalence in JRME and AERJ. International Journal of Multiple Research Approaches, 4(3). Sprenger, C. C., Tops, P., & Kop, N. (2013). Praktijkonderzoek in de Politie. In P. Tops, C. C. Sprenger, & N. Kop (Eds.), Kennis in de frontlijn. Apeldoorn: Politieacademie. Straver, M. A. (1998). Politie en wetenschap. Justitiele Verkenningen, 24(8), 42– 49. Struiksma, N., & Winter, H. B. (2008). Wat niet weet, wat niet leert. Groningen: Pro Facto BV. Susman, G. I., & Evered, R. D. (1978). An assessment of the scientific merits of action research. Administrative Science Quarterly, 23(4), 582–603. Swanborn, P. G. (1984). Methoden van sociaal-wetenschappelijk onderzoek. Amsterdam: Boom Meppel. Teddlie, C., & Tashakkori, A. (2010). Overview of contemporary issues in mixed methods research. In A. Tashakkori & C. Teddlie (Eds.), Sage Handbooek of Mixed Methods in Social & Behavioral Research (pp. 1–41). Thousand Oaks: Sage Publications Inc. Tops, P., Kop, N., & Sprenger, C. C. (2013). Balans en besluit. In Kennis in de frontlijn. Apeldoorn: Politieacademie. Van der Vijver, C. D. (2012). De professionaliteit van de politie. Apeldoorn: Politie & Wetenschap. Van Reenen, P. (2012). “Tot op heden is dergelijk onderzoek niet verricht.” Apeldoorn: Politie & Wetenschap. Verhoeven, N. (2010). Wat is onderzoek. Den Haag: Boom Lemma. Vlek, F. (2012). Verbinding verbroken? (Politie)wetenschappelijke kennis en (de scholing in) politiekunde. Cahiers Politiestudies, (22), 171–198. Webber, D. J. (1984). POLITICAL CONDITIONS MOTIVATING LEGISLATORS’ USE OF POLICY INFORMATION. Review of Policy Research, 4(1), 110–118. http://doi.org/10.1111/j.1541-1338.1984.tb00165.x Weiss, C. H. (1979). The many meanings of research utilization. Public Administration Review, 426–431.

39

Bijlage 1 Werkwijze samenstellen bibliografie Bij het samenstellen van de bibliografie aan publicaties uit 2013 en 2014 die voldoen aan de kenmerken van de populatie, moest rekening worden gehouden met de volgende overwegingen: 1. Er bestaan geen literatuurdatabanken waarin ‘alles’ is te vinden. Tegelijkertijd is het onmogelijk om alle relevante databanken te doorzoeken. Je zou eindeloos kunnen blijven zoeken; 2. Het onderwerp ‘politie’ is erg breed, en daardoor lastig om volledig te vangen in te gebruiken zoektermen; 3. Veel publicaties worden in eigen beheer uitgegeven, en zijn daardoor gemakkelijk te missen in de meer officiële bronnen; Daarom is er een procedure met te checken bronnen afgesproken. Er werd in de volgende bronnen gezocht: 1. Website van Politie en Wetenschap: alle publicatieseries; 2. Repository van de lectoraten van de Politieacademie (website Politieacademie); 3. Zelfevaluaties van de lectoraten Politieacademie; 4. Websites van geselecteerde onderzoeksinstituten, namelijk de websites van:  Andersson Elffers Felix (AEF);  Bureau Beke;  Crisislab;  WODC;  Lokale Zaken (Rdam);  Twynstra Gudde;  DSP groep;  Bureau Driessen;  Public Innovation;  Radboud universiteit (onderzoeksgroep van Jan Terpstra);  Intraval;  Vrije Universiteit (onderzoeksgroep) Boutellie. 5. Literatuurdatabank Picarta; 6. Catalogus Mediatheek Politieacademie; 7. Ebsco-databanken. In de databanken Picarta, Catalogus Mediatheek Politieacademie en in Ebsco-databanken is gezocht op de persoonsnamen van de onderzoekers van de genoemde instituten. Wat betreft catalogus Mediatheek PA is ook gezocht op een lijst medewerkers lectoraten.

40

Bijlage 2 Scoringsprotocol publicaties Voor het coderen van methodologische kenmerken van praktijkgericht onderzoek

Stap A – verhelderen van de onderzoeksvraag en variabelen Probeer voor jezelf te verhelderen wat de onderzoeksvraag, de onafhankelijkeen de afhankelijke variabele is. Indien het behulpzaam is, zou je die voor jezelf op kunnen schrijven.

Stap B – scoring NB: De nummering is overeenkomstig met de nummering in het overzicht van variabelen 00: is de publicatie codeerbaar:  ja  nee, want er staat te weinig methodologische informatie in (vraag 11 is niet te beantwoorden)  nee, want hij valt qua onderwerp buiten de te onderzoeken populatie “onderzoek ten behoeve van de politie”. Dat is als volgt gedefinieerd: Onder onderzoek ten behoeve van de politie wordt verstaan het onderzoek dat 1) uitgevoerd wordt in opdracht van de stichting Politie & Wetenschappen 2) het onderzoek van de lectoraten van de Politieacademie (voor zover niet al gevat onder 1) en 3) ander relevant (strekking en omvang) onderzoek dat in opdracht van het ministerie van V&J of de Nationale politie is uitgevoerd (voor zover niet onder 2). Het betreft alleen het onderzoek dat betrekking heeft op het functioneren van de politie.  nee, want de publicatie betreft een bundel van meerdere verschillende onderzoeken

0. Onderzoeksgroep of – bureau Lectoraat, onderzoeksgroep of bureau dat het onderzoek heeft uitgevoerd als hoofdaannemer. “Met medewerking van” opnemen bij vraag 5 “medeonderzoeker”.

1. Soort publicatie (deze hoeft niet gecodeerd te worden)   

Rapport Artikel of (edited) boek met redactie Peer-reviewed tijdschrift.

2. Jaar Jaar van publicatie

41

3. Domein Codering van meerdere categorieën is bij deze variabele mogelijk. Onderwerp waar de conclusies van het onderzoek over gaan:  Handhaving: het handhaven van de openbare orde  Opsporing: het opsporen van strafbare feiten  Beide  Overig, namelijk

4. Onderwerp Codering van meerdere categorieën is bij deze variabele mogelijk. Onderwerp waar de hoofdvraag van het onderzoek over gaat. Als er geen vraag is: – Kijk naar de gegeven antwoorden in de samenvatting of conclusies – Wat is de afhankelijke variabele? – Wat zegt de titel? Antwoordmogelijkheden:  Politievak (alles dat met de uitoefening van het beroep te maken heeft), inclusief tips, trucs, instrumenten of aanpakken voor teams of voor de individuele politiemedewerker.  Politie- en veiligheidsbeleid: alle plannen, adviezen en regelgeving voor de politieleiding en het openbaar bestuur die in principe gelden voor de gehele politie of het veiligheidsbeleid.  Veiligheidsfenomeen (zoals vormen van criminaliteit)  Overig Ook onderzoek naar meningen over bovenstaande onderwerpen worden onder bovenstaande onderwerpen gecodeerd.

5. Rollen  Stap 1: Kijk in het voorwoord, in de inleiding van de publicatie, óf in het dankwoord of het werkveld bij het onderzoek benoemd wordt. Als er niets in het voorwoord, de inleiding of het dankwoord benoemd staat, kijk dan in de conclusie en / of de samenvatting. Kijk als daar niets staat in de methoden-sectie.



Stap 2: Kijk welke rollen staan benoemd. Alleen als expliciet genoemd kan je coderen met een van de codes. Wanneer niet expliciet vink je niet van toepassing aan.  Rollen zijn: o Niet van toepassing (dit betekent ook “geen rol”) o Opdrachtgever: een organisatie in het werkveld heeft ook daadwerkelijk opdracht gegeven voor het onderzoek. 42

o o o

o

Financier: betaalt het onderzoek. Stuurgroep/begeleidingsgroep: begeleid het onderzoek Consultatie: er wordt eerder verzamelde informatie voorgelegd aan een groep betrokkenen of experts met als doel deze informatie te verifiëren of te veralgemeniseren. Er is in de methodenverantwoording sprake van “voorleggen aan”, “checken”, “toetsen”, “veralgemeniseren”. Als je nog meer synoniemen aantreft, zet die dan bij het veld opmerkingen, onderaan de vragenlijst. Mede-onderzoeker of uitvoerder: verricht onderzoekstaken, in aanvulling op de onderzoekers die genoemd zijn bij vraag 0 en niet werkzaam bij het bureau uit vraag 0. Onderzoekstaken zijn taken waarin onderzoeksgegevens worden verzameld of geanalyseerd om de hoofdvraag te kunnen beantwoorden.

Stap 3: kijk wie welke rol vervult: o Politieleiding (tussen minister en teamchefs) o Teamchefs o Politiemedewerkers o Politieacademie o Politie & Wetenschap o Studenten Politieacademie o Docenten Politieacademie o Onderzoeksinstituten en -bureaus o Lectoraat Politieacademie o Meerdere lectoraten Politieacademie o Universiteit(en) o Hogeschool of hogescholen o Ministerie(s) (inclusief WODC) o Vakbond(en) en SAOP o Inspectie o Openbaar ministerie o Openbaar bestuur o Internationale partner o Overig….  Stap 4: bij onduidelijkheid wat voor partij, raadpleeg internet om dit te achterhalen.

6. Verwijderd 7. Verwijderd 8. Onderzoeksobject (waar je uitspraak over wilt doen)   

Stap 1: Opzoeken van de hoofdonderzoeksvraag Stap 2: Over welk object gaat het antwoord op de vraag? Stap 3: Als er geen vraag is of de vraagstelling geeft het object niet helder weer: – Kijk naar de gegeven antwoorden in de samenvatting of conclusies 43

– Wat is de afhankelijke variabele? – Wat zegt de titel? – Kijk naar de deelvragen  Stap 4: codeer o Fysiek (bv. gebouwen, materialen, computersystemen, technisch en forensisch onderzoek, ecosystemen; gedragsstudies bij dieren vallen hier ook onder) o Sociaal (bv. gedrag bij individuen, groepen, interactie tussen sociale en fysieke systemen zoals mens-machine interactie of gebruik van een gebouw) o Medisch (bv. virussen, orgaanfuncties; een medisch onderzoeksobject kan belangrijke sociale componenten hebben, bv.: beweging bij diabetespatiënten, zorgmijding bij psychiatrische stoornis. Als er in een dergelijke situatie sprake is van een medische diagnosis door een zorgverlenende professional, classificeren als medisch i.p.v. sociaal). o Kunstuitingen, formules, algoritmen en teksten met als doel om meer te weten te komen over de eigenschappen over dat door de mens ontwikkeld artefact of concept. Alleen bij meerdere hoofdvragen is codering meerdere opties aan de orde.

9. Onderzoeksfunctie hoofdvraag (soort antwoord dat de onderzoekers zouden willen geven, dus wat onderzoekers beogen)  

Stap 1: Opzoeken van de hoofdonderzoeksvraag Stap 2: Als er geen vraag is of de vraagstelling geeft de functie niet helder weer: – Kijk naar de gegeven antwoorden in de samenvatting of conclusies  Stap 3: scoor de onderzoeksfunctie van de hoofdvraag. Als in de conclusie of abstract geen onderscheid wordt gemaakt wordt tussen hoofd- en deelvragen, nemen we alle vragen als zijnde een hoofdvraag: o Vraag niet expliciet vermeld. o beschrijven – als een onderzoeker iets in kaart wil brengen. o vergelijken – als een onderzoeker de overeenkomsten en verschillen tussen twee of meer dingen op een rijtje wil zetten. o definiëren – als een onderzoeker de verhouding van een onderzoekseenheid tot een klasse wil bepalen. o evalueren – als een onderzoeker één of meer onderzoekseenheden wil beoordelen in het licht van een norm. o verklaren / voorspellen – als een onderzoeker iets op zo’n manier in een verband wil plaatsen dat we snappen waardoor of waarom het er is. o ontwerpen – als een onderzoeker zelf een maatregel of ingreep wil ontwikkelen, die ertoe moet leiden dat een probleem wordt opgelost, of een bestaande situatie wordt verbeterd. Als er een al bestaande ingreep wordt onderzocht is er meestal sprake van evalueren. Alleen bij meerdere hoofdvragen is codering meerdere opties aan de orde.

10. Variabelen  

Stap 1: Bepaal de hoofdvraag Stap 2: Als er geen vraag is of de vraagstelling geeft het object niet helder weer: 44





– Kijk naar de gegeven antwoorden in de samenvatting of conclusies – Kijk naar de methodenverantwoording Stap 3: Bepaal welke variabelen hierin genoemd worden. Een variabele is een aspect waarop de onderzoekseenheid/eenheden verschillende posities kunnen innemen. Stap 4: Ga na in hoeverre deze variabelen zijn geoperationaliseerd. Codeer: o Er worden geen variabelen genoemd in de hoofdvraag. of de variabele wordt wel benoemd maar wordt niet geoperationaliseerd in het onderzoek (gedefinieerd wat gemeten, geobserveerd of geregistreerd wordt). o De variabele wordt benoemd en wordt kwalitatief (niet uitgedrukt in een getal) geoperationaliseerd in het onderzoek (gedefinieerd wat gemeten, geobserveerd of geregistreerd wordt). o De variabele wordt benoemd en wordt kwantitatief (uitgedrukt in een getal) geoperationaliseerd in het onderzoek (gedefinieerd wat gemeten, geobserveerd of geregistreerd wordt).

Het gaat alleen om de variabelen in de hoofdvraag (soms zijn er meerdere hoofdvragen). Codering van meerdere opties is mogelijk.

11. Dataverzamelingsmethode  

Stap 1: ga naar de methodensectie en bepaal op welke wijze de data verzameld is. Beslis met welke definitie(s) deze methoden het meest overeen komt/komen (er zijn meerdere antwoorden mogelijk Als er geen methodensectie is, ga dan naar de onderzoeksvraag van het onderzoek en kijk welke dataverzamelingsmethoden daarvoor gebruikt worden. Als de methodensectie niet voorzien is van het signaalwoord ‘methoden’, ga dan op zoek naar fragmenten in het artikel waarin de methoden worden omschreven. o Literatuurstudie: het systematisch in kaart brengen van de (wetenschappelijke) literatuur over een bepaald onderwerp. Markeer alleen als literatuurstudie als belangrijke dataverzamelingsmethode wordt gebruikt, en niet voor een theoretisch kader. Niet te verwarren met meta-analyse (zie beneden) o Technische meting met behulp van instrumentarium: het meten met behulp van technisch instrumentarium zoals thermometers, stopwatches, medische apparaten etc. o Overige metingen met gevalideerd instrumentarium: het meten met behulp van psychologische tests, CITO-toetsen, gestructureerde observatieprotocollen etc. o Interviews (telefoon, persoonlijk) (gestructureerd, ongestructureerd of semigestructureerd) o Zelfstandig in te vullen vragenlijst (web, schriftelijk) o Inhoudsanalyse: het objectief, systematisch en kwantitatief beschrijven van de manifeste inhoud van communicatie (Berelson, 1952, p. 18, geciteerd in Bryman, 2012). o Meta-analyse: het samenvatten van de resultaten van een groot aantal kwantitatieve onderzoeken.

45

o

o

o o o

o

Bestaande data: het analyseren van data die niet door de onderzoeker verzameld is, bijvoorbeeld uit politiesystemen zoals BVH. Hieronder valt ook analyse van webdata zoals twitter of data over telefoonverkeer e.d.. Participerende observatie: onderzoek door tot op zekere hoogte deel te nemen in het sociale leven van het onderzoeksonderwerp. Bijvoorbeeld meelopen met politiemedewerkers. Observatie: Zo onopvallend mogelijk observeren zonder deel te nemen in het sociale leven van het onderzoeksonderwerp. Groepsgesprek: elke gespreksmethode met meerdere deelnemers tegelijk. Documentanalyse: elke analyse van bestaande documenten, dossiers of andere media (persoonlijke documenten, beleidsdocumenten, foto’s en film, massamedia, internetbronnen, enz.) Anders, namelijk

12. Typering onderzoeksdesign door onderzoekers 





Stap 1: Lees de abstract. Een abstract bestaat doorgaans uit de volgende onderdelen a. Een samenvatting van de context en de theorie/literatuur b. Een beschrijving van de activiteiten van de onderzoeker(s) c. De resultaten Is er geen abstract kijk dan naar het laatste alinea’s van de inleiding of de eerste alinea’s van de methodenverantwoording. Stap 2: Ga op zoek naar één of meerdere zinnen waarin beschreven wordt wat de activiteiten zijn die de onderzoekers ondernomen hebben. Neem de zelfstandige naamwoordgroepen over die een type onderzoek zijn of het onderzoek typeren. Als dergelijke naamwoordgroepen niet bestaan, neem dan de zin(nen) integraal over. Let op: een rapport kan uit meerdere deelonderzoeken bestaan die apart worden verantwoord.

13. Interventie Waarbij: - In vitro (bijv. in een laboratorium, natuurkundige interventie, inclusief oefensituaties in praktijkruimten) - In vivo (bij een individu, groep individuen, organisatie, de buitenwereld) Stap 1: Lees het doel van het onderzoek in de introductie en ga na a. of er een interventie plaatsvindt (het planmatig modificeren van de werkelijkheid) b. of er wordt beschreven welke reikwijdte de opbrengst van de interventie heeft c. In welke setting de interventie plaatsvindt GEEN INFO op de vragen of 1 van de 3 vragen  stap 2 Stap 2: Lees de methodologie en ga na d. of er een interventie plaatsvindt (het planmatig modificeren van de werkelijkheid) 46

e. of er wordt beschreven wat de reikwijdte van de opbrengst van de interventie is. f. In welke setting de interventie plaatsvindt 

GEEN INFO op de vragen of 1 van de 3 vragen  stap 3 Stap 3: Lees de discussie of de aanbevelingen of de implicaties en ga na g. Wat de reikwijdte van de opbrengst van de interventie is

Codering van meerdere opties is niet mogelijk.

14. Rol onderzoeker bij een interventie Een interventie is het planmatig modificeren van de werkelijkheid Bij een experiment betreft dat het manipuleren van een onafhankelijke variabele. Bij een ontwerpgericht onderzoek kan dat het invoeren van een nieuwe werkwijze zijn. Bij deze vraag gaat her erom welke rol de onderzoeker of medeonderzoeker heeft bij het tot stand komen van de vorm van de interventie (het ontwerp hoe die er uit komt te zien) en bij het implementeren van de interventie c.q. het uitvoeren van de manipulatie. Antwoordcategoriën: o Geen / niet gerapporteerd o Ontwerpen: de onderzoeker is (mede) bedenker en vormgever van de interventie o Uitvoeren: de onderzoeker is (mede) uitvoerder van de interventie.

15. Participatie onderzoekssubjecten   

Stap 1: Lees hoe het onderzoek is opgezet en wordt (is) uitgevoerd (kijk in de methodologie en verantwoording van het onderzoek) Stap 2: Ga na wie de onderzoekssubjecten zijn. Over welke groep worden volgens de hoofdvraag of conclusies uitspraken gedaan? Stap 3 en of deze onderzoekssubjecten participeren in het onderzoek. Onder participeren verstaan we: uitvoeren van onderzoeksactiviteiten zoals de dataverzameling en/of analyse, dan wel: het (mede) ontwerpen van een interventie.

Antwoordcategorieën: o Geen of niet gerapporteerd o Subjecten onderzoeken mee (Verricht onderzoekstaken waaronder het verzamelen van data om de hoofdvraag te kunnen beantwoorden) o Subjecten ontwerpen mee (zijn (mede) bedenker en vormgever van de interventie) o Niet van toepassing (Er zijn geen subjecten. Dit kan bijv. voorkomen bij een fysieke meting, zoals lichtintensiteit) Codering van meerdere categorieën is mogelijk.

47

16. Participatie onderzoeker in veld: Er moet beschreven zijn dat de onderzoeker naast zijn onderzoeksrol ook werkzaam is in zijn onderzoeksdoelgroep/onderzoeksetting, bijvoorbeeld door politieactiviteiten uit te voeren. Dit gaat verder dan bv meelopen met een politiemedewerker. Antwoordcategorieën: o Nee / niet gerapporteerd o Ja

17. Generalisatiepretentie  

Stap 1: Zoek de conclusies. Stap 2: Bepaal of er sprake is van één van de volgende generalisaties: a. Een expliciete formulering ‘Het is waarschijnlijk dat deze resultaten niet alleen binnen ons onderzoek gelden, maar ook meer algemeen.’ b. Er wordt over groepen of onderzochte begrippen gesproken in algemene zin, zonder bepaalde voornaamwoorden (de, het) of verwijzingen naar de onderzoekseenheden ‘The results of the experiment indicate that normative social influence can be successfully applied to persuasive technology’ ‘Organizations that start implementing BPMS will be confronted with the fact…’ c. Er wordt over verbanden of verschillen gesproken in algemene zin, zonder bepaalde voornaamwoorden (de, het) of verwijzingen naar de onderzoekseenheden ‘Peer relationship has influence on the effectiveness of persuasion’ ‘These CSF seem to be more important for professionals in Northern European countries compared to those in the United States’  Stap 3: Bepaal of er statistische technieken er worden toegepast op een steekproef van de relevante onderzoekseenheden (resultatensectie). Er is sprake van statistische generalisatie als: d. Er een statistische toets wordt uitgevoerd. e. Er een andere soort van inferentiële analyse wordt uitgevoerd (bv. correlatie, regressie, cluster- of factoranalyse), tenzij duidelijk is dat er geen generalisatiepretentie is naar andere elementen uit de populatie. Antwoordcategorieën: o Geen generalisatie: Als er geen generalisatie wordt gemaakt:. Deze optie ook nemen wanneer er expliciet wordt aangegeven dat er in het onderzoek niet wordt gegeneraliseerd. o Inhoudelijke generalisatie: Als er alleen een inhoudelijke generalisatie wordt gemaakt: o Inhoudelijke en statistische generalisatie: Als er daarnaast ook een statistische generalisatie wordt gemaakt.

48

18. Variabele research design In deze slotvariabele proberen we het onderzoeksdesign van het onderzoek waar de publicatie over gaat de definiëren aan de hand van een indeling van Bryman. Dit heeft enerzijds als doel te zorgen dat er geen onderzoeksdesigns ‘tussendoor slippen’. We hebben namelijk ontdekt dat bovenstaande variabelen niet in staat zijn alle designs te identificeren (waaronder de case study). Anderzijds stelt dit ons in staat te onderzoeken in hoeverre praktijkgericht onderzoek aan de HU is te vatten met een standaard indeling van designs afkomstig uit sociaal wetenschappelijk onderzoeksliteratuur. “A research design provides framework for the collection and analysis of data. A choice of research design reflects decisions about the priority given to a range of dimensions of the research process. These include the importance attached to:  Expressing causal connections between variables  Generalizing to larger groups of individuals then those actually forming part of the investigation  Understanding behavior and the meaning of behavior in its specific context Having a temporal (that is, over time) appreciation of social phenomena and their interconnections” (Bryman, 2012, p. 46) Kijk in de methodensectie of de plek waar de onderzoekmethoden worden beschreven en typeer het research design: 1. Niet van toepassing (omdat het onderzoeksobject Kunstuitingen, formules, algoritmen of teksten is) of onbepaald 2. Experimenteel design: design waarin a. onafhankelijke variabelen worden gemanipuleerd b. ter beantwoording van een verklarende of evaluerende vraag c. en er sprake is van twee of meer groepen die verschillen in manipulatie van de onafhankelijke variabele (maar bij een natuurlijk experiment is er geen controlegroep, zie var 19) 3. Cross-sectie design: design waarin: a. Er sprake is van dataverzameling bij meer dan 1 casus of respondent (kwalitatief of kwantitatief) b. Op 1 punt in tijd c. Over twee of meer variabelen d. Om te kijken naar patronen 4. Longitudinaal design: design waarin: a. Zelfde als 2. Maar dan met dataverzameling op meerdere punten in de tijd. Let op: ook hier kan de dataverzameling kan kwantitatief maar ook kwalitatief zijn. Denk aan een ethnografisch onderzoeker die mensen meerdere keren interviewt. 5. Case study design: design waarin: 49

a. Er een intensieve studie gemaakt wordt b. Van 1 casus c. Waarbij de casus ook het onderzoekobject is (unity of analysis) (1 organisatie, 1 gemeenschap, 1 school, 1 familie, 1 persoon, 1 gebeurtenis) 6. Vergelijkend design (comparative design). Design waarin: a. Er sprake is van twee of meer case studies b. Die met elkaar worden vergeleken c. Met min of meer dezelfde onderzoeksmethoden

19. Soort experiment Indien Exprimenteel design bij 18. Check welke soort er sprake van is: a. Randomized control trial: subjecten worden random toegewezen aan de groepen en de manipulatie vindt in vivo plaats b. Laboratorium experiment: subjecten worden random toegewezen aan de groepen en de manipulatie vindt in vitro plaats c. Quasi-experiment: er vindt geen random toewijzing van subjecten plaats d. Natuurlijk experiment: wel een manipulatie maar geen controlegroep

50

Bijlage 3 Topiclijst interviews Introductie  Het onderzoek toelichten: onderzoek in opdracht van de Politieacademie naar de soorten onderzoek die in politieland worden uitgevoerd. De focus ligt daarbij op de methodologische diversiteit van het onderzoek en de beweegredenen van onderzoekers om voor bepaalde methoden te kiezen.  Aangeven over welk onderzoek je gaat interviewen.  Aangeven dat je streng bent in de interview lijn.  Aangeven dat er geen woordelijke verslag komt maar dat een samenvatting aan de respondent voor controle wordt teruggelegd.  Aangeven dat de verslagen vertrouwelijk zijn en dat er in de rapportage niet herkenbaar zal worden verwezen naar de geïnterviewde, tenzij daarvoor uitdrukkelijke toestemming is gegeven. Centrale vraag voor het interview Welke beweegredenen bepaalden de methodologische keuzes in het onderzoek van de respondent? Semigestructureerd topiclijst: TOPICS Open start vragen

VOORBEELDVRAGEN EN AANDACHTSPUNTEN  Hoe lang doe je al onderzoek?  Hoe lang doe je al politiegerelateerd onderzoek?  Wat vind jij belangrijk bij het doen van onderzoek?

Geef aan over welke publicatie je nu concreet vragen wilt gaan stellen.  Hoe is het onderzoek tot stand gekomen? Wie beTot stand komen paalde het onderwerp en de onderzoeksopzet? onderzoek  Met welke soort partijen werkte je samen? Betrokken partijen  Om welke redenen heb je daarvoor gekozen?  Wat was de rol van het werkveld… Rol werkveld o In de totstandkoming van het onderzoek? Denk aan: initiatiefnemer, opdrachtgever, beoordelaar van de bruikbaarheid, mede-onderzoeker, anders. o Bij de uitvoering van het onderzoek (onderzoekt mee, ontwerpen mee, voeren interventie mee uit) o Bij de implementatie van de bevindingen  Om welke redenen heb je daarvoor gekozen?  Hoe was de samenwerking met de opdrachtgever? Rol van de op Welke rol heeft de opdrachtgever gespeeld in het ondrachtgever derzoek? Heb je “last” gehad van de opdrachtgever? Welke invloed had de opdrachtgever op de onderzoeksopzet?  Maakt het in het algemeen uit wie de opdrachtgever is van het onderzoek voor de vormgeving van je onderzoek? Zo ja, op welke manier?

51

Rol onderzoeker

Rol onderzochten (onderzoekssubjecten, respondenten, participanten)

Onderzoeksfunctie



 

   

Onderzoeksdesign

  

Dataverzamelingsmethoden





Generalisatie

    

Plaats van het onderzoek in het grote geheel



Wat was jouw rol… o In de totstandkoming van het onderzoek? Denk aan: initiatiefnemer, opdrachtgever, beoordelaar van de bruikbaarheid, mede-onderzoeker, anders. o Bij de uitvoering van het onderzoek (onderzoekt mee, ontwerpen mee, voeren interventie mee uit) o Bij de implementatie van de bevindingen Om welke redenen heb je hiervoor gekozen? Wat was de rol van degenen die jij onderzocht o In de totstandkoming van het onderzoek? Denk aan: initiatiefnemer, opdrachtgever, beoordelaar van de bruikbaarheid, mede-onderzoeker, anders. o Bij de uitvoering van het onderzoek?(onderzoekt mee, ontwerpen mee, voeren interventie mee uit) o Bij de implementatie van de bevindingen? Om welke redenen heb je hiervoor gekozen? Wat voor type antwoord(en) beoogde je te geven met je onderzoek? DENK AAN beschrijven, evalueren, verklaren, definiëren, ontwerpen, vergelijken. Wat maakt dat jij deze soort antwoorden wilde geven? Waarom heb je niet gekozen voor een onderzoek dat is gericht op het ontwikkelen van concrete oplossingen (ontwerpende onderzoeksfunctie)? Hoe typeer je het onderzoeksdesign dat je hebt gebruikt? DENK AAN: is het experimenteel; cross sectie, longitudinaal, case study, vergelijkend design Wat waren je overwegingen om te kiezen voor deze methoden? / Wat bepaalde deze keuze? Waarom is niet gekozen voor een longitudinaal onderzoek? Welke dataverzamelingsmethoden gebruikte je in je onderzoek? DENK AAN: o Kwalitatief: participerende observatie, observatie, groepsinterview, documentanalyse, open/semi gestructureerd interview o Kwantitatief: technische meting, overige meting, gestructureerd interview, zelfst. In te vullen vragenlijst, inhoudsanalyse, meta analyse, bestaande data o Literatuurstudie of anders. Wat waren je overwegingen om te kiezen voor deze methoden? Welke methoden had je in het ideale geval gekozen? Waarom is dat niet gebeurd? Wat was de gewenste mate van generaliseerbaarheid van de resultaten? Wat waren je overwegingen om te kiezen voor deze mate van generaliseerbaarheid? In welke mate was het mogelijk om op basis van de verzamelde gegevens te generaliseren? Was dit een op zichzelf staande publicatie of onderdeel van een groter onderzoek? Wat was de plaats daarin? Wat gebeurde er voor of erna? Komen in de andere publicaties andere onderzoeksmethoden aan bod?

52

Doorwerking

Onderzoek dat niet gedaan of gepubliceerd wordt

Het ideale onderzoek



Wat wilde jij bereiken met de resultaten van je onderzoek?  Welke eisen stelde de opdrachtgever aan de doorwerking van het onderzoek?  Wat heb je gedaan aan de verspreiding van je onderzoek?  Wat heb je gedaan om toepassing van de resultaten te bevorderen?  Speelt de mogelijke doorwerking een rol bij het ontwerpen van het onderzoek? Zo ja, op welke manier?  Houd je zicht op de doorwerking?  Zo ja, hoe schat je de doorwerking van het onderzoek in? kan je een voorbeeld geven?  Hoe weerbarstig was het om de praktijk te veranderen? Waar ben je tegen aan gelopen? Dit betreft vragen in het algemeen, niet specifiek gericht op het onderzoek.  Heb je wel eens mee gemaakt dat onderzoeksvragen van een opdrachtgever niet gesteld mogen worden? Zo ja, wat waren dan de overwegingen? Hoe vaak kwam dat voor?  Heb je wel eens mee gemaakt dat onderzoeksresultaten van een opdrachtgever niet gepubliceerd mogen worden? Zo ja, wat waren dan de overwegingen? Hoe vaak kwam dat voor?  Hoe zou het ideale onderzoek op jouw werkterrein eruit zien?

53