Selectie bij praktijkonderzoek

Selectie bij praktijkonderzoek Harm ’t Hart en Hans Landsheer

4

O P E N I N G S C A S U S

Selectie bij onderzoek naar een sociaal redzaamheidsprogramma voor zwakbegaafde jongeren Diverse residentiële orthopedagogische centra hebben de wens geuit om sociale vaardigheidstraining in hun behandeling van zwakbegaafde jongeren op te nemen. Het hoofddoel van een dergelijke training is bevordering van sociale redzaamheid van zwakbegaafde jongeren in de leeftijd van 17 tot 25 jaar. De onderzoeksvraag is in hoeverre de methodiek van sociale vaardigheidstraining effectief is bij zwakbegaafde jongeren. Voor het eigenlijke evaluatieonderzoek werden drie orthopedagogische centra in het noorden van het land geselecteerd. Binnen ieder centrum werden groepsleiders geselecteerd en opgeleid om de trainingen uit te kunnen voeren. Nadat de groepsleiders van deze centra getraind waren, hebben deze in koppels van twee het sociale redzaamheidsprogramma bij de doelgroep van zwakbegaafde jongeren uitgevoerd. Er werden 66 zwakbegaafde jongeren geselecteerd voor deelname aan het onderzoek (36 in de experimentele groep en 30 in de controlegroep). Van hen zijn er uiteindelijk 50 overgebleven (31 in de experimentele groep en 19 in de controlegroep). Vertrek uit de orthopedagogische centra vormde de belangrijkste reden voor de uitval. Er werd een instrument geselecteerd om na te gaan in hoeverre de uitbreiding van het repertoire aan sociale vaardigheden ook tot uitdrukking komt in het

85

(dagelijkse) gedrag van de jongere: het gedragbeoordelinginstrument (GBI). Twee schalen van de GBI werden gebruikt, namelijk openheid in het contact en zelfvertrouwen. Twee onafhankelijke beoordelaars gaven een score van 1 tot 7 op beide schalen. Naast de onafhankelijke beoordelaars werd ook aan de trainers gevraagd of zij vooruitgang bespeurden. Wat betreft deze gedragsmaten is er geen verschil in vooruitgang tussen beide groepen gevonden. In tegenstelling tot de onafhankelijke beoordelaars constateren de trainers echter wel een vooruitgang in de mate van beheersing van de specifieke vaardigheden. N.B. Een uitgebreidere samenvatting staat in casus 4 van de appendix. Gebaseerd op: Molen, H.T. van der e.a. (1988) Een sociaal redzaamheidsprogramma voor zwakbegaafde jongeren. Gedragstherapie, 21(2), 175-194.

Bij onderzoek moet je noodgedwongen keuzes maken: het is niet mogelijk om alles en iedereen tegelijkertijd te onderzoeken. Een belangrijke reden om te selecteren is dan ook de overvloed aan mogelijkheden. Juist bij onderzoek is het vaak wenselijk dat de onderzoeksresultaten niet alleen gelden voor een bepaalde selectie, maar juist meer algemeen geldig zijn. Om dat te bereiken moet je je aan bepaalde regels moeten houden bij het selecteren. In dit hoofdstuk komen dan ook argumenten voor en tegen bepaalde selectiekeuzes aan bod. Daarnaast is het voor onderzoek van belang dat de onderzoeksprocedure verantwoord kan worden en dat geldt uiteraard ook voor de selectie. In paragraaf 4.1 benadrukken we de vrijheid van selectie, maar geven wij ook de grenzen van die vrijheid aan. In paragraaf 4.2 wordt selectie van waarnemingen in het algemeen behandeld. In paragraaf 4.3 komen verschillende selecties aan de orde: selectie van individuen (paragraaf 4.3.1), selectie van variabelen en waarnemingsmiddelen (paragraaf 4.3.2), selectie van situaties (paragraaf 4.3.3), selectie van waarnemingstijdstippen (paragraaf 4.3.4) en de selectie van proefleiders en waarnemers (paragraaf 4.3.5). Hiermee komen de belangrijkste selecties die bij praktijkgestuurd onderzoek relevant zijn aan de orde.

4.1

Vrijheid van selectie

Voor we selectie gaan behandelen, moeten we eerst benadrukken dat je als onderzoeker vrij bent om het onderzoek in te richten zoals je dat zelf nuttig vindt. Onderzoeksmethodologie kan er nooit op gericht zijn om een soort kookboekregeltjes te bieden voor onderzoek. Maar, het uiteindelijke doel van onderzoek is wel om overtuigende resultaten te genereren. Om collega-onderzoekers te overtuigen moet je alle keuzes kunnen beargumenteren en verantwoorden. Hier komt de feitelijke functie van de onderzoeksmethodologie om de hoek kijken: op grond van ervaring met onderzoek is er in de loop van de tijd de nodige kennis geaccumuleerd over hoe onderzoek wel en niet verantwoord ingericht kan worden. Dat biedt onderzoekers de kennis om betere keuzes bij de inrichting van het onderzoek te maken en daarnaast de argumentatie om die keuzes te verantwoorden. Sommige keuzemogelijkheden zijn uitgesloten, omdat gebleken is dat zij altijd leiden tot onbruik86 4 Selectie bij praktijkonderzoeken

bare resultaten, terwijl andere keuzemogelijkheden onontkoombaar zijn, omdat het noodzakelijke voorwaarden zijn voor de gewenste bruikbare resultaten. Een deel van de onderzoeksmethodologie, zoals bijvoorbeeld de steekproeftrekking, is zo bekend dat als je als onderzoeker de juiste procedures volgt, je deze met een zeer summiere argumentatie kan verantwoorden. Andere onderzoekers, die ook beschikken over de nodige methodologische kennis, weten dan precies welke procedures zijn gevolgd. Bij andere keuzes, zoals bijvoorbeeld de selectie van variabelen, is de bestaande kennis over voor- en nadelen van de verschillende mogelijkheden minder groot en kun je als onderzoeker meer vrijheid nemen. Behalve aansluiting bij de bekende methodologische kennis, doet de onderzoeker er ook goed aan om kennis te nemen van het werk van andere onderzoekers. Onderzoek dat aansluit bij en verder gaat met het werk van anderen overtuigt gemakkelijker dan wanneer de onderzoeker ervoor kiest om een eigen, unieke weg te volgen. Vooral bij de keuze van variabelen doe je er als onderzoeker verstandig aan om zo veel mogelijk dezelfde variabelen te kiezen als andere onderzoekers, zeker als de betrouwbaarheid en de validiteit van de gebruikte meetinstrumenten vaststaan. Het onderzoek wint daarmee aan overtuigingskracht en vooral als met dezelfde variabelen en instrumenten een sterk afwijkend resultaat kan worden aangetoond. De geschiedenis van de wetenschap kent veel voorbeelden van onderzoekers die slechts op grond van hun eigen inzichten onderzoek inrichtten en tot bepaalde conclusies kwamen. In sommige gevallen hadden zij gelijk, maar hadden zij toch de grootst mogelijke moeite om hun ideeën geaccepteerd te krijgen. Een onderzoeker is dus vrij bij de selectie van variabelen, proefpersonen, tijdstippen, waarnemers enzovoort, maar moet wel in de gaten houden dat het ultieme doel van zijn onderzoek ligt in het overtuigen van anderen. Daarbij is een krachtige onderzoeksopzet belangrijk om goed interpreteerbare resultaten te verkrijgen. Een eigenzinnige onderzoeker die baanbrekend werk verricht, kan veel tijd verliezen om anderen te overtuigen van de waarde van zijn werk als zijn keuzes te veel afwijken van wat gangbaar is.

4.2

Selectie van waarnemingen in het algemeen

Als onderzoeker moet je de selectiekeuzes altijd beargumenteren. Het is gebruikelijk om aan te geven: · waar de selectie voor dient; · waarom andere selectiemogelijkheden niet opportuun waren; · wat de praktische mogelijkheden voor selectie waren. Voor het selecteren van waarnemingen gelden de volgende regels: · Beperk je tot waarnemingen die relevant zijn voor het beantwoorden van de onderzoeksvraag. · Verzamel de waarnemingen bij de personen bij wie het verschijnsel zich voordoet, op de plaats en tijd waar en wanneer deze zich voordoet, en met waarnemers en waarnemingsmiddelen (instrumentarium) die daarvoor geschikt zijn. 4.2 Selectie van waarnemingen in het algemeen 87

Bij weinig mogelijke waarnemingen valt er weinig te selecteren. In dat geval is goed zoeken meer van toepassing. Als er echter een overvloed van mogelijke waarnemingen is, dan wordt de selectie sterk bepalend voor de uiteindelijke kwaliteit van de onderzoeksresultaten. Selectie heeft dan twee doelen: · het afscheiden van minder relevante waarnemingen; · het beperken van de dataverzameling, zodat deze hanteerbaar en betaalbaar blijft. Omdat het bij een overvloed van mogelijke waarnemingen ondoenlijk is alle mogelijke waarnemingen te verrichten, worden de onderzoeksinspanningen en de onderzoekskosten door selectie beperkt. Daarbij is ook het optimaal gebruik van de beschikbare middelen, geld en tijd, voor het bereiken van het onderzoeksdoel in het geding. Het is immers niet effectief om alle waarnemingen in het onderzoek te betrekken en een zorgvuldige selectie kan veel kosten en tijd besparen. In het wetenschappelijk onderzoek spreekt men over een populatie of over een universum als het gaat om alle waarnemingen waarover men een wetenschappelijke uitspraak wil doen. Populatie gebruikt men vooral als het over personen gaat, terwijl universum eerder gebruikt wordt bij zaken zoals vragenlijstvragen, variabelen, waarnemingsmiddelen en dergelijke. Een steekproef betreft de selectie van waarnemingen die men in het onderzoek heeft opgenomen. Twee vragen bij selectie zijn: · Is er een populatie van waarnemingen? · Zo ja, is er een steekproefkader mogelijk?

Kanssteekproef

Populatie

Als beide vragen positief beantwoord kunnen worden, dan behoort een kanssteekproef van waarnemingen tot de mogelijkheden. Als het mogelijk is, verdient een kanssteekproef altijd de voorkeur boven andere selecties. Een kanssteekproef is een steekproef waarbij elke eenheid in de populatie een van nul afwijkende en berekenbare kans heeft om in de steekproef te worden betrokken. De begrippen populatie, steekproefkader en steekproef zijn het eenvoudigst te illustreren aan de hand van een voorbeeld van de selectie van personen. De populatie is de totale (theoretische) verzameling van waarnemingseenheden. In het geval van personen is bijvoorbeeld ‘Alle Nederlanders’ een voorbeeld van een populatie. Het steekproefkader is een bestaande administratie van die populatie. Voorbeelden van steekproefkaders zijn: · Alle personen die ingeschreven staan in het persoonsregister. · Alle personen die geadministreerd zijn als bezitters van een Nederlands paspoort. · Alle personen met een adres in Nederland. · Alle personen met een telefoonnummer die vermeld staan in een Nederlands telefoonboek. Het is duidelijk dat deze steekproefkaders niet identiek aan elkaar zijn en dat het begrip ‘Alle Nederlanders’ praktisch gezien minder scherp gedefinieerd kan worden dan men in eerste instantie zou denken.

88 4 Selectie bij praktijkonderzoeken

Als men eenmaal beschikt over een steekproefkader, dan is het mogelijk om een kanssteekproef te trekken. In veel praktische situaties is het verkrijgen van een bruikbaar steekproefkader lastig. Neem bijvoorbeeld een onderzoek bij psychotische cliënten. Het is een praktische onmogelijkheid om een kanssteekproef van psychotische cliënten te trekken, omdat de populatie onbepaald is. Alleen in de theoretische situatie waarbij van iedere persoon bekend zou zijn of deze al dan niet psychotisch is, zou dit mogelijk zijn. Bij een kanssteekproef heeft iedere waarneming in de populatie een berekenbare kans om in het onderzoek betrokken te worden. De aselecte steekproeftrekking is daarbij het meest gebruikte middel om die kanssteekproef te realiseren en om die reden zijn de termen aselecte steekproef en kanssteekproef in veel gevallen uitwisselbaar. Voordat een kanssteekproef getrokken wordt, moeten eerst de populatie en het kader van de steekproef bepaald worden.

Aselecte steekproef

Het grondmodel van de kanssteekproef is de enkelvoudig aselecte steekproef: elke eenheid in de steekproef is aselect (op toevalsbasis of ‘at random’) uit de populatie getrokken. Hier geldt dat elke eenheid dezelfde, van nul afwijkende kans heeft om in de steekproef terecht te komen. De bedoeling van een kanssteekproef van waarnemingen is altijd dat men op grond van een beperkt aantal waarnemingen een uitspraak kan doen over de populatie van mogelijke waarnemingen. Bij varianten van de aselecte steekproef, zoals de gestratificeerde steekproef en de clustersteekproef geldt het toevalsprincipe nog steeds maar er wordt aan het selectieproces ook richting gegeven. Bij een gestratificeerde steekproef wordt er bijvoorbeeld voor gezorgd dat elke deelpopulatie of elk stratum in voldoende aantallen in de steekproef is vertegenwoordigd, maar binnen elk stratum wordt aselect getrokken. We zorgen er bijvoorbeeld bij stratificatie op geslacht voor dat in de steekproef precies 50% mannen en 50% vrouwen voorkomen. Bij een clustersteekproef onderscheiden we clusters in de populatie (bijvoorbeeld gezinnen of schoolklassen) en trekken vervolgens aselect clusters. Vervolgens nemen we alle leden van het cluster in de steekproef op of in ieder geval meer dan één lid. De kansen om in de steekproef terecht te komen zijn dan niet meer gelijk, maar nog steeds afwijkend van nul en berekenbaar. Bij onderzoek is het altijd nodig om de gemaakte selecties te verantwoorden. Dat geldt ook als het niet mogelijk is om een kanssteekproef te nemen. Vaak is er geen steekproefkader beschikbaar. In veel gevallen is het ook onpraktisch, omdat de behoefte om uitspraken over de populatie te doen er niet is. Dit ontslaat de onderzoeker echter nooit van de plicht om de gemaakte selectie te beargumenteren. De reden voor de noodzaak van deze argumentatie schuilt in de voor de hand liggende regel dat onderzoeksresultaten slechts van toepassing kunnen zijn op de verrichte waarnemingen en mogelijk op daarmee vergelijkbare waarnemingen. Een lezer van onderzoeksresultaten zal altijd de behoefte hebben om te weten welke waarnemingen precies zijn verricht en of deze van toepassing geacht kunnen worden op andere mogelijke waarnemingen, buiten het onderzoek. 4.2 Selectie van waarnemingen in het algemeen 89

Als een onderzoeker cliënten met angstklachten in zijn onderzoek betrekt, dan zal een bruikbaar steekproefkader niet altijd beschikbaar zijn. Men zou bijvoorbeeld kunnen kiezen voor een steekproefkader zoals: ‘cliënten die zich met angstklachten bij een RIAGG aangemeld hebben’. Die waarnemingen zijn dan altijd tijdgebonden: de groep van RIAGG-cliënten die zich in 2000 aangemeld hebben, zal een geheel andere zijn dan een groep van cliënten die zich in 2001 aangemeld hebben. Daarnaast zullen de waarnemingen plaatsgebonden zijn: de groep van cliënten die zich bij een RIAGG in Utrecht aanmelden zijn ongelijk aan die zich aanmelden bij een RIAGG in Meppel. De vraag is of waarnemingen in 2000 ook geldig zijn voor 2001 en of de waarnemingen in Utrecht ook geldig zijn voor Meppel. Als vanzelfsprekend zijn we hiermee terechtgekomen op de vragen rond selectie van waarnemingsmomenten (wanneer) en selectie van waarnemingsplaatsen (waar). Bij dit voorbeeld zal duidelijk zijn dat een steekproefkader van waarnemingsmomenten niet zo eenvoudig is, al is het alleen maar omdat nog niet alle toekomstige waarnemingen beschikbaar zijn. Men zal zich in dit opzicht dus noodzakelijkerwijs moeten beperken en zo mogelijk een doelgerichte en beargumenteerde keuze moeten maken uit de waarnemingsmogelijkheden. Wat betreft de selectie van waarnemingsplaatsen is men op voorhand minder beperkt, maar ook hier kunnen praktische mogelijkheden beperkend zijn, omdat bijvoorbeeld niet alle RIAGG’s willen meewerken of er slechts voldoende budget is om bij één RIAGG onderzoek te doen. Als de waarnemingen in het kader van het onderzoek beperkt zijn, is ook de geldigheid en toepasbaarheid van de onderzoeksresultaten beperkt. Dit is niet erg, omdat men in eerste instantie lang niet altijd generaliseerbare resultaten beoogt. Juist bij praktijkonderzoek gaat het vaak om vragen zonder generalisatieoogmerk, zoals: ‘zijn de cliënten van dit RIAGG in het jaar 2000 effectief geholpen?’ Daarnaast is er ook altijd de mogelijkheid om onderzoek te herhalen op een ander moment of op een andere plaats, zodat men daarmee alsnog informatie kan inwinnen over een bredere geldigheid van de gevonden resultaten.

4.3

Selectie van waarnemingen

Het onderzoeksdoel en de inrichting van het onderzoek bepalen hoe groot het belang is van elk van die keuzen. Als we naar de openingscasus kijken, dan zien we dat in deze korte omschrijving al diverse selecties zijn aangegeven: · selectie van orthopedagogische instellingen; · selectie van zwakbegaafde jongeren binnen deze instellingen; · selectie van groepsleiders; · selectie van waarnemers. Daarnaast wordt ook uitval uitdrukkelijk genoemd. Dit is ook een vorm van selectie, ook al is deze van tevoren niet bedoeld en gewenst. Bij elke vorm van onderzoek worden selectiebeslissingen geleid door het streven naar generaliseerbaarheid. Binnen het praktijkonderzoek kunnen selectiekeuzen soms iets anders uitvallen omdat daarbij ook de 90 4 Selectie bij praktijkonderzoeken

bruikbaarheid van de onderzoeksresultaten van belang is. Bij de openingscasus is er bijvoorbeeld voor gekozen om slechts drie residentiële instellingen in het noorden van het land in het onderzoek te betrekken. In dit geval hebben praktische redenen de overhand gehad. De onderzoekers vonden het belangrijker om met betrekkelijk geringe kosten aan te tonen dat hun methode werkte, in plaats van al direct te streven naar de algemene geldigheid van hun bevindingen. Selectie bij onderzoek gaat om de waarnemingen die bij het onderzoek worden betrokken en dus ook om welke waarnemingen buiten het onderzoek worden gehouden. Of het nu gaat om een praktijkgestuurd, een praktijkgericht of een theoriegestuurd onderzoek, er zijn een groot aantal verschillende selecties nodig, vooral selectie van: · onderzochte personen (wie worden er waargenomen); · variabelen en waarnemingsmiddelen (wat wordt er waargenomen en waarmee wordt er waargenomen); · de onderzoekssituatie (waar vinden de waarnemingen plaats); · waarnemingsmomenten (wanneer wordt er waargenomen); · proefleiders en waarnemers (bij wie en door wie wordt er waargenomen). De selectiemogelijkheden bij praktijkgestuurd onderzoek worden geïllustreerd in casus 4.1 en besproken in de paragrafen 4.3.1: Selectie van individuen, 4.3.2: Selectie van variabelen en waarnemingsmiddelen, 4.3.3: Selectie van situaties, 4.3.4: Selectie van waarnemingstijdstippen en 4.3.5: Selectie van proefleiders en waarnemers.

Casus 4.1 Selecties bij de behandeling van een cliënt met hypochondrische klachten Het praktijkprobleem waarvoor een oplossing wordt gezocht, is de angst voor huidkanker bij een 19-jarige jongeman. De klachten zijn in het eindexamenjaar van de HAVO ontstaan na een eczeem dat hij onder andere op zijn gezicht had. De klachten bestaan drie maanden. De cliënt is gepreoccupeerd met allerlei gevoelens in zijn lichaam en onderzoekt zijn huid voortdurend op oneffenheden. Als hij een ‘rare’ plek ontdekt (moedervlekken, rode vlekken en oneffenheden, zoals die bij de meeste mensen voorkomen), denkt hij aan kanker te lijden, wat grote angst bij hem oproept. De cliënt probeert zijn angst te neutraliseren door de plek weg te krabben en stopt daar pas mee als de plek geheel verdwenen is. Wat betreft de onderzoekseenheden is er sprake van slechts één cliënt met een hulpvraag, die zich aandient bij de therapeut/onderzoeker. Dit onderzoek is te typeren als een enkelgevalonderzoek, een casestudy en als een diagnostisch en therapeutisch handelingsonderzoek. Om de effectiviteit van de behandeling vast te stellen zijn er verschillende variabelen geselecteerd:

· het aantal minuten per dag dat de cliënt krabt; · het aantal punten per week dat de patiënt verdient door zich in moeilijke sociale situaties te begeven, waarbij elke sociale situatie al naar gelang de moeilijkheidsgraad ervan correspondeert met een aantal punten (bij voorbeeld muziek maken en met de computer spelen is 10 punten; op visite gaan is 30 punten; informeren naar een baan of vrijwilligerswerk is 70 punten; vijf minuten met een meisje praten en solliciteren naar een baan leveren beide 90 punten op); · de Zungschaal is een bestaande schaal waarmee de therapeut de depressiviteit kan meten. De therapeut neemt om de vijf weken de Zungschaal af. Er vindt op twee manieren zelfregistratie door de client plaats: · In de eerste fase van de therapie of het onderzoek houdt hij dagelijks bij hoeveel minuten hij krabt; daarvan wordt een weekscore berekend. Als verbetering wordt gezien dat het krabben vermindert en de cliënt desondanks naar zichzelf durft te kijken. · In de tweede fase van de therapie noteert de cliënt welke opdrachten (sociale oefensituaties) hij uitvoert en hoeveel punten hij per week haalt. De

4.3 Selectie van waarnemingen 91

punten die corresponderen met de opdrachten over sociale oefensituaties die de cliënt per week uitvoert worden opgeteld. Een stijging van het aantal punten per week wordt als verbetering gezien.

4.3.1

Voordelen kanssteekproef

N.B. Een uitgebreidere samenvatting staat in de appendix, casus 5. Gebaseerd op: Reinders, M. (1988). De behandeling van een patiënt met hypochondrische klachten. Gedragstherapie, 21(1), 45-55.

Selectie van individuen

Tot de methodologische onderwerpen waarover veel kennis bestaat behoort de selectie van individuen of onderzoekseenheden. De term onderzoekseenheden is algemener dan individuen, omdat niet alleen personen maar ook groepen en organisaties eenheden van onderzoek kunnen zijn. Juist voor praktijkonderzoek is selectie van personen een belangrijk onderwerp, omdat de mogelijkheden om personen voor het onderzoek te selecteren vaak beperkt zijn. Het ideaal bij selectie is een kansteekproef, omdat deze twee belangrijke voordelen heeft, namelijk: 1 schatting van populatiewaarden 2 gelijke gemiddelde invloed van mogelijke variabelen. Ad 1 Schatting van populatiewaarden Op basis van een kanssteekproef is het mogelijk om populatieparameters te schatten. Als men bijvoorbeeld met behulp van de Amsterdamse Biografische Vragenlijst (ABV) bij een kanssteekproef de gemiddelde neuroticismescore heeft vastgesteld, dan kan men dit getal gebruiken als schatting van het gemiddelde neuroticismescore in de populatie. Het is daarbij wel van belang dat de steekproef van voldoende omvang is, maar men heeft dan op grond van de aselecte steekproef een betrouwbare parameterschatting. De kanssteekproef is dan een betrouwbare representatie van de populatie. Als er opnieuw eenzelfde steekproef getrokken wordt, is de kans groot dat ongeveer dezelfde parameters worden gevonden. Bij een selecte groep, zoals RIAGG-cliënten, is dit niet het geval. Iedere groep RIAGG-cliënten kan tot andere schattingen leiden. Ad 2 Gelijke gemiddelde invloed van mogelijke variabelen Als men op grond van een aselecte steekproeftrekking aanneemt dat de steekproef betrouwbaar is, dan mag men ook aannemen dat gemiddelden van alle mogelijke variabelen tenderen naar populatiewaarden en dat die tendentie sterker is naarmate de steekproef groter is. Omdat gemiddelde variabelen tenderen naar een constante waarde (de populatiewaarde), mag men ook aannemen dat de totale invloed van die variabelen op een andere variabele constant is. Stel men onderzoekt de effectiviteit van twee lesmethoden. Uiteraard spelen voor de leerprestaties dan een groot aantal factoren een rol, zoals: · Is de leerling uitgerust? · Zijn er thuis ruzies geweest? · Zijn beide ouders in het gezin aanwezig? · Heeft de leerling last van bepaalde handicaps? Er zijn tientallen, zo niet honderden variabelen van mogelijke invloed op de leerprestaties. Men is echter niet geïnteresseerd in al die variabelen, maar alleen in de te onderzoeken lesmethoden. Bij een kanssteekproef, mag men nu aannemen dat de gemiddelde invloed van alle vari-


abelen die mogelijk de leerprestatie beïnvloeden een constante waarde aannemen (namelijk de populatiewaarde) en dat in een eventuele nieuwe steekproef die invloed ongeveer hetzelfde zal zijn. Bij een selecte steekproef (zoals een specifieke schoolklas) geldt dit niet. De leerlingen hebben immers een min of meer gemeenschappelijke achtergrond en voorgeschiedenis. Daarom zijn de onderzoeksresultaten bij een kanssteekproef dus beter generaliseerbaar en meer algemeen geldig dan bij een selecte groep.

Geen kanssteekproef

Ondanks deze onmiskenbare voordelen zijn er echter verschillende redenen om af te zien van een kanssteekproef van onderzochte personen vanwege: 1 geen bekommernis om generalisatie 2 ontbreken van een steekproefkader 3 besparing van kosten en tijd 4 andere selectiemechanismen. Door deze factoren wordt een kanssteekproef bemoeilijkt of zelfs onmogelijk gemaakt. Ad 1 Geen bekommernis om generalisatie Bij fundamenteel, theoriegestuurd onderzoek bekommert men zich meestal in eerste instantie om de causaliteit en niet om de generalisatiemogelijkheden. Bij veel laboratoriumexperimenten concentreert men zich allereerst op de onderzoekstechnische maatregelen die nodig zijn om de causale relatie vast te stellen. Als de causaliteit vaststaat, dan wordt de algemene geldigheid van de gevonden relatie soms een separaat doel, waar speciaal daarop gericht onderzoek aan gewijd wordt. Een reden hiervoor is allereerst dat het vaststellen van causaliteit al ingewikkeld genoeg is. Het is wel van belang dat je je ook bij causaliteitsonderzoek bekommert om de generaliseerbaarheid, maar je kunt ervoor kiezen dit achteraf te doen met onderzoek dat daar speciaal op is gericht. Bij praktijkgestuurd onderzoek is het lang niet altijd nodig om een steekproef te trekken. Vaak ontbreekt de behoefte om te generaliseren. Het beperkte aantal subjecten maakt het vaak mogelijk en wenselijk ze allemaal in het onderzoek te betrekken. Bij enkelgevalstudies, zoals bij casus 4.1, is er maar één cliënt en de behandelaar of onderzoeker kan voor het aantonen van de effectiviteit van de behandeling volstaan met herhaalde metingen bij die cliënt. Bij het RIAGG zal men bijvoorbeeld in eerste instantie slechts geïnteresseerd zijn in de groep cliënten die zich bij dat RIAGG aanmelden. Als men deze cliënten allemaal in het onderzoek betrekt, dan is generalisatie van de resultaten naar anderen niet nodig. Ad 2 Ontbrekend steekproefkader In praktijkonderzoek ontbreekt vaak een registratie van de populatie of het steekproefkader. Als het steekproefkader niet vastgesteld kan worden, dan is het niet mogelijk om een kanssteekproef te nemen. De populatie van schoolangstige kinderen is bijvoorbeeld niet goed vast te stellen, omdat niet van ieder kind bekend is in welke mate deze schoolangst heeft. Een dergelijke registratie is een voorwaarde voor het trekken van een kanssteekproef. Een ander voorbeeld is de populatie van drugsgebruikers. Een aselecte steekproef is daarbij niet goed mogelijk, omdat een steekproefkader ontbreekt. 4.3 Selectie van waarnemingen 93

Ad 3 Besparing van kosten en tijd Ook besparing van kosten en tijd zijn vaak redenen om af te wijken van een kanssteekproef. Zo worden bijvoorbeeld vaak kinderen op school benaderd, ook voor onderzoek dat niet over school gaat. Het is wel gemakkelijk dat in de klas alle kinderen bij elkaar zijn. Er is dan echter sprake van een selecte groep, omdat de klas: · een beperkte leeftijdsselectie omvat; · uit specifieke leerlingen van een bepaald niveau kan zijn samengesteld; · relatief uniform kan zijn wat betreft secundaire variabelen zoals sociaal-economische klasse en opleidingsniveau van de ouders. Daarnaast moet men in de gaten houden dat de individuen genest zijn: alle individuen zitten immers in dezelfde klas op één school, hebben dezelfde leerkracht, volgen hetzelfde lesprogramma enzovoort.

Zelfselectie

Uitval

Onderhandeling

Ad 4 Andere selectiemechanismen Ook een heel praktisch probleem is de werkzaamheid van een selectiemechanisme waar de onderzoeker geen controle over heeft. Het meest voorkomende selectiemechanisme is zelfselectie. Bij zelfselectie melden cliënten of patiënten die zich op basis van vrijwilligheid aan voor behandeling en deelname aan een onderzoek. Zelfs als de onderzoeker een fraaie aselecte steekproef heeft bepaald, dan kan bijvoorbeeld uitval een rol gaan spelen: sommige personen kunnen of willen niet deelnemen aan het onderzoek. De daardoor ontstane uitval of non-response verstoort de aselecte steekproef en zal deze in veel gevallen ongeldig maken en voorkomen dat men geldige populatieparameters verkrijgt. In weer andere situaties speelt het selectiebeleid van bijvoorbeeld de leiding van de kliniek of de therapeut een rol. In veel praktijksituaties neemt de selectie ten behoeve van het onderzoek de vorm aan van onderhandeling. Cliënten die de potentiële respondenten of proefpersonen vormen, bepalen zelf of zij al dan niet aan het onderzoek deelnemen. Dat geldt temeer omdat zij normaal gesproken van tevoren worden ingelicht over het doel van het onderzoek en de aard van hun participatie. Veel studies naar klinisch-psychologische, ontwikkelingspsychologische en orthopedagogische problemen zijn gebaseerd op subjecten die zich aanmelden en dat zijn vaak cliënten van therapeuten, RIAGG’s of klinieken die aan een onderzoek willen meedoen. Onderzoek onder de cliënten kan in dat geval alleen betrekking hebben op de onderzochte cliënten en dan is generalisatie niet aan de orde. Dat geldt bijvoorbeeld voor het casusonderzoek naar het sociale redzaamheidsprogramma. In dit onderzoek gaat het om een bepaalde problematiek waar hulpverleners graag een effectief antwoord op zouden hebben. Generalisatie is hier overigens juist wel van enig belang. Het gaat immers om onderzoeksvragen die niet alleen de onderzochten betreffen maar ook andere cliënten van andere hulpverleners. Maar omdat er bij het redzaamheidsonderzoek geen sprake is van een kanssteekproef, is generalisatie van de resultaten zonder aanvullend onderzoek niet mogelijk. De onderzoekers hebben hier blijkbaar gekozen voor het causaliteitsvraagstuk: is de toegepaste behandeling effectief bij de onderzochte groep jongeren? De generaliteitsvraag of de resultaten ook geldig zijn voor alle zwakbegaafde jongeren in Nederland,


is nog niet aan de orde. Deze keuze is gezien de complexiteit van de behandeling en de moeilijkheden bij het vaststellen van de effectiviteit alleszins te billijken. Lokale geldigheid

Als in de praktijk het aanbod van te onderzoeken personen heel groot is en men dus om redenen van besparing van kosten en tijd niet alle personen in het onderzoek kan betrekken, dan is het uiteraard beter om een aselecte keuze van de individuen te nemen. Als er sprake is van een steekproef, dan zal de steekproef vaak een substantieel deel uitmaken van de populatie. De populatie is immers een beperkte lokale populatie. De generalisatiemogelijkheden zijn dan tot die lokale populatie beperkt en de onderzoeksresultaten hebben dan een lokale geldigheid. Sneeuwbalsteekproef

Bij praktijkonderzoek komt het regelmatig voor dat er geen steekproefkader beschikbaar is. In dat geval kan gebruik worden gemaakt van een sneeuwbalsteekproeftrekking, die we aan de hand van casus 4.2 behandelen. Daarna wordt kort de mogelijkheid aangestipt om vanuit enkelvoudige fenomenen of verschijnselen te starten en er daarna meer bij te zoeken. Dat is in zekere zin het omgekeerde van steekproeftrekking. Als het steekproefkader niet goed vastgesteld kan worden, kan een sneeuwbalsteekproef een bruikbaar alternatief vormen. Deze methode is vooral geschikt als het gaat om een lastig benaderbare populatie, maar waarbij het gaat om personen die wel relatief veel met elkaar optrekken. Voorbeelden daarvan zijn drugsgebruikers, daklozen, voetbalvandalen enzovoorts. Drugsgebruikers met wie de onderzoekers in aanraking komen bijvoorbeeld doordat zij een methadonbus bezoeken of bekend zijn bij straathoekwerkers, wordt gevraagd alle mededrugsgebruikers te noemen die zij kennen. Uit de lijst die door de eerste benaderde wordt opgenoemd worden aselect één of soms verschillende an-

Casus 4.2 Sneeuwbalsteekproeftrekking bij een beleidsonderzoek naar cocaïnegebruik In het Nederlandse drugsbeleid wordt een scherp onderscheid gemaakt tussen harddrugs, zoals opium en heroïne, en softdrugs, zoals de cannabisproducten. De vraag is of het gedoogbeleid dat voor de softdrugs geldt ook voor de harddrugs moet worden gevoerd. Er werd daarvoor een zogenoemd prevalentieonderzoek opgezet. Er werd onderzoek gedaan naar de verbreiding van het cokegebruik door middel van een enquête. De bedoeling was om vast te stellen of de risico’s die met het cokegebruik verbonden zijn, aanleiding vormen om ook een gedoogbeleid ten aanzien van cocaïne voor te stellen. De steekproef kwam tot stand door een sneeuwbalprocedure. Gestart werd met gebruikers die bekend waren bij het onderzoeksteam. Aan hen werd gevraagd ten hoogste twintig gebruikers te noemen

waarvan er aselect één werd geselecteerd voor een interview en één gebruikt als reserve. Het risico van deze procedure is dat je bepaalde netwerken wel en andere netwerken en geïsoleerde gebruikers niet in je steekproef krijgt. Als je bepaalde categorieën gebruikers mist, dan kun je extra inspanningen doen om die toch in je steekproef te krijgen. Zo waren er in de steekproef geen gebruikers jonger dan 20 jaar, maar extra inspanningen om ze alsnog op te nemen leverden niet het gewenste resultaat. Dit leidde tot de conclusie dat zulke gebruikers schaars zijn in Amsterdam. Doordat de interviewers en de respondenten niet wisten dat criminelen en deelnemers aan een behandelingsprogramma niet mochten meedoen, zaten ze toch in de steekproef. Van de 160 waren dat er in totaal achttien (11%). Zij zijn uiteindelijk wel in de analyse meegenomen, omdat zij op een aantal centrale variabelen, waaronder abstinentie, niet afweken van de rest van de steekproef. Of op elke honderd cocaïnegebruikers elf criminelen en/of hulpbehoevenden zijn, is echter de vraag. 4.3 Selectie van waarnemingen 95

Het starten van de sneeuwbal met relatief goed functionerende respondenten kan tot een onderschatting van het aantal probleemgevallen hebben geleid.

Gebaseerd op: Cohen, P. (1990). Drugs as a social construct. Dissertatie Universiteit van Amsterdam.

dere gebruikers getrokken. Deze worden benaderd voor een interview. Er wordt hun bovendien gevraagd op hun beurt alle hun bekende drugsgebruikers op te noemen, waaruit weer aselect één of meer ondervraagden worden gekozen. Als netwerken op die manier goed in kaart kunnen worden gebracht, kan voor de leden van die netwerken ook worden uitgerekend hoe groot de kans is dat zij in de steekproef worden betrokken (Frank & Snijders, 1994). Geïsoleerde drugsgebruikers vallen op die manier buiten de boot en hebben dus geen kans om in de steekproef te worden betrokken. Als dat veel voorkomt wijken zulke sneeuwbalsteekproeven sterk af van kanssteekproeven. Dat geldt ook als de netwerken erg gefragmenteerd zijn. Uit de verkregen steekproef kan dan niet meer worden afgeleid hoe de netwerken er in de populatie uitzien. Dus kan de kans van elke eenheid in de populatie om in de steekproef te komen ook niet meer worden uitgerekend. Verzadiging Kwalitatief onderzoek

Bij kwalitatief onderzoek gaat het niet zozeer om het verzamelen van getallen, maar veeleer om het aanwijzen van belangrijke fenomenen, het inventariseren van deze fenomenen en het illustreren van de verschijningsvormen. Bij kwalitatief onderzoek start men soms van de andere kant: men begint met waarnemingen bij enkele individuen, groepen of andere entiteiten die een zo heterogeen mogelijke verzameling vormen. Men voegt daar vervolgens waarnemingen bij anderen aan toe totdat de materiaalverzameling geen nieuwe gezichtspunten of feiten oplevert. Dan is verzadiging bereikt. Als alle relevante kenmerken van de populatie in het onderzoek naar voren komen is er een grote kans dat betrokkenen die niet aan het onderzoek hebben meegedaan, zich toch in de gepresenteerde resultaten zullen herkennen. 4.3.2

Variabelen

Model

Selectie van variabelen en waarnemingsmiddelen

Bij de selectie van variabelen laat men zich leiden door het doel van het onderzoek en het efficiënt gebruik van middelen. Het opnemen van variabelen houdt keuzen in. De werkelijkheid is complex en een volledig inzicht in het actieveld of een volledige verklaring voor een bepaald verschijnsel zou inhouden dat men voor alle aspecten variabelen zou moeten opnemen. De bepaling van het deel van de werkelijkheid dat we aan het onderzoek willen onderwerpen is ook een selectie. Vervolgens wordt dat deel van de werkelijkheid gerepresenteerd door een model waarin slechts een beperkt aantal begrippen en hun onderlinge relaties zijn opgenomen. Bij praktijkonderzoek zijn vooral die variabelen van belang die praktisch relevant zijn, bijvoorbeeld omdat zij een aangrijpingspunt bieden voor een interventie. Bij theoriegestuurd onderzoek is de theorie de basis voor het model. In de theorie zijn begrippen opgenomen en die begrippen komen terug als variabelen. Strikt genomen is er sprake van een dubbele selectie. Eerst selecteert men met de vaststelling van het


model een beperkt aantal begrippen en vervolgens kiest men uit alle mogelijke operationaliseringen voor die begrippen opnieuw een beperkt aantal variabelen. Meetinstrumenten

Met variabelen zijn meetinstrumenten (waarnemingsmiddelen) verbonden, namelijk tests, schalen en indices. Ook zoiets simpels als de vaststelling van het geslacht van onderzochten levert een variabele op. Zijn er bepaalde tests, schalen en indices aanwezig en hebben die zich bewezen, dan heeft het grote voordelen die te gebruiken. Een voorbeeld vinden we in casus 4.1. ‘Sociale redzaamheid’ is een begrip en ‘openheid in contact’ en ‘zelfvertrouwen’ zijn begrippen die deelaspecten van ‘sociale redzaamheid’ aanduiden. Deze laatste twee begrippen komen terug in twee schalen die deel uitmaken van het gedragbeoordelinginstrument (GBI). Daarnaast is er een screeninglijst (SL). De items van de GBI en de SL zijn operationaliseringen van de begrippen en verwijzen in zulke gevallen altijd naar concreet gedrag. Het GBI was al door een andere onderzoeker geconstrueerd en onderzocht op betrouwbaarheid. De SL werd binnen het project ontwikkeld. Ook in het onderzoek naar de cliënt met hypochondrische klachten wordt gebruikgemaakt van een bestaand instrument: de Zungschaal voor het meten van de ernst van depressieve klachten. Anderzijds registreert de cliënt hoe vaak hij krabt en welk sociaal gedrag hij durft te vertonen. Aan dit sociaal gedrag worden punten toegekend. Men kan zich bij tests en schalen een hypothetische verzameling items voorstellen en deze beschouwen als een populatie van alle items die een operationalisering vormen van het betreffende begrip, maar er is geen registratie van de populatie en dus geen steekproefkader. Er is dus bijvoorbeeld geen populatie van items die deel uit zouden kunnen maken van een IQ-test. Dat kan ook niet want de verzameling is oneindig. Er kunnen altijd weer nieuwe operationaliseringen worden bedacht. Wel zijn er verschillende mogelijkheden om een kunstmatig steekproefkader aan te geven dat voor een bepaalde operationalisering de verzameling items vastlegt. De facetbenadering (Shye, Elizur and Hoffman, 1994) is daarvan een voorbeeld. Deze benadering is niet onomstreden, maar men kan in dat geval dus ook een kanssteekproef van items trekken.

Kwalitatief onderzoek

Bij kwalitatief onderzoek komt het voor dat men begrippen gedurende het onderzoek ontwikkelt. Men neemt dan een aantal concrete verschijnselen waar en komt zo op een begrip of een label waar die verschijnselen kunnen worden ondergebracht. In dat geval weerspiegelen de concrete verschijnselen het begrip en vervolgens gaat men op zoek naar nieuwe verschijnselen die ook onder het begrip moeten vallen. Het kan zijn dat het begrip aanvankelijk moet worden ‘opgerekt’ zodat het ook de nieuwe, met de oorspronkelijke verschijnselen nauw verwante gebeurtenissen omvat. Maar op een gegeven moment treedt bij deze inductieve werkwijze verzadiging op. Het begrip omvat dan alle verschijnselen die theoretisch verwant zijn. Het kan de kwaliteit van een onderzoek ten goede komen als personen bij de operationalisering worden betrokken die het probleemgebied dat onderzocht wordt goed kennen. Zo is het bijvoorbeeld bij de voorbe4.3 Selectie van waarnemingen 97

reiding van een onderzoek naar alcoholisme onder zwerfjongeren zinvol om eerst met enkele zwerfjongeren te gaan praten. Zij kennen bijvoorbeeld de gangbare uitdrukkingen in de te onderzoeken populatie. Vaak is het nodig daar bij het formuleren van vragen enigszins bij aan te sluiten. Degenen die het probleemgebied goed kennen, kunnen ook bepalen of alle wezenlijke aspecten van het onderzochte probleem in de verschillende operationaliseringen tot uitdrukking komt. 4.3.3

Selectie van situaties

De basisregel voor selectie van situaties is dat men het onderzoek moet uitvoeren waar de te onderzoeken verschijnselen zich normaal gesproken voordoen. Zo ligt het voor de hand om opvoedingsgedrag te bestuderen in de natuurlijke omgeving: thuis bij het gezin. Bij onderzoek naar discriminatie ligt het voor de hand om situaties op te zoeken waar de kans op discriminatie groot is, bijvoorbeeld bij de toegang tot een discotheek. Als de verschijnselen uitgelokt kunnen worden in een neutrale ruimte dan geeft dat extra mogelijkheden en is het zelfs mogelijk om het onderzoek in een laboratorium uit te voeren. Zo kan bijvoorbeeld de wijze waarop de moeder uitleg geeft aan haar kind om een ingewikkelde taak op te lossen heel goed onder laboratoriumcondities onderzocht worden. Bij onderzoek naar praktijkhandelen, zoals psychotherapeutische behandelingen, wordt het onderzoek meestal uitgevoerd in de praktijksituatie.

Context(on)afhankelijk

Als de verschijnselen zich in een groot aantal verschillende situaties voordoen die onmogelijk allemaal in het onderzoek betrokken kunnen worden, dan is het zinvol om daaruit een aselecte keuze te maken. Dat vergroot de kans dat de resultaten gegeneraliseerd kunnen worden naar niet-onderzochte situaties. Er moet dan eerst een inventarisatie gemaakt worden van alle mogelijke situaties bij wijze van steekproefkader. Als verschijnselen relatief contextonafhankelijk zijn, zoals bijvoorbeeld de zelfredzaamheid van zwakbegaafde jongeren in verschillende omstandigheden, dan kan het nuttig zijn om de waarnemingen te verrichten op uiteenlopende tijden en plaatsen en bijvoorbeeld naast situaties binnen de inrichting ook situaties thuis bij het onderzoek te betrekken. Als verschijnselen juist contextafhankelijk zijn, dan kunnen de keuze van plaats en tijd beter door deze afhankelijkheid worden bepaald. Bij praktijkgestuurd onderzoek zal het onderzoek in de regel uitgevoerd worden in de praktijksituatie, terwijl bij theoriegestuurd onderzoek juist vaak gekozen wordt voor de goed controleerbare laboratoriumomgeving. Toch zullen ook bij praktijkgestuurd onderzoek vaak enkele aanpassingen aan de onderzoekssituatie nodig zijn om: · de controle op de situatie te verbeteren; · dataverzameling mogelijk te maken. Zo doe je er als onderzoeker verstandig aan de rommeligheid die inherent is aan de praktijksituatie zo veel mogelijk terug te dringen, bijvoorbeeld door: · lange wachttijden te voorkomen en strakkere afspraakschema’s te hanteren dan in de normale praktijkuitvoering gangbaar is;


·

·

een rustige ruimte te verkiezen boven een lawaaiige. Als er bijvoorbeeld twee groepen onderzocht worden (een behandelingsgroep en een controlegroep), dan is het verstandig om deze groepen gescheiden van elkaar te ontvangen, zodat de mogelijkheid van wederzijdse beïnvloeding zo veel mogelijk wordt teruggedrongen. Verder moeten er in het kader van een onderzoek ook data verzameld worden. Een rustige ruimte waar een onderzochte cliënt vragenlijsten kan invullen is geen overbodige luxe; de behandelingsruimte aan te passen, zodat er bijvoorbeeld videoopnames gemaakt kunnen worden of observaties mogelijk zijn.

4.3.4

Selectie van waarnemingstijdstippen

Continu waarnemen is niet mogelijk, daarom moeten de tijdstippen waarop en/of de perioden waarin wordt waargenomen, worden geselecteerd. Waarnemingen moeten altijd op de een of andere manier worden geregistreerd en op die manier ontsloten worden voor verdere analyse. Bij gedragsregistraties door middel van video-opnames heb je al snel een overvloed aan gegevens, waarbij een selectie absoluut noodzakelijk is. Het optimaal gebruik van middelen en het vermijden van een teveel aan informatie spelen hier ook een rol. Bij de selectie van waarnemingstijdstippen gaat het niet alleen om de selectie van de waarnemingstijdstippen, maar moet ook het kader van deze waarnemingstijdstippen geselecteerd worden: de waarnemingsperiode. We behandelen achtereenvolgens de selectie van: · waarnemingsperioden; · waarnemingstijdstippen. Waarnemingsperioden

Een eerste keuze is de selectie van waarnemingsperioden. De selectie van waarnemingsperioden wordt uiteraard ingegeven door: · het doel van het onderzoek; · het object van het onderzoek; · praktische overwegingen. Het is van belang om waarnemingen te doen op die tijdstippen dat de verschijnselen zich voordoen. Bij onderzoek met behulp van gedragsobservaties is dit van het grootst mogelijke belang. Beginnende onderzoekers maken vaak fouten bij de keuze van waarnemingsperioden, doordat zij zich allereerst laten leiden door de vraag wanneer het de onderzochte(n) het beste uitkomt en soms zelfs door de vraag wanneer het henzelf het beste uitkomt. De vraag wanneer de te onderzoeken verschijnselen zich voordoen is echter veel belangrijker. Zo bleek dat studenten in een afstudeerproject drugsgebruik in het Utrechtse winkelcentrum Hoog Catharijne tussen twee en vijf observeerden, terwijl de gebruikers vooral in het weekend en ‘s avonds laat actief waren. Als het niet bekend is wanneer de te onderzoeken verschijnselen zich voordoen, dan heeft een aselecte keuze van waarnemingsperioden de voorkeur. Observatieonderzoek

Bij observatieonderzoek en bij tijdreeksanalyse in het algemeen speelt de selectie van waarnemingsperioden een belangrijke rol. De aard van de waar te nemen verschijnselen is van belang voor het bepalen van de 4.3 Selectie van waarnemingen 99

lengte van elke waarnemingsperiode. Stel er wordt dagelijks geobserveerd en gekozen voor het eenmaal noteren van een gebeurtenis binnen een kwartier. Als de waargenomen gebeurtenissen veel korter duren dan de gekozen periode van een kwartier en daarin meer dan eens optreden, dan levert een telling van de observaties een onderschatting op van de frequentie waarin gebeurtenissen optreden. Een te korte periode geeft echter weer een overschatting van de frequentie, omdat één gedragsgebeurtenis dan wordt geregistreerd in meer dan een waarnemingsperiode (Sackett, 1978). Bovendien raakt de onderzoeker in het eerste geval het zicht kwijt op de gebeurtenissen die direct op het geobserveerde gedrag volgen. Voor dit probleem zijn geen algemene regels te geven. Daarvoor is meestal een vooronderzoek nodig. Vragenlijstonderzoek

Ook bij vragenlijstonderzoek kan de keuze van de waarnemingsperiode invloed op de resultaten hebben. Voor het gemak maakt men bij onderzoek van kinderen vaak gebruik van klassikaal onderzoek. Het is ook dan allereerst de vraag of die specifieke omstandigheden en tijden wel de meest wenselijke zijn. De mogelijkheden om de vragenlijst af te nemen zijn dan beperkt door de tijden die de school ter beschikking stelt. Vaak ben je daardoor gebonden aan ongunstige tijdstippen waarop kinderen minder geconcentreerd zijn bijvoorbeeld op het einde van de dag. Ook is het niet verstandig onderzoek te doen vlak voor Sinterklaas of kort voordat er een schoolvakantie is. Daarnaast moet de dataverzameling doorgaans zo worden ingericht dat je in één lesuur klaar kunt zijn. Waarnemingstijdstippen

Aselecte steekproef waarnemingstijdstippen

Longitudinaal onderzoek

Bij observatieonderzoek komt het regelmatig voor dat er op een groot aantal tijdstippen waarnemingen mogelijk zijn. In dat geval is een aselecte steekproef van waarnemingstijdstippen mogelijk, waarbij kan worden gekozen uit: · Fixed timesampling. Vaak kies je bij een aselecte steekproef van waarnemingstijdstippen voor een systematische steekproef, met tussen elke waarneming een vaste periode. Dit heet fixed timesampling. Wil je in dat geval dat er toch sprake is van een kanssteekproef, waarbij elk tijdstip een berekenbare en van nul afwijkende kans heeft om in de steekproef te worden opgenomen, dan moet je de eerste waarneming op toevalsbasis kiezen. · Random timesampling. In dat geval kies je voor een volledig aselecte bepaling van de tijdstippen. · Eventsampling. Bij deze mogelijkheid noteer je gebeurtenissen van een bepaald type en elke zoveelste gebeurtenis betrek je in de analyse. Bij longitudinaal onderzoek speelt de keuze van de tijdstippen van het onderzoek een belangrijke rol. Bij tijdreeksen is het van groot belang een groot aantal keren waar te nemen. Anders is het onmogelijk de veranderingen op de lange termijn te onderscheiden van die op korte termijn. Wat nog belangrijker is, is dat de veranderingen op lange en korte termijn zonder frequente waarnemingen niet van de waarnemingsfouten kunnen worden onderscheiden. De vraag is of je periodiek op hetzelfde moment moet observeren om de vergelijkbaarheid te bevorderen of juist op verschillende momenten moet observeren om de representativiteit van de waarnemingen te bevorderen voor wat je


Reactief

beoogt waar te nemen. Soms stuit het vele waarnemen op praktische bezwaren. Het telkens weer observeren of ondervragen kan een behoorlijke inbreuk zijn op de dagelijkse gang van zaken en daardoor reactief zijn. Het waarnemen op zich veroorzaakt dan veranderingen die niet meer zijn te onderscheiden van de veranderingen als gevolg van de ingreep. 4.3.5

Selectie van proefleiders en waarnemers

In de praktijk is het aantal beschikbare proefleiders en waarnemers beperkt. Soms kies je dan gericht, bijvoorbeeld uit een groep sollicitanten. In andere gevallen maak je gebruik van wie zich aandient, zoals beschikbare leerkrachten, groepsleiders of studenten. Het ideaal is om een kanssteekproef te trekken uit een populatie van waarnemers. ‘Neutrale’ waarnemers zijn dan het beste, maar de vraag is of die te vinden zijn. In de regel streef je bij onderzoek naar onbevangen, objectieve waarnemingen. Dat betekent dat je waarnemers die een wezenlijk belang hebben bij de resultaten van het onderzoek bij voorkeur uitsluit. Zoals gezegd moeten de waarnemingen gedaan worden waar en wanneer die mogelijk zijn. Voor de selectie van waarnemers houdt dit in dat de waarnemer toegang moet hebben tot de relevante situaties. Als je bijvoorbeeld drugsgebruik bij discojongeren wilt observeren, dan is het verstandig om te kiezen voor een observator die binnen die scène past. Dit betekent dat je soms water bij de wijn moet doen wat betreft de objectiviteit en de neutraliteit van de waarnemer. Er zijn verschillende betrokkenen bij een onderzoek te onderscheiden, die mogelijk in aanmerking komen om waarnemingen te verrichten voor het onderzoek: 1 onderzoeksassistenten 2 proefleiders 3 onderzoeker 4 onderzochte zelf 5 informanten 6 sleutelfiguren. Ad 1 Onderzoeksassistenten Onderzoeksassistenten zijn personen die speciaal gevraagd zijn om waarnemingen te verrichten voor de onderzoekers, bijvoorbeeld enquêteurs of observatoren. Ook bij praktijkonderzoek is het vaak nuttig om buitenstaanders te laten waarnemen. In het onderzoek naar het effect van trainingen voor zwakbegaafde jongeren nemen onafhankelijke waarnemers die gebruikmaken van observatie-instrumenten geen verbetering waar in de beheersing van specifieke vaardigheden als gevolg van de trainingen. Op voorhand mag je veronderstellen dat de onafhankelijke waarnemers een goede kijk hebben op de werkelijkheid, mede omdat het gebruik van instrumenten hen dwingt tot systematische observatie. Ad 2 Proefleiders Proefleiders zijn personen die de feitelijke behandeling uitvoeren, zoals onderwijzers behandelaars en trainers. De trainers die de zwakbegaafde jongeren sociale vaardigheden proberen bij te brengen zijn proeflei4.3 Selectie van waarnemingen 101

ders, maar nemen ook waar. Een specifiek probleem hierbij is dat deze waarnemers in de regel een belang hebben bij een bepaalde uitslag. Zij willen dat de behandeling die zij verzorgen succesvol is. Ad 3 Onderzoeker Als de onderzoeker zelf waarnemingen verricht voor het onderzoek, dan is er sprake van een dubbelrol, namelijk die van onderzoeker en die van waarnemer. In praktijkgericht onderzoek zien we regelmatig dat verschillende rollen in één persoon zijn verenigd. Bij het onderzoek bij de cliënt met hypochondrische klachten is de psychiater onderzoeker en waarnemer als hij de Zungschaal afneemt om de mate van depressie vast te stellen. Het kan een nadeel zijn dat de onderzoeker zelf waarnemingen verricht, als de onderzoeker een belang heeft bij een bepaalde uitkomst. Ad 4 Onderzochte zelf Als de onderzochte zelf waarnemingen verricht voor het onderzoek is er ook sprake van een dubbelrol, namelijk die van onderzochte en die van waarnemer. Er is dan sprake van zelfrapportage of zelfobservatie. Er wordt bij praktijkonderzoek vaak gebruikgemaakt van directe vragen, zelfbeoordelingen of zelfobservaties. Ook de cliënt met hypochondrische klachten is behalve onderzoekssubject tegelijk waarnemer van zichzelf. Bij zelfobservaties is er uiteraard geen sprake van neutrale of objectieve observaties. Soms is het niet opportuun dat de betrokkene zelf de benodigde informatie verschaft, omdat het om iets sociaal (on)wenselijks gaat en de zelfrepresentatie daardoor waarschijnlijk te sterk gekleurd zou zijn. Ad 5 Informanten Bij informanten gaat het om personen die nauw bij de onderzochte betrokken zijn, zoals ouders of leerkrachten. Er wordt bij praktijkgestuurd onderzoek regelmatig gebruikgemaakt van informanten. Voorbeelden daarvan zijn: · ouders die de onderzoeker of hulpverlener informeren over het gedrag van hun kind; · een onderwijzer die de onderzoeker informeert over het gedrag in de klas van de te onderzoeken leerlingen. De reden voor het gebruik van informanten is vaak dat de betreffende onderzochte zelf niet goed in staat is om de benodigde informatie te verschaffen. Dat kan komen doordat de onderzochte te jong is of niet over de vermogens beschikt om de benodigde informatie te verschaffen, zoals in het geval van zwakbegaafden. Ook is het soms zo dat de onderzochte onvoldoende zicht heeft op zichzelf, terwijl anderen zoals leerkracht of ouders wel goed in staat zijn om de gevraagde kenmerken waar te nemen of te beoordelen. Als je weinig weet van het veld van onderzoek dan is het soms nodig om informanten te werven via advertenties of andere vormen van communicatie. De vraag is dan of er mensen zijn die iets meer over het onderzoeksterrein kunnen vertellen en die zich willen aanmelden. Er is dan sprake van zelfselectie bij de informanten. Op hun beurt kennen de informanten misschien nog andere experts op het onderzoeksge102 4 Selectie bij praktijkonderzoeken

bied. Dat lijkt op een sneeuwbalsteekproef maar is het niet. Er wordt immers niet gestreefd naar representatie van een populatie door een steekproef, maar naar een cumulatie van alle kennis die er over een bepaald gebied bestaat. Ook bij onderzoek onder specifieke groepen kan het nuttig zijn informanten in te schakelen. Zo deden Noom en De Winter (2001) onderzoek naar zwerfjongeren. Zwerfjongeren interviewden hun ‘peers’ over hun levensomstandigheden en de hulpverlening. De onderzoekers gebruikten informanten, omdat: · zij op die manier meer medewerking zouden krijgen van de te interviewen zwerfjongeren, omdat het perspectief van de jongeren zelf beter naar voren zou komen; · de zwerfjongeren de bevindingen beter zouden accepteren en gebruiken om verbetering in hun situatie te brengen. Zij noemen dit ‘peer research’. In het geval van anderen dan de betrokkene zelf moeten we in de gaten houden dat de informatie indirect is en niet noodzakelijkerwijs objectief. De gegevens zullen wel vaak redelijk betrouwbaar zijn als je je herhaaldelijk laat informeren door dezelfde informanten, maar er is in bijna alle gevallen al bij voorbaat twijfel over de validiteit van de gegevens van informanten, alleen al omdat deze informatie indirect verkregen is. Ad 6 Sleutelfiguren Soms is het handig om via sleutelfiguren die het te onderzoeken praktijkveld goed kennen, toegang te verkrijgen tot het onderzoeksgebied. Via hen kun je bijvoorbeeld in aanraking komen met nieuwe onderzochten voor een sneeuwbalsteekproef. Soms worden degenen die informatie kunnen verstrekken over de te onderzoeken praktijk ook gericht gekozen. Als je weet wie in het veld van onderzoek sleutelposities bekleden, dan kun je die personen voor meer informatie benaderen. Zo kun je over een organisatie of een buurt veel te weten komen door sleutelfiguren in te schakelen, omdat zij door hun rol of positie veel over het betreffende onderzoeksterrein weten. In deze gevallen is er sprake van selecte waarnemingen. De waarnemers zijn niet aselect gekozen en we kunnen dan ook niet verwachten dat de resultaten bruikbare populatieparameters opleveren. Dubbelrol

Vaak vervullen betrokkenen een dubbelrol bij praktijkgestuurd onderzoek, doordat ze ook waarnemingen uitvoeren. Het samenvallen van deze rollen kan een nadeel zijn omdat van onbevangen waarneming geen sprake is. Maar er zijn ook vaak voordelen, zoals · kostenvoordelen; · grote praktische uitvoerbaarheid; · zelfwaarneming maakt deel uit van een therapie; · betrokkenen hebben beter toegang tot het veld dan onderzoekers; · betrokkenen accepteren de resultaten van onderzoek beter als zij zelf waarnemingen hebben verricht.

4.3 Selectie van waarnemingen 103

In casus 4.1 bepaalt de psychiater om de vijf weken de Zungscore voor depressie. De cliënt zelf registreert hoe vaak hij krabt en welke opdrachten hij uitvoert. Cliënt en psychiater hebben er belang bij dat er een verbetering plaatsvindt en nemen dus niet onbevangen waar. Toch is het in zulke gevallen niet mogelijk om de waarnemingen te laten verrichten door een neutrale buitenstaander. Deze zou een sterkere inbreuk maken op de dagelijkse gang van zaken dan wanneer de cliënt zijn eigen gedrag registreert. Ook zou een neutrale observator de kosten van de behandeling omhoog jagen. Maar de zelfregistratie van de cliënt is niet alleen gericht op het onderzoeksdoel. De observaties zijn een middel om antwoord te krijgen op de vraag of de therapie helpt, maar maakt ook deel uit van die therapie. Doordat de cliënt het krabben moet registreren, wordt hij daarmee ook geconfronteerd en dat kan hem helpen dat gedrag te veranderen, waardoor hij minder gaat krabben.


Studie-eindvragen

Reproductieve vragen 4.1

4.2

4.3 4.4

4.5

4.6

4.7

4.8

4.9

4.10

Noem de belangrijkste selectievragen die bij elk onderzoek een rol spelen.Wat is het doel van selectie? Zijn er ook nog andere mogelijke doelen? Wat is het uiteindelijke doel van elk onderzoek? Welke rol speelt selectie daarbij? Waarom is de onderzoeker vrij bij het maken van zijn keuzes? En waarom is het toch van belang om zo veel mogelijk bij gangbaar onderzoek en gangbare onderzoeksmethoden aan te sluiten? Wat is de definitie van een kanssteekproef? Geef enkele mogelijkheden om een kanssteekproef te bereiken. Wat is het grote voordeel van een kanssteekproef? Waarom is het nodig om altijd de gemaakte selectie te verantwoorden? Wat wordt bedoeld met een betrouwbare kanssteekproef? Welke aanname mag je doen bij een kanssteekproef? Noem een aantal redenen waarom je bij onderzoek geen gebruikmaakt van een kanssteekproef. Welk effect heeft dit op de conclusies die je uit het onderzoek kunt trekken? Leg uit hoe een sneeuwbalsteekproef werkt. Wanneer is het zinvol om gebruik te maken van een sneeuwbalsteekproef? Waarover kun je op grond van een sneeuwbalsteekproef zinvolle uitspraken doen? Kun je op grond van een sneeuwbalsteekproef ook zinvolle uitspraken doen over de populatie? Welke stappen zijn er nodig bij de selectie van variabelen? Hoe is de selectie van variabelen gebonden aan waarnemingsmiddelen, waarnemers en waarnemingsmomenten? En in welke opzichten is de keuze beperkt en wanneer ruim? Wanneer is het zinvol om een kanssteekproef te nemen? Noem twee grote problemen bij de selectie van waarnemingsmomenten? Waartoe is een kanssteekproef van waarnemingsmomenten beperkt? Wanneer is het het beste om een aselecte steekproef van waarnemingsmomenten te kiezen? Geef verschillende mogelijkheden aan om een kanssteekproef van waarnemingsmomenten te nemen. Wanneer is een aselecte steekproef van waarnemers mogelijk? Waarom gebeurt dit in de onderzoekspraktijk weinig? Welke eisen stel je aan waarnemers? Wat zijn informanten? Wat zijn sleutelfiguren? Wat zijn de voor- en nadelen van waarnemingen door informanten? Productieve vragen

4.11

Milgram, een onderzoeker die het begrip gehoorzaamheid heeft onderzocht vanuit een theoretisch kader, voerde zijn onderzoek in eerste instantie uit in zijn laboratorium. Leg uit waarom hij in tweede instantie zijn onderzoek herhaalde in andere situaties, zoals een vervallen schoolgebouw in een arme wijk.

105

4.12

4.13

Bij een grote hulpverleningsinstelling, zoals het Academisch Ziekenhuis Utrecht (AZU), wil men een tevredenheidsonderzoek doen onder de vele duizenden cliënten die het AZU jaarlijks bezoeken. Wat is de populatie? Wat is een mogelijk steekproefkader? Is het nodig of zinvol om hier een steekproef te trekken? Welke uitspraken zijn er mogelijk op grond van een aselecte steekproef van voldoende omvang? Kun je op grond van het onderzoek ook een uitspraak doen over het Amsterdams Medisch Centrum (AMC)? Noem de voor- en nadelen van zelfobservatie. Zelftoetsvragen

4.14

Een onderzoeker doet onderzoek naar schoolangstige kinderen. Hij selecteert daartoe aselect kinderen die in 2002 zijn aangemeld bij RIAGG’s in Zwolle, Amsterdam en Utrecht. Welke mogelijkheden heeft hij om conclusies te trekken? a Hij kan conclusies trekken over de populatie van schoolangstige kinderen. b Hij kan conclusies trekken over alle schoolangstige kinderen in Zwolle, Amsterdam en Utrecht die zich hebben aangemeld bij deze RIAGG’s in 2002 c Hij kan conclusies trekken over de schoolangstige kinderen in Zwolle, Amsterdam en Utrecht. d Hij kan uitsluitend conclusies trekken over de kinderen die hij heeft onderzocht.

4.15

Welke definitie is onjuist? a Bij een enkelvoudige aselecte steekproef heeft iedere eenheid dezelfde kans om in de steekproef opgenomen te worden. b Bij een gestratificeerde steekproef heeft iedere eenheid dezelfde kans om in de steekproef opgenomen te worden. c Als bij een sneeuwbalsteekproef het netwerk in kaart is gebracht, dan kan voor de leden van dat netwerk uitgerekend worden hoe groot de kans is om in de steekproef terecht te komen. d Een dataverzameling is verzadigd, als verdere waarnemingen geen nieuwe gezichtspunten of feiten oplevert.


Selectie bij praktijkonderzoek

Recommend Documents