Effectonderzoek in de gedragswetenschappen: Zelftoets Antwoorden Open vragen nr
juiste antwoord
1
Effectonderzoek kan een bijdrage leveren aan theorieontwikkeling, aan een betere afstemming van de vele vormen van interventie op de verschillende hulpvragen van volwassenen en kinderen en aan de verhoging en/of waarborging van de kwaliteit van de hulp. Omdat nog onvoldoende (goed) effectonderzoek plaatsvindt om een dergelijke conclusie te rechtvaardigen en omdat er ook studies zijn, waarin negatieve of géén effecten worden gevonden van interventies. Als gevolg van het politieke beleid, dat evidence-based werken stimuleert, en door de groeiende competitie tussen aanbieders van hulp en zorg.
2
3
4
5
6
7
8 9 10 11
Het black box-principe: er is een bepaalde situatie, daarin pleeg je een interventie en vervolgens meet je of de situatie is veranderd. De interventie, bijvoorbeeld het toedienen van medicatie, is een gegeven, daar hoef je verder niet naar te kijken. De hulpverleningspraktijk draait helemaal om de interventie en ziet die als een proces. Er is een idee dat zich ontwikkelt in de praktijk. Er is aan het begin wel een notie over de gewenste uitkomsten, maar nog lang geen zicht op een meetbaar resultaat. De interventie is niet te beschouwen als een vast gegeven, waardoor het black box-principe hier niet goed toe te passen is. Er bestond een gebrek aan kennis van onderzoek en statistiek en er was de kloof tussen onderzoek en praktijk. 1 Observatie, op ideeen komen. 2 Inductie, ideeën scherp formuleren. 3 Deductie, consequenties aan de formuleringen ontlenen voor de empirie. 4Toetsing, nagaan of de consequenties gelden in de empirie. 5 Evaluatie, nagaan of de toetsing goed is verlopen en nagaan wat ik er van geleerd heb. Enkelvoudige deterministische hypothesen Alle A zijn B. Deterministische existentiehypothese, er zijn A die B zijn. Probabilistische hypothesen, de meeste A zijn B. Descriptief. Exploratief. Hypothesetoetsend. Instrumenteel-nomologisch. Interpretatief-theoretisch 1 Voorwerp van studie recht doen. 2 Vermijden van storende subjectiviteit. 1 Probleemstelling. 2 Diagnose. 3 Plan. 4 Ingreep. 5 Evaluatie Alle activiteiten van een (menselijk) organisme, die waarneembaar of registreerbaar zijn of tot waarneembare of registreerbare toestandswijzigingen leiden.
12
13
14
15
16 17
Een interventieprogramma is een geheel van hulpverleningsactiviteiten, die gekenmerkt worden door goed omschreven doelen, gericht op het oplossen, verminderen of voorkomen van risico’s of problemen bij kinderen en/of volwassenen; aansluiten bij toepasselijke theorieën en hypothesen; goed gedefinieerd zijn wat betreft inhoud en doelgroep; in de tijd gefaseerd zijn ter wille van het bereiken van de doelen; en vooraf geplande evaluatiemomenten en evaluatiecriteria bevatten. Wanneer de interventie (a) afhankelijkheid vertoont, dat wil zeggen wanneer er een functionele relatie is tussen onafhankelijke variabele (de interventie) en de afhankelijke variabele (de factor waaruit blijkt dat de interventie invloed heeft); (b) specifiek is, dat wil zeggen de mate waarin bepaalde handelingen verondersteld worden verantwoordelijk te zijn voor de verandering in de participant(en); en (c) niet samengaat met alternatieve verklaringsmogelijkheden, dat wil zeggen de mate waarin het onderzoek er in slaagt verborgen factoren te benoemen en weg te werken. Dat het bij effectiviteit en causale gevolgtrekkingen niet gaat om een allesof-niets zaak. Zij plaatsen het begrip op een continuüm, zodat het mogelijk is om verschillende vormen en niveaus van causale gevolgtrekkingen te onderscheiden. De kosten die de toepassing van een interventieprogramma met zich meebrengt zijn niet alleen voor rekening van degenen die het interventieprogramma toepassen, maar bestaan ook uit de (financiële) inspanningen die de doelgroep zich moet veroorloven om aan het programma deel te nemen. Natuurlijk is het ook van belang om de kosten van het effectonderzoek zelf te ramen en te wegen. In het algemeen is het zo dat hoe hoger het niveau van precisie, betrouwbaarheid en generalisatie is, hoe hoger de kosten zijn in termen van tijd, personele en andere benodigde middelen (Wholey, Hatry & Newcomer, 2004). De kosten van een effectonderzoek bestaan uit benodigde tijd en middelen voor de effectonderzoeker en onderzoeksmedewerkers, maar ook die van beleidsmakers, programmamanagers, ander personeel en de doelgroep van het programma. Deze moeten worden afgewogen tegen de opbrengsten van het onderzoek, zoals de kracht en geloofwaardigheid van het geproduceerde bewijs ten opzichte van beleidsmakers, managers en andere gebruikers en de invloed van de resultaten op de werking van het programma. Ontwikkelen van theorieën. Vooral en in het merendeel langs de weg van de empirische cyclus van wetenschappelijk onderzoek. Het doel van praktijkgericht onderzoek is het ontwikkelen, proberen en evalueren van oplossingen voor praktijkproblemen die bestaan bij aanwijsbare actoren buiten de wetenschap. Praktijkgericht onderzoek wordt ook wel toegepast onderzoek genoemd (Verschuren, 1994) en wordt vaak beschreven aan de hand van de regulatieve cyclus van Van Strien (1975, 1986).
18
19
20
21
Product- en procesevaluaties verschillen wat betreft het doel dat zij nastreven en de criteria die aangelegd worden. Productevaluaties hebben vaak tot doel de rechtvaardiging van de interventie ten opzichte van de uitvoerders, de doelgroep, de opdrachtgever en de financiers of het maken van een beslissing over stoppen of doorgaan met de interventie. Deze doelen worden ook wel summatief genoemd. De criteria op grond waarvan de interventie wordt beoordeeld zijn bij productevaluaties ontleend aan het doel van de interventie (zogenaamde goal-based productevaluaties). De procesevaluatie heeft tot doel het tot stand brengen van veranderingen in de interventie en/of bewustwording van de betrokkenen bij het proces (ook wel formatieve doelen genoemd). De criteria op grond waarvan de effectiviteit van de interventie wordt beoordeeld hoeven bij procesevaluaties niet te zijn ontleend aan het doel van de interventie. Ook de morele, maatschappelijke of politieke waarden kunnen bijvoorbeeld als beoordelingsmaatstaf worden genomen. Het belangrijkste verschil tussen kwalitatieve en kwantitatieve methoden heeft te maken met de mogelijkheid om de verzamelde informatie gemakkelijk tot getallen te reduceren. Kwantitatieve methoden bevatten instrumenten (bijvoorbeeld gestructureerde vragenlijsten, gestandaardiseerde tests) die gemakkelijk vertaald kunnen worden in een kwantitatieve formulering. Informatie, afkomstig van kwalitatieve methoden (bijvoorbeeld participerende observatie, open of semigestructureerde interviews, dagboeken) bestaat in verbale, dus nietkwantitatieve termen. Effectonderzoek is onderzoek, waarin met gebruikmaking van methoden en technieken uit de sociale wetenschappen een waardeoordeel wordt uitgesproken over het feitelijk functioneren van een interventieprogramma, door dat te vergelijken met de doelen ervan en, voor zover mogelijk, de systematische bepaling van de mate waarin het programma een eventueel geconstateerde verandering veroorzaakte, met de bedoeling bij te dragen tot betere, meer gefundeerde, rationelere beslissingen over het programma om uiteindelijk bij te dragen aan een optimale hulp- en zorgverlening. De voorheen gebruikelijke uitdrukkingswijze voor een effect van een interventie was gebaseerd op de statistische significantietoets van bijvoorbeeld de verschillen tussen een groep die de interventie heeft gevolgd en een controlegroep, na afloop van de interventie. In zo’n toetsing kan ook een miniem effect statistisch significant worden, als de grootte van de steekproeven (het aantal mensen dat de interventie volgt en het aantal mensen in de vergelijkingsgroep) toeneemt. Het begrippenpaar significant versus relevant is ingevoerd om een verschil te kunnen maken tussen wat zowel significant als relevant is en wat wel statistisch significant is, maar vakinhoudelijk nauwelijks relevant. Een ES is niet afhankelijk van de omvang van een of meer steekproeven en levert daardoor meer informatie op over de relevantie van de resultaten. ES’s bieden bovendien daardoor het grote voordeel dat men de effecten van verschillende studies kan vergelijken. Het rapporteren van ES verbetert de
eigen interpretatie én stelt de lezers in staat tot een betere interpretatie.
22
23
24
25
26
1. Inventariseren van begrippen en doelen. 2. Van doelen naar criteria en hypothesen. 3. Opstellen van meetinstrumenten. 4. Opstellen van een (experimenteel) onderzoeksdesign. 5. Verzameling, analyse en interpretatie van de data. 6. Verslaglegging van het onderzoek. Vragen naar de bruikbaarheid: Kunnen de resultaten van de evaluatie beslissingen aangaande het programma beïnvoeden? Kan de evaluatie op tijd plaatsvinden om bruikbaar te zijn? En is het programma relevant of zwaar genoeg? Vraag naar de noodzaak: is er ander onderzoek verricht en zo ja, wat zijn daaruit de resultaten? Vraag naar de noodzaak tot ethische toetsing: valt het onderzoek onder de Wet medisch-wetenschappelijk onderzoek met mensen? Een analyse van de factoren die bij een probleem of risico een rol spelen (risicofactoren, beschermende factoren, intermediaire factoren). Hoe die factoren met elkaar in verband staan. Welke daarvan beinvloedbaar zijn en welke niet. Wat is de prognose zonder ingrijpen (normale ontwikkelling)? Een aanduiding van de werkzame bestanddelen van de interventie, zowel algemeen werkzame bestanddelen als unieke (proces- en therapeutvariabelen, afstemmingsvariabelen). Evt. storende factoren en belangrijke covariaten. Doelen van de interventie. Tot welk type hulp het interventieprogramma behoort en bij welke bestaande theorieën aangesloten wordt, zodat een verband gelegd wordt met reeds aanwezige kennis. Accurate bronvermelding. Duidelijke beschrijving van de doelgroep van de interventie en de reden voor die doelgroep (cliëntvariabelen). Met hidden third factors of storende factoren worden factoren bedoeld die in plaats van de interventie de afhankelijke variabele beïnvloeden, waardoor men, wanneer men er bij de toetsingsopzet niet in slaagt storende factoren uit te schakelen, op basis van het onderzoek geen conclusies kan trekken over het verband tussen de interventie en de afhankelijke variabele(n). Dit gaat ten koste van de interne validiteit van het onderzoek. Met intermediaire factoren, ook wel intervening variable of moderatoren, worden factoren bedoeld die het beoogde effect van de interventie mediëren. De interventie heeft dan via een andere onafhankelijke variabele (intermediaire factor) invloed op de afhankelijke variabele. Grafisch kan dit als volgt worden weergegeven: A--> B -->C (A: Interventie,
B: Intermediaire factor, C: Afhankelijke variabele). Er is hier sprake van een keteneffect of een distaal causaal verband (in tegenstelling tot een rechtstreeks proximaal causaal verband).
27
het SMART-principe is management- en pedagogenjargon voor het eenvoudig en eenduidig opstellen en controleren van doelstellingen. De letters van SMART staan voor: Specifiek: de doelstellingen moeten eenduidig en gedetailleerd zijn; Meetbaar: onder welke (meetbare/observeerbare) voorwaarden is het doel bereikt; Acceptabel: de doelstellingen moeten aanvaardbaar zijn voor en relevant gevonden worden door de doelgroep en/of management; Realistisch: de doelstellingen moeten haalbaar zijn; Tijdgebonden: wanneer (in de tijd) moeten de doelen bereikt zijn?
28
Een goed onderscheid is dat van Lorion en Lounsburg (1982): Tertiair: na het opkomen van een probleem Secundair: tijdens het opkomen van een probleem Primair: voor het opkomen van een probleem
29
Wat? De inhoud van de interventie, zoals bedoeld en uitgevoerd (de methode en de implementatie). Werkt het? Welke effecten worden beoogd en hoe zijn deze te operationaliseren en welke mogelijke ongunstige effecten zijn er? Wanneer? Onder welke omstandigheden treden de effecten (het sterkst) op (verloop/implementatie)? voor Wie? Bij welke participanten (doelgroep) treden de effecten (het sterkst) op? Waarom? Welke oorzakelijke of in stand houdende mechanismen zijn beïnvloed? Sleepereffecten zijn effecten die na de interventie pas na verloop van tijd optreden en dus alleen met een longitudinaal design gemeten kunnen worden. Bijvoorbeeld: minder behoefte aan speciaal onderwijs of vaker afronden van middelbare school. Effectcriteria vormen een steekproef uit alle mogelijke variabelen waarin effect zich kan weerspiegelen. De onderzoeker moet een keus maken, op grond waarvan een netwerk van variabelen ontstaat. Wanneer het effect op die variabelen benoemd en meetbaar geformuleerd (geoperationaliseerd) is, wordt in het boek gesproken van effectcriteria. Het gevaar is dat studies ten onder gaan in een lawine van gegevens, omdat vooraf te weinig keuzen worden gemaakt. Design dump is een valkuil, waarbij bij gebrek aan een heldere vraagstelling een enorme hoeveelheid data door de onderzoeker worden verzameld, waarvan vervolgens onduidelijk is of en hoe die geïnterpreteerd moeten worden. Er wordt dan vaak achteraf gedaan aan HARKing (Hypothesizing After the Results are Known).
30
31
32
33
34
35
36
Omdat de effectiviteit van de interventie sterk bepaald wordt door de daadwerkelijke implementatie ervan en omdat die implementatie vaak afwijkt van het plan op papier. Zonder registratie van het programmaverloop kan niet nagegaan worden hoe een eventueel effect is bereikt en waardoor er bijvoorbeeld verschillende effecten bij subgroepen zijn. Ook is het van belang voor het repliceren van het onderzoek. Het meetinstrument moet: relevant zijn ten aanzien van de onderzoekshypothesen; aansluiten bij de doelgroep, doelen en activiteiten van de interventie (en dus een duidelijke omschrijving van doel en doelgroep bezitten); theoretisch goed onderbouwd zijn; praktische bruikbaar zijn; sensitief genoeg zijn om de gewenste verandering vast te stellen; zo objectief mogelijk door bij voorkeur gestructureerde, genormeerde methoden, voorzien van systematische richtlijnen; betrouwbaar; valide. Paralleltestbetrouwbaarheid, gebaseerd op de overeenkomst tussen tests die strikt parallel (vergelijkbaar) zijn, bijvoorbeeld verschillende versies van een test; Betrouwbaarheid op basis van inter-itemrelaties (zoals Cronbach’s alpha (α; 1951), Guttman’s lambda2 (λ-2; 1945), KR20, gebaseerd op de covarianties tussen de items van de test (de mate waarin de items overeenstemmen); Test-hertestbetrouwbaarheid, gebaseerd op de overeenkomst in scores als het instrument op dezelfde manier, door dezelfde persoon en bij dezelfde participanten nogmaals wordt afgenomen;nInterbeoordelaarsbetrouwbaarheid, gebaseerd op de overeenkomst in scores als het instrument door verschillende personen wordt gehanteerd bij dezelfde participanten; Overige methoden, zoals die op basis van item-responsetheorie of generaliseerbaarheidstheorie en structrurele vergelijkingmodellen. Bij de inhoudsvaliditeit wordt de vraag gesteld of de inhoud van de test representatief is voor de inhoud van de eigenschap die wordt gemeten. Zijn de items een representatieve steekproef uit het theoretische universum van alle mogelijke items over het te meten aspect? Criteriumvaliditeit wordt gemeten door de testscores te vergelijken met externe variabelen of criteria, waarvan aangenomen wordt dat ze dezelfde eigenschap meten. Een belangrijke vorm van criteriumvaliditeit is de predictieve validiteit, de mate waarin een test een voorspelling kan doen over gedrag dat zich buiten de testsituatie voordoet, in de toekomst, het verleden of het heden. Bij de begripsvaliditeit is het van belang wat de test meet, niet wat het voorspelt. De begripsvaliditeit geeft de mate aan waarin de test daadwerkelijk het psychologisch begrip meet: welke eigenschap(pen) kan (kunnen) de individuele variantie in de testscores verklaren? Men moet hier proberen de theorie achter de test te valideren, door bijvoorbeeld hypothesen over relaties, voortvloeiend uit die theorie, te testen. Zowel Drenth (1971) als De Groot (1971) scharen de soortgenoot (convergente of congruente) validiteit onder de begripsvaliditeit: de mate waarin een bepaalde test correleert met een andere test, waarvan wordt aangenomen dat die dezelfde trek meet.
37
38
39
40
41
42
43
De experimentele benadering van onderzoek heeft zijn wortels in het empirisch-analytische (positivistische) denken, dat in de decennia na de jaren vijftig gaandeweg de standaard werd binnen de psychologische discipline. Daartegenover staat de geesteswetenschappelijke stroming, waarin de experimentele benadering bij psychologisch gericht onderzoek wordt bekritiseerd. In het geesteswetenschappelijke denken ligt de nadruk niet op het opsporen en toetsen van algemene wetmatigheden in de individuele verscheidenheid, maar op de intuïtieve benadering van iedere unieke persoon. Het onderscheid tussen de twee denkwijzen is mooi geïllustreerd aan de hand van twee aforismen over wat wetenschappelijke kennis is, van twee vooraanstaande psychologen (Dehue, 1990): Van der Horsts – niet letterlijke uitspraak (geesteswetenschappelijk georiënteerd): ik weet iets, ik beleef iets en De Groots (1961) (empirisch-analytisch georiënteerd) parafrase: als ik iets weet kan ik iets voorspellen, als ik niets kan voorspellen weet ik niets. (a) Pre-experimenteel design, een ontwerp waarbij vrijwel alle interne en externe bedreigingen niet worden beheerst. (b) Quasi-experimenteel design, een ontwerp waarbij bedreigingen in zekere mate worden beheerst, zij het dat er geen sprake is van randomisatie. (c) Experimenteel design, een ontwerp waarbij er maximale beheersing van de bedreigingen tegen de externe en interne validiteit is. Meer dan een voormeting is nodig om het pre-experimentele verloop van de ontwikkeling van een variabele (de baseline) te schatten. Meer dan een nameting is belangrijk om het beklijven van het effect vast te stellen en om sleepereffecten te specificeren. Een design met zeer veel voor- en nametingen is van een bepaald type: het longitudinale design. Bijvoorbeeld bedoeld om individuele variatie van proefpersonen te schatten. Random toewijzing houdt in: toewijzing van deelnemers aan experimentele en controle groep op basis van toeval. Eventueel, een zwakkere vorm: het toewijzen van intacte groepen aan de experimentele en controle groep op basis van toeval. Hierbij zorgt men dat beide groepen op een aantal belangrijk geachte aspecten aan elkaar gelijk zijn. Dit kan door uit een grotere groep steeds twee personen te kiezen, die op deze aspecten gelijk zijn en van elk paar willekeurig de ene aan de experimentele groep en de ander aan de controlegroep toe te wijzen (reële matching of precisiecontrole). Een andere manier is twee groepen te vormen, die op een aantal variabelen dezelfde frequentieverdeling hebben (frequentieverdelingscontrole of globale controle). Door een placebogroep op te nemen, waarin interventies worden gepleegd die niet relevant zijn.
Een overzicht van de aantallen personen in alle fasen van het onderzoek, zoals: het totale aantal personen dat in de studie wordt geworven; de aantallen per groep; het aantal personen dat tijdens de studie uitvalt; de aantallen in de analyse.
44 O5 moet hoger zijn dan O4, zodat kan worden aangenomen dat de voortest geen sensitiziationeffecten had of dat de interventie sterk genoeg is om de interactie tussen sensitization en de interventie te overtreffen.
45
Het meetniveau van variabelen bepaalt in de statistiek welke berekeningen je kunt uitvoeren met de gegevens.
46
In het kort komt het erop neer dat de zwart-wit beslissing op basis van het gekozen significantieniveau arbitrair is, de nulhypothese-aanname vaak niet realistisch is en de vraag hoe groot de kans is dat er een effect is in de populatie, gegeven het gevonden effect, op basis van een betrouwbaarheidsinterval BI (confidence interval CI), eigenlijk interessanter is. Dit is de mogelijkheid om, wanneer verschillen in de populatie bestaan, deze verschillen tijdens het onderzoek in de steekproef aan te tonen. Het significantieniveau (alpha: α) dat de onderzoeker heeft gekozen. Hoe meer men de kans op een type I-fout wil controle¬ren (verkleinen), hoe lager juist de power wordt. Een belangrijke uit¬daging voor onderzoekers is dan ook het vinden van een passende balans tussen de kans op een type I-fout en de benodigde power. De steekproefgrootte. De effect size ES, die aangeeft hoeveel verschil een interventie maakte of hoeveel de groepen in de populatie verschillen op de afhankelijke variabele. A priori schatting gebeurt tijdens de planning en design van een onderzoek en hoort strikt gesproken dus niet thuis in de fase van data-analyse. Men wil een bepaalde power hebben (bijvoorbeeld .70 of .80) en zal daarmee rekening moeten houden bij de bepaling van de hoeveelheid participanten in het onderzoek (gegeven een bepaald vastgesteld significantieniveau en geschatte ES). 1. Verzekering van de nauwkeurigheid van de wetenschappelijke kennis. 2. De bescherming van de rechten en het welzijn van deelnemers (onderzoeksparticipanten, cliënten, organisaties, derde partijen) aan het onderzoek, die de bron van informatie zijn die in het onderzoek wordt gepubliceerd. 3. Ook moet aandacht besteed worden aan eventuele conflicts of interests, waarbij de onderzoeker een belang zou hebben bij bepaalde uitkomsten: alle informatie moet worden opgenomen in het artikel, die nodig is voor de lezer om in te schatten of er misschien omstandigheden zijn waardoor de onderzoeker positief dan wel negatief biased zou zijn. 4. De bescherming van intellectuele eigendomsrechten: onderzoekers mogen geen woorden of ideeën van anderen als hun eigen presenteren.
47
48
49
50
51
52
53
54
55 56
57
58
Er is niet altijd een toereikende theorie, waarop de interventie zich kan baseren, met name waar het gaat om de oorzakelijke mechanismen bij het ontstaan van problemen. De complexiteit in de gedragswetenschappen bemoeilijkt het samenvatten in een theoretisch model. Er is het gevaar van oversimplificatie van de complexe werkelijkheid. Er zijn weinig voorbeelden van theorie-gestuurde evaluaties. Het theoretisch raam wordt niet altijd (voldoende) geëxpliciteerd. Het definiëren van subpopulaties is ingewikkeld, doordat het niet altijd de gangbare diagnostische categorieën of (demografische) variabelen zijn, die verschillende effecten kunnen verklaren. Ook zijn er enorm veel (achtergrond)variabelen, waaruit gekozen moet worden. In plaats van op basis van categorieën van stoornissen, subpopulaties onderscheiden op basis van de oplopende ernst van stoornissen. Zich bewust zijn van de eigen normativiteit, keuzes expliciteren en beargumenteren en niet méér feitelijkheid of wetenschappelijke zekerheid suggereren dan zij ten overstaan van zichzelf en de betrokkenen kunnen verantwoorden. Hoe meer ecologische variabelen er in het onderzoek betrokken dienen te worden, hoe meer men aanloopt tegen het tekort aan meetinstrumenten van voldoende kwaliteit. Het voordeel is dat het instrument helemaal aangepast kan worden aan het betreffende programma, de betreffende doelgroep en de onderzoeksvragen. Een nadeel hiervan is dat specifieke instrumenten voor elk programma afzonderlijk de vergelijking met effecten van andere programma’s bemoeilijkt. Dit kan bovendien de verbetering van instrumenten, door middel van toetsing en ervaring in de praktijk, en de ontwikkeling van beschrijvende normatieve data over interessante variabelen in de weg staan. Dat de instrumenten genormeerd zijn op normale populaties, waardoor geen geschikte referentiepopulatie voorhanden is. Bij criteriumgeoriënteerde testen gaat het niet om het vergelijken met een referentiepopulatie maar om het beoordelen van het al of niet bereiken van een of ander criterium. Enerzijds kan er sprake zijn van reactiviteit van de metingen en anderzijds kunnen participanten om andere redenen dan beoogd door de onderzoeker tevreden zijn over het effect van de interventie. Uit onderzoek blijkt dat participanten de neiging hebben positief effect van de interventie te zien, ook al is dit niet het geval. Onderzoekers kunnen zelden een actieve rol spelen in de samenstelling van de experimentele groep, waardoor het vaak geen aslecte steekproef uit de populatie kan zijn. Een controlegroep is vaak niet haalbaar, bijvoorbeeld door de heterogeniteit van de populatie en de kleine aantallen participanten. Random toewijzing is vaak ook niet mogelijk, bijvoorbeeld door ethische bezwaren.
59
Zie tabel 5.1.
60
Dat het eveneens onethisch is om een programma, waarvan de waarde nog niet empirisch is vastgesteld, aan te bieden aan gezinnen. Er wordt gewerkt met vrijwillige opkomst of deelname, waardoor mensen die zich opgeven voor het onderzoek kunnen verschillen van de mensen uit dezelfde doelgroep die zich niet opgeven voor het onderzoek. Als dit het geval is, is de onderzoeksgroep geen representatieve steekproef uit de populatie en kunnen de resultaten niet gegeneraliseerd worden naar die populatie. Nee, zelfs waar wel random toewijzing mogelijk is, blijven problemen bestaan. Bijvoorbeeld: de randomisatie kan niet gemakkelijk geschieden omdat (a) er sprake kan zijn van systematische experimentele uitval, (b) niet-inschikkelijkheid van de participanten en (c) verandering in gedrag als participanten in de gaten krijgen tot welke groep ze behoren. Vergelijk ook het probleem met equipoise. Ander lijstje met bedreigingen voor de interne en externe validiteit: Selectieve uitval: Random toegewezen deelnemers kunnen, wanneer het programma veeleisend is, selectief uitvallen. - Selectie: Nog steeds kunnen mensen die zich opgeven voor het onderzoek, dus bereid zijn om mee te doen, verschillen van andere mensen uit de populatie. - Contamination of horizontale diffusie: Deelnemers interacteren met de controlegroep waardoor ze een deel van de behandeling doorgeven. - Compensatory rivalry: Deelnemers in de controlegroep kunnen manieren vinden om het gebrek aan hulpverlening te compenseren.
61
62
63
64 65
66
Respondenten die uitvallen zijn op belangrijke variabelen verschillend van respondenten die niet uitvallen, waardoor de generalisatiewaarde (externe validiteit) van het onderzoek wordt beperkt. Niet beantwoorde items in een vragenlijst, interview of test. Tweezijdig toetsen.
De term univariaat geeft aan dat er één afhankelijke en één onafhankelijke variabele in de analyse is opgenomen. Bij een multivariate toets gaat het om meer dan een afhankelijke variabele en meestal verschillende onafhankelijke variabelen.
67
68
69
70
71
72
73
74
Het kan zijn dat de toetsen een laag onderscheidingsvermogen hadden, dus dat er wel effecten waren, maar deze niet aangetoond zijn.Het kan zijn dat de theorie of hypothesen incorrect opgesteld waren, waardoor bijvoorbeeld de verkeerde of irrelevante variabelen of operationalisaties daarvan zijn gekozen binnen het onderzoek. Er kunnen andere methodologische fouten zijn gemaakt. Valkuilen bij het rapporteren van onderzoek zijn dat er meer zekerheid wordt gesuggereerd dan men heeft en dat slechts positieve effecten worden gerapporteerd en gepubliceerd. De eisen aan wetenschappelijke artikelen stemmen niet altijd overeen met de informatiebehoefte van de (hulpverlenings)praktijk. Er kunnen ook conflicts of interests ontstaan. Een logic model toont de veronderstelde verbanden tussen begrippen. Het is ook een stroomschema (flowchart) bedoeld om te beschrijven hoe het programma zal werken, volgens de elementen: middelen, activiteiten, output, doelgroepen, kortetermijneffecten, intermediaire uitkomsten, langetermijneffecten. Een programma moet nooit voortijdig worden geverifieerd, om hoge kosten te vermijden. De vraag is nu wanneer een interventieprogramma voldoende ontwikkeld is om beoordeeld te worden. Hiertoe kan een logic model dienen, in de vorm van uitgekristalliseerde ideeën over relaties tussen programma-elementen. Dit kan in een flowchart geplaatst worden, om na te gaan of het programmamodel logisch in elkaar steekt. Is zulks het geval, dan is de evaluability assessment met positief resultaat afgerond. (a) Een schematische weergave van alle met een programma beoogde (intermediaire) doelen en effecten en het veronderstelde verband daartussen. (b) Een poging om een rangorde in (eind)doelen aan te brengen. Een doelenhiërarchie -helpt om het overzicht te behouden op alle verschillende variabelen en doelstellingen die getoetst moeten worden in het effectonderzoek; - kan helpen voorkomen dat relevante effecten over het hoofd worden gezien; - dwingt de onderzoeker zijn of haar basisassumpties en theoretische overwegingen te expliciteren; -brengt een rangorde aan in (eind)doelen. Veranderingen in B = f(I, S, G, K, O, X), B = Afhankelijke of uitkomstvariabele, f betekent ‘functie van’, I = Kenmerken van de vroegtijdige orthopedagogische interventie, S = Eigenschappen van het sociale netwerk, G = Gezinskenmerken, K = Kindkenmerken, O = Overige variabelen die invloed uitoefenen op gezin en kind, X = Variabelen die een bedreiging vormen voor de interne validiteit. (a) Specificatie van variabelen die gedragsverandering veroorzaken. (b) Analyse van interventie als onafhankelijke variabele met andere variabelen. (c) Beheersing van validiteitsbedreigingen. (d) Specificatie van (eind)doelen.
75
76
77
78
79 80
81
82
In telegramstijl zijn dit de componenten die de aandacht behoeven. Is er behoefte aan het stimuleren van burgerschap? Beschrijving van de deelnemers aan het onderzoek. Dus de basisscholen. Inclusief of exclusief de groepen 1 en 2? De wetgever vindt de bevordering van burgerschap belangrijk in het kader van de integratie. Het interventieidee is oorspronkelijk ontwikkeld in het buitenland, met de volgende uitkomsten. Belangrijkste doel, naast burgerschap, is het ontwikkelen van extra veiligheid op school Op korte termijn neemt de identificatie van de leerling met het Nederlanderschap met bepaalde rechten en plichten toe Op lange termijn wordt het aantal conflicten tussen leerlingen onderling verminderd Enzovoorts: invullen het het logis model: aangeboden prograam en resultaten van het programma; organisatiestructuur, staf, financiele bronnen, samenwerking implementatiestrategie in andere scholen, evaluatieplan Deze laatste stap moet goed zichtbaar zijn voor de managers, maar de uitwerking is hier heel kort, want een template is altijd een samenvatting. Een programma-template vat op een helde en simpele manier de essentie van een interventie samen, bedoeld voor managers, staf en effectonderzoekers. Het bevat allerlei categorieën, waaronder het logic model en de flowchart. Zie tabel 6.1 Vanwege de geringe toepasbaarheid van standaardnormen bij kinderen met een ontwikkelingsachterstand of een ernstige beperking en vanwege het veronderstelde lineaire verloop van de ontwikkeling wordt normgeoriënteerd testen door deze auteur niet geschikt gevonden. Bij Indices of Change met betrekking tot zich ontwikkelende kinderen: deze procedures zijn alleen te gebruiken in combinatie met gestandaardiseerde tests en veronderstellen een lineair ontwikkelingsverloop Bij deze procedures wordt verondersteld dat verandering in het ontwikkelingstempo van het kind een indicatie is voor interventie-effect De Reliable Change Index (RCI), ook wel genoemd de J-T-index, naar Jacobson en Truax (1991). De maat standaardiseert het verschil tussen voor- en nameting, door middel van delen door standaardmeetfout. Er zijn verschillende manieren om de standaardmeetfout van de verschilscores te bereken. Let bijvoorbeeld op de kritiek van Maassen (2004). De subjectiviteit van ouders, onderzoekers en hulpverleners speelt een grote rol, zowel bij het opstellen van de doelen als bij het voorspellen van het succes en het vergelijken van het voorspelde succes met de vooruitgang van het individu. Er is mede hierdoor onduidelijkheid over de betrouwbaarheid en validiteit van de doelen.
83
84
85
86
87
88
89
90
91
92
(a) Door gevoelig en voorzichtig te werk te gaan bij de afname van de tests en het interpreteren van de scores. (b) Door de tests niet te gebruiken voor het vaststellen van het cognitieve niveau van kinderen met motorische of cognitieve beperkingen. (c) Door te letten op atypische scorepatronen, waarbij men rekening houdt met allerlei kenmerken van het kind en zijn of haar omgeving. (a) Wanneer men een construct wil meten waar simpelweg geen andere bruikbare instrumenten voor zijn. (b) Wanneer de onderzoeker bezorgd is over de representatie van het individu in de normpopulatie. (c) Wanneer men niet tevreden is over de sensitiviteit van een traditioneel meetinstrument. Deze ontwikkelingen spelen zich nog voornamelijk af op Engelstalig grondgebied.
De uitvoering van de observatie in een standaard, semi-gestructureerde situatie. Daarbij kan de generalisatiewaarde vergroot worden door aan te tonen dat de data valide metingen opleveren van het te meten construct of door de semi-gestructureerde observatie te herhalen met bijvoorbeeld andere taken of observatoren. Het toepassen van verschillende meetvormen. Bevestiging van de resultaten door verschillende meetvormen maken de resultaten geloofwaardiger, betrouwbaarder en meer valide, dan zonder deze congruentie. Voorbeeld: De ontwikkeling van het kind meten met behulp van een gestandaardiseerde ontwikkelingstest, observaties in de thuissituatie en een interview met de ouders (a) Zo kan men erachter komen of de groepen pre-experimenteel van elkaar verschillen. Wanneer dit het geval is, heeft dat grote consequenties voor de analyse en interpretatie van de uitkomsten. (b) Zo kan men uitval beter analyseren en voorzien. (a) Men kan statistisch corrigeren voor deze verschillen (zie ook p. 106-107 over covariantie-analyse). (b) Men kan alsnog subjecten bij het onderzoek zoeken, zodat er beter ‘gematcht’ kan worden. Op basis van multipele regressieanalyse waar bij een aantal relevante afhankelijke variabele betrokken zijn, wordt de PS van een persoon geschat Door middel van PS’s kan vrij gemakkelijk een controlegroep worden samengesteld uit een groot – toepasbaar – databestand, vergelijkbaar met de karakteristieken van een experimentele groep. De onderzoeker moet zich bij deze designs wel goed bewust zijn van de variabelen die in zijn of haar design niet beheerst kunnen worden. Als hij of zij dit niet doet, spreekt men van positieve interventie-effecten zonder dat de relatie tussen oorzaak (interventie) en effect duidelijk aangetoond is. Men kan gebruik maken van de ‘detective view’: zoveel mogelijk alternatieve verklaringen bedenken en deze verklaringen zo goed mogelijk
proberen uit te schakelen.
93
94
95
96
97
98
99
Nee, een theorie of hypothese kan alleen verworpen of aanvaard worden: een theorie of hypothese kan een toets niet doorstaan of wel doorstaan, maar daarmee is de theorie of hypothese nog niet bewezen. Strikte bewijsvoering van ‘gestoorde’ positieve universele deterministische hypothese komt niet voor; immers noch falsificatie noch verificatie van zulke hypothesen is mogelijk (a) Time-series design (enkelvoudige tijdreeks). (b) Untreated control group design. (c) Cohort design. (e) Nonequivalent dependent variables design. (d) Planned variation design. Het onderscheid tussen toetsingsonderzoek en interpretatief-theoretisch onderzoek: (a) Toetsingsonderzoek (kwantitatief onderzoek): een beperkt aantal, gewoonlijk aan de theorie ontleende, onderling samenhangende hypothesen wordt aan empirisch materiaal getoetst, meestal via steekproefonderzoek. (b) Interpretatief-theoretisch onderzoek (kwalitatief onderzoek): Een bepaalde verzameling van gegevens wordt in onderling verband gebracht door ze proberenderwijs af te leiden uit een hypothese of theorie (of opvatting of visie), die door de onderzoeker op het gegeven materiaal van toepassing geacht wordt. (a) Aandacht voor de empowerment van ondergewaardeerde groepen, waardoor men de onderzoekssubjecten bijvoorbeeld meer inspraak wil geven in het vormgeven van het onderzoek. (b) Discussies over theorieën die de context van de hulpverlening zeer belangrijk achten (zoals het transactionele ontwikkelingsmodel). (c) De erkenning van de normativiteit in elk onderzoek. (d) Het in twijfel trekken van de mogelijkheid tot het uitvoeren van zuivere experimenten. Type-fout I waarbij H0 wordt verworpen door de toets terwijl Ho toch waar is (kans hierop is α). Type-II-fout, waarbij H0 niet wordt verworpen door de statistische toets terwijl H1 waar is (kans hierop is β). Power neem toe, daarom is het niet onverstandig op een zo goed mogelijke manier het significantieniveau te bepalen, en niet zonder meer kiezen voor α=.01. 1 A priori. Hoe groot moet de steekproef zijn om een bepaald gewenst effect met power 1-β te ontdekken? 2 Post-hoc analyse. Als we een goede schatting hebben kunnen maken van ES, is de uitgevoerde toets dan met voldoende power gedaan? 3 Compromis-analyse. Zoals uit vraag blijkt moet er een goede balans zijn tussen α en β. Weten we de ES en de N dan kunnen we een bepaalde balans uitrekenen. 4 Sensitiviteitsanalyse. Van toepassing bij de beoordeling van reeds uitgevoerd onderzoek, waarbij we weten: N, power en α. De vraag is dan welk ES hier mee gedetecteerd kan worden.
100 101
102 103 104
105
106
Afhankelijk van toets en design. Een voorbeeld is dat de ES in een afhankelijk design met de fractie 1/√(1-r) toeneemt De noemer van de breuk. ES wordt gestandaardiseerd door de standaarddeviatie. Probleem is dat een keuze voor een bepaalde standaarddeviatie gemaakt moet worden De mate waarin de hulp er in slaagt de doelgroep positief te beïnvloeden, zodanig dat alternatieve verklaringen zijn uitgesloten (zo veel mogelijk). Associatie, in de betekenis van ‘samengaan’. Omdat op deze manier efficiënt compromissen gesloten kunnen worden met de praktijk. Het is een kwestie van wikken en wegen om in de praktijk – met het ideaaltype als voorbeeld – onderzoek op te zetten. Idee van ZonMw is meer of zelfs uitsluitend aandacht te vragen voor de identiteit van de hulpverlener, als verklarende variabele voor positieve effecten. Kennis van interventiemethoden kan de hulpverlening doen verbeteren.
Effectonderzoek in de gedragswetenschappen: Antwoorden Zelftoets 1 Multiple Choice-vragen
Nr
Vraag
Juiste Antwoord
1
Welke stelling omtrent effectonderzoek in de gedragswetenschappen is waar?
2
Welke stelling omtrent de effecten van hulpverleningsprogramma's is waar?
Effectonderzoek in de gedragswetenschappen is heel complex en onderzoekers zijn het niet altijd eens over de toe te passen methoden en technieken. Van slechts een fractie van de aangeboden programma's is het effect wetenschappelijk bewezen.
3
Het aantonen van verschillend gebruik van dezelfde term in één theorie wijst erop dat er iets schort aan de theorie. Op welke formuleringseis heeft dit mankement betrekking? In welke fase van de empirische cyclus valt de keuze voor een welbepaald meetinstrument om bijvoorbeeld verbale intelligentie te meten? Het wetenschappelijk forum omschrijft De Groot als
4
5 6
In 'Effectonderzoek in de gedragswetenschappen' wordt onder gedragswetenschappen verstaan rationele activiteiten van terzake deskundigen, gericht op overeenstemming, waarbij met behulp van empirisch onderzoek zicht wordt verkregen op gedrag en beleving. Welke stelling over gedrag in de in het boek
Logische consistentie
Deductie
de verzameling van alle ter zake kundige wetenschapsbeoefenaars Essentieel bij de definitie van gedrag is dat de nadruk wordt gelegd op registratie en waarneming, terwijl ook beleving onder de definitie kan vallen, voor zover deze beleving waarneembaar is.
gehanteerde definitie is waar? 7
Dunst, Snyder & Mankinen (1989) hanteren een multidimensionale definitie van effectiviteit, waarin drie dimensies besloten liggen. Welke dimensie hoort daar niet bij? Wanneer is volgens Dunst, Snyder en Mankinen (1989) in een effectstudie maximaal voldaan aan de eisen voor het maken van causale gevolgtrekkingen? Wanneer de interventie
(I) hoge afhankelijkheid vertoont, (II) in hoge mate specifiek is en (III) niet samengaat met alternatieve verklaringsmogelijkheden.
10
Welk kenmerk is geen onderdeel van de definitie van effectonderzoek? Wat behoort in het theoretisch raam beschreven te zijn?
Hantering van een onderzoeksdesign in de vorm van Randomized Controlled Trial (RCT). Alle genoemde antwoorden zijn juist.
11
De vijf W's van Orobio de Castro (2007):
12
Wat maakt het effectonderzoek naar preventieve doelen moeilijk?
geven een overzicht van vragen, waarop het effectonderzoek antwoord moet geven en die vruchtbaar zijn gebleken als criteria voor bruikbaar effectonderzoek. Alle drie genoemde antwoorden zijn juist.
13
Het beschrijven van de methode en de implementatie is van cruciaal belang om achteraf te kunnen nagaan welke dimensies van de interventie verandering teweegbrachten en onder welke omstandigheden en voor wie de interventie effectief is (en met welke eventuele bijeffecten). Wat wordt hier bedoeld met methode en implementatie? Welk advies over het operationaliseren van het doel in criteria wordt gegeven?
8
9
14
Methode is het interventieprogramma zoals bedoeld. Implementatie is het interventieprogramma, zoals in de praktijk uitgevoerd.
Het advies om het doel niet in één, maar in een zorgvuldig gekozen aantal criteria te operationaliseren en daarbij gebruik te maken van verschillende informanten.
15
Waarom is de nauwkeurige beschrijving van de participanten tijdens een effectstudie van belang?
16
Welke stelling over de betrouwbaarheid van psychometrische tests is juist? De mogelijkheid dat een verschil tussen voor- en nameting door toeval of door andere factoren dan de interventie (nietexperimentele variabelen) veroorzaakt was, kan worden beheerst door opname van een controlegroep. Dit verhoogt de: Welke stelling over Null-Hypothesis Significance Testing (NHST) is Als de gevonden p-waarde kleiner is dan het gehanteerde waar? significantieniveau, wordt het effect significant genoemd en wordt geconcludeerd dat de interventie in de populatie wellicht effect had. Wat is de juiste volgorde van meetniveau's van laag naar hoog? Nominaal, ordinaal, interval, ratio Welke instantie biedt richtlijnen voor het schrijven van De APA wetenschappelijke publicaties?
17
18
19 20 21
22
23
24
De Groot (1994) wijst in verband met instrumentatieproblemen op een spanning tussen objectiviteit en relevantie. Wat wordt daarmee bedoeld? Welke stelling omtrent ontwikkelingstests is juist?
Alleen kinderen die extreem laag scoren, worden aangemeld voor een interventieprogramma. Hierdoor is de kans op verbeterde scores na de interventie hoger. Van welke bedreiging voor de interne validiteit is dit een voorbeeld? Hoe wordt de situatie genoemd waarin de participant aan een
Omdat ervan uitgegaan moet worden dat niet iedere participant op dezelfde wijze en in dezelfde mate profiteert van het interventieprogramma. De betrouwbaarheid is een maat voor de consistentie, stabiliteit en precisie van de testscore. interne validiteit
Het risico, dat de technische vervolmaking van het instrument geschiedt ten koste van de inhoud, van de 'dekking' van wat gemeten wordt. Vele auteurs achten gestandaardiseerde ontwikkelingstests geen betrouwbare maat voor individuele variatie voor atypische groepen kinderen. Statistische regressie naar het gemiddelde.
Equipoise.
25
effectonderzoek een neutrale positie inneemt ten aanzien van de verwachte effecten met betrekking tot beide interventies (controlegroep en experimentele groep)? Wat is kanskapitalisatie, met betrekking tot de data-analyse?
26
Een logic model is vooral bedoeld om
27
Hoe zou u een zogenaamde programma-template willen definieren?
Samenvatting van centrale kenmerken van een programma, bedoeld om van tijd tot tijd te actualiseren
28
De Reliable Change Index, ook wel genoemd de J-T-index, is een maat voor betrouwbare verandering op individueel niveau. Toch moeten in de berekening groepsgegevens worden opgenomen. Welke? Ook in de medische effectonderzoekliteratuur komen evidencebased rating voor. Een voorbeeld is de taxonomie van Swanston, Williams en Nunn (2000), waarbij niveau I de sterkste vorm van bewezen effectiviteit is. Welke omschrijving behoort volgens u bij niveau I ? Het percentage zero data (PZD) is een eenvoudige maat die gebruikt wordt in Residual Change Scores is een methode om veranderingen tussen pre- en posttest vast te stellen, hoewel er veel kritiek bestaat. De methode werkt op basis van regressie-analyse van de pretestscores. Waarom wordt deze methode residual change scores genoemd?
(a) Correlatie tussen voor- en nameting van alle participanten in het onderzoek; (b) standaarddeviatie van de voormetingen van alle deelnemers
29
30 31
Dit is het verhogen van de kansen op het vinden van statistische verbanden door een groot aantal (onafhankelijke) hypothesen te testen. De volgorde der handelingen in een effectonderzoek te beoordelen op logische verbanden
Meta-analyse van zuiver experimentele designs
ABAB-designs (N=1-designs) Het residu bestaat uit het verschil tussen werkelijke en voorspelde posttestscore,
32
Een mogelijkheid om een bepaald methodologisch verschijnsel te bestrijden is te streven naar geografische spreiding in onderzoeksgroepen (zowel E als C), Welk van onderstaande verschijnselen wordt hier bedoeld?
33
Stel dat in een statistische toets H0 wordt verworpen, terwijl de alternatieve hypothese H1 juist is, dan nemen we een juiste beslissing. Hoe wordt deze uitkomst getypeerd? Stel dat de a priori poweranalyse aangeeft dat 156 ppn nodig zijn om gewenste power van .80 te behalen. Stel dat de onderzoeker slechts 100 deelnmers kan includeren. Waarom is dit buitengewoon vervelend voor de kwaliteit van het onderzoek? Er zijn verschillende maten voor Effect Size ontwikkeld, zoals Cohens d, Hedges'g, Cohens f-kwadraat en Odds ratio's. Welke maat wekt in dit rijtje de meeste verwondering? De Groot somt twee kwalificaties voor effectonderzoek op: wetenschappelijke en maatschappelijk. In welke rangorde plaatst hij deze kwalificaties?
34
35
36
Contact tussen E en C is ondermijning van de juiste balans tussen informatie over nuttigheid van verschillende interventies en dus ondermijning van het gewenste effect van randomisatie. Geografische spreiding gaat deze ondermijning enigszins tegen. Als 1-β, zijnde de power van de toets
Er bestaat een grote kans dat er niks uit het onderzoek komt, terwijl er in de populatie wel degelijk een (klein) effect te bespeuren is. Hedges' g
Wetenschappelijke kwaliteit gaat boven maatschappelijke
Effectonderzoek in de gedragswetenschappen: antwoorden Zelftoets 2 Multiple Choice-vragen Nr.
Vraag
Antwoord 1
1
Welke stelling is waar?
Als gevolg van het politieke beleid en de groeiende competitie tussen aanbieders van hulp en zorg, geniet de effectiviteit van de hulpverlening bij uiteenlopende partijen, zoals beleidsmakers, professionals in praktijkinstellingen en onderzoekers, veel belangstelling
2
Waarom is effectonderzoek in de gedragswetenschappen belangrijk? Welk antwoord is niet waar?
Omdat het doel van effectonderzoek is, aan te tonen dat participanten aan interventieprogramma's tevreden zijn over de interventie.
3
Kenmerkend voor de regulatieve en empirische cyclus is dat ze beide
essentiële aspecten van empirisch onderzoek expliciteren
4
De ‘fenomenologie’ is volgens De Groot een methode om op ideeën te komen. Deze uitspraak is
juist, omdat de fenomenologie thuis hoort in de empirische cyclus.
5
In lijn met wetenschapsfilosoof Popper, is de empirische cyclus van De Groot gericht op het
weerleggen van een theorie
6
Wat behoort niet per definitie tot een ‘interventieprogramma’?
In de gedragswetenschappen opgeleide, goed getrainde en vooraf geïnstrueerde hulpverleners.
7
Welke dimensie van Dunst, Snyder & Mankinen (1989), die besloten ligt in de definitie van effectiviteit, heeft betrekking op de interne validiteit?
Het bestaan van alternatieve verklaringen (spuriousness): de mate waarin andere factoren dan de interventie optreden als bronnen die van invloed zijn op de afhankelijke variabele.
8
Wat is de essentie van de gegeven definitie van effectiviteit?
Dat effectiviteit oftewel causale gevolgtrekking een relatief concept is; er zijn vele niveaus van bewijskracht mogelijk.
9
Welke stelling is waar?
Bij effectonderzoek (voorheen vooral productevaluatie) dient ook de procesevaluatie betrokken te worden. De productevaluatie toont dan aan of de interventie werkt en de procesevaluatie waarom de interventie (niet) werkt en hoe het misschien beter kan.
10
Interventieprogramma's zijn bij voorkeur gebaseerd op multifactoriële systeem of ecologische theoriën omdat:
deze zijn gericht op de complexiteit en onderlinge afhankelijkheid tussen en binnen systemen en daardoor meer recht doen aan de werkelijkheid.
11
Een groep van jonge alleenstaande moeders krijgt gerichte voorlichting over onder- en overvragen en mijlpalen in de ontwikkeling van kinderen. Tot wat voor soort preventie kan deze vorm van interventie gerekend worden? Welke stelling is waar ten aanzien van de beschrijving van doelen in het effectonderzoek?
Primaire pedagogische preventie
Wat wordt bedoeld met het operationaliseren van variabelen in criteria?
Het kiezen van variabelen die als criteriummaten voor de mogelijke effecten van de hulpverlening gelden en de criteriummaten omzetten in toetsbare voorspellingen.
12
13
Een eenduidige beschrijving van de doelen van een interventieprogramma is een voorwaarde voor goed effectonderzoek.
14
Welke stelling over onbedoelde effecten van interventieprogramma's is niet waar?
In het effectonderzoek dienen bedoelde en onbedoelde gevolgen van een programma tegen elkaar afgewogen te worden.
15
Welke definitie is juist?
Een operationele definitie wil zeggen dat betekenis is toegekend door het specificeren van de activiteiten of operaties die nodig zijn om het betreffende construct te meten en te evalueren
16
Welke stelling over de validiteit van psychometrische tests is juist?
Criteriumvaliditeit wordt gemeten door de testscores te vergelijken met externe variabelen of criteria, waarvan aangenomen wordt dat ze dezelfde eigenschap meten.
17
Het Solomon Four-Group Design is een voorbeeld van een: Wat is sensitivering als bedreiging voor de interne validiteit?
zuiver experimenteel design
Van welk meetniveau is de grootheid temperatuur in celsiusaanduiding?
interval.
18
19
Het effect waarbij participanten zich anders ontwikkelen als gevolg van de meting zelf.
20
De power van een statistische toets hangt af van:
het significantieniveau, de steekproefgrootte en de effect size.
21
Wat is een nadeel van ad hoc geconstrueerde instrumenten?
Alle drie de genoemde antwoorden zijn juist.
22
Welke stelling over de betrouwbaarheid van een test is waar?
Men moet bij de beoordeling van een test letten op (a) de aanwezigheid van andere maten dan coëfficiënt alpha en (b) de aanwezigheid van betrouwbaarheidsmaten op grond van meer dan een afname.
23
Bij het waarborgen van welk type validiteit gaat het vooral om representativiteit van de steekproeven en om representatieve replicatie van het onderzoek? Welke stelling is waar?
Externe validiteit.
Als uit de theorie en eerder onderzoek blijkt dat een interventieprogramma minstens een positief effect zal hebben, of helemaal géén, maar in elk geval geen negatief effect, welk type toets heeft dan de hoogste
Een eenzijdige toets.
24
25
De behoefte aan actie in de (hulpverlenings)praktijk en de publicatiedruk, bemoeilijken de uitvoering van longitudinale studies.
power?
26
Stel dat u een doelenhiërarchie opzet ten behoeve van de ontwikkeling van een preventief interventieprogramma, welk doel zou u bovenaan de doelboom plaatsen?
Het voorkomen van ontwikkelingsachterstand
27
De Index of Progress is een maat om de verandering in ontwikkelingssnelheid van kinderen met sterke achterstanden weer te geven. Welk fundamenteel bezwaar kleeft aan deze maat?
De maat is gebaseerd op psychometrisch weinig houdbare maat, te weten ontwikkelingsleeftijd
28
Carrs checklist voor de beoordeling van interventieonderzoeken is toegepast op een groot aantal interventiestudies. Hij hanteert vier stringente eisen voor inclusie. Een daarvan is 'aantal participanten in elke groep' Om welk aantal gaat het dan? Multiple imputation wordt beschreven als een verantwoorde techniek om de proefpersoon niet verloren te laten gaan, door drie of meer datapunten te imputeren en per imputatie een statistische analyse te doen. Deze techniek berust op een proces. Hoe zou u dat proces beschrijven? Een voorbeeld van een zuiver experimenteel design is een ontwerp met herhaalde metingen aan een experimentele groep (E), waarbinnen een interventie plaatsvindt en aan een controlegroep (C) waarbinnen geen interventie plaatsvindt, terwijl de proefpersonen at random worden
5 of meer
29
30
Imputatie, analyse, pooling
Non-equivalent Control Group Design
toegewezen aan E en C. Dit design lijk erg op een quasiexperimenteel ontwerp. Welk?
31
Wat is een nadeel van de GAS-methode om veranderingen vast te stellen?
Alle drie genoemde argumenten
32
Lees beide uitspraken. I De Index of Progress (IP) als veranderingsindex is een uitbreiding van Wolerys Proportional Change Index (PCI). II De Predicted PostIntervention Developmental Age score (PPIDA) is evenals de Residual Change Score gebaseerd op regressie-analyse De power van een statistische toets hangt van drie parameters af. Van welke niet?
I is juist en II is onjuist
34
Is het nodig altijd Cohens indeling in effectsizes (ES) te hanteren bij het beoordelen van effectiviteitsonderzoek in de gedragswetenschappen?
Cohens indeling is relevant, maar het is belangrijk op de kostenkant te letten.
35
In een ANCOVA-analyse worden effecten gecorrigeerd voor verschillen in pretestscores tussen verschillende groepen. Maar Huitema (1980) heeft een duidelijke waarschuwing. Welke?
Gebruik geen ANCOVA correcties als de groepen natuurlijkerwijze zijn samengesteld. Deze waarschuwing is al vele malen en vele jaren van kracht.
33
De schending van de voorwaarden
36
Een zogenaamde relatieve causale relatie tussen interventie en resultaat, is in de eerste plaats gelegen in
het theoretisch raam
