Effectonderzoek in de gedragswetenschappen: Zelftoets Open vragen nr
Vraag
1
Er zijn aanzienlijke methodologische problemen bij het meten van effectiviteit. Als wij er in slagen een aantal van de problemen op te lossen levert dat een grote bijdrage op. Waaraan levert effectonderzoek eigenlijk een bijdrage? Waarom kunnen niet als vanzelfsprekend positieve resultaten van interventies verwacht worden?
2 3 4
5
Door welke ontwikkelingen geniet de effectiviteit van de hulpverlening bij uiteenlopende partijen, zoals beleidsmakers, professionals in praktijkinstellingen en onderzoekers, veel belangstelling? Wat is het black box-principe en is dit principe geschikt voor effectonderzoek in de gedragswetenschappen?
6
Noem twee factoren die de ontwikkeling van wetenschappelijke methoden voor evaluatie in de geestelijke gezondheidszorg na WOII nog vertraagden. Beschrijf de vijf fasen in de methodologie
7
Noem een aantal soorten hypothesen
9 10
Welke twee aspecten onderscheidt De Groot aan objectiviteit? Geef de onderdelen van de zogenaamde regulatieve cyclus in de hulpverlening Welke definitie van gedrag wordt in effectonderzoek in de gedragswetenschappen gehanteerd? Welke definitie van interventieprogramma wordt in effectonderzoek in de gedragswetenschappen gehanteerd?
8
11 12
Noem vijf typen onderzoek
13
Dunst, Snyder en Mankinen (1989) onderscheidden drie dimensies in de multidimensionale definitie van effectiviteit. Wanneer is volgens hen de effectiviteit van interventie maximaal?
14
Welk idee hebben Dunst, Snyder en Mankinen (1989) met hun multidimensionale definitie van effectiviteit en Veerman en Van Yperen (2008) met hun indeling van effectiviteit in verschillende niveaus van bewijskracht (de effectladder) gemeen?
15
Een belangrijke term, gerelateerd aan de effectiviteit van een interventieprogramma, is kosteneffectiviteit. Een interventie kan effectief zijn in de zin dat het beoogde effect aan haar werkzaamheid wordt toegeschreven, maar zij hoeft dan nog niet kosteneffectief te zijn. Noem ten minste acht voorbeelden van kosten die van toepassing zijn op het programma en/of het effectonderzoek daarnaar.
16
Wat is het doel van fundamenteel onderzoek?
18
Naast 'productevaluatie' wordt de term ‘procesevaluatie’ geplaatst. Waarin verschillen beide?
19
Noem een voorbeeld van een kwantitatieve en een kwalitatieve dataverzamelingsmethode.
17
Wat is het doel van praktijkgericht onderzoek?
20
Wat is de definitie van effectonderzoek?
21
Waarom wordt het rapporteren en interpreteren van een ES tegenwoordig gezien als good practice?
22
Wat zijn de zes algemene onderzoeksstappen in empirisch effectonderzoek, die in effectonderzoek in de gedragswetenschappen worden beschreven? Noem vijf vragen die men zich dient te stellen voordat met effectonderzoek gestart wordt.
23
24
Noem ten minste vijf onderdelen van het theoretisch raam.
25
Wat is een hidden third factor of storende variabele?
26
Wat is een intermediaire factor?
27
Wat is het SMART principe en waar kan dat behulpzaam zijn in effectonderzoek?
28
Wat is het verschil tussen primaire, secundaire en tertiaire preventie?
29
Orobio de Castro (2007) geeft een overzicht van vragen, waarop het effectonderzoek antwoord moet geven en die vruchtbaar zijn gebleken als criteria voor bruikbaar effectonderzoek (Dishion & Patterson, 1999), de vijf W’s. Welke zijn dat? Geef per W een toelichting.
30
Wat zijn sleepereffecten en noem een voorbeeld van een sleepereffect.
31
Wat zijn effectcriteria?
32
Wat is het gevaar als er vooraf te weinig keuzen worden gemaakt wat betreft de effectcriteria en variabelen in het onderzoek?
33
Waarom is het beschrijven van de interventie, zoals aangeboden aan de doelgroep, belangrijk? Noem ten minste drie redenen.
34
Noem ten minste vijf eisen waaraan het meetinstrumentarium moet voldoen.
35
Noem ten minste drie verschillende indices voor de betrouwbaarheid van een testscore en leg deze uit.
36
Noem drie typen validiteit van een psychometrische test en leg deze uit.
37
Wat is het verschil tussen de geesteswetenschappelijke en de empirisch-analytische stroming?
38
Noem de drie niveau’s (soorten) van experimentele designs, zoals bedacht door Campbell en Stanley.
39
Waartoe dienen extra voor- en nametingen?
40
Wat is random toewijzing?
41
Wat is matching?
42
Hoe zou het storende feit dat mensen over het algemeen de neiging hebben om het positieve effect van een interventie te bevestigen, ongeacht de feitelijke inhoud van die interventie, kunnen worden ondervangen in het onderzoeksdesign? Wat is een participantenflow en wat staat daar bijvoorbeeld in?
43 44
Geef een schematisch overzicht van het Solomon Four-Group Design en leg uit welke metingen met elkaar vergeleken worden om het effect van sensitization na te gaan.
45
Waarvoor is het meetniveau van de variabelen (nominaal, ordinaal, interval, ratio) van belang?
47
Wat is de power (het onderscheidingsvermogen) van een statistische test en van welke drie factoren hangt deze af?
48
Wat is een a priori schatting van de power?
49
Noem een voorbeeld van een richtlijn uit de APA Ethics Code
46
Wat is de kritiek op Null-Hypothesis Significance Testing (NHST)?
50
Noem drie problemen bij de theoretische onderbouwing in effectonderzoek.
51
Noem een voorbeeld van een andere zinnige manier om subpopulaties te definiëren, dan op basis van diagnostische categorieën (als autisme, Downsyndroom en dergelijke). Hoe kan een onderzoeker het beste omgaan met het objectiviteit versus subjectiviteit dillemma?
52 53 54
55 56 57 58 59 60 61
Een contextuele (ecologische, ontwikkelingsdynamische of transactionele) visie maakt het effectonderzoek ingewikkelder, onder andere wat betreft meetinstrumentarium. Hoe komt dat? Noem een voor- en een nadeel van een ad hoc geconstrueerd instrument.
Wat is vaak een probleem bij normgeoriënteerd testen bij specifieke doelgroepen als kinderen met beperkingen? Wat is het verschil tussen normgeoriënteerde testen en criteriumgeoriënteerde testen? Waarom vindt men dat tevredenheid van participanten over het effect van de interventie geen objectieve maat oplevert en dus niet hoeft te wijzen op een daadwerkelijke vooruitgang? Noem ten minste drie problemen die het realiseren van een zuiver experiment in de praktijk vaak tegenwerken.
Noem twee bedreigingen voor de interne validiteit en twee bedreigingen voor de externe validiteit en leg deze kort uit. Wat zou men kunnen inbrengen tegen het ethische bezwaar tegen het betrekken van een controlegroep bij het onderzoek? Leg uit hoe een storende selectiefactor de externe validiteit van effectonderzoek naar vroegtijdige orthopedagogische interventies kan beïnvloeden.
62
Lost random toewijzing alle problemen wat betreft de gelijkheid van de groepen op? Leg uit.
63
Wat is selectieve uitval?
66
Wat betekent de term ‘univariaat’ in univariate toetsen en wat betekent ‘multivariaat’ in dat verband?
64 65
67
Wat is item-nonrespons? Stel, een onderzoeker evalueert een interventie waarmee een bepaalde score bij participanten hoger zou moeten worden. Er wordt een nameting verricht bij twee groepen. De ene groep volgde het te onderzoeken interventieprogramma (experimentele groep) en de andere groep niet (controlegroep). Als de onderzoeker in theorie betoogt dat het interventieprogramma minstens een positief effect had (of helemaal géén), maar geen negatief effect, heeft een- of tweezijdig toetsen dan een hogere power?
Waarom zijn negatieve resultaten (dus geen aangetoonde effecten van interventie) soms moeilijk te interpreteren?
68
Noem drie problemen die aan de orde kunnen zijn bij de reportage van de effectstudie.
69
Wat is een logic model?
70
Wat wordt bedoeld met de term evaluability assessment in relatie tot logic model en flowchart?
71 72
Het begrip doelenhiërarchie kent in Effectonderzoek twee even belangrijke geachte aspecten? Welke zijn dat?
Waartoe kan een doelenhiërarchie dienen in het effectonderzoek?
73
Beschrijf het paradigma van Dunst, Snyder & Mankinen (1989) voor het onderscheiden van effecten.
74
Wat zijn de gebruiksmogelijkheden van het paradigma voor effectonderzoek?
75
Stel dat een bedenker van het interventieprogramma dat burgerschap bij basisschoolkinderen bevordert een programma-template zou moeten schrijven, bestemd voor managers, staf en effectonderzoekers, hoe zou dat er in grote trekken uit zien?
76
Wat is een programma-template en welke categorieën bevat het?
77
Waarom vindt onder andere. Hauser-Cram (1990) het gebruik van norm-georiënteerde testen niet geschikt bij effectonderzoek naar vroegtijdige orthopedagogische interventies?
78 79 80 81
Bij welke procedures voor het in kaart brengen van verandering heeft men te maken met de nadelen van norm-georienteerd testen?
Welke veronderstelling hebben Indexes of Change met elkaar gemeen? Indices of chnage worden veelvuldig toegepast in effectonderzoek met volwassenen. Welke maat heeft in de literatuur de voorkeur gekregen. Beschrijf deze maat. Wat is een probleem bij RCI?
82 83
84 85
86 87 88 89 90 91 92
93
Waarom wordt het gebruik van Goal Attainment Scaling (GAS) alleen aangeraden wanneer het in samenhang wordt toegepast met andere instrumenten? Hoe kunnen volgens McCune e.a. (1990) de nadelen van gestandaardiseerd testen bij kinderen met beperkingen worden ondervangen?
Wanneer wordt door Cicchetti & Wagner (1990) aangeraden af te wijken van de traditionele meetprocedures om cognitieve ontwikkeling te meten?
Er is steeds meer aandacht voor alternatieve meetprocedures en instrumenten voor andere variabelen dan cognitieve ontwikkeling van het kind, zoals andere ontwikkelingsdomeinen en contextuele variabelen. Loopt Nederland op dit vlak voor of achter, ten opzichte van landen als Engeland en Amerika? Welke mogelijkheid wordt aangedragen om het probleem van vergelijkbaarheid, consistentie en betrouwbaarheid van observaties te verkleinen? Wat wordt bedoeld met het gebruik van ‘multipele maten’ of ‘triangulatie’ en waar dient het toe?
Geef een voorbeeld van het (vruchtbaar) gebruik van multipele maten. Waarom is pretest informatie over veel relevante variabelen belangrijk?
Wat kan men doen, wanneer uit een voortest blijkt dat de groepen (experimentele en controle of vergelijkingsgroepen) op relevante variabelen verschillen? Beter matchen kan met een vrij nieuwe procedure Propensity Score (PS). Beschrijf de procedure in woorden. Campbell & Stanley geven voorbeelden van quasi-experimentele designs en roepen onderzoekers op zich bewust te zijn van de mogelijkheden die hun specifieke onderzoekssetting biedt, om deze te gebruiken. Waar moeten onderzoekers bij de interpretatie van de gegevens wel aandacht aan besteden? Kan een theorie of hypothese ‘bewezen’ worden in een zuiver experiment?
94
Geef drie voorbeelden van quasi-experimenteel designs.
96
Welke aanleidingen worden beschreven, voor een groeiend scepticisme ten aanzien van het traditionele experimentele design en de positivistisch-analytische traditie?
97
Welke twee beslissingsfouten vangt men met grote steekproeven?
98
Als het gekozen significantieniveau van de toets stijgt – overige omstandigheden blijven gelijk – wat zijn dan de gevolgen voor de power van de toets? Bespreek kort drie van de vier poweranalysevormen die in G*Power 3 worden onderscheiden.
95
99
100 101 102 103 104 105 106
Welk onderscheid tussen onderzoekstypen van De Groot (1961/1994) loopt parallel met het onderscheid tussen kwalitatieve en kwantitatieve onderzoeksmethoden?
De berekening van ES valt bij onafhankelijke steekproeven iets anders uit dan bij afhankelijke. Hoeveel? Wat is in het algemeen het probleem bij het berekenen van effectsizes?
Geef nogmaals de definitie van effectiviteit zoals die in Effectonderzoek wordt gebruikt? Door welke term kan ‘relatieve causaliteit’ beter vervangen worden? Waarom levert kennis van het ideale onderzoeksmodel een voordeel op?
Beschrijf kort de voornemens van ZonMw nieuwe effectonderzoek te entameren. Beschrijf het credo van Effectonderzoek in de gedragswetenschappen.
Effectonderzoek in de gedragswetenschappen Zelftoets 1 Multiple Choice-vragen
Nr
Vraag
Antwoord 1
Antwoord 2
Antwoord 3
Antwoord 4
1
Welke stelling omtrent effectonderzoek in de gedragswetenschappen is waar?
Tegenwoordig sluit de hulpverleningspraktijk vaak goed aan op het ideale onderzoeksmodel.
Effectonderzoek in de gedragswetenschappen is niet complex, maar wel heel duur.
2
Welke stelling omtrent de effecten van hulpverleningsprogram ma's is waar?
Van slechts een fractie van de aangeboden programma's is het effect wetenschappelijk bewezen.
De meeste programma's zijn wetenschappelijk bewezen effectief, maar het is onbekend of die effecten blijvend van aard zijn.
Effectonderzoek in de gedragswetenschappen is heel complex en onderzoekers zijn het niet altijd eens over de toe te passen methoden en technieken.
Onderzoekers zijn het wel eens over de toe te passen methoden en technieken, maar effectonderzoek in de gedragswetenschappen is heel complex.
Van de meeste programma's is wetenschappelijk bewezen dat zij niet effectief zijn.
Van deze programma's is wetenschappelijk bewezen dat zij over het algemeen geen negatieve effecten sorteren.
3
4
5 6
Het aantonen van verschillend gebruik van dezelfde term in één theorie wijst erop dat er iets schort aan de theorie. Op welke formuleringseis heeft dit mankement betrekking? In welke fase van de empirische cyclus valt de keuze voor een welbepaald meetinstrument om bijvoorbeeld verbale intelligentie te meten? Het wetenschappelijk forum omschrijft De Groot als In 'Effectonderzoek in de gedragswetenschappen' wordt onder gedragswetenschappen verstaan rationele activiteiten van terzake deskundigen, gericht op overeenstemming, waarbij met behulp van empirisch onderzoek
Economisch principe
Logische consistentie
Toetsbaarheid
Empirische referenties
Toetsing
Deductie
Inductie
Observatie
alle wetenschappelijke tijdschriftredacties
een commissie die wetenschappelijke onderzoeksaanvragen beoordeelt Essentieel bij de definitie van gedrag is dat de nadruk wordt gelegd op registratie en waarneming, waaruit volgt dat beleving niet onder de definitie kan vallen.
de verzameling van alle ter zake kundige wetenschapsbeoefenaar s Essentieel bij de definitie van gedrag is dat ook het nietwaarneembare en nietregistreerbare inbegrepen is, zodat ook beleving onder de definitie valt.
promotiecommissies die proefschriften moeten beoordelen.
Essentieel bij de definitie van gedrag is dat de nadruk wordt gelegd op registratie en waarneming, terwijl ook beleving onder de definitie kan vallen, voor zover deze beleving waarneembaar is.
Essentieel bij de definitie van gedrag is dat het alleen via zelfrapportage waarneembaar en registeerbaar is, net als de beleving.
7
8
9
zicht wordt verkregen op gedrag en beleving. Welke stelling over gedrag in de in het boek gehanteerde definitie is waar? Dunst, Snyder & Mankinen (1989) hanteren een multidimensionale definitie van effectiviteit, waarin drie dimensies besloten liggen. Welke dimensie hoort daar niet bij? Wanneer is volgens Dunst, Snyder en Mankinen (1989) in een effectstudie maximaal voldaan aan de eisen voor het maken van causale gevolgtrekkingen? Wanneer de interventie Welk kenmerk is geen onderdeel van de definitie van effectonderzoek?
Afhankelijkheid: de mate waarin een functionele relatie tussen de onafhankelijke en de afhankelijke variabele bestaat.
(I) hoge afhankelijkheid vertoont, (II) in hoge mate specifiek is en (III) niet samengaat met alternatieve verklaringsmogelijkhed en.
Specificiteit: de mate waarin specifieke, identificeerbare dimensies van de interventie aan te wijzen zijn, die een onderscheidbare relatie met de afhankelijke variabele bezitten. (I) hoge afhankelijkheid vertoont, (II) in hoge mate specifiek is en (III) samengaat met alternatieve verklaringsmogelijkhed en.
Hantering van een onderzoeksdesign in de vorm van Randomized Controlled Trial (RCT).
Gebruikmaking van methoden en technieken uit de sociale wetenschappen.
Het uitspreken van een waardeoordeel over het feitelijk functioneren van een
(I) lage afhankelijkheid vertoont, (II) in hoge mate specifiek is en (III) samengaat met alternatieve verklaringsmogelijkhed en.
Bestaan van alternatieve verklaringen: de mate waarin andere factoren dan de interventie als bronnen van invloed op de afhankelijke variabele optreden.
(I) hoge afhankelijkheid vertoont, (II) in lage mate specifiek is en (III) niet samengaat met alternatieve verklaringsmogelijkhed en. De systematische bepaling van de mate waarin het programma een eventueel
10
Wat behoort in het theoretisch raam beschreven te zijn?
Een aanduiding van de werkzame bestanddelen van de interventie.
11
De vijf W's van Orobio de geven een overzicht van Castro (2007): variabelen die bij een probleem of risico een rol spelen en hoe die factoren met elkaar in verband staan.
12
Wat maakt het effectonderzoek naar preventieve doelen moeilijk?
Omdat het begrip preventie op verschillende manieren wordt gebruikt.
Een analyse van de factoren die bij een probleem of risico een rol spelen en hoe die met elkaar in verband staan. zijn gebaseerd op management- en pedagogenjargon voor het eenvoudig en eenduidig opstellen en controleren van doelstellingen.
Omdat het niet gaat om slechts een enkel doel of effect, maar om een ingewikkelde keten van doelen die gerealiseerd moet worden om uiteindelijk een preventief einddoel te kunnen bereiken.
interventieprogramma, door dat te vergelijken met de doelen ervan.
geconstateerde verandering veroorzaakte.
geven een overzicht van vragen, waarop het effectonderzoek antwoord moet geven en die vruchtbaar zijn gebleken als criteria voor bruikbaar effectonderzoek. Omdat het bij preventieprogramma's veelal gaat om langetermijneffecten en deze moeilijker te meten zijn.
geven een overzicht van de noodzakelijke onderdelen van een wetenschappelijke onderzoekspublicatie.
Een visie op de normale ontwikkeling en/of gezondheid.
Alle genoemde antwoorden zijn juist.
Alle drie genoemde antwoorden zijn juist.
13
14
Het beschrijven van de methode en de implementatie is van cruciaal belang om achteraf te kunnen nagaan welke dimensies van de interventie verandering teweegbrachten en onder welke omstandigheden en voor wie de interventie effectief is (en met welke eventuele bijeffecten). Wat wordt hier bedoeld met methode en implementatie? Welk advies over het operationaliseren van het doel in criteria wordt gegeven?
Methode is de wijze van dataverzameling. Implementatie is de hantering van instrumenten tijdens de dataverzameling.
Methode is het onderzoeksdesign. Implementatie is de uitvoering van het onderzoeksdesign.
Methode is het interventieprogramma zoals bedoeld. Implementatie is het interventieprogramma, zoals in de praktijk uitgevoerd.
Methode is de wijze van data-analyse, zoals gepland. Implementatie is de data-analyse, zoals uitgevoerd.
Het advies om het doel niet in één, maar in een zorgvuldig gekozen aantal criteria te operationaliseren en daarbij gebruik te maken van verschillende informanten.
Het advies is om het doel in één criterium te operationaliseren, maar daarbij gebruik te maken van verschillende informanten.
Het advies is om het doel niet in één, maar in een zorgvuldig gekozen aantal criteria te operationaliseren en daarbij gebruik te maken van één type informant.
Het advies om het doel in één criterium te operationaliseren en daarbij gebruik te maken van één informant.
15
Waarom is de nauwkeurige beschrijving van de participanten tijdens een effectstudie van belang?
16
Welke stelling over de betrouwbaarheid van psychometrische tests is juist?
17
De mogelijkheid dat een verschil tussen voor- en nameting door toeval of door andere factoren dan de interventie (nietexperimentele variabelen) veroorzaakt was, kan worden beheerst door opname van een controlegroep. Dit verhoogt de:
Omdat ervan uitgegaan moet worden dat niet iedere participant op dezelfde wijze en in dezelfde mate profiteert van het interventieprogramma. De betrouwbaarheid is een maat voor de consistentie, stabiliteit en precisie van de testscore.
Omdat bij uitval nieuwe participanten met dezelfde kenmerken geselecteerd kunnen worden voor het onderzoek.
interne validiteit
externe validiteit
De betrouwbaarheid is de mate waarin de test meet wat hij verondersteld wordt te meten.
Zodat het interventieprogramma tijdens de implementatie aangepast kan worden aan de doelgroep. De betrouwbaarheid is de mate waarin een relevante verandering in het meetobject weerspiegeld wordt in de waarde van de variabele, zoals gemeten. betrouwbaarheid
Opdat aanbieders van het interventieprogramma optimaal gematcht kunnen worden aan participanten. De betrouwbaarheid is de mate waarin het instrument van systematische richtlijnen is voorzien. nauwkeurigheid
18
Welke stelling over NullHypothesis Significance Testing (NHST) is waar?
19
Wat is de juiste volgorde van meetniveau's van laag naar hoog? Welke instantie biedt richtlijnen voor het schrijven van wetenschappelijke publicaties? De Groot (1994) wijst in verband met instrumentatieprobleme n op een spanning tussen objectiviteit en relevantie. Wat wordt daarmee bedoeld?
20
21
Als de gevonden pwaarde groter is dan het gehanteerde significantieniveau, wordt het effect niet significant genoemd en wordt geconcludeerd dat de interventie in de populatie géén effect had.
Als de gevonden pwaarde groter is dan het gehanteerde significantieniveau, wordt het effect significant genoemd en wordt geconcludeerd dat de interventie in de populatie wellicht effect had.
Als de gevonden pwaarde kleiner is dan het gehanteerde significantieniveau, wordt het effect significant genoemd en wordt geconcludeerd dat de interventie in de populatie wellicht effect had.
Als de gevonden pwaarde kleiner is dan het gehanteerde significantieniveau, wordt het effect niet significant genoemd en wordt geconcludeerd dat de interventie in de populatie geen effect had.
Het Nji
De COTAN
De APA
De METC
Nominaal, ordinaal, interval, ratio
Het risico, dat de technische vervolmaking van het instrument geschiedt ten koste van de inhoud, van de 'dekking' van wat gemeten wordt.
Interval, nominaal, ordinaal, ratio
Het risico, dat de vervolmaking van de 'dekking' van wat gemeten wordt, geschiedt ten koste van de technische kwaliteit van het instrument.
Ratio, interval, nominaal, ordinaal
Het risico, dat de vervolmaking van de standaardisatie van het instrument ten koste gaat van de bruikbaarheid bij met name atypische populaties.
Nominaal, ratio, interval, ordinaal
Het risico, dat de vervolmaking van de toepasbaarheid bij atypische populaties ten koste gaat van de inhoud, van de 'dekking' van wat gemeten wordt.
22
Welke stelling omtrent ontwikkelingstests is juist?
23
Alleen kinderen die extreem laag scoren, worden aangemeld voor een interventieprogramma. Hierdoor is de kans op verbeterde scores na de interventie hoger. Van welke bedreiging voor de interne validiteit is dit een voorbeeld? Hoe wordt de situatie Randomisatie. genoemd waarin de participant aan een effectonderzoek een neutrale positie inneemt ten aanzien van de verwachte effecten met betrekking tot beide interventies (controlegroep en experimentele groep)?
24
Vele auteurs achten gestandaardiseerde ontwikkelingstests geen betrouwbare maat voor individuele variatie voor atypische groepen kinderen. Statistische regressie naar het gemiddelde.
Vele auteurs achten gestandaardiseerde ontwikkelingstests de meest betrouwbare maat voor individuele variatie voor atypische groepen kinderen. Selectie.
Vele auteurs achten Géén van de gestandaardiseerde antwoorden is juist. ontwikkelingstests geen betrouwbare maat voor individuele variatie voor normale kinderen. Interactie.
Multipele behandeling inferentie
Pre-experimentele gelijkheid.
Care-as-usual.
Equipoise.
25
Wat is kanskapitalisatie, met betrekking tot de data-analyse?
Dit is het verhogen van de kansen op het vinden van statistische verbanden door een groot aantal (onafhankelijke) hypothesen te testen.
Dit is het verhogen van de kansen op het vinden van statistische verbanden door die toets te kiezen, met het hoogste onderscheidingsvermog en.
26
Een logic model is vooral bedoeld om
de doelgroep van een effectonderzoek nauwkeurig te definieren
27
Hoe zou u een zogenaamde programma-template willen definieren?
De volgorde der handelingen in een effectonderzoek te beoordelen op logische verbanden Programma Logic Model
De formulering van missie en belangrijkste doelen van een programma
28
De Reliable Change Index, ook wel genoemd de J-T-index, is een maat voor betrouwbare verandering op individueel niveau. Toch moeten in de berekening
(a) Correlatie tussen voor- en nameting van alle participanten in het onderzoek; (b) standaarddeviatie van de voormetingen van alle deelnemers
(a) Correlatie tussen voor- en nameting van alle participanten in het onderzoek; (b) standaarddeviatie van de nametingen van alle deelnemers
Dit is het verhogen van de kansen op het vinden van statistische verbanden, door missing data te vervangen door bepaalde waarden, zodat deze cases toch in de analyse opgenomen kunnen worden. de uitvoerbaarheid van het onderzoek systematisch te beoordelen
Dit is het verhogen van de kansen op het vinden van statistische verbanden, door het significantieniveau te verhogen.
om na te gaan in hoeverre op een logische manier de doelen van het programma zijn bereikt
Samenvatting van De volledige centrale kenmerken van opsomming van de een programma, criteriummaten bedoeld om van tijd tot tijd te actualiseren (a) Correlatie tussen voor- en nameting van alle participanten in het onderzoek; (b) het verschil van de standaarddeviaties van voor- en nametingen
Het verschil van de gemiddelde voor- en nametingen van de participanten
groepsgegevens worden opgenomen. Welke?
29
30 31
Ook in de medische effectonderzoekliteratuu r komen evidence-based rating voor. Een voorbeeld is de taxonomie van Swanston, Williams en Nunn (2000), waarbij niveau I de sterkste vorm van bewezen effectiviteit is. Welke omschrijving behoort volgens u bij niveau I ? Het percentage zero data (PZD) is een eenvoudige maat die gebruikt wordt in Residual Change Scores is een methode om veranderingen tussen pre- en posttest vast te stellen, hoewel er veel kritiek bestaat. De
van alle deelnemers
Meta-analyse van zuiver experimentele designs
Goed gerandomiseerd design met E en C
Quasi-experimentele designs
Evidentie op basis van case studies
Onjuist., Is geen N=1design
One-group pretestposttest-design
Solomon-four-design
ABAB-designs (N=1designs)
Het residu bestaat uit het verschil tussen werkelijke en voorspelde posttestscore,
Het residu is afkomstig van een schatting met behulp van relevante derde variabelen.
Weliswaar worden posttestcores geschat op basis van regressie,maar het verschil met de gemiddelde
Alle drie genoemde argumenten zijn juist.
32
33
methode werkt op basis van regressie-analyse van de pretestscores. Waarom wordt deze methode residual change scores genoemd? Een mogelijkheid om een bepaald methodologisch verschijnsel te bestrijden is te streven naar geografische spreiding in onderzoeksgroepen (zowel E als C), Welk van onderstaande verschijnselen wordt hier bedoeld? Stel dat in een statistische toets H0 wordt verworpen, terwijl de alternatieve hypothese H1 juist is, dan nemen we een juiste beslissing. Hoe wordt deze uitkomst getypeerd?
posttestscore vormt het residu.
Contact tussen E en C is ondermijning van de juiste balans tussen informatie over nuttigheid van verschillende interventies en dus ondermijning van het gewenste effect van randomisatie. Geografische spreiding gaat deze ondermijning enigszins tegen. Als 1-β, zijnde de power van de toets
Propensity analyse.
Power analyse
Equifase
Als 1-α
β
α
34
35
Stel dat de a priori poweranalyse aangeeft dat 156 ppn nodig zijn om gewenste power van .80 te behalen. Stel dat de onderzoeker slechts 100 deelnmers kan includeren. Waarom is dit buitengewoon vervelend voor de kwaliteit van het onderzoek? Er zijn verschillende maten voor Effect Size ontwikkeld, zoals Cohens d, Hedges'g, Cohens f-kwadraat en Odds ratio's. Welke maat wekt in dit rijtje de meeste verwondering?
Het is in het geheel niet vervelend, omdat de reductie in de voorgenomen steekproefgrootte op zich niet zo belangrijk is.
Er bestaat een grote kans dat er niks uit het onderzoek komt, terwijl er in de populatie wel degelijk een (klein) effect te bespeuren is.
De a priori analyse kan in het geheel niets vertellen over de geweenste steekproefgrootte
De kwaliteit van het onderzoek kan helemaal niet worden uitgedrukt in een tekortschietend aantal ppn
Odds-Ratio
Cohens d
Cohens f-kwadraat
Hedges' g
36
De Groot somt twee kwalificaties voor effectonderzoek op: wetenschappelijke en maatschappelijk. In welke rangorde plaatst hij deze kwalificaties?
De Groot kent in het geheel de tegenstelling wetenschapmaatschappij niet; hij gebruikt hiervoor een geheel andere begrippenpaanr, namelijk objectiviteit versus subjectiviteit in effectonderzoek.
Maatschappelijke kwaliteit gaat boven wetenschappelijke
De Groot heeft in het geheel geen voorkeur.
Wetenschappelijke kwaliteit gaat boven maatschappelijke
Effectonderzoek in de gedragswetenschappen Zelftoets 2 Multiple Choice-vragen Nr.
Vraag
Antwoord 1
Antwoord 2
Antwoord 3
Antwoord 4
1
Welke stelling is waar?
2
Waarom is effectonderzoek in de gedragswetenschap pen belangrijk? Welk antwoord is niet waar?
Als gevolg van het politieke beleid en de groeiende competitie tussen aanbieders van hulp en zorg, geniet de effectiviteit van de hulpverlening bij uiteenlopende partijen, zoals beleidsmakers, professionals in praktijkinstellingen en onderzoekers, veel belangstelling Omdat het doel van effectonderzoek is, aan te tonen dat participanten aan interventieprogramma's tevreden zijn over de interventie.
Ondanks het politieke beleid en de groeiende competitie tussen aanbieders van hulp en zorg, geniet de effectiviteit van de hulpverlening bij partijen als beleidsmakers, professionals in praktijkinstellingen en onderzoekers, weinig belangstelling.
Het politieke beleid en de groeiende competitie tussen aanbieders van hulp en zorg zorgen ervoor dat de effectiviteit van de hulpverlening bij partijen als beleidsmakers, professionals in praktijkinstellingen en onderzoekers, weinig belangstelling geniet.
Ondanks het politieke beleid en de groeiende competitie tussen aanbieders van hulp en zorg, geniet de effectiviteit van de hulpverlening bij partijen als beleidsmakers, professionals in praktijkinstellingen en onderzoekers, veel belangstelling. Omdat effectonderzoek een bijdrage kan leveren aan theorieontwikkeling.
Omdat effectonderzoek een bijdrage kan leveren aan de verbetering van de hulpverlening.
Omdat steeds meer jeugdigen en volwassenen te maken krijgen met hulpverlening.
3 4
5
6
7
Kenmerkend voor de regulatieve en empirische cyclus is dat ze beide De ‘fenomenologie’ is volgens De Groot een methode om op ideeën te komen. Deze uitspraak is
gericht zijn op het veranderen van verschijnselen
gefocust zijn op essentiële aspecten van theoriegericht onderzoek empirisch onderzoek expliciteren juist, omdat de fenomenologie een kwalitatieve methode is
onjuist, omdat de fenomenologie een op zich zelf staande onderzoeksmethode is.
het hulpverleningsproces willen professionaliseren onjuist, omdat de fenomenologie geen methode is
In lijn met wetenschapsfilosoof Popper, is de empirische cyclus van De Groot gericht op het Wat behoort niet per definitie tot een ‘interventieprogram ma’?
ontwikkelen van een theorie
bewijzen van een theorie
weerleggen van een theorie
expliciteren van een theorie
Aansluiting bij toepasselijke theorieën en hypothesen.
Het bestaan van alternatieve verklaringen (spuriousness): de mate waarin andere factoren
In de gedragswetenschappen opgeleide, goed getrainde en vooraf geïnstrueerde hulpverleners.
Vooraf geplande evaluatiemomenten en evaluatiecriteria.
Welke dimensie van Dunst, Snyder & Mankinen (1989), die besloten ligt in de definitie van
Goed omschreven doelen, gericht op het oplossen, verminderen of voorkomen van risico’s of problemen bij kinderen en/of volwassenen. Specificiteit (specificity): de mate waarin er identificeerbare dimensies van de interventie aan te wijzen
juist, omdat de fenomenologie thuis hoort in de empirische cyclus.
Afhankelijkheid (dependence): de mate waarin er een functionele relatie bestaat tussen de onafhankelijke en de
Geen van de genoemde dimensies heeft betrekking op de interne validiteit.
effectiviteit, heeft betrekking op de interne validiteit? 8
Wat is de essentie van de gegeven definitie van effectiviteit?
9
Welke stelling is waar?
dan de interventie optreden als bronnen die van invloed zijn op de afhankelijke variabele. Dat effectiviteit oftewel causale gevolgtrekking een relatief concept is; ook negatieve effecten kunnen leiden tot het label 'effectief'.
zijn die een onderscheidbare relatie met de afhankelijke relatie bezitten.
afhankelijke variabele.
Dat effectiviteit oftewel causale gevolgtrekking een relatief concept is; er zijn vele niveaus van bewijskracht mogelijk.
Dat effectiviteit een alles-of-nietszaak is, zodat geconcludeerd kan worden of het om positieve danwel negatieve effecten gaat.
Bij effectonderzoek (voorheen vooral productevaluatie) dient ook de procesevaluatie betrokken te worden. De productevaluatie toont dan aan of de interventie werkt en de procesevaluatie waarom de interventie (niet) werkt en hoe het misschien beter kan.
Bij effectonderzoek (voorheen vooral procesevaluatie) dient ook de productevaluatie betrokken te worden. De productevaluatie toont dan aan of de interventie werkt en de procesevaluatie waarom de interventie (niet) werkt en hoe het misschien beter kan.
Bij effectonderzoek dient slechts de productevaluatie betrokken te worden. De productevaluatie toont dan aan of de interventie werkt.
Bij effectonderzoek dient slechts de procesevaluatie betrokken te worden. De procesevaluatie waarom de interventie (niet) werkt en hoe het misschien beter kan.
Dat effectiviteit een allesof-nietszaak is, zodat geconcludeerd kan worden of het om een effectieve of nieteffectieve interventie gaat.
10
11
Interventieprogram ma's zijn bij voorkeur gebaseerd op multifactoriële systeem of ecologische theoriën omdat:
Een groep van jonge alleenstaande moeders krijgt gerichte voorlichting over onder- en overvragen en mijlpalen in de ontwikkeling van kinderen. Tot wat voor soort preventie kan deze vorm van interventie gerekend worden?
deze zijn gericht op de complexiteit en onderlinge afhankelijkheid tussen en binnen systemen en daardoor meer recht doen aan de werkelijkheid. Primaire pedagogische preventie
deze kijken naar bepaalde specifieke aspecten uit het systeem, zodat het effectonderzoek vereenvoudigd wordt.
deze kijken naar specifieke aspecten uit het systeem, zodat deze meer diepgaand onderzocht en behandeld worden.
Secundaire pedagogische preventie
Tertiaire pedagogische preventie.
deze zijn gericht op de complexiteit en onderlinge afhankelijkheid tussen en binnen systemen en daardoor gemakkelijker te onderzoeken zijn. Dit is geen pedagogische preventie.
12
Welke stelling is waar ten aanzien van de beschrijving van doelen in het effectonderzoek?
13
Wat wordt bedoeld met het operationaliseren van variabelen in criteria?
14
Welke stelling over onbedoelde effecten van interventieprogram ma's is niet waar?
Een eenduidige beschrijving van de doelen van een interventieprogramma is geen voorwaarde, maar wel een bijdrage aan goed effectonderzoek.
Een eenduidige beschrijving van de doelen van een interventieprogramma is een voorwaarde voor goed effectonderzoek.
Het vaststellen van criteria waaraan de implementatie van het interventieprogramma moet voldoen, wil het in theorie effectief zijn.
Het vaststellen van criteria waaraan het onderzoeksdesign dient te voldoen, om uitspraken over het effect van het interventieprogramma te kunnen doen.
In het effectonderzoek dienen bedoelde en onbedoelde gevolgen van een programma tegen elkaar afgewogen te worden.
Bij effectonderzoek worden onbedoelde gevolgen van een programma buiten beschouwing gelaten, daar deze per definitie niet meetbaar zijn.
Een eenduidige beschrijving van doelen van interventieprogramma's is niet nodig voor goed effectonderzoek; uit het effectonderzoek kunnen deze doelen ook achteraf worden afgeleid. Het vaststellen van inclusie- en exclusiecriteria voor de experimentele groep en de controlegroep in het effectonderzoek.
Een eenduidige beschrijving van doelen van interventieprogramma' s is niet nodig voor goed effectonderzoek, zolang er een notie is van de beoogde doelen.
Bij effectonderzoek worden onbedoelde gevolgen van een programma buiten beschouwing gelaten, daar het om onderzoek naar doelbereiking bedoelde gevolgen - gaat.
In het effectonderzoek hoeft slechts rekening gehouden te worden met onbedoelde gevolgen, indien er aanwijzingen voor negatieve onbedoelde gevolgen bestaan.
Het kiezen van variabelen die als criteriummaten voor de mogelijke effecten van de hulpverlening gelden en de criteriummaten omzetten in toetsbare voorspellingen.
15
Welke definitie is juist?
16
Welke stelling over de validiteit van psychometrische tests is juist?
17
Het Solomon FourGroup Design is een voorbeeld van een: Wat is sensitivering als bedreiging voor de interne validiteit?
18
Een operationele definitie wil zeggen dat betekenis is toegekend door het specificeren van de activiteiten of operaties die nodig zijn om het betreffende construct te meten en te evalueren Criteriumvaliditeit wordt gemeten door de testscores te vergelijken met externe variabelen of criteria, waarvan aangenomen wordt dat ze dezelfde eigenschap meten.
Een variabele is een concept dat zo geformuleerd is, dat het geobserveerd en gemeten kan worden. Wij noemen dit een criterium(maat).
Een construct is een eigenschap die verschillende waarden aan kan nemen, een symbool waaraan waarden worden toegekend.
Alle drie de definities zijn juist
Convergente validiteitis het vermogen van de test om de verschillende groepen mensen te onderscheiden, die onderscheiden moeten worden.
Bij de begripsvaliditeit wordt de vraag gesteld of de inhoud van de test representatief is voor de inhoud van het begrip dat wordt gemeten.
Het effect van gebeurtenissen buiten de interventie om, die zich voordoen tussen de vooren nametingen.
zuiver experimenteel design
N=1 design
Het effect van veranderingen in de meetprocedure tussen pre- en postinterventiemetingen.
De inhoudsvaliditeit geeft de mate aan waarin de test daadwerkelijk de psychologisch begrip meet: welke eigenschap(pen) kan (kunnen) de individuele variantie in de testscores verklaren? quasi-experimenteel design
pre-experimenteel design
Het effect van ontwikkelingsprocessen en voorbijgaan van tijd op de afhankelijke variabelen.
Het effect waarbij participanten zich anders ontwikkelen als gevolg van de meting zelf.
19
20 21
22
Van welk meetniveau is de grootheid temperatuur in celsiusaanduiding? De power van een statistische toets hangt af van:
Ratio.
Interval.
Ordinaal.
Nominaal.
het significantieniveau, de steekproefgrootte en de effect size.
Men moet bij de beoordeling van een test letten op (a) de aanwezigheid van andere maten dan coëfficiënt alpha en (b) de aanwezigheid van betrouwbaarheidsmate n op grond van meer dan een afname.
het onderscheidingsvermoge n, het significantieniveau en de effect size. Het ad hoc construeren staat de ontwikkeling van beschrijvende normatieve data over interessante variabelen in de weg. Men moet bij de beoordeling van een test letten op (a) de aanwezigheid van andere maten dan coëfficiënt alpha en (b) de aanwezigheid van betrouwbaarheidsmaten op grond van één afname.
het significantieniveau, de wijze van steekproeftrekking en de effect size. Alle drie de genoemde antwoorden zijn juist.
Welke stelling over de betrouwbaarheid van een test is waar?
het onderscheidingsvermoge n, de steekproefgrootte en de effect size. Er vindt geen verbetering van instrumenten plaats, door middel van toetsing en ervaring in de praktijk.
Wat is een nadeel van ad hoc geconstrueerde instrumenten?
Het ad hoc construeren bemoeilijkt de vergelijking met effecten van andere programma’s.
Men moet bij de beoordeling van een test letten op (a) de aanwezigheid van de maat coëfficiënt alpha en (b) de aanwezigheid van betrouwbaarheidsmaten op grond van meer dan een afname.
Men moet bij de beoordeling van een test letten op (a) de aanwezigheid van de maat coëfficiënt alpha en (b) de aanwezigheid van betrouwbaarheidsmat en op grond van één afname.
23
24
25
Bij het waarborgen van welk type validiteit gaat het vooral om representativiteit van de steekproeven en om representatieve replicatie van het onderzoek? Welke stelling is waar?
Criteriumvaliditeit.
Interne validiteit.
Externe validiteit.
Convergente validiteit.
Als uit de theorie en eerder onderzoek blijkt dat een interventieprogram ma minstens een positief effect zal hebben, of helemaal géén, maar in elk geval geen negatief effect, welk type toets heeft dan de
De behoefte aan actie in de (hulpverlenings)praktij k en de publicatiedruk, bemoeilijken de uitvoering van longitudinale studies. Een eenzijdige toets.
De behoefte aan actie in de (hulpverlenings)praktijk stimuleert de uitvoering van longitudinale studies, maar de publicatiedruk bemoeilijkt dit.
De publicatiedruk stimuleert de uitvoering van longitudinale studies, maar de behoefte aan actie in de (hulpverlenings)praktijk bemoeilijkt dit.
De behoefte aan actie in de (hulpverlenings)prakti jk en de publicatiedruk, stimuleren de uitvoering van longitudinale studies. Een eenzijdige en een tweezijdige toets bezitten dan geen power.
Een tweezijdige toets.
Een eenzijdige en een tweezijdige toets bezitten dan evenveel power.
hoogste power? 26
27
28
Stel dat u een doelenhiërarchie opzet ten behoeve van de ontwikkeling van een preventief interventieprogram ma, welk doel zou u bovenaan de doelboom plaatsen? De Index of Progress is een maat om de verandering in ontwikkelingssnelh eid van kinderen met sterke achterstanden weer te geven. Welk fundamenteel bezwaar kleeft aan deze maat? Carrs checklist voor de beoordeling van interventieonderzoeken is
Het ouders aanleren van opvoedingsvaardighede n
Het voorkomen van ontwikkelingsachterstan d
Het bevorderen van de transacties tussen ouder en kind
Het wegnemen van onrealistsiche verwachtingen van de ouders ten aanzien van het kind
De maat is gebaseerd op psychometrisch weinig houdbare maat, te weten ontwikkelingsleeftijd
De maat volgt geen normale verdeling
De maat is slechts gestoeld op twee metingen.
De maat heeft als eerste meetpunt de stand van zaken (in ontwikkeling en leeftijd) vlak na geboorte
5 of meer
50
100
500 of meer
29
toegepast op een groot aantal interventiestudies. Hij hanteert vier stringente eisen voor inclusie. Een daarvan is 'aantal participanten in elke groep' Om welk aantal gaat het dan? Multiple imputation Pooling, imputatie, wordt beschreven analyse als een verantwoorde techniek om de proefpersoon niet verloren te laten gaan, door drie of meer datapunten te imputeren en per imputatie een statistische analyse te doen. Deze techniek berust op een proces. Hoe zou u dat proces beschrijven?
Imputatie, pooling, analyse
Imputatie, analyse, pooling
Pooling, analyse, imputatie
30
31
Een voorbeeld van een zuiver experimenteel design is een ontwerp met herhaalde metingen aan een experimentele groep (E), waarbinnen een interventie plaatsvindt en aan een controlegroep (C) waarbinnen geen interventie plaatsvindt, terwijl de proefpersonen at random worden toegewezen aan E en C. Dit design lijk erg op een quasiexperimenteel ontwerp. Welk? Wat is een nadeel van de GASmethode om veranderingen vast te stellen?
Non-equivalent Control Group Design
Solomon Four-Group Design.
One-Group PretestPosttest Design.
Planned Variation Design.
Alle drie genoemde argumenten
Doelen worden invalide geoperationaliseerd
Doelen worden onvoldoende betrouwbaar gemeten.
Situationele kenmerken zijn van invloed op de betrouwbaarheid van scores
32
33
34
Lees beide uitspraken. I De Index of Progress (IP) als veranderingsindex is een uitbreiding van Wolerys Proportional Change Index (PCI). II De Predicted Post-Intervention Developmental Age score (PPIDA) is evenals de Residual Change Score gebaseerd op regressie-analyse De power van een statistische toets hangt van drie parameters af. Van welke niet? Is het nodig altijd Cohens indeling in effectsizes (ES) te hanteren bij het beoordelen van effectiviteitsonderz oek in de
I is juist en II is onjuist
I en II zijn beide onjuist.
I en II zijn beide onjuist
II is juist en I is onjuist
Effect Size (ES)
Significantieniveau α
Steekproefgrootte
De schending van de voorwaarden
Cohens indeling is het geheel niet bruikbaar, want veel te soepel
Cohens indeling is relevant, maar het is belangrijk op de kostenkant te letten.
Ja, dit is altijd nodig, hetgeen ook waargenomen kan worden in gerenommeerde tijdschriften
Cohens indeling is niet relevant omdat de ES van de steekproefomvang afhangt
gedragswetenschap pen? 35
36
In een ANCOVAanalyse worden effecten gecorrigeerd voor verschillen in pretestscores tussen verschillende groepen. Maar Huitema (1980) heeft een duidelijke waarschuwing. Welke? Een zogenaamde relatieve causale relatie tussen interventie en resultaat, is in de eerste plaats gelegen in
Gebruik geen ANCOVA correcties als de groepen natuurlijkerwijze zijn samengesteld. Deze waarschuwing is al vele malen en vele jaren van kracht.
Gebruik alleen groepen van dezelfde grootte
ANCOVA kan niet worden toegepast bij meer dan een covariaat
Gebruik geen ANCOVA als de verschillende groepen onderling hoog correleren.
statistisch correlationeel onderzoek
de uitkomsten van empirisch onderzoek
het theoretisch raam
het oordeel van terzake deskundigen
