College Week 3 Kwaliteit meetinstrumenten; Inleiding SPSS Inleiding in de Methoden & Technieken 2013 – 2014
Hemmo Smit
Overzicht van dit college
Kwaliteit van een meetinstrument Inleiding SPSS
Hiervoor lezen: Leary: Hoofdstuk 3 (pp.53-70) Howell: Hoofdstuk 1 (§1.1 en 1.2)
2 aspecten van kwaliteit van een meting Doel van onderzoek: variabiliteit verklaren (week 1) Ideaal: variabiliteit in meting = variabiliteit in eigenschappen 1.
Betrouwbaarheid = de mate waarin we correct / zorgvuldig meten (geen toevalsfouten)
2.
Validiteit = de mate waarin we meten wat we willen meten (geen systematische fouten)
Betrouwbaarheid = de mate waarin wordt gemeten zonder toevalsfouten
Geobserveerde score Systematische score Toevalsfout = + (meetfout) (de meting) (ware score) Totale Variantie
=
Systematische Variantie
+
Foutenvariantie
Betrouwbaarheid = Proportie Verklaarde Variantie (VAF)
Systematische (ware score) variantie Betrouwbaarheid Totale (geobserve erde) variantie
( y y)
Betrouwbaarheidscoëfficiënten Ligt tussen 0 en 1. Vuistregel: .70 of meer is voldoende Vaststellen d.m.v. herhaald meten
LET OP! Voor diagnostiek hogere betrouwbaarheid noodzakelijk!
1) Test-hertest betrouwbaarheid 2) Paralleltest betrouwbaarheid 3) Interne Consistentie (ook: Inter-item betrouwbaarheid) 4) Replicatie (heel onderzoek)
( y y)
Betrouwbaarheidscoëfficiënten (1) 1) Test-hertest betrouwbaarheid - één meting of heel instrument - 2 maal meten en overeenstemming bepalen - consistentie van meting door tijd heen 2) Paralleltest betrouwbaarheid - één meting of heel instrument - Als test-hertest, maar 2e meting met parallel instrument
( y y)
Betrouwbaarheidscoëfficiënten (2) 3) Interne consistentie (ook: Inter-item betrouwbaarheid) - Voor heel instrument - Samenhang items in instrument (schaal) 4) Replicatie - Voor heel onderzoek - Onderzoek nogmaals uitvoeren en overeenstemming bekijken
Interne consistentie (Inter-item betrouwbaarheid) Instrument bestaat uit items die allemaal hetzelfde construct/concept (proberen te) meten.
Herhaald meten: - Ieder item is klein meetinstrumentje - Alle items zijn paralleltestjes van elkaar Scores van respondenten op de vragen komen overeen: Hoog–hoog en laag-laag (NB. Let op ompolen!) Let op! Interne consistentie wordt altijd hoog als je 10x nagenoeg hetzelfde vraagt → denk aan inhoudsvaliditeit!
( y y)
Maten voor Interne consistentie 1) Item-total correlation
2) Split-half betrouwbaarheid
3) Cronbach’s Alpha
( y y)
Beoordeling van Cronbach’s α Hoe dichter bij 1 hoe hoger de interne consistentie α
beoordeling
<.60
Onvoldoende
.60-.80 Redelijk tot goed >.80
Goed
LET OP! Voor diagnostiek hogere α noodzakelijk!
Betrouwbaarheid: Bronnen van toevalsfouten Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout)
1) 2)
3) 4) 5)
tijdelijke toestanden (transient states) stabiele eigenschappen respondent situationele factoren eigenschappen van instrument fouten door onderzoeker
( y y)
Betrouwbaarheid Verbeteren → Elimineren van toevalsfouten (meetfouten) 1) 2) 3) 4)
standaardiseren afname instrument heldere instructies en vragen (check met pilot study) trainen observatoren minimaliseren fouten bij verwerking
( y y)
Validiteit = de mate waarin gemeten wordt wat bedoeld is Geobserveerde score = systematische score + toevalsfout (de meting) (ware score) (meetfout)
Systematische score
X
Systematische fout (= Bias)
LET OP! Validiteit vereist Betrouwbaarheid, maar niet omgekeerd
Validiteit meetinstrument (1) 1) Face validity Lijkt het instrument ‘op het oog’ valide? 2) Inhoudsvaliditeit (Content validity) - Wordt het gehele inhoudelijke domein gedekt? - vereist onafhankelijke beoordelaars NB. Staat niet in Leary
Validiteit meetinstrument (2) 3) Constructvaliditeit Samenhang met andere metingen? a) Convergente validiteit: Sterke samenhang met instrumenten die vergelijkbaar of tegengesteld construct meten b) Discriminante validiteit: zwakke/geen samenhang met instrumenten die (heel) ander construct meten
4) Criteriumvaliditeit Samenhang met bepaald (gedrags)criterium? a) Concurrente Validiteit: criteriumgedrag nu b) Predictieve Validiteit: criteriumgedrag in de toekomst
Validiteit geheel onderzoek Statistische Validiteit: Is data-analyse correct? Interne Validiteit: Zijn alternatieve verklaringen uitgesloten? Externe Validiteit: Is het resultaat generaliseerbaar? Construct Validiteit: Zijn alle gebruikte instrumenten valide?
SPSS – Data view
SPSS – Variable view (2)
SPSS – Variable view: Type
SPSS – Variable view: Values (1)
SPSS – Variable view: Values (2)
SPSS – Variable view: Missing
SPSS – Variable view: Measure
SPSS – Menu: Data
SPSS – Menu: Transform
SPSS – Menu: Analyze
SPSS – Menu: Graphs
SPSS – Menu: Help
Wat heb je vandaag geleerd?
Wat zijn betrouwbaarheid en validiteit? Wat zijn de verschillende vormen van betrouwbaarheid? Wat zijn de verschillende bronnen van toevalsfouten? Wat zijn de verschillende vormen van validiteit?
Hoe interpreteer je een betrouwbaarheidscoëfficiënt?
Volgende week Inspecteren van data: Verdelingen
Hiervoor lezen: Leary: Hoofdstuk 6 Howell: Hoofdstuk 2
