Introductie Annemarie Spruijt - werkcolleges Beoordelen en construeren van vragenlijsten workshop NVMO werkgroep OvO
2 kwalitatieve studies
16 februari 2012
Op basis uitkomsten constructie vragenlijst Tim Mainhard Nicole Mastenbroek Annemarie Spruijt
Uiteindelijk constructie model
Faculteit Diergeneeskunde Leerstoel Kwaliteitsbevordering Diergeneeskundig Onderwijs
Vragen • Waar begin ik? – Literatuur scaling procedures? – Literatuur statistiek? – Literatuur vergelijkende vragenlijsten – Ga ik bestaande vragenlijst gebruiken of nieuwe ontwikkelen? – Als bestaand wanneer moet je opnieuw valideren?
Waar moet ik aan denken bij het opstellen van vragenlijst? – Itemconstructie • Hoe kun je items beste opstellen? • Hoeveel items zijn realistisch? • Hoe maak je selectie?
– Antwoordopties – Validiteit – Betrouwbaarheid
Factor analyse • Waar ligt de grens tussen exploratieve en confirmatorische factoranalyse? • Tot hoever moet je statistische benaderingen hebben voorbereid als je vragenlijst ‘eruit doet’?
Vragen uit publiek • Waar moet je op letten bij het kiezen van een bestaande vragenlijst voor je onderzoek?
Theorie Tim Mainhard
– Bestaat er een checklist voor het beoordelen van vragenlijsten?
• Bestaat er een database van alle gevalideerde vragenlijsten die wereldwijd gebruikt worden voor bepaalde onderzoeksvelden? • Hoe kun je het beste een vragenlijst via internet opstellen die meteen automatisch verwerkt kan worden?
4 stappen:
Eigenschappen van een schaal • Dimensionality
1. Definitie construct •
– Homogeen, één construct, voorwaarde voor validiteit en betrouwbaarheid (factoranalyse)
Bestaande schalen?!
2. Items genereren en beoordelen
• Reliability/betrouwbaarheid – Test – hertest – Interne consistency (inter-item correlatie, Cronbach´s alfa)
Hands-on
3. Schaal testen 4. Schaal vaststellen
• Validiteit – Meet de schaal wat ik wil meten? – Construct, face, criterion (theorie, correlaties, voorspellen)
Hands-on
1.Definitie construct • THEORIE of eigen model • inhoudelijke definitie • aantal dimensies
Indexing vs scaling vs evaluatie – Jaarinkomen = SES – “Ik wil begrijpen hoe het zit” aard vd motivatie diagnostiek – “De colleges waren goed verzorgd” ??
(SWAAK & DE JONG, 1996)
Uitstapje OW evaluatie
2. Items genereren • respons format – Open/gesloten, 5-puntschaal of meer
• item formulering (afhv. complexiteit 3-20, pilot: aantal x 3 of 4) • Content validiteit • Expert en leek oordelen
leuk
Hands on +/- 25 min Plenair terugrapporteren
Wie zijn de respondenten??
3. Schaal testen Pilot, “trimmen”: •Verschillende samples? •Item check
4. Schaal vaststellen layout
• Validiteit testen (vergelijken met ´gouden standaard´, predictive validity, e.d.) • EFA (dimensionaliteit in de gaten houden!)
(zie EXPLORE in spss: SD, scheef, …)
• CFA (SEM amos, M+, LISREL, …)
•EFA en validiteit •Cronbach´s alfa en betrouwbaarheid
• Factormodel invariance
Anpassen schaal
• Normen vaststellen?
Bronnen van variantie • Multilevel (sampling: regio-, praktijk-, groepseffect … eigenschap van een praktijk of van een patient?)
• G-study (hoeveel items, hoeveel respondenten, hoeveel situaties, …)
Hands on (?)
Voorbeeld over ‘patiënt’: Respondent (bijv. behandelaar) •Neiging om hoge scores te geven •Persoonlijke opvattingen
Situatie/context
Item •Error •Formulering
Construct • zichtbaarheid • verschillen tussen patiënten Patiënt (target of doel) • Persoonlijke eigenschappen Omgeving / sampling
+/- 25 min Plenair terugrapporteren
Context Nicole Mastenbroek • Onderzoek naar werkbeleving jonge dierenartsen • Domein arbeidspsychologie • Er zijn verschillende theorien m.b.t. werkbeleving • Type onderzoek al veel gedaan in andere beroepsgroepen • Meer van hetzelfde?
Eisen aan de nieuw te maken vragenlijst
•
Wat wil je weten?
•
Wat wil je meten?
•
Welke vragenlijsten zijn er al?
•
Waarom wil je een nieuwe vragenlijst ontwikkelen?
•
Wat wil je doen met de data die je genereert?
•
Weet je al iets over de statistiek?
De theorie
• Vragenlijst is gebaseerd op een valide theoretisch raamwerk • De vragenlijst is zo lang als noodzakelijk • En tevens zo kort als mogelijk • Moet ook in andere context bruikbaar zijn
Flowchart van procedure en resultaat
Procedure : Qualitative Phase – Semistructured group interviews Result longlist of job characteristics
– Crosschecking and prioritization Result: shortlist of most important job characteristics
Procedure: second phase
Creating the definitive questionnaire
– Operationalization in items and scales – Incorporation in questionnaire
– – – – –
Result: composition of the preliminary questionnaire
Pretesting Questionnaire mailing Exploratory factor analyses Content analysis of factors Scale reliability
Result: Results of the factor analysis
Valkuilen • • • • • •
Te veel willen vragen in een vragenlijst Onvoldoende borgen van het proces Procedure niet helder hebben voor je begint Niet bijhouden wat je gedaan hebt Gevalideerde schalen aanpassen Copyright vergeten
einde Boeken: Netemeyer, R. G., Bearden, W. O., & Sharma, S. (2003). Scaling Procedures. Sage. Field, A. (2011). Discovering Statistics Using SPSS. (3rd ed.). Sage.
Uitstapje: Onderwijsevaluatie
• Dimensies of losse vragen? • Onderdelen van een cursus vs 4 evaluatieniveaus (Kirkpatrick, 1998)
Kirkpatrick’s Levels of Evaluation 1. 2. 3. 4. 5.
Reaction (de kroketten waren lekker) Learning (weet nu dat…) Behaviour (doet nu …) Results (wat heeft een training opgeleverd) (return on investment) (was het de moeite?)
Kirkpatrick, D. L. (1994). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler.
Items: do’s and dont’s
responsformaat
Do’s • De zelfde stam • Positief formuleren • Kort en bondig • Actief
• Aantal schaalpunten?
Dont’s • Voorwaardelijk formuleren • Ontkenningen • Intensiteit (‘heel veel’) in het item
• Stroomlijnen items en antwoordschaal
continuïteit, spreiding, middenpunt, …
• Welke labels? nooit-altijd; helemaal niet/niet/soms/vaak/heel vaak weet niet? Geen mening?
• Uniformiteit Maar: ruis vs. halo-effect of invul-flow
Item check
layout
(onderscheidingsvermogen)
• • • •
Range Spreiding (SD) liefst 1sd bij 5 puntschaal Scheefheid Gepiektheid
Toeval en ‘echt’ fout (klassieke testtheorie)
• Error – Ruis – Cronbach’s alfa
• Systematische fout
E
rror
T
rue
– Sociale wenselijkheid – Formulering of volgorde items – … niet zomaar te ontdekken, validiteit
X Dimensionality!
process
Factoranalyse
Praktische vraag Construct
CFA
EFA
Theorie
Operationaliseren
Bestaande tests Literatuur
Toetsen
Verkennen
Geheel model
Subschalen
Eigen ideeën, experts, leken
items
Randvoorwaarden
schaal
vragen FOUT: Wat vond je van de ouderwetse manier waarop dat onderwerp in de les werd behandeld? Goed: Wat vond je van de manier waarop dat onderwerp in de les werd behandeld?
{
Statistische analyse Validering Handleiding
vragen FOUT: Gaat u weleens met de fiets naar het werk? Goed: Hoe vaak bent u de afgelopen week met de fiets naar het werk gegaan? Te algemeen geformuleerd
Vermijd evaluatief geladen woorden
vragen
vragen
Fout: Ouders mogen seksuele spelletjes van hun kinderen niet verbieden.
FOUT: Heb je nooit gezien dat bezoekers de dieren die op de lijst staan van dieren die niet gevoederd mogen worden toch voederen?
Goed: Ouders mogen seksuele spelletjes van hun kinderen best toelaten.
Goed: Er is een lijst met dieren die het publiek niet mag voeren. Heb je wel eens gezien dat mensen dat toch deden?
Ontkenning
Marathon-vraag
vragen Fout: De colleges waren heel goed te begrijpen.
vragen Vindt u het milieuprobleem belangrijk? (respons 95% ja)
Goed: De colleges waren goed te begrijpen.
Antwoordschaal in de vraag
Welke maatschappelijke problemen vindt u belangrijk? (10% milieu)
mijn persoonlijke opvatting over onderzoek 1=oneens 7=eens 1. Methoden van onderzoek en statistiek zijn moeilijk. 2. Ik ben geïnteresseerd in wetenschappelijk onderzoek.
Hands on
3. In mijn dagelijks leven speelt wetenschappelijk denken geen rol. 4. De concepten die gebruikt worden bij het doen van wetenschappelijk onderzoek zijn moeilijk te begrijpen.
Maak eerst de vragenlijst
5. De onderzoeksvaardigheden die ik in mijn studie leer, zullen me later in mijn beroep van pas komen. 6. Wetenschappelijk onderzoek is gecompliceerd. 7. Als ik een wetenschappelijk artikel lees, dan bestudeer ik de manier waarop het onderzoek werd uitgevoerd.
mijn persoonlijke opvatting over onderzoek 1=oneens 7=eens 8. In mijn dagelijks leven maak ik gebruik van wetenschappelijk onderzoek. 9. Ik maak veel fouten bij het doen van onderzoek.
• Wat zijn de constructen? – Welke items horen bij de constructen?
10.Kennis die wordt verkregen uit wetenschappelijk onderzoek is nuttig en bruikbaar. 11. Ik voel me onzeker over het analyseren van wetenschappelijke onderzoeksgegevens. 12. Wetenschappelijk onderzoek doen of erover lezen is leuk. 13. Wetenschappelijk onderzoek is niet relevant in mijn dagelijks leven. 14.De wiskunde en statistiek die wordt gebruikt bij wetenschappelijk onderzoek is moeilijk.
(VOOR DE OPLOSSING ZIE VOLGENDE PAGINA)
• Kwaliteit vd items: welke items kunnen beter, hoe? • Andere gedachten/opmerkingen bij de lijst
Factor
Items
Gem.score
Nut voor personal life
3*, 8, 13*
5.0
Nut voor later beroep
5, 10
5.2
Affectief positieve attitude
2, 7, 12
3.9
Affectief moeilijkheid
1, 4, 9, 14
4.8
Affectief onzekerheid
6, 11
3.2
Bij items met *: 1=7, 2=6, 3=5, 4=4, 5=3, 6=2, 7=1.
Referentie/ docenten cyprus
