Cursus Het gebruik van vragenlijsten en meetinstrumenten in een multiculturele samenleving Voorjaarscongres NVvP 2004 Frank Kortmann & Cees Kan UMC St Radboud Radboud Universiteit Nijmegen 1
Inhoud cursus
Algemene inleiding Psychometrie Equivalentie in verschillende culturen Voorbeelden SRQ: voorbeeld van transcultureel onderzoek Praktijk oefeningen Conclusies
2
Algemene inleiding
3
Gebruik vragenlijsten en meetinstrumenten
Patientenzorg
Diagnostiek Beloop
Wetenschappelijk onderzoek
4
Twee vormen wetenschappelijk onderzoek
Kwalitatief (exploreren onderzoeksdomein, hypothese genererend, ideografisch, antropologisch, focus op verschillen, relativistisch, emic) Methoden: interviews, focusgroepen, observaties, tekstanalyses
Kwantitatief (vergelijkend, gecontroleerd, hypothese toetsend, nomothetisch, focus op overeenkomsten, etic) Methoden: vragenlijsten, meetinstrumenten 5
Kwantitatief onderzoek
S(timilus) R(espons) (biomedisch)
S(timilus) I(ntrapsychische) & O(mgevinsfactoren) R(espons) (menswetenschappen) Voor I & O factoren kan nooit voor 100% gecontroleerd worden! 6
Onderzoek in multiculturele samenleving (Houtkoop-Veenman, 2002)
Oorzaken cultuur-specifieke responsvertekeningen:
Onderzoeksonderwerp Vragenlijsten/meetinstrumenten Interviewer Respondent Context Interactie tussen foutenbronnen Non-respons 7
Onderzoeksonderwerp a.
b.
c. d.
e.
f.
Gepercipieerde relevantie van het onderwerp Mate van vertrouwen in (witte) onderzoeker dat het onderwerp veilig is Vrees voor negatieve beeldvorming Problemen rond de benaderingswijze van de doelgroep (toestemming echtgenoot) Onvoldoende bekendheid met de sociale structuur van de onderzoeksgroep Ontbreken van bruikbaar steekproefkader 8
Vragenlijst/meetinstrument a.
b. c.
d. e. f. g.
De gevoeligheid van onderwerpen De volgorde van de vragen Toevoegingen van relevante en weglating van irrelevante vragen De complexiteit van de vragen De inhoudsvaliditeit De taalkundige complexiteit De aard van de vragen, bijvoorbeeld in de vorm van stellingen; alleen ja of nee 9
Interviewer a.
b.
Rol-afhankelijke effecten, verbonden aan de positie en opvattingen van de interviewer (grote sociale afstand; vooroordeel dat allochtonen de vragen waarschijnlijk wel niet zullen begrijpen) Rol-onafhankelijke effecten, zoals geslacht, leeftijd, ethische afkomst
10
Respondenten a.
b.
c.
Rol-afhankelijke effecten, verbonden aan de positie en opvattingen van de respondent (grote sociale afstand, onbekendheid met onderzoek, wantrouwen) Rol-onafhankelijke effecten, zoals geslacht, leeftijd, ethische afkomst (bv leeftijd, gerelateerd aan gemiddelde leeftijd) Discrepantie tussen onderzoekscultuur en cultuur van onderzoeksgroep 11
Context a.
b.
c. d.
Gezagsverhouding binnen allochtone gezinnen (eer van de familie) Grotere ruimtelijke nabijheid van andere gezinsleden (ongepast om zich met de respondent af te zonderen) Dominante aanwezigheid van TV Grotere beïnvloeding door familie en vrienden 12
Interactie tussen foutenbronnen De effecten van de separaat besproken foutenbronnen zijn niet per definitie cumulatief; foutenbronnen kunnen elkaar versterken of verzwakken
13
Non-respons a.
b.
c.
Totale non-respons door weigering door allerlei redenen Totale non-respons door onbereikbaarheid, niet houden aan afspraken, grote mobiliteit Non-respons op item niveau door gevoeligheid voor bepaalde vragen
14
Psychometrie
15
Psychometrie
kernbegrippen
Betrouwbaarheid (de mate waarin het
instrument vrij is van meetfouten)
Validiteit (de mate waarin het instrument
meet wat het pretendeert te meten)
16
Betrouwbaarheid 1.
Test-hertest betrouwbaarheid
2.
Interne consistentie, homogeniteit of subject discriminabiliteit
3.
Correlatiecoëfficiënt (t1, t2)
Cronbach‟s (polytome items) Kuder-Richardson-20 (dichotome items)
Interbeoordelaars betrouwbaarheid
Cohen‟s
(correctie voor overeenkomst op basis van toeval) 17
Validiteit
Content validity (inhouds validiteit) op het niveau van termen of afzonderlijke vragen, Face-validity bij “deskundigen”
18
Validiteit
Criterion validity (criterium validiteit) vermogen van het instrument te voorspellen dat een ziekte die d.m.v. een extern criterium, de zgn. “gouden standaard*”, bij anderen is vastgesteld, bij respondent aanwezig of afwezig is
*meestal klinische diagnose van ervaren clinici of diagnose d.m.v. een gestructureerd interview gebaseerd op DSM-IV of ICD-10 19
Criterium Validiteit
Receiver Operating Curve (ROC) Area under the Curve (AUC): Geeft de verhouding weer tussen sensitiviteit en specificiteit
20
Sensitiviteit
Vermogen van de test om zoveel mogelijk zieken als zodanig te identificeren (zo min mogelijk fout negatieven). Aantal zieken dat met de test wordt opgespoord Totale aantal zieken in de onderzochte populatie
X 100%
Ziekte + Ziekte Test +
a
b
Test -
c
d
Sens= a / (a + c)
21
Specificiteit
Vermogen van de test om uitsluitend zieken te identificeren (zo min mogelijk fout positieven) Aantal mensen dat volgens de test niet ziek is Totale aantal niet zieken in de onderzochte populatie
X 100%
Ziekte + Ziekte Test +
a
b
Test -
c
d
Spec= d / (b + d)
22
Voorbeeld ROC curve goede test
matige test
1,0
sensitiviteit 0,5
waardeloze test
=area 0
0,5
1 - specificiteit
1,0
under the curve (AUC)
Validiteit
Conceptual/construct validity (begripsvaliditeit) construct is voldoende afgegrensd van andere constructen
Concurrent validity (convergente validiteit) overeenkomst met vergelijkbaar instrument Discriminant validity (divergente validiteit) verschil met verschillend instrument
24
Factor Analyses op Somsores Scale
I
Bendep-SRQ Problematic Use Preoccupation Lack of Compliance
ASI-R problem severity areas Physical Professional Alcohol Drugs Social Psychiatric MMPI-2 L-scale
III
IV
.66 (.70) .62 (.56) .66 (.72)
SCAN ICD-10* (DSM-III-R*) past year BZD dependence SCL-90 Anxiety Agoraphobia Distrust and Interpersonal Sensitivity Depression Insufficiency in thinking and acting Hostility Sleeping problems Somatization Remaining items
II
.68 (.71)
.83 .65 .79 .80 .75 .63 .48 .71 .81
(.83) (.66) (.79) (.79) (.75) (.62) (.48) (.71) (.81)
.37 (.35) .34 (.34) .30(<.30) .33 (.34) .46 (.46) .31 (.31) .55 (.57) .45 (.44) .36 (.36) .44 (.41)
.34 (.33)
.62 (.62) .61 (.62) -.36 (-.34)
.30(<.30) .37 (.36)
25
Equivalentie (gelijkwaardigheid)
26
Equivalentie (gelijkwaardigheid)
27
Equivalentie For a specific observation a belch (opboering) is a belch, and nepotism (bevoordelen van verwanten) is nepotism. But within an inferential framework, a belch is an “insult” or a “compliment”, and nepotism is “corruption” or “responsibility” (Prezworksi and Teune, 1970 pag 304 in Cross-Cultural Psychology) 28
Equivalentie
De mate van overeenkomst in conceptuele betekenis en empirische methoden tussen culturen, waardoor vergelijking van uitkomsten van cross cultureel onderzoek zinvol wordt
29
Equivalentie nooit 100%!
Ieder mens heeft eigen cultuur; er bestaat altijd een cultuurkloof tussen hulpvrager en hulpverlener / onderzoeker en onderzochte Meetinstrumenten zijn nooit volledig equivalent voor twee mensen Kwantitatief onderzoek is altijd gebrekkig Meetinstrumenten in transculturele contekst moeten op maat gemaakt worden; maatwerk geeft tegelijk problemen in vergelijkbaarheid Eis: onderzoek moet zo equivalent mogelijk zijn 30
Vijf vormen van equivalentie 1.
2. 3. 4. 5.
Content Criterion Conceptual/construct Semantic Technical
31
Content equivalentie De inhoud van elk item van het instrument is gelijkelijk relevant voor het fenomeen dat men met het instrument wil bestuderen bij mensen in de verschillende culturen.
Voorbeelden: Respect voor ouderen Assertiviteit Respect voor autonomie Stelselmatig door rood rijden (aanduiding antisociale persoonlijkheidsstoornis) 32
Verbeteren content equivalentie
Consensus bijeenkomst van experts van verschillende disciplines en verschillende culturen Zinledige items/vragen weglaten Zinvolle items/vragen toevoegen
Cave: verandering interne consistentie
33
Criterion equivalentie De interpretatie van een meetresultaat in verschillende culturen of (sub)populaties binnen een cultuur blijft dezelfde, wanneer men deze interpretatie vergelijkt met de norm (extern criterium) in de betreffende culturen of (sub)populaties. Voorbeeld: Sensitiviteit van vragenlijst naar orgasme (goede content validity) verschilt in Peru en USA vanwege de norm bij Peruaanse vrouwen hierover niet te praten 34
Verbetering criterion equivalentie Om de sensitiviteit en specificiteit te verbeteren hanteert men verschillende cut-off points
Voorbeelden: Verschillende cut-off points SRQ in om psychopathologie op te sporen in verschillende landen Lager cut-off point in bevolkingsonderzoek; hoger cut-off point in klinische populatie vanwege hulpzoekgedrag 35
Conceptual/construct equivalentie Het instrument meet hetzelfde theoretische construct (bv Alcohol Dependence) in verschillende culturen. Voorbeeld: In verschillende culturen stelt men andere vragen voor opsporing van het construct bv Moslim-cultuur met alcoholverbod Beschikbaarheid (geld, leeftijd, drooglegging) Aldehyde dehydrogenase (Chinees) Rijden onder invloed, afhankelijk van autobezit 36
Probleem conceptuele equivalentie in psychiatrie
Concept (bv schizofrenie) binnen een cultuur niet 100% valide vast te stellen vanwege ontbreken van gouden standaard Daardoor vergelijking prevalentie schizofrenie in verschillende culturen extra moeilijk Men valt terug op correlaties, bv
psycho-fysiologische parameters als maat voor ernst stressfull life-events depressieve gevoelens als maat voor gebrek aan social support 37
Semantische equivalentie De semantische betekenis van een item in een instrument in een bepaalde cultuur roept dezelfde bewustwording of hetzelfde denkbeeld op in een andere cultuur na vertaling in de taal en het idioom van die betreffende cultuur Voorbeeld: „Adventure‟ is in de USA neutraal woord; in het Spaans verwijst het naar een „seksueel avontuur‟ 38
Verbetering semantische equivalentie
Vertalen en terugvertalen Discrepanties bespreken in expert-meeting
39
Technische equivalentie De methode van afnemen van een test/vragenlijst/instrument levert in verschillende culturen vergelijkbare data op Voorbeelden van oorzaken verschillen: Schriftelijk of mondeling Afname door iemand van andere geslacht Directe vragen over organiciteit, seksualiteit of suicidaliteit zijn in Peru onbehoorlijk nadelige invloed op medewerking (weglaten item? effect?) 40
Grafische weergave equivalentie
41
Voorbeelden uit Nederlandse instrumenten
42
Wechsler Intelligentie Schaal voor kinderen
“Ons land” Van welk dier wordt spek gemaakt? (afstotend voor moslims) Doorvragen: “Waarom?” kan worden opgevat als een beschuldiging
43
Wechsler Intelligentie Schaal voor volwassenen
Idiomatische spreekwoorden Bij “onvolledige tekeningen” zien allochtonen soms een hondje in plaats van een Vlaamse
Leeuw
“Plaatjes Ordenen” appelleert aan gevoel van humor die allochtonen soms niet begrijpen
44
GIT
In Figuur Ontdekken komen gedateerde items voor (telefoon, actetas) In Woordmatrijs kan het varken aversieve reacties oproepen
45
Beroepen Interesse lijsten Bepaalde woorden kunnen vervreemdend werken Ambassadeur Commissaris van de Koningin Dominee Priester Rabbi Vertalen van buitenlandse schrijvers Jeugdwerk doen in achterbuurten Ongehuwde moeder Opruimen van achterbuurten Minderbedeelden Vluchtelingen helpen aan huisvesting Nederlands leren aan gastarbeiders Nozem (gedateerd) Repatrianten (gedateerd)
46
Prestatie Motivatie Test
De volgende begrippen hebben naar verwachting een andere betekenis in andere culturele tradities: Ambitie Concurrentie Risico-name
47
NPV
“Ik vind dat arme landen zichzelf moeten redden” “Volgens mij komen de beste bruggenbouwers uit ons land“
48
NPV (idioom)
Door de mand vallen Uit mijn humeur Het laat me koud Stank voor dank Brok in mijn keel In de weer zijn Water in de wijn De kantjes ervan aflopen De kleine man Uit de slof schieten Naar de mond praten In de wielen rijden Je neus in andermans zaken steken Voor het zeggen hebben
49
Conclusie
Er bestaat geen absolute waarheid Waarheid is een sociaal construct 100% betrouwbaar en valide (mens)wetenschappelijk onderzoek bestaat niet!
50
Praktijk oefening (1) Cursisten worden in twee groepen verdeeld
Groep A vertaalt drie Engelse SRQ vragen in Nederlands Groep B vertaalt drie Engelse SRQ vragen in Nederlands Groep A vertaalt de Nederlandse vertaling van groep B in het Engels Groep B vertaalt de Nederlandse vertaling van groep A in het Engels 51
Vragen groep A Do you feel that somebody has been trying to harm you in some way? Are you a much more important person than most people think? Have you noticed any interference or anything else unusual with your thinking?
52
Vragen groep B Do you ever hear voices without knowing where they come from or which people cannot hear? Have you ever had any fits, convulsions or falls to the ground, with movements of the arms and legs, biting of the tongue or loss of consciousness? Has the thought of ending your life been in your mind?
53
Het gebruik van de Self Reporting Questionnaire (SRQ) in Ethiopië Voorbeeld van een transcultureel psychometrisch onderzoek
54
Items (SRQ) Non-psychotic 1. Do you often have headaches? 2. Is your appetite poor? 3. Do you sleep badly? 4. Are you easily frightened? 5. Do your hands shake? 6. Do you feel nervous, tense or worried? 7. Is your digestion poor? 8. Do you have trouble thinking clearly? 9. Do you feel unhappy? 10. Do you cry more than usual?
11. Do you find it difficult to enjoy your daily activities? 12. Do you find it difficult to make decisions? 13. Is your daily work suffering? 14. Are you unable to play a useful part in life? 15. Have you lost interest in things? 16. Do you feel that you are a worthless person? 17. Has the thought of ending your life been in your mind? 18. Do you feel tired all the time? 19. Do you have uncomfortable feelings in your stomach? 20. Are you easily tired?
Psychotic 21. Do you feel that somebody has been trying to harm you in some way? 22. Are you a much more important person than most people think? 23. Have you noticed any interference or anything else unusual with your thinking? 24. Do you ever hear voices without knowing where they come from or which people cannot hear? 25. Have you ever had any fits, convulsions or falls to the ground, with movements of the arms and legs, biting of the tongue or loss of consciousness? 55
Cut-off points in:
Sudan India Philippines Guiné-Bissau Brazil Colombia
3/4 5/6 6/7 6/7 7/8 10/11
Reasons for the differences? 56
Pilot study (Addis Abeba) Average sum scores SRQ (1-20)
Psychiatric group
(N=15)
10.2
Somatic group
(N=15)
8.0
Non-attenders
(N=15)
3.7
57
Aspects of a (psychiatric) disorder 1
2
3
Symptoms of a disease (as assessed by an expert) The feeling of illness (as experienced by a patient) Illness behaviour/help-seeking behaviour (as performed by a patient) 58
Different hypothesis The SRQ measures : 1. illness behaviour or help-seeking behaviour, exhibited by all clinic attenders (psychiatric + somatic) 2. illness (feeling), regardless the type of disease (whether it was of a somatic or psychiatric origin) 3. symptoms of a psychiatric disease, (the least likely possibility, unless the respondents were at random selected for the different clinics). 59
Data collected of attenders of the psychiatric clinic: 1.
2.
3
The SRQ An inquiry into the meaning of the yes answers on the SRQ An structured psychiatric interview resulting in a DSM-III diagnosis
60
Result:
More than one third of the yes-answers on the SRQ were invalid
61
Three possible explanations: 1
2
3
The question was not clear because of an insufficient translation into Amharic (Is your appetite poor?) The question was translated correctly, but the meaning of the concepts in the Amharic version differed from those in the English one (Do you sleep badly?) The respondent had other motives (intentions) for saying “yes” (medical certificate) than to inform the interviewer about the presence of the condition that was inquired about 62
Oorzaken van de onbetrouwbaarheid van een ja-antwoord
63
Van de SRQ items en groepen items het aantal ja-antwoorden van de psychiatrische groep en de validiteit hiervan in procenten, gesplitst in soort fouten
64
Bepaling optimale cut-off points De somscores van de drie groepen: Van de psychiatrische groep per somscore het percentage psychisch zieken die die score nog steeds haalt Van de somatische groep en de „nonattenders‟ per somscore het percentage psychisch gezonden die die score niet meer haalt 65
Determination cut-off point (SRQ 1-20) for the three groups
Psych. Group: total N=40 Som. Group: N=30 Non attenders: N=40
66
Sensitivity and specificity of the SRQ using different cut-off point values SRQ (1-20) 8/9 sens. spec.
SRQ (1-24) 8/9 sens. spec.
Psych. Group
77
44
90
22
Som. Group
63
68
75
55
Non attenders
0
100
0
100
SRQ (1-20) 4/5 sens. spec. Non attenders
100
86
SRQ (1-24) 4/5 sens. spec. 100
71 67
Correlation between the SRQ-sum score on the request for a medical certificate request
medical certificate
SRQ (1-20) (8/9)
Yes (N=17)
No (N=23)
Pot. cases (N=29)
16
13
Non pot. cases (N=11)
1
10
(%) (16/29)= 55% (1/11)= 9%
P < .01 (chi : 2 = 6.9; d.f. = 1)
68
Conclusions 1.
2.
3.
The SRQ is a feasible instrument The translation of the SRQ should be checked by inquiring about the meaning of the yes-answers so that questions can be modified to be valid for a specific culture. The SRQ appeared to be most valid in population surveys. In screening people who ask for help, it also measures their helpseeking behaviour, regardless the presence of illness and its type. 69
Praktijk oefening (2)
In kleine groepen SRQ zoeken naar mogelijke problemen op het gebied van Content Criterion Concept/construct Semantic Technical
70
Lessen voor de klinische praktijk
100% valide meetinstrumenten bestaan niet vanwege de individualiteit van mensen Desondanks is het gebruik van meetinstumenten voor diagnostiek en het volgen van het beloop aan te bevelen Goede uitleg daarbij is essentieel Screening op etnocentriciteit is een must
71
Lessen voor wetenschappelijk onderzoek
Outcome/effect metingen zijn zo betrouwbaar en valide als de instrumenten die we ervoor kiezen Psychometrisch valideringsonderzoek is dus een must Valideringsonderzoek moet herhaald worden of opnieuw gebeuren in andere culturen Laten we het zien als een uitdaging: door het vinden van de verschillen vinden we ook de universele zaken 72
