Methoden en technieken van onderzoek 1 Inhoud 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Het belang van Wetenschappelijk onderzoek Het onderzoeksproces Onderzoeksdesigns (1) Onderzoeksdesigns (2) Data verzameling Data analyse Validiteit en betrouwbaarheid Responsie college Kritisch lezen & methodologische beoordeling Resultaten en conclusies
Belang van onderzoek • Kennis ? • Wetenschappelijke kennis ? • Wetenschappelijke onderzoek ? • Evidence based practice? Kennis – Kennis is dat wat de mensen weten en wat ze kunnen toepassen. – Wordt gevormd door de beschrijvingen, concepten, hypotheses, omschrijvingen, procedures, theorieën, verklaringen en voorspellingen die we met een redelijke mate van zekerheid waar of nuttig achten. – Wat in een maatschappij als kennis wordt gezien, is cultureel bepaald. Wat in de ene cultuur als waar wordt gezien is dat niet ook automatisch in de andere cultuur, en ook de waarde van bepaalde kennis verschilt per cultuur. Wetenschappelijke kennis Wetenschap Met wetenschap wordt zowel de menselijke kennis aangeduid als de organisatie om deze kennis te vergaren. De wetenschappelijke wereld is dat deel van de maatschappij dat zich uitdrukkelijk ten doel heeft gesteld systematisch kennis te verwerven. De wetenschap heeft een eigen karakter dat blijkt uit haar methoden en conventies. De aldus ontwikkelde wetenschappelijke kennis vormt een reconstructie van ... Wetenschappelijke onderzoek/methode Belang van wetenschappelijke criteria en onderzoeksmethode. De wetenschappelijke methode bestaat uit drie stappen die eigenlijk een zich herhalend proces beschrijven: 1. Begin met een (of meer) waarneming(en) 2. Stel een theorie op om de waarneming te verklaren 3. Uit de theorie volgen voorspellingen over andere waarnemingen. Controleer de voorspellingen. 4. Als er een niet klopt, ga terug naar stap 1 om een nieuwe theorie op te stellen. Wetenschappelijke methode –
De wetenschappelijke methode is een systematische manier om kennis te vergaren. Zij is gebaseerd op waarnemingen, metingen, voorspellingen, experimenten, verificatie en falsificatie. – Het consistent gebruik van de wetenschappelijke methode is wat wetenschap van pseudowetenschap en van andere vormen van kennisvergaring onderscheidt. (Het demarcatie criterium volgens karl Popper) – Consensus om zeker te zijn dat de kennis vrij is van subjectieve invloeden en dat fouten kunnen worden gevonden. Kennis en onderzoeksbenaderingen Positivist paradigma ´Er bestaat een werkelijkheid die bestudeerd kan worden Kenmerken – Objectiviteit – Een fenomeen heeft een oorzaak en gevolgen – Onderzoek gericht op het achterhalen van de oorzaken – Nadruk op neutral zijn Naturalistisch paradigma
de werkelijkheid is niet absoluut maar geconstrueerd Kenmerken: • • •
Nadruk op context, subjectiviteit, relatief Descriptieve, het geheel, begrijpen Interactie…
Paradigma / methode van onderzoek • kwantitatief onderzoek • systematisch geordend methode, belang van probleemstelling • Kenmerken • Systematiek • gestructureerd • meten • instrumenten • Cijfers –- statistiek Paradigma / methode van onderzoek kwalitatief onderzoek dynamisch - holistische benadering, belang van ervaring Kenmerken • Directe observatie, • participatie • Ontdekken - begrijpen • narratieve analyse Doel van onderzoek Identificeren Beschrijven Verkennen Verklaren Voorspellen en controleren Kwantitatief • Identificeren: / • Beschrijven: Hoe vaak komt het voor? wat zijn de kenmerken? • Verkennen: Welke factoren zijn eraan gerelateerd? • Verklaren: Hoe ontstaat het, door welke factoren veroorzaakt, kan het door een theorie verklaart worden ? • Voorspellen: wat gaat er gebeuren als interventie X uitgevoerd wordt?als er veranderingen plaats vinden? Kwalitatief • Identificeren: Wat is de naam? • Beschrijven: Wat zijn de dimensie van het fenomeen, welke context? • Verkennen: Wat gebeurt er werkelijk hier? welke proces vindt er plaats • Verklaren: Hoe werkt? wat is de betekenis ervan, hoe vindt het plaats? • Voorspellen en controleren:
Methoden en technieken van onderzoek 2 Colleges – –
Belangrijke concepten Het onderzoeksproces
Belangrijke concepten Terminologie: • Concepten • Theorieën – conceptuele raamwerken & modellen • Variabelen – afhankelijk / onafhankelijk • Conceptuele definities • Operationele definities • Logisch redeneren – inductief / deductief • Validiteit & betrouwbaarheid Concept (concipere) • bezwangerd raken (van iets); • zich ontwikkelen in gedachten; • begrijpen; een opinie vormen; • (iets) aanvangen, beginnen. Concept ( afgeleide zelfstandig naamwoord ) • Een eerste ontwerp, van bijvoorbeeld een kunstwerk (zie ook prototype, studie model) • Een voorstadium van een wetenschappelijke theorie • Een denkbeeldige voorstelling van een zaak of toestand met bepaalde vastliggende kenmerken, (begrip) • Een set abstracte ideeën, gegeneraliseerd uit specifieke instanties en gebeurtenissen; Theorieën – Een theorie is • een wetenschappelijk model • uitspraak over waarnemingen in de empirie (werkelijkheid) • Abstracte generalisatie, systematisch verklaring over fenomenen en hun relaties onderling • Het doel van een theorie is de onderlinge samenhang van de waarnemingen te kunnen beschrijven en te verklaren Conceptueel kader: • Beschrijving van concepten • Abstract • Minder uitgewerkt dan theorie • Leidt niet rechtstreeks tot hypotheses Variabele: • Eigenschappen van een fenomeen / objecten die verschillende waarden kunnen aannemen • Een bepaalde kenmerk dat bij een onderzoeksparticipant vastgesteld wordt Afhankelijk & Onafhankelijk Afhankelijk: variabele waarvan men wil verklaren waarom die een bepaalde waarde heeft, is het effectvariabel in experimenteel onderzoek variabele waarin het effect optreedt Onafhankelijk: De variabele waarvan men veronderstelt dat ze de afhankelijke variabele bepaalt, verklarende variabele, determinant beïnvloedt, is de oorzaak Relaties tussen variabelen Verband / samenhang (correlatie): A neemt toe - B neemt toe A neemt toe - B neemt af Oorzakelijk:
Verandering van een variabele wordt door een andere veroorzaakt Voorwaarde voor oorzakelijke verband: • • •
Tijdsvolgorde ”oorzaak voor het gevolg” Aantoonbaar (Statistisch significant) Geen andere verklaring mogelijk (Geen schijnverband)
Conceptuele definitie van een variabele • Abstracte / theoretische definitie - inzicht Operationele definitie van variabele • Specifieke definitie - meetbaar maken Operationaliseren bepalen van de wijze waarop het meten / waarnemen van een variabel in de praktijk van het onderzoek plaats zal vinden • Bv: kiezen van meetinstrumenten, hoe wordt er een waarde aan toe gekend
Logisch redeneren • Redenering: het rationele verband tussen een argument en een standpunt – inductief • van specifieke observaties naar meer algemene conclusies – deductief • van algemene princiepen naar iets meer concreet of specifiek, conclusies voorspellingen (hypothese toetsen) Validiteit & betrouwbaarheid • Validiteit van onderzoeksopzet : • vermogen van opzet om geldige conclusies te genereren • Interne validiteit – conclusies zijn geldig voor de onderzochte populatie • Externe validiteit – conclusies zijn ook van toepassing op andere populaties dan de onderzochte – Generaliseerbaarheid van onderzoeksresultaten Betrouwbaarheid: reproduceerbaarheid, consistentie bij herhaling dezelfde resultaten vinden (mits geen natuurlijke verandering plaats vindt) Mate van overeenstemming van test uitslagen wanneer test uitgevoerd meer dan eens precisie Validiteit en betrouwbaarheid in de 2 onderzoeksparadigma's • Reliability Trustworthiness • Validity Credibility • Generability Transferability •
Randomness
Triangulation
Het onderzoeksproces Onderzoeksproces in kwantitatief en kwalitatief onderzoek Kwantitatief Lineair proces • Conceptuele fase • Opzet -> Design en planning • Empirische fase • Verspreiden & bekend maken van resultaten Kwalitatief circulair proces • Conceptuele fase en planning • Uitvoering Resultaten • Verspreiden van resultaten •
Kwantitatief onderzoek – Conceptuele fase – Probleem definiëren, beschrijven, afbakenen
– – – – •
Literatuurstudie Definiëren van concepten Hypothese formuleren Voorwaarden voor onderzoek in de praktijk scheppen
Kwantitatief – Opzet Design en planning – Design kiezen – Protocol ontwikkeling – Studie populatie selecteren (wie-hoeveel-verdeling) – Meetmethode bepalen – Aandacht voor de ethische aspecten – Pilot studie – Empirische fase • Data verzamelen • Data klaren voor analyse – Invoeren en schonen van bestanden, coderen • Data analyse statistiek • Interpretatie – Betekenis van de uitkomsten gezien wat we al dan niet weten, voor de praktijk, voor verder onderzoek Beantwoorden van onderzoeksvraag conclusies – Verspreiden & bekend maken van resultaten • Presentatie en publicatie • Gebruik / implementatie in praktijk
Kwalitatief onderzoek – Conceptuele fase en planning – Onderzoeksvraag / doel beschrijven (breed) – Literatuurstudie – Introductie in onderzoekscontext / terrein » ‘Gaining entree’ – Design ontwikkelen ´emergent design´ – Ethische aspecten voorbereiden Kwalitatief – Uitvoering Resultaten – data verzamelen – analyseren- verzamelen – analyseren … » Observatie – interviews » Clusteren – categoriseren – thematiseren fenomeen / proces beschrijven » ´Saturatie´ – Verspreiden van resultaten (met expliciete voorbeelden) Samenvatting • Theorieën • Concepten • Variabelen – Afhankelijk – Onafhankelijk • Operationalisatie • Correlatie • Oorzakelijk verband • Redeneren – Inductief – Deductief Onderzoeksproces – Kwalitatief – Kwantitatief •
Kwantitatief – Experimenteel • Interventie • Controle • Causaal verband
–
•
Niet experimenteel • Geen interventie • Minder controle • Niet op zoek naar causaal verband
Kwantitatief • • • • • •
Experimenteel Niet experimenteel Kwalitatief Grounded Theory: social psychosocial processen Fenomenologie: ervaring van … Etnografie; structuur, patronen van een cultuur / gemeenschap
Methoden en technieken van onderzoek 3 Inhoud • Onderzoeksproblemen & probleemstellingen • Literatuur review • Aspecten van kwalitatieve onderzoeken en de belangrijkste stromingen Probleemstelling • Onderzoeksproblemen • Doelstellingen • Onderzoeksvragen • Hypothesen Definities Onderzoeksproblemen: – Geeft de context van het onderzoek aan, – Breed maar toch specifiek Oorsprong van onderzoeksproblemen: – Klinische ervaring: problemen die om een snel antwoord vragen – Literatuur: resultaten van onderzoek – Maatschappelijke ontwikkelingen bv obesitas, multi-psychische problemen in grote steden, toename van suïcide pogingen. – Theorieën: testen van hypothesen.. – Eigen problemen, interesses. Doel van onderzoek • Identificeren • Beschrijven • Verkennen • Verklaren • Voorspellen en controleren Onderzoeksvragen kwantitatief onderzoek Identificeren: Beschrijven: Hoe vaak komt het voor? wat zijn de kenmerken? Verkennen: Welke factoren zijn eraan gerelateerd? Verklaren: Hoe ontstaat het, door welke factoren veroorzaakt, kan het door een theorie verklaard worden ? Voorspellen en controleren: Wat gaat er gebeuren als…? … als interventie uitgevoerd wordt? als er veranderingen plaats vinden, …? Onderzoeksvragen kwalitatief onderzoek Identificeren Wat is het? Hoe ziet het eruit? Beschrijven: Wat zijn de dimensie van het fenomeen, welke context? Verkennen: Wat gebeurt er werkelijk hier? welk proces vindt er plaats Verklaren: Hoe werkt het, waarom treedt het op? wat is de betekenis ervan, hoe vindt het plaats? Voorspellen en controleren: Doelstelling:
Geeft de kern van de studie aan, de richting Waarvoor zullen de resultaten gebruikt worden Toepassing van onderzoeksresultaten Wat de onderzoekers dmv de resultaten willen
Onderzoeksvraag: In meer specifieke termen geformuleerd dan doel van het onderzoek Vraag gericht op een onderzoeksprobleem. Geeft richting aan het type gegevens die verzameld moeten worden
realiseren
Concrete weergave van wat onderzocht zal worden, verwijst naar beoogde onderzoeksresultaten Kenmerken: • • •
(moet) in geoperationaliseerde termen geformuleerd zijn Door stapsgewijze aanpak toespitsing van de vraag Bevat: de variabelen van het onderzoek (afhankelijke en onafhankelijke), wat wordt gemeten en hoe, de onderzoekspopulatie, soms de richting en sterkte van het verband tussen de variabelen.
Onderzoeksvraag: Voorbeeld kwantitatief onderzoek: Welke persoonlijke en sociale factoren zijn gerelateerd aan positieve levensopvattingen bij alleenstaande vrouwen Voorbeeld Kwalitatief onderzoek: Hoe ervaren alleenstaande vrouwen hun levensomstandigheden?
Hypothese • Is een toetsbare stelling of uitspraak • Deductief proces vertalen van een globaal onderzoeksidee naar een geoperationaliseerde onderzoeksvraagstelling • Vertaling van onderzoeksvraag in termen van verwachtingen/resultaten Hypothesen • • •
•
•
Ondubbelzinnige, precieze uitspraak Bevat de variabelen Uitspraak die op grond van concrete waarnemingen in de praktijk al dan niet kan worden aanvaard / ondersteund verwerpen of accepteren van een hypothese Bevordert de kritische benadering van de gegevens en interpretatie van de resultaten
Hypothesen • • •
Relatie tussen de variabelen is expliciet Relatie en richting Eenvoudig of complex
•
1 onafhankelijk 1 afhankelijk kinderen van drugsverslaafde moeders hebben een lager gewicht bij geboorte dan kinderen van moeders die niet verslaafd zijn
•
2 of meer onafhankelijk 1-2 afhankelijk Er is een relatie tussen auditieve en visuele stimulatie en hartslag De Xanui werkmethode leidt tot minder afwezigheid en meer werkplezier dan werkmethode Xuchi
Probleemstelling uitwerken • Verband tussen voeding en kanker • Vitamine A beschermt tegen kanker? – Vitamine A? retinol? Beta-caroteen? Hoeveelheid? – Beschermt? ontstaat minder vaak lagere incidentie?, beter prognose?, minder sterfte? – Kanker? Soort? Fase? – Bij wie? Proefdieren, mannen, vrouwen? Hebben vrouwen die met de voeding veel Vit A innemen (retinol en equivalent) minder kans op baarmoederhalskanker dan vrouwen die weinig vit A opnemen? Literatuurstudie Definitie • Overzicht inhoud van literatuur en beschrijving van bevindingen mbt een onderwerp • Relevantie voor onderzoeker: – Onderzoeksprobleem bepalen / definiëren / verfijnen
– – – –
Overzicht van wat bekend of niet is over een onderwerp Nagaan wat de hiaten en inconsistenties zijn binnen een bepaald kennis domein Inzicht en kennis krijgen in de relevante theoretische en conceptuele kaders mbt een onderwerp Bron van inspiratie voor nieuwe onderzoeksproblemen
Belang Binnen het onderzoek – Samenvatting van relevante resultaten, in de inleiding – Achtergrond en inzichten mbt het probleem en doel van het onderzoek – Geeft de relevantie van de studie aan – Plaats en vermeerdering van kennis Buiten onderzoek – Kennis over een onderwerp – Evaluatie en verandering van eigen praktijk – EBP protocol ontwikkelen – Ontwikkeling van richtlijnen, curricula, beleid Vormen van literatuurstudie • Narrative review´ – Samenvatting en synthese van studies – ´State of the art´ research informatie – Basis voor ontwikkeling, innovatie en onderzoek
Systematische reviews Gestandaardiseerde en geobjectiveerde analyse op basis van oorspronkelijke onderzoeken • Strikte eisen • Controleerbaarheid • Zoekstrategieën Literatuuroverzicht <-> systematische analyse een systematische review is een overzicht van alle primaire onderzoeksstudies, waarbij gebruik gemaakt wordt van expliciete en reproduceerbare methoden. Een goede systematische review levert de meest valide informatie en daarmee het best beschikbare bewijs voor de effectiviteit van een interventie (Sacket et al., 2000) •
Eisen: – – – – – – – – Voordelen: – – – – –
Methode is transparant en reproduceerbaar Expliciete vraagstelling Uitgebreide zoekstrategie Ondubbelzinnige procedure voor de selectie van studies Beoordeling voor de kwaliteit van de studies Heldere presentaties van de resultaten Selecties van studies op basis van methodologische aspecten niet op basis van resultaten Objectiviteit waarborgen Inclusie/selectie door twee onderzoekers onafhankelijk van elkaar Snel een duidelijk overzicht van resultaten en inzichten over effectiviteit van een interventie gebaseerd op grote hoeveelheid informatie Leidt tot resultaten die sneller in de praktijk geïmplementeerd kunnen worden Verminderd kans op selectie bias Verhoogde kans op betrouwbare en accurate conclusies Vergelijkbaarheid van resultaten van verschillende studies leidt tot grotere generaliseerbaarheid
Vragen • • •
Gericht op interventies voor patiënten Achtergrond informatie (organisatie van zorg) Op de efficiëntie
•
Uitgebreide, verschillende database- methodologische filter om publicatietype te selecteren – Cochrane library
Zoekstrategieën
– – –
SUMsearch PubMed, … CINHAL,
Meta-Analyse = een systematische review, waarbij de resultaten uit diverse gerandomiseerde klinische trials (RCT´s) worden gecombineerd om tot een meer nauwkeurige schatting van het statistische effect te komen (Offringa et al., 2000) Een statistische methode (Pooling) wordt gebruikt om het gemiddelde effect uit resultaten van verschillende studies wordt berekend Meta-analyse vergroot de precisie van de resultaten Eisen: – De patiënten uit de verschillende studies moeten vergelijkbaar zijn – Vergelijkbare interventies – Vergelijkbare metingen – Bij voorkeur zelfde meetinstrumenten Resultaten moeten met elkaar overeenkomen (CI
Kwalitatieve onderzoeken belangrijke stromingen Kenmerken:
‘Emergent design’! Geleidelijk ontwikkeld Flexibel Betrokkenheid & participatie in veld Voortdurende analyse bepaalt wanneer participatie, verzameling kan stoppen Holistisch Verschillende dataverzameling methoden ‘Niet experimenteel Niet gericht op vergelijkingen tussen groep Kan longitudinaal of transversaal zijn Gericht op wat gebeurd is of gaat gebeuren (retro- versus prospectief) Research setting: ‘Natural context’
Verschillende benaderingen & tradities Overzicht Discipline Antropologie Psychologie/ Filosofie Psychologie Sociologie Socio-linguistiek History
Domein Cultuur geleefde ervaring gedrag Sociale setting communicatie Gedrag-aspecten van verleden
Onderzoek Etnografie/ethno science Fenomenologie Hermeneutiek Ethologie/ecologic psycho Grounded theory Discour analyse Geschiedenis analyse…
Etnografie waarden, patronen, betekenis in cultuur Kwanti & Kwali Belang van ‘Fieldwork’ participatie-observatie emic-etic perspectief bv samenwerking tussen arsten en vpk Fenomenologie Betekenis, ervaring, (beleving van ruimte, lichaam, tijd, relaties) Diepte interviews (klein aantal) reflectie, zelfervaring, introspectie. Bracketing- Journal-
Hermeneutiek
bv ervaring van trauma tijdens reanimatie Interpretatief-> ervaring beschrijven en interpreteren, belang van voorkennis en inzicht Diepte interviews soms aanvulling vanuit literatuur, foto’s, films, gedichten…
Grounded theory Symbolism interactionism, betekenisverlening, interpretatie en sociale interactie ontwikkelen van theorie Systematisch, constant vergelijkende methode, ´basic problem en process´. Interview maar ook participatie en observatie (30-50 respondenten)
Methoden en technieken van onderzoek 4 Inleiding Onderzoeksdesigns (2) Experiment en quasi-experiment Kenmerken Andere vormen van onderzoeksdesigns Kwantitatief onderzoeksdesign • Controle over onafhankelijke variabele • Soort vergelijkingen per/ tussen groepen • Tijd (transversaal – longitudinaal) • Waarnemingen van de variabelen • retrospectief • prospectief • Context /setting van onderzoek Experimenteel design Controle over onafhankelijke variabele Experimenteel niet experimenteel – Experimenteel design: • Manipulatie • Randomisatie. • Controle – Quasi experimenteel – Pre-experimenteel Niet experimenteel designs Experimenteel design Manipulatie Randomisatie Controle groep
Populatie R
T1
T2
X1 + interventie Y /
X2 Y
Voorbeeld Effects of the Serial Trial Intervention on discomfort and behavior of nursing home residents with dementia. This study tested the effectiveness of the Serial Trial Intervention (STI), an innovative clinical protocol for assessment and management of unmet needs in people with late-stage dementia. A double-blinded randomized experiment was conducted in 14 nursing homes with 114 subjects. The treatment group had significantly less discomfort than the control group at posttesting and more frequently had behavioral symptoms return to baseline. The group of nurses using the STI also showed more persistence in assessing and intervening than control group nurses did. There was a statistically significant difference between the groups in the use of pharmacological, but not nonpharmacological, comfort treatments. Results suggest that the STI is effective and that effective treatment of discomfort is possible for people with late-stage dementia. Experimenteel design Verschillende vormen: Manipulatie randomisatie controle
Solomon Four Group Design
T1 Populatie R
Aan/afwezigheid van nul meting
X Y / /
T2 + interventie (a) X Y + interventie (a) X2 Y
Voorbeeld: Assertion training therapy in psychiatric milieus The current investigation involved an attempt to develop a clinical procedure to decrease anxiety and increase responsiveness (assertion) of psychiatric inpatients of both sexes in mixed diagnostic categories and to evaluate the effectiveness of the procedure. Using a Solomon Four-Group Design, patients, matched on age, sex, and diagnosis, were assigned to one of the following conditions: (1) pretest, treatment, posttest; (2) pretest, no treatment, posttest; (3) treatment, posttest; or (4) no treatment, posttest. The Gambrill-Richey Assertive Inventory was used to assess patient Degree of Discomfort and Response Probability with and without assertion training therapy. Results indicated that (1) patients receiving assertion training therapy were less anxious and more responsive after treatment than before, (2) patients receiving assertion training therapy were less anxious and more responsive than were matched control subjects, (3) control subjects who received no assertion training therapy and who were pretested showed moderate significant gains on the posttest measure, … and (4) pretesting did not significantly influence posttest scores. Experimenteel design Factorial design invloed van 2 of meer onafhankelijke variabelen kan getoetst worden en verschillende mate van expositie Bijvoorbeeld: Effect van stimulatie tactiele en auditieve in verschillende mate op angst bij premature baby's Stimulatie (AB) ss
Muziek
(T1) 15 min (T2) 30 min (T3) 60 min
A
Massage B
A T1
B T1
A T2
B T2
A T3
B T3
Experimenteel Voordelen: ´Powerful´ interne validiteit gewaarborgd Om hypotheses te toetsen oorzaak gevolg relatie Leidt tot voorspellen en controle Geeft zekerheid over de relatie geen invloed van een derde variabele Maar Quasi-experiment – Experimenteel design: • Manipulatie • Randomisatie. • Controle groep – Quasi experimenteel:
Ethische aspecten-problemen veel variabelen niet manipuleerbaar (leeftijd- geslacht-ziekte…) Setting van onderzoek moet geschikt zijn Komt niet overeen met werkelijkheid Praktische aspecten Bedreiging van validiteit:.Hawthorne effect –> blindering Extraneous variabelen - counfounders
–
• Manipulatie, • Randomisatie? • Controle? Pre-experimenteel: • Manipulatie, • geen randomisatie en • geen controle
Quasi experimenteel Ontbreken van 1 voorwaarde (Manipulatie-randomisatie-controle groep) 1. Non-equivalent control group (Non equivalent pre post test control group) X1 + interv X2 Y1 / Y2 – Geen randomisatie – Pre - post metingen – Controle groep – Toegepast als geen randomisatie mogelijk…. 2. Time serie design
– – – – –
X1 X2 X3 + interv X4 X5 X6 geen randomisatie geen controle groep langere periode van dataverzameling Praktisch beter uitvoerbaar Verschillende interpretaties mogelijk
X1 X2 X3 + interv X4 X5 X6 Y1 Y2 Y3 Y4 Y5 Y6 Belang van tijd metingen over langere periode Vb: Gebruik van nieuwe protocol leidt tot het signaleren van meer mishandelde vrouwen op afdeling eerste hulp X1 X2 X3 + interv X4 X5 X6 interv +1 X7 X8 X9 interv + 2 X10…. VB: invloed van logopedie programma op dysarthrie bij CVA patiënten Voordelen Praktisch beter uit te voeren In natuurlijk setting Randomisatie niet mogelijk maar toets van interventie toch mogelijk Nodige interventie vindt plaats Maar Minder controle Invloed van andere variabelen ?? Andere verklaringen mogelijk voor optreden van effect (Overtuigingskracht!!) Aandacht voor kwaliteit van design Pre-experimenteel Manipulatie geen randomisatie en Geen/weinig controle Non equivalent post test only +
interv / Vb: deelname aan een Coaching bijeenkomst voor jonge moeders • Geen randomisatie • Wel/niet controle groep • Afwezigheid van pre-test • Weinig controle Resultaten moeilijk interpreteerbaar
X2 Y2
Moeilijk te bewijzen dat verschil is veroorzaakt door de interventie Pre – Quasi – Experimenteel Kritische benadering: - Heeft de interventie lang genoeg geduurd om een effect te kunnen veroorzaken? - Was de interventie sterk/intens genoeg om een effect/invloed op de afhankelijke variabel te hebben? - Was de procedure duidelijk-uniform, interventie op eenzelfde wijze uitgevoerd? - Hoe groot was het contrast in controle groep? Zo contrastvol mogelijk! - Geen interventie - Andere interventie - Interventie minder sterk - Op latere tijdstip - Standaard interventie Samenvatting Experimenteel Wel /niet Experimenteel RCT
tot
pre experimenteel
Manipulatie, randomisatie, controle POP R
X1 + interv Y1 /
X2 Y2
X1 + interv Y1 /
X2 Y2
Quasi -experimenteel Non-equivalent control group
Pre-Experimenteel (Non equivalent post test only)
+ interv X2 / Y2
Weinig controle Resultaten moeilijk interpreteerbaar Afwezigheid van pre-test
Time serie X1 X2 X3 + interv
X4 X5 X6
X1 X2 X3 + interv X4 X5 X6 Y1 Y2 Y3 Y4 Y5 Y6 X1 X2 X3 + interv X4 X5 X6 interv +1 X7 X8 X9 interv + 2 X10…. Moeilijker te bewijzen dat verschil is veroorzaakt door de interventie Kwantitatief onderzoeksdesign
• •
– Experimenteel: Manipulatie-randomisatie-controle groep – Quasi experimenteel: Manipulatie, geen randomisatie of geen controle – Pre-experimenteel:Manipulatie, geen randomisatie en geen controle Manipulatie: De onderzoeker doet iets aan tenminste 1 onderzoekspersoon in het onderzoek (interventie/palcebo- bewust veranderen van de onafhankelijke variabel) (post-test design/pre-test – post test design) Randomisatie:aselect toewijzing van personen naar onderzoeks- of controle groep (vermijden dat andere variabelen de afhankelijke beïnvloeden, systematische fouten) Controle: door randomisatie, manipulatie, keuze van omstandigheden, tenminste 1 vergelijking Controle groep
Andere onderzoeksdesigns Niet experimenteel design • Geen interventie • Geen manipulatie van variabelen Observationeel onderzoek 1. Relatie tussen variabelen vinden (Correlationeel)
(Verband Oorzaak) Retrospectief: van ziekte naar determinanten van effect naar determinanten Prospectief : van determinanten naar ziekte Logica van tijd – overtuigingskracht 2. Beschrijven van het voorkomen van variabelen binnen een groep (prevalentie- Incidentie) Descriptief onderzoek Mogelijkheid om veel determinanten te beschrijven Interpretatie problemen over de relatie tussen variabelen Belang van sterke theoretische basis voor interpretatie Nota Bene Tijd Verzameling van data op 1 moment (transversaal, cross-sectional) Verzameling op verschillende momenten (longitudinaal) Waarnemingen van de variabelen Kijken naar wat er gebeurd is (Retrospectief) Kijken naar wat er gebeurt en gaat gebeuren (Prospectief) Context/setting van onderzoek Laboratorium – Natuurlijk context Tijd Verzameling van data op 1 moment (transversaal, cross-sectional) Verzameling op verschillende momenten (longitudinaal) Longitudinaal: + Variabelen over tijd beschrijven + volgorde van gebeurtenissen beschrijven + vergelijking effect van interventie + meer controle Verschillende soorten longitudinale onderzoeken • Trend studies: verschillende steekproeven binnen een populatie op verschillende momenten • Panel studies: metingen binnen eenzelfde steekproef van een populatie • Cohort studies • Follow-up studies: metingen over tijd bij patiënten met een zelfde kenmerk Brengt de dynamic/ontwikkeling van variabelen in kaart kwantitatieve onderzoeken •
• • •
Bedreiging validiteit • Interne • Externe – Kunnen de resultaten ook toegepast worden in andere situaties, andere populaties? – Steekproef trekking (zie college 5) Controle technieken • Omstandigheden van data verzameling • Randomisatie • Homogeniteit • Matching • Statistiek History: Invloed van een andere gebeurtenis op de afhankelijke variabele Selectie: groepen zijn niet gelijk Maturation: Rijping, natuurlijk ontwikkeling bv herstel, genezing, groei… Mortality: verschil in uitval tussen de groepen
Door bedreiging van interne validiteit: toename van moegelijkheden voor alternatieve verklaring over de relatie tussen de variabelen… Controle technieken • Externe factoren Omstandigheden van data verzameling Invloed van omgeving minimaliseren: kiezen voor 1 locatie… Invloed van tijd minimaliseren: moment van de dag, seizoen.. (moeheid, depressie…) Informatie- communicatie naar participanten toe bv. over doel van study • Interne factoren Randomisatie Homogeniteit Alleen participanten met zelfde extraneus variabele worden geïncludeerd Vb: alleen manen, >75kg Gevolgen voor generalisatie Matching vergelijkbare maken van de groepen beperkt aantal variabelen, variabelen moeten van tevoren bekend zijn Statistiek Evaluatie studie design • • • •
Wat is de overtuigingskracht van het bewijs over de relatie tussen de variabelen? Als er een relatie is wat is de overtuigingskracht dat het effect veroorzaakt wordt door de onafhankelijk? Wat is de overtuigingskracht dat de aangetoonde relatie geldt voor andere groepen, populatie, momenten Zijn de theoretische aspecten ´gezond´, consistent?
Methoden en technieken van onderzoek 5 Inleiding 1. 2. 3.
Onderzoekspopulatie Dataverzameling Kwaliteit van data
Onderzoekspopulatie en Steekproef Populatie • De eenheden (personen, documenten…) die in een onderzoek betrokken kunnen worden en waaruit de onderzoeker de proefpersonen of eenheden selecteert (een steekproef gaat nemen) • Waar de onderzoeker in geïnteresseerd is. Inclusie/exclusie criteria: om welke patiënten moet het wel/niet gaan Een steekproef… Definitie: Een selectie maken van (onderzoeks)populatie om de hele populatie te vertegenwoordigen • praktischer • efficiënter Definitie: Een steekproef bestaat uit onderzoekseenheden / respondenten die geselecteerd worden voor een onderzoek. Een deel uit een grotere geheel Op willekeurige wijze een proef nemen De selectie kan op verschillende manieren plaatsvinden
de wijze van de selectie en de omvang van de steekproef bepalen de reikwijdte van de gegevens Belang van goede selectie om resultaten te kunnen betrekken op de goede personen Representativiteit Wie zijn de informanten, respondenten en hoe geselecteerd.. bv brief, mail, telefoon… Is er een plan van aanpak gemaakt (steekproefkader)? Generaliseerbaarheid
Representativiteit garanderen Voorkomen dat de geselecteerde steekproef irrelevante informatie bevat Systematische over- representatie van subjecten voorkomen Enkele maatregelen Is de onderzoekspopulatie homogene of niet? steekproef aselect of niet? Soorten steekproeven… – Aselecte steekproef / kanssteekproef Volkomen volgens toeval Een steekproefkader is aanwezig – Selecte steekproef / niet – kanssteekproef Helemaal niet volgens toeval vastgesteld Steekproef generaliseren naar werkelijkheid = ? Wanneer welke steekproef…? • Een selecte / niet kanssteekproef wordt uitgevoerd indien een aselecte / kanssteekproef niet uitgevoerd kan worden Voorbeeld :
Steekproefeenheid is onbekend Bronnen zijn minimaal voor de proef Doel van de steekproef is omschrijven, generaliseren hoeft niet Door omstandigheden niet mogelijk
Selecte / niet kanssteekproef… • Niet ‘at random’
• • •
Niet zelfde kans op inclusie Achteraf moeilijk na te gaan wat de representativiteit is Bewust / onbewust bias Sampling error: verschil tussen populatie en steekproef
Vormen : 1) Sneeuwbalsteekproef 2) ´Convenience´ 3) ´Purposeful´ Sneeuwbalsteekproef (netwerk, ketting) De interviewer ondervraagt informant A; informant A vertelt over respondent B om deel te nemen (Participanten met specifieke kenmerken) Convenience De meeste of beste bereikbaar (wat het best uitkomt) De 10 eerste… (kans op bias…niet de meeste representatieve deelnemers) Purposeful / Judgemental: gebaseerd op het vermogen van onderzoeker om participanten te selecteren die het best kunnen bijdragen aan het onderzoek meestal niet representatieve, kan misleidend zijn… Kan soms niet anders, minder duur
Vaak niet representatief Kans op misleidende resultaten + Makkelijk en snel
Aselecte steekproef / kanssteekproef Volkomen volgens toeval Een steekproefkader is aanwezig Nadat populatie is gedefinieerd wordt een kader gevormd (bv:lijsten) Geen totale garantie maar toch invloed van toeval Hoe groter hoe beter Veel verschillenden eenheden – kleinere kans om alleen afwijkende gevallen te selecteren Vormen : 1) Enkelvoudige steekproef 2) Systematische steekproef 3) Gestratificeerde steekproef 4) Clustersteekproef Enkelvoudige steekproef Trekking is at random Systematische steekproef Trekking volgens een continu systematische wijze (Elke 73, 173, 273….) Gestratificeerde steekproef Representativiteit verhogen dmv strata’s Deeleenheden zijn evenredig verdeeld in strata’s (Strata´s : subgroepen die elkaar uitsluiten) Proportioneel / disproportioneel wegingsfactor (disproportioneel om kleine groepen beter te kunnen bestuderen) Gelijke kans voor selectie Vertrouwen in representativiteit Geen invloed van onderzoeker op selectie Kleine kans om alleen afwijkende gevallen te selecteren en ´sampling error´ Aselecte steekproef + Belang van aantal (N=?) Power-analyse
Evaluatie:
Hoe geselecteerd? Hoeveel? Respons/ non respons? Adequaat / passend? Beschrijving van context personen?
Dataverzameling Data bronnen Verzamelingtechniek Informatiebron : 1) 2) 3) 4) 5)
Individuele personen (respondent) Bestaande documenten (artikel, dagboek, verslag) Media (communicatie – patronen/inhouden : radio, krant, tv, boek) Sociale werkelijkheid (alledaagse bronnen: tijdens besturen van een auto) Fysieke sporen (leefomgeving)
Data – verzamelingtechniek: 1) Ondervragen 2) Observeren 3) Inhoudsanalyse 4) Bio / fysiologische metingen Data – verzamelingtechniek: Kenmerken - Structuur - Kwantificeren of niet - Bewust deelname van deelnemers of niet (obtrusiveness) - Objectiviteit •
Technieken : 1) (Gestructureerde) vragenlijst 2) (Participerende) observatie 3) (Open) interview 4) Groeps- en focusinterview
Gestructureerde vragenlijst Een techniek waarbij vragen/uitspraken vooraf zijn vastgesteld. De vragen zijn in principe voor iedereen hetzelfde Samenstelling Vragenvormen Antwoordvormen •
•
Vraagvormen Enkelvoudig (ja /nee antwoord) Schaal (vb likert scale) Lijst (antwoordmogelijkheden) Vraag stellen over : Kennis Feiten Opinie Vraag naar wensen/voorkeuren Vraag naar voornemens Antwoordvormen : Open vraag ‘half’ open vraag Gesloten vraag Lijn trekken ´Multiple choice` zeer belangrijk/belangrijk/niet belangrijk Schaal: 0-10….
•
Technieken : 1) Gestructureerde vragenlijst 2) (Participerende) observatie De onderzoeker neemt deel aan het onderzoek. Hij noteert, verzamelt, waarneemt / observeert binnen de onderzoekssetting 3) Open interview 4) Groeps- en focusinterview
•
Technieken : 1) Gestructureerde vragenlijst 2) Participerende observatie 3) Open interview interview dmv van open vragen 1) Groeps- en focusinterview
•
Technieken : 1) Gestructureerde vragenlijst 2) Participerende observatie 3) Open interview 4) Groepsinterview Een techniek waarbij een aantal personen tegelijk ondervraagd worden. Hierbij is de interviewer niet alleen centraal, maar de gehele groep reageert op elkaar => groepseffecten! Waarnemingsinstrument
Meten en meetinstrumenten Kenmerken van sterke design Sterkte van Bewijs m.b.t. relatie tussen de variabelen (statistiek) Effect veroorzaakt door onafhankelijke variabele of niet? (interne validiteit) Is de aangetoonde relatie tussen de variabelen / Resultaten geldig voor andere mensen, contexten, tijdsperiode (externe validiteit) Relatie variabele – begrip/construct ? (meetinstrument) Kunnen de onderzoeksvragen met voldoende zekerheid beantwoord worden?
Methoden en technieken van onderzoek 6 Over analyse ? Data analyse In kwantitatief en kwalitatief onderzoek Doel: Inzicht in data analyse en statistiek Belangrijk basis begrippen Inzicht en Evaluatie van methodes Inhoud Kwantitatieve analyse: • • • • • • • • •
Meet niveau´s Beschrijvend statistiek (1 Variabele) Datamatrix, Frequentie, Centrum en spreidingmaten Beschrijvend statistiek (meerdere variabelen) Kruis tabellen, Correlatie berekening Significantie (P-waarde) Groepen beschrijven en verschillen T-Test, F-test, Verband toetsen: Correlatie en Regressie analyse, Factor analyse Evaluatie van data-analyse Oefenen … (tabellen lezen)
Kwalitatieve analyse Meet niveau´s Alle mogelijke meetwaarden van een variabele vormen een schaal: Bv bij de variabele beroepen hoort leraar, arts, … Ze vormen een schaal. De verschillende soorten schalen zijn: • Nominaal, • Ordinaal, • Interval, • Ratio Nominaal: Waarden van een variabele die door een naam beschreven worden Vormt de eerst of laagst niveau, laat weinig statistische berekeningen toe Bijvoorbeeld: Variabele Geslacht: man of vrouw of Variabele Bloed groep: A, B, AB, O Ordinaal: Men kan op ordinaal meetniveau meten als de meetwaarden een zinvolle volgorde kennen, de volgorde kan niet veranderen Geeft een ordening maar zegt niet hoe groter een niveau is dan een ander Bijvoorbeeld Opleiding: LBO, HAVO, VWO, HBO, WO OP een schaal van 1 tot 5 aangeven in hoeverre ermee eens Ordening van lichtst naar de zwaarst. Volledig afhankelijk, behoefte aan begeleiding, zelfstandig Interval: Het getal (de waarde) is op zich waardevolle Op Interval niveau kan het verschil tussen twee schaal waarden berekend worden, maar er is geen natuurlijk nulpunt. Bijvoorbeeld Het meten van temperatuur (nulpunt is willekeurig) IQ test: 100 – 120 – 140 Ratio: Schalen met een echt, natuurlijk nulpunt waardoor de echte variaties aan te geven zijn.
De verhouding tussen de meetwaarden kunnen aangegeven worden. De verhouding tussen de getallen zal altijd dezelfde zijn. Bijvoorbeeld Afstand in Cm, Inches, Voeten, mijlen (0 inches=0 Cm…) Het gewicht v het gewicht in kg 60 is 2x 30, of lengte Absolute schaal:natuurlijke getallen 0,1,2,..Oneindig het hoogst meting niveau.. Alle berekeningen zijn mogelijk • •
• •
Hoe hoger het niveau des te meer statistische berekeningen mogelijk zijn Meetwaarden kunnen naar lagere niveau Lengte in cm of kort, middellang, lang Continue meting: oneindig veel mogelijkheden tussen de waarden Discrete meting: geen tussenliggende waarden op de schaal bv nominale waarden
Beschrijvend statistiek 1 variabel Datamatrix: Ordening van de scores op 1 variabel, inzicht te krijgen, in de scores bijvoorbeeld minimum en maximum, meest voorkomend score de hoeveelheid (frequentie), percentage Bijvoorbeeld: afhankelijkheid er zijn 15 (30%) zeer afh, 10 (20%) matig, 25 (50%)zelfst (ordinaal) Frequentie: Geeft aan hoe vaak elke meetwaarde voorkomt in de onderzochte groep (optellen) – Absolute frequentie: het getelde aantal objecten met een bepaalde waarde bv. Er zijn 10 studenten van 25 jaar, 5 tussen 26 en 34 en 5 tussen 35 en 38 in de klas – Relatieve frequentie: aantal maal dat een waarde voorkomt op een totaal aantal waarnemingen, meestal in % (proportie) – Cumulatieve frequentie: frequentie van een bepaalde waarde plus frequentie van alle lagere waarden Beschrijving Tabel Staafdiagram Histogram Stapeldiagram Taart Frequentie verdeling - Centrale tendentie Geeft een beeld van de gesteldheid van een variabele in een groep • Gemiddelde • Mediaan • Modus Gemiddelde (X, gemid.): de som van de waarde verdeeld door het aantal is beïnvloed door alle waarden en gevoelig voor uitschieters Gemiddeld vooral gebruikt voor variabelen gemeten op interval en ratio niveau, bij verschillende metingen in een groep varieert minder. (63 + 60 + 72 kg = 195 /3 => 65kg) Mediaan (Md) waarde die de reeks in twee gelijke delen splitst, middelste uitslag Wordt niet beïnvloedt door extreme waarden 1,2,3,4,5,6,7 4 1,2,3,4,5,6,7,8 4,5 Afstand werk wonen: 0,5 – 1,2 – 1,3 – 1,6 – 2,2 Mediane afstand tot het werk is 1,3 km Zowel voor kwantitatieve als voor ordinale variabelen Wanneer de variabele niet ´normaal verdeeld´ is wordt de mediaan gebruikt (bv inkomen) Modus: Meetwaarde die het vaakst voorkomt 22, 24, 25, 24, 27, 23, 24 = 24
(Meest typische of voorkomende waarde) Bv Het modale cijfer op de toets is 7 Bimodale of multimodale als meer dan 1 modus Vooral voor kwantitatieve variabele Normaalverdeling Natuurlijke verdeling van veel variabelen, symmetrische verdeling (gemiddelde, modus en mediaan vallen samen, standaard afwijkingen aan beide kanten zijn gelijk) Spreidingsmaten: Naast centrale tendentie geven spreidingsmaten relevante informatie bv grote spreiding van acute operaties in Z.H. veel uitschieters invloed voor planning Spreiding van temperatuur bij gezonde mensen is klein. • Spreidingsbreedte of Range • Variantie – Standaarddeviatie • Standaardscores Range: verschil tussen hoogste en laagste waarde, gevoelig voor variatie en extremen, makkelijk te berekenen maar zegt weinig over de andere waarden meestal gebruikt bij Mediaan. BV: 70 kg, 120 kg (min – max gewicht in een groep) Range is 50 kg Bereik: interval tussen de hoogste en laagste waarde (70 – 120) Variantie Gekwadrateerde afwijking van het gemiddelde Standaard deviatie (± SD): wortel uit de variantie gemiddeld afwijking van de waarden van het gemiddeld van een variabel. Bv: angst op een VAS (0 – 100) bij 50 patiënten: Gemiddelde 73 (±5) Zegt iets over homogeniteit, hoe groter de SD hoe kleiner de homogeniteit Incidentie: Aantal nieuwe gevallen over een bepaalde periode Prevalentie: Aantal bekende, bestaande gevallen in een bepaalde periode prevalentie van alcohol gerelateerde psychische klachten: 17,2% in de algemene populatie tussen 1864 jaar Beschrijvend statistiek (meerdere variabelen) Kruistabel Verdeling van waarden van ene variabele per waarde voor een andere variabele BV: Mannen en Vrouwen die op kantoor, afdeling onderzoek of afdeling productie werken Kantoor
Onder.
Productie
Totaal
Vrouwen
30
20
25
75
Mannen
20
30
45
95
Totaal
50
50
70
170
Correlatie: Samenhang, verband , relatie tussen 2 variabelen In welke mate zijn die twee variabelen aan elkaar gerelateerd? Wel of niet? Van –1 – 0 - + 1 Sterkte van de relatie hoogte van waarde intensiteit van de relatie 0.00 – 0.10 0.10 – 0.20 0-20 – 0.40
0.40 - 0.60
0-60 – 0.80
0-80 – 0-100
Nemen samen af of nemen samen toe samen richting (positieve of negatieve) Bv: Gewicht en lengte, lichamelijk oefeningen en gewicht Correlatie: –
–
–
Pearson= product-moment correlation coefficient Pearson´s r (ratio en interval) Spearman´s Rho of Spearman´s rank-order correlation r´s (ordinal metingen) bv verband tussen zeer tevreden-matig tevreden-niet tevreden met geslacht, leeftijd Contigentie table (descriptief n en %) Zie voorbeeld 15.5 blz 352 En berekening van percentage
Verschillen tussen groepen toetsen Toetsen (inferantial statistiek) Achtergrond Aanname is dat de populatie representatieve is, homogene, belang van grote sample (verdeling) Nagaan of: Is de relatie tussen de variabelen echt, waar, of gebaseerd op toeval? Werkt de interventie echt? Of is het effect toevallig? Verschillen twee groepen significant van elkaar? Studie, werk hypothese en nul hypothese accepteren of verwerpen? Hypothese: massage veroorzaakt ontspanning Nul hypothese: massage heeft geen effect Aantonen dat de nul hypothese niet correct is en verworpen kan worden Kans op foutieve beslissing verminderen Verwerpen van 0 hypo terwijl die wel waar is (type 1 fout- alfa) dus conclusie is het werkt terwijl het niet zo is Niet verwerpen van 0 hypo terwijl die niet waar is (type 2 fout- Beta) Dus conclusie is het werkt niet terwijl interventie wel werkt Significantie niveau bepalen: om type 1 fout te voorkomen .05 5 / 100 accepteren te concluderen dat het werkt terwijl het niet zo is dus Nul hypo onterecht verwerpen .01 -> 1/100 “ “ “ Significantie (P-waarde) P<0.05, P < 0.01, P=0.45. P= 0.003 Betrouwbaarheidsinterval (Confidentie) 95% 95% kans dat een gevonden waarde binnen een bepaalde interval plaats vindt 99% betrouwbaarheidsinterval voor de gemiddeld studie tijd per week tussen 25 en 30uur dus 1% kans dat het werkelijke gemiddelde lager dan 25 uur of hoger dan 30 uur per week is Verschillen tussen groepen toetsen Parametrische toetsen: Gericht op parameters bv gemiddelde, metingen op interval ratio, distributie normaal Voorbeeld: T-Test (Eenzijdig of tweezijdig) Onafhankelijk, afhankelijk groepen F-test, variantie analyse (ANOVA) Pearson´s r Niet parametrische toetsen. niet op parameters gericht, bv classificeren van gevallen, nominaal of ordinaal meetniveau Voorbeeld: Chi-square test X, Mann-Whitney Wilcoxon signed ranks Spearman´s rank-order correlatie T-Test Toets van het verschil tussen het gemiddelde van twee groepen /meetingen
Vraag: verwacht wordt dat studenten 20 uur per week studeren, metingen wijzen erop dat ze 15 uur gemiddeld per week studeren, is het gemiddeld significant lager? . Gemiddeld aantal sigaretten gerookt voor programma of na? Onafhankelijke groepen = twee aparte groepen onafhankelijke group T-Test, Afhankelijke groepen = eenzelfde groep op twee verschillende tijden afhankelijke. Paired t-toets of Gepaarde t-toets F-toets, variantie analyse (ANOVA) Toets op verschil in gemiddelde in 3 of meer groepen of meer dan 1 onafhankelijke variabel Gericht op na te gaan: In hoeverre verschillen drie groepsgemiddelden van elkaar In hoeverre er verschillen zijn in elke groep Bijvoorbeeld Groep1: anxiolitica, groep 2: gesprek, groep 3: video gemiddeld angst gemeten op een VAS schaal Niet Parametrische toetsen Chi-square test X: om verschillen te toetsen in proportie tussen twee onafhankelijke groepen (Variabel op nominaal niveau) Bijvoorbeeld Therapie trouw wel of niet in relatie met het wel of niet hebben gekregen van informatie (verschil tussen waargenomen en verwacht) Mann-Whitney: om verschillen te toetsen in ranke van waarden tussen twee onafhankelijke groepen (onafh=nominaal, afhank= ordinaal) niveau) Bijvoorbeeld Informatie (wel of niet) en therapie trouw (Afh) Veel-Weinig-niet Wilcoxon signed ranks. Idem maar groepen zijn aan elkaar gerelateerd Spearman´s rank-order correlatie relatie tussen twee variabelen op ordinaal niveau Bijvoorbeeld verband tussen Informatie (wel-weinig-niet) en therapie trouw (Afh) Veel-Weinig-niet Andere analyse methodes:
Multiple Regressie: lineair verband tussen variabelen inschatten, Om de waarde van afhankelijke variabele in te kunnen schatten Logistiek regressie, Co-Variantie Techniek gebruikt om invloed van extraneus variabelen in te schatten Factor analyse: Techniek gebruikt om achterliggende dimensie van hoeveelheid items te beschrijven, vragen samen voegen tot enkele variabelen, groeperen van variabelen die bij elkaar horen onder 1 dimensie bij het (verder) ontwikkelen van instrumenten
Kwantitatieve analyse Evaluatie van data analyse • Wordt de steekproef voldoende beschreven • Beschrijving van variabelen van respondenten (lft, geslacht, geloof, educatie niveau…) • Blijken alle hypotheses door middel van toetsen berekend te zijn • Toetsen adequaat, niet te veel statistische info… • Samenhang tussen beschrijvingen resultaten en tabellen, figuren e.d. • Zijn de tabellen overzichtelijk en makkelijk te lezen Kwalitatief onderzoek
Data analyse (inleiding) Analyseren: • Ontleden in bestanddelen • Bestuderen, uitpluizen … • Van ruwe data naar antwoorden op vraagstelling • Bewerken, rubriceren, ordenen • Op zoek gaan naar patronen, opvallende zaken, afwijkende zaken… • Data vergelijken, inzicht krijgen, een mening erover vormen, toetsen, twijfelen (kwaliteitsaspecten) • Logisch redeneren… Uitgangspunt – –
De betekenis die mensen in het dagelijks leven aan hun omgeving toekennen De objecten kunnen zien zoals de ´acteurs´ deze zien belang van jezelf te kunnen verplaatsten in de positie van een individu of groep Reconstructie
Doel: reductie van de complexiteit van het onderzocht verschijnsel Zich de inzichten van de onderzochten eigen maken – Een insider view eigen maken. Leren denken en voelen zoals de participanten – Open benadering in begin vooral explorerend van aard – Begin met algemene categorieën die later uitgewerkt worden – Relaties van belang Verschillende fases / handelingen die herhaaldelijk plaats vinden Lezen, Lezen, Lezen Eigen inzichten ontwikkelen Lezen Registreren van betekenissen Interpreterend lezen Selectief lezen vanuit onderzoeksvragen Analyse van Kwalitatieve Data
Inzichten ontwikkelen Begrijpen Thematiseren (synthese) Theoretiseren ´Recontextualiseren´
Doel: Reductie van de complexiteit van de onderzocht verschijnsel • Interactief en creatief proces • Ordenen en zoeken naar relaties van belang is Gericht op het ontwikkelen van eigen inzichten Verschillende fases / Handelingen die herhaaldelijk plaats vinden Lezen, Lezen, Lezen Eigen inzichten ontwikkelen Zich open stellen voor het materiaal, de respondent, zijn ervaring, betekenis wereld Zich een globaal idee vormen van een scène, gebeurtenissen, interview, van een respondent Vragen stellen: ‘Wat gebeurt er, wat zegt hij/zij, wat wordt er bedoeld?’ Geleidelijk interpreteren --- Coderen Gericht op: de betekenisverlening van de respondent ontdekken Regelmatig nagaan: Wat zegt het over wat ik op zoek naar ben, beantwoorden van onderzoeksvraag 1. 2. 3. 4.
Coderen en structureren Zoeken naar relaties Memos (verschillende soorten) Reflectie
•
• • •
Open coderen – Verkennend, beschrijvend – Gericht op zoveel mogelijk ingangen te vinden die aansluiten bij de inhoud van de data – Termen van respondent – Vragen: • Wat is hier belangrijk? • Wat zegt de respondent nu precies (concreet) • Waar duidt het op waar heeft het betrekking op (afstand) Codes ontwikkelen en ordenen Hogere abstractie niveau brengen Selectief coderen
•
Zoeken naar relaties tussen de codes – Vragen: • Waar heeft het mee te maken • Wanneer, in welke omstandigheden ontstaat, wat gaat er aan vooraf • Wat zijn de gevolgen ervan Nagaan hoe de bevindingen zich tot het gehele materiaal verhouden
•
Begripsmemo´s – Ontwikkeling van codes naar meer abstracte begrippen Methodische memo´s – Beschrijven van eigen benadering en methode en de ontwikkeling van eigen inzichten Theoretische memo´s
• •
• • • • • •
Creatief´ proces Interactie van onderzoeker met materiaal Open en gevoelig zijn Omgaan met onzekerheid Ervan uit gaan dat alles (heel lang) voorlopig blijft (Enige) zekerheid pas aan het einde bij schrijven – Langdurig maar spannend – Intensief en extensief – Afstandelijk en intiem – Objectief en subjectief
Evaluatie Systematisch uitgevoerd? Verantwoorde resultaten? Gedocumenteerd? Overtuigend resultaat? Inspirerend resultaat? Verband onderzoeksvraag-materiaal-bevindingen-conclusie Verschillende vormen van bewijs • Constant vergelijken • Samenwerken • Kunnen overtuigen • De data, bronnen • Uitleg over de analyse • Beschrijving van codes, schema, • Is het logisch, volledig ? • Wijze van analyseren met / zonder pc? • Relaties data – begrippen - thema´s, • Abstractie niveau • Lijkt de analyse goed uitgevoerd te zijn, herhalingen? • Zijn de conclusies (voldoende) op de data gebaseerd? • Leiden de resultaten tot nieuwe inzichten?
Methoden en technieken van onderzoek 7 Validiteit en betrouwbaarheid Kwantitatief onderzoek Validiteit: • De validiteit van empirisch onderzoek betreft de interpreteerbaarheid en de veralgemeenbaarheid van de resultaten van dat onderzoek. – Interpreteerbaarheid -> interne validiteit – Veralgemeenbaarheid -> externe validiteit Interne validiteit • verwijst naar de mate waarin de resultaten van een empirisch onderzoek adequaat kunnen worden geïnterpreteerd en de mate waarin we in die interpretaties vertrouwen kunnen hebben. • Bij experimenteel onderzoek wordt de interne validiteit geëvalueerd aan de hand van de mate waarin causale inductie en causale interpretaties mogelijk worden gemaakt. • Nagaan of geobserveerde effecten wel toe te schrijven zijn aan de gemanipuleerde variabelen, of er geen alternatieve verklaringen zijn en dus of er voldoende controle was op potentieel storende variabelen. • Door bedreiging van interne validiteit: toename van mogelijkheden voor alternatieve verklaringen over de relatie tussen de variabelen… • Meten we wel wat we in feite wensen te meten? Zijn de metingen geldig of 'valide' voor 'het begrip zoals bedoeld'? Om deze vraag te beantwoorden moeten we eerst weten wat we willen meten. Externe validiteit • Verwijst naar de mate waarin de resultaten van een empirisch onderzoek veralgemeenbaar zijn naar een bredere populatie en/of andere omstandigheden. – specifieke technieken van steekproeftrekking – betekent echter niet dat resultaten naar zoveel mogelijk populaties of omstandigheden veralgemeenbaar moeten zijn Bedreiging validiteit • • •
• •
´History´: invloed van een externe gebeurtenis op de afhankelijke variabele Selectie: ongelijke groepen bv door afwezigheid van randomisatie Rijping (´Maturation´): natuurlijk ontwikkeling van bestudeerde variabelen met verloop van tijd • Bijvoorbeeld: herstel, genezing, groei… • Uitval van respondenten: diverse redenen • Gevolg voor homogeniteit, kwaliteit respons Hawthorne effect: – effect resulteert van deelname aan onderzoek Placebo effect: – effect resulteert van de verwachtingen van deelnemers Gevolgen: Verandering in gedrag van deelnemers door participatie in onderzoek Verandering gedrag van onderzoeker bv m.b.t. nieuwe behandeling Blinderen Confounders´ Variabele die de relatie tussen de onafhankelijke en afhankelijke variabelen vertekent • Vertekening van gevonden verband tussen risicofactor en de aandoening • Het onterecht toeschrijven van een deel van het effect aan de bestudeerde risico factor • Verstrengeling van effect van determinant met andere externe factor • bv: relatie tussen dementie en intelligentie effect van leeftijd
Validiteit waarborgen • Mogelijkheid voor alternatieven verklaringen heel klein te houden door: • Controle over onderzoeksactiviteiten m.b.t. invloed van omgeving (bv:kiezen voor 1 locatie) • Controle over onderzoeksactiviteiten mbt invloed van tijd
• • Verschillende technieken • • • •
– Invloed van tijd minimaliseren: moment van de dag, seizoen.. – (moeheid , depressie…) Controle over onderzoeksactiviteiten mbt invloed communicatie/informatie Controle over onderzoeksactiviteiten mbt invloed andere variabele Randomisatie Homogeniteit Matching Statistiek (bv: co-variantie analyse)
Randomisatie: vergelijkbare groepen maken t.o.v. extraneus variabelen zonder bewust beslissing over de variabelen meest werkzaam, in principe gericht op het verminderen, uitschakelen van het effect van alle extraneus variabelen Bv leeftijd, roken … i.v.m programma om hartziekte te verminderen Homogeiniteit: Alleen participanten met zelfde kenmerken worden ingesloten Bv: alleen mannen, met gewicht > 75 kg Gevolgen voor generalisatie Matching: het vergelijkbaar maken van de groepen door het selecteren van personen die overeenkomen met personen uit de vergelijkingsgroep Alleen voor beperkt aantal variabelen, Variabelen moeten van tevoren bekend zijn Statistiek Sterkte van bewijs m.b.t. relatie tussen de variabelen Vermogen om echte relaties te kunnen aantonen Steekproef moet groot genoeg zijn of risico een aanwezige relatie niet te kunnen aantonen (power) Optimale verschillen tussen de groepen m.b.t. de onafhankelijke variabele (gevoeligheid van toets om een verschil op te sporen) Sterkte van de interventie (onderzoeksprotocol, training, uitval) Controle externe validiteit • Wijze van steekproef trekking: » Aselect / selecte steekproef • Omvang • Homogeniteit / heterogeniteit, • Inclusie / exclusie criteria Evaluatie design Kunnen de onderzoeksvragen met voldoende zekerheid beantwoord worden? Evenwichtig tussen interne en externe validiteit Controle te veel te weinig 1. Interventie? Experiment- quasi- pre- terecht? 2. Blinderen? 3. Longitudinaal of transversaal? Voldoende moment van data verzameling? 4. Vergelijkingen tussen of binnen groepen? Terecht? 5. Adequate controle op andere variabelen? 6. Statistische validiteit? 7. Aandacht voor interne validiteit? Hoe? Uitspraak over oorzaak-effect? 8. Externe validiteit? 9. Beperkingen van design? Beschreven door onderzoeker? • • • • •
Conceptualisatie & operationalisatie van variabelen Metingen, afspraken en regels, bron van fouten tijdens metingen Voldoende uitleg over – Betrouwbaarheid & Validiteit van instrumenten, hoe getoetst, welke populatie Maatregelen genomen om validiteit te verhogen? Conclusie over de hypothese terecht gezien de metingen?
Wat is de overtuigingskracht van het bewijs over de relatie tussen de variabelen? Als er een relatie is wat is de overtuigingskracht dat het effect veroorzaakt wordt door de onafhankelijke variabele? Wat is de overtuigingskracht dat de aangetoonde relatie geldt voor andere groepen, momenten? Zijn de theoretische aspecten ´gezond´, consistent?
Samenvatting Kenmerken van sterke design Vermogen om om aan te tonen dat het effect werkelijk door de onafhankelijke variabele veroorzaakt is • Sterkte van bewijs m.b.t. relatie tussen de variabelen (statistiek) • Outcome veroorzaakt door onafhankelijke variabel of niet? (interne validiteit) • Is de aangetoonde relatie tussen de variabel / Resultaten geldig voor andere mensen, contexten, tijdsperiode (externe validiteit) • Relatie variabel – begrip/construct ? (meetinstrument) Meten en meetinstrumenten –
–
Meten om: • kenmerken en kwaliteiten te kunnen kwantificeren, • variatie in beeld te brengen, • verschillen tussen deelnemers/respondenten te maken mbt de kenmerken Gevolgen voor : • Objectiviteit (expliciete afspraken) • Precisie • Duidelijkheid c.q. zekerheid
Een meetmethode moet: relevant, nauwkeurig, betrouwbaar, gevoelig zijn instrumenten Meetmethode voor veel variabelen moeten ontwikkeld worden— Meetinstrument (vragenlijst, observatie lijst, interview…) Bronnen van fouten tijden metingen – Omstandigheden en weten geobserveerd te worden – Kenmerken van respondenten (antwoorden) – Tijdelijke omstandigheden – Volgorde van metingen Betrouwbaarheid en validiteit Betrouwbaarheid Mate van overeenstemming tussen verschillende metingen De minste variatie tussen herhaalde metingen betrouwbaarheid Hoe beter de echte waarde weergegeven wordt (Precisie) betrouwbaarheid Drie aspecten van metingen – instrumenten • Stabiliteit (Stability) • Samenhang (Internal consitency) • Gelijkwaardigheid (equivalence) Instrumenten Betrouwbaarheid Stabiliteit vermogen om een zelfde score te geven bij zelfde persoon op verschillende momenten • Test-retest betrouwbaarheid • Betrouwbaarheidscoefficient: bv r > 70 = samenhang tussen de scoren verkregen na twee metingen bij dezelfde personen Kan alleen voor variabelen die stabiel zijn
interne samenhang Mate waarin de onderdelen van het instrument dezelfde kenmerk meten Bv: vragen gericht op het meten van tevredenheid Methoden: • ´Split half technique´ • Cronbach´s alfa of coefficient alfa (alfa = 0 – 1) Gelijkwaardigheid Samenhang tussen metingen/observatie resultaten door verschillende onderzoekers – ´Inter-rater reliability´: Verschillende meters die verschillende metingen uitvoeren Index gelijkwaardige overeenstemming Index of score (Kappa) Validiteit mate waarmee een instrument meet wat het beoogt te meten Validiteit en betrouwbaarheid zijn niet los van elkaar Een instrument kan betrouwbaar zijn zonder valide te zijn Een instrument kan niet valide zijn zonder betrouwbaar te zijn Een hoge index van betrouwbaarheid zegt niets over de validiteit Een lage index van betrouwbaarheid geeft aan dat validiteit ook laag is
Face validity´: Het instrument maakt het indruk om te meten wat het moet meten Drie aspecten – Inhoudsvaliditeit – Criterium validiteit – Bedgripsvaliditeit
Instrumenten (validiteit) Inhoudsvaliditeit (Content validity) Mate waarmee het onderwerp gedekt wordt Hoe representatieve relevante zijn de vragen die gesteld worden over het onderwerp? Concept: definitie – beschrijving Het concept geheel, volledig, voldoende benaderen / meten Oordeel van experts Index berekenen (mate van overeenstemming van oordeel van experts) Criterium validiteit (Criterion validity) Vergelijkbaarheid met een externe criteria vinden van een valide en betrouwbare criterium – Voorspellende (predictive) validiteit: validiteit van de voorspellingen die gemaakt worden – Gelijktijdig validiteit (concurrent) vermogen om verschillen tussen individuen aan te geven Validity coefficient berekenen ( r =….) Begripsvaliditeit (Construct validity) Wat is het begrip dat het instrument werkelijk meet? Hoe abstracter het concept hoe moeilijker het begripsvaliditeit aan te geven is Oordeel over wat het instrument meet • Theoretische basis • Known-groups technique • Factor analysis Validiteit en Betrouwbaarheid Niet: wel of niet maar een mate van…. Hoge of lage mate van betrouwbaarheid en / validiteit Context gebonden, onderzoekers en thema´s Diagnostische testen
Sensitiviteit: Mate waarmee een instrument goed aangeeft dat een geval/ziekte aanwezig is Specificiteit: Mate waarmee een instrument aangeeft dat een ziekte er niet is Evaluatie van data • • • •
Zijn de data relevant? betrouwbaar? Betrouwbaarheid & validiteit van meetinstrumenten Kwaliteit van metingen in de onderzoekspopulatie? Een of meerdere onderzoekers?
Evaluatie van data kwantitatieve onderzoek • • • • •
Conceptualisatie & operationalisatie van variabelen Metingen, afspraken, bron van fouten tijdens metingen Voldoende uitleg over – Betrouwbaarheid en validiteit van instrumenten, hoe getoetst…, Maatregelen genomen om validiteit te verhogen? Voldoende? passend? Conclusie over de hypothese terecht gezien de metingen?
Kwalitatief onderzoek Validiteit en betrouwbaarheid Zijn de data een goede weergave van de werkelijkheid, van de waarheid? ´Trustworthiness´ (mate van vertrouwen) - Geloofwaardigheid (Credibility) - Stabiliteit (Dependability) - Objectiviteit (Confirmability) - Externe validiteit (Transferability)
Credibility (geloofwaardigheid) Vertrouwen in de data en de interpretatie ervan • ´Prolonged engagement & persistent observation´ Voldoende inzicht ontwikkelen in een context • Triangulation gericht op de data, onderzoekers, theorieën, methoden ´Convergence´ over de waarheid • ´Peer debriefing´: bespreking van onderzoek met onafhankelijke personen • Member check´: bespreking met studie participanten over de data en interpretaties • Zoeken naar tegen bewijs –´negative case analysis´ • Vertrouwen in vaardigheden van onderzoeker Dependability Stabiliteit van de data in de tijd en omstandigheden – ´Replication´: Herhalen van aspecten, onderdelen van onderzoek – Audit: analyse van data door externe reviewer Confirmability objectiviteit, heeft betrekking op de juistheid, relevantie, betekenis van de data – ´Bracketing´, reflectieve journaal – Controle door audit, gevolgde procedure controleren … – Belangrijke beslissingen documenteren Transferability Mate waarin de resultaten geldig zijn voor een andere setting steekproef, onderzoeksparticipanten ´ Thick description´: uitgebreide beschrijving van setting van onderzoek en wat zich er afspeelt
