Adviseren over onderzoeksmethoden: Data analyse

Overzicht Data analysis: strategie Validiteit Stabiliteit van de resultaten Exploratief versus confirmatief onderzoek Analiseren van verandering Samenvatting Referenties


Data analysis: strategie

Adviseren over onderzoeksmethoden: Data analyse

Eenvoudige of ingewikkelde analyse methoden? Validiteit Stabiliteit van de resultaten

Herman Adèr and Don Mellenbergh

Exploratief versus confirmatief Analiseren van verandering

19 november 2004

Samenvatting Referenties

Herman Ad` er and Don Mellenbergh Overzicht Data analysis: strategie Validiteit Stabiliteit van de resultaten Exploratief versus confirmatief onderzoek Analiseren van verandering Samenvatting Referenties

Data analyse

Eenvoudige of ingewikkelde analyse methoden?


Data analyse


Initial Data Analysis ? Working data set

Main analyses: Main analyses ? Intermediate results Establishing structure (modelling) ? Results

Do pilot analyses

? Refine

Confounders Primary outcomes Secondary outcomes Other Confounding factors

Write draft report

Subgroups

? Draft

Herman Ad` er and Don Mellenbergh

Data analyse


Data analyse



Oefening: Cluster randomisatie Uw client heeft een gerandomiseerde studie gedaan naar het effect van extra psychologische ondersteuning van de huisarts door middel van gespreksterapie, bij de signalering van depressie en angststoornissen. In 24 praktijken werd ondersteuning gegeven, in 18 praktijken niet. Als uitkomstmaat werd een depressielijst gebruikt. De cliënt vraagt welke analyse methode in dit geval het geschiktste is: hij denkt zelf aan simpele t-toetsen tussen de behandelingsgroepen. Waarop zou u de nadruk leggen in dit consultatie-gesprek?


Data analyse


Tweede Opvatting Er zijn analyse methoden die apert incorrect zijn omdat ze niet corresponderen met de onderzoeksvraagstelling Je moet altijd de beste analyse methode gebruiken Zelfs van de meest gecompliceerde analyse methode zijn de basisprincipes heel goed uit te leggen De adviseur kan aanbieden om zelf de data analyse en de interpretatie te doen (of ermee te helpen). Hij of zij kan ook helpen met het schrijven van het overeenkomstige deel van de publicatie.


Data analyse



Eerste Opvatting Uw client mist de benodigde statistische kennis, daarom is het verspilde moeite om te trachten hem overtuigen dat hij een ingewikkelde analyse methode moet gebruiken Een onderzoeker dient alleen methoden te gebruiken, die hij volledig begrijpt en waarvan hij het gebruik kan onderbouwen.


Data analyse


Suggestie voor een synthetische aanpak Indien uw cliënt heilloze plannen heeft: leg uit waarom dat niet zal werken Stel uw cliënt voor, om zowel de gecompliceerde als de eenvoudige analyses te doen. Houd hem of haar de volgende overwegingen voor: Mocht het weinig uitmaken, dan worden de resultaten van de eenvoudige methode gerapporteerd. Mocht het wel veel uitmaken (in termen van de te trekken conclusies), dan is nader overleg vereist .


Data analyse



Measurement instrument One dimension

De volgende vragen staan centraal bij onderzoek naar de validiteit van een instrument: 1

2

Two and more dimensions

Structure known? No

Yes

? Principal component analysis


Data analyse


Consistency check (RELIABILITY)

Validate

Meet het instrument inderdaad dat waarvoor het bedoeld is? Hoe betrouwbaar zijn de metingen?


-

? Confirmatory factor analysis

Data analyse


Vragen aan de cliënt over de stabiliteit van de resultaten Exercise 14.5: Validation and effect estimation on the same data. What can go wrong when the same sample is both used for validation and effect estimation? Answer to exercise 14.5

Is het nodig om de stabiliteit van de resultaten na te gaan? Denk aan de volgende punten: 1 2 3 4 5 6 7


Data analyse

Je hebt in de analyses gecorrigeerd voor covariaten Er zijn ontbrekende waarnemingen Er zijn uitbijters Er wordt ook een per-protocol analyse gedaan De studie bevat zowel validatie als effect meting Er wordt factor analyse gebruikt Er worden modellen gebouwd en getest


Data analyse


Confirmatief onderzoek: hypothese testen Combinaties van exploratief en confirmatief onderzoek



Karakterisering van Tukey (1977) Exploratief versus confirmatief Exploratie ⇔ ‘Context of Discovery’ Confirmatie ⇔ ‘Context of Justification’ De begrippen komen uit de wetenschapsfilosofie (Zie: Losee, 1993)

Exploratory data analysis is detective in character. Confirmatory data analysis is judicial or quasi-judicial in character. . . Unless the detective finds the clues, judge or jury has nothing to consider. Unless exploratory data analysis uncovers indications, usually quantitative ones, there is likely to be nothing for confirmatory data analysis to consider. On the other hand: Exploratory data analysis can never be the whole story, but nothing else can serve as the foundation stone – the first step.


Data analyse





Data analyse


unknown

Resear h hypothesis

?

H 0 HA u

u

*

test

H0 HA r

D

s


a

H0 HA

- Resear h hypothesis

: r u

Data analyse

a

eptable

‘Data-driven’ theorie-vorming Natuurlijk mag je wel op grond van de data theorieën vormen. Als je ze maar niet op dezelfde data test!

- Resear h hypothesis

questionable


Data analyse




Meer dan een uitkomstmaat

Een logboek van de data analyses Het is een goed idee om een logboek bij te houden van de opvolgende analyse stappen die tijdens de data analyse worden genomen. Na iedere stap in het data analyse proces, . . . 1 . . . wordt de output geannoteerd 2 . . . worden de conclusies die uit de output getrokken zijn, geformuleerd en samengevat 3 . . . wordt genoteerd welke stappen er vervolgens zullen worden genomen


Data analyse

Meer dan een uitkomstmaat

Exercise 14.13: Alternatieven voor repeated measurement analyse Zijn die er? Zo ja, geef een voorbeeld. Answer to exercise 14.13


Data analyse


Data analyse is een strategisch proces, waarin vaste fasen zijn te onderkennen Eenvoudige tegenover ingewikkelde analyse methoden Exercise 14.15: More than one outcome Give an example of a situation where the analysis of a set of outcome variables should be done in conjunction. Give a suggestion about the analysis technique that should be applied. Answer to exercise 14.15

Data analyse bij validiteitsstudies verschilt van die bij effect studies. Bij combinaties is het oppassen geblazen Er zijn allerlei situaties, waarin het nodig is om de stabiliteit van de resultaten te checken. Kruisvalidatie kan hierbij nodig zijn Exploratief versus confirmatief onderzoek. Bij combinaties is het belangrijk een logboek bij te houden Analiseren van verandering: alternatieven eisen eigenlijk altijd non-parametrische technieken


Data analyse


Data analyse


Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. New York London: Chapman & Hall. Losee, J. (1993). A historical introduction to the philosophy of science (third ed.). Oxford: Oxford univerisity Press. Tukey, J. W. (1977). Exploratory data analysis. Reading, MA: Addison Wesley.


Data analyse

Adviseren over onderzoeksmethoden: Data analyse

Recommend Documents