Toegepaste Biostatistiek Wetenschappelijk Onderzoek

Toegepaste Biostatistiek Wetenschappelijk Onderzoek Geert Verbeke Biostatistisch Centrum, K.U.Leuven [email protected] http://perswww.kuleuven.be/geert verbeke

Master Biomedische Wetenschappen — Master Verpleegwetenschappen

Inhoudstabel

1

Introductie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

2

Centrale data set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3

De Pearson correlatie co¨ effici¨ ent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4

Enkelvoudige lineaire regressie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5

Model diagnose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

6

Invloedrijke observaties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

7

De ongepaarde t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

8

1-weg ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

i

9

Meervoudige lineaire regressie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

10

Polynomiale regressie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

11

Interactie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

12

Meervoudige ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

13

Analyse van covariantie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

14

Het algemeen lineair model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348

15

Enkelvoudige logistische regressie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370

16

Meervoudige logistische regressie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405


ii

Hoofdstuk 1 Introductie

. Motivatie . Cursusmateriaal . Examensysteem


1

1.1

Motivatie

• Master thesis • Statistiek in (bio-)medische literatuur • Correcte analyse van verzamelde data en correcte interpretatie van de resultaten


2

1.2

Cursusmateriaal

• Kopies van de cursusnota’s: Toledo • Datasets die in de cursus geanalyseerd worden: Toledo • Statistica software:

. Beschikbaar in alle K.U.Leuven PC klassen . Verkrijgbaar via LUDIT: http://ludit.kuleuven.be/software/

. ...


3

• Vestac JAVA applets . Online:

http://ucs.kuleuven.be/links/index.htm . Lokale installatie: http://ucs.kuleuven.be/java/download/download.html en volg instructies


4

1.3

Examensysteem

• Take-home groepswerk (4 studenten) • Data analyse, opgestart tijdens de practica • Mondelinge verdediging van het rapport


5

Hoofdstuk 2 Centrale data set

. Inleiding . Probleemstelling . Steekproef . Verzamelde gegevens


6

2.1

Inleiding

• Deze gegevens vormen de rode draad doorheen de cursus, en zullen het gebruik van de behandelde statistische technieken en de interpretatie van hun resultaten illustreren. • De gegevens werden verzameld door Prof.Dr. Koen Milisen, CZV, K.U.Leuven. • De gegevens zijn beschikbaar voor de studenten, maar mogen onder geen enkele voorwaarde verder verspreid worden of gebruikt worden voor enig ander doel dan deze cursus.


7

2.2

Probleemstelling

• Onderzoek naar post-operatieve variabiliteit in de neuro-cognitieve en functionele status bij bejaarde heupfractuur patiënten. • Een heelkundige ingreep bij ouderen resulteert vaak in voorbijgaande cognitieve stoornissen (= delirium). • Delirium verus dementie :

. Delirium : → acute start → meestal van voorbijgaande aard . Dementie : → geen acute start → langzaam voortschrijdend → irreversibel


8

• Delirium . . .

. geeft aanleiding tot verpleegkundige en medische problemen.

. is vaak een eerste symptoom van een fysische ziekte of een intoxicatie door geneesmiddelen . kan leiden tot verhoogde mortaliteit . is moeilijk te ontdekken • Economische implicaties van delirium : . Extra verpleegkundige zorg . Langer ziekenhuisverblijf . Hoge graad van institutionalizering • Onderzoek toont aan dat, bij oudere heupfractuur patiënten, de verhoogde graad van afhankelijkheid eerder een gevolg is van delirium, dan wel van de fractuur zelf. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

9

2.3

Steekproef

• Longitudinaal proef opzet : Bepaalde variabelen worden herhaaldelijk over de tijd gemeten. • Prospectieve (bvb. complicaties) en retrospectieve (bvb. woonsituatie) metingen. • Data van 2 traumatologische afdelingen van U.Z. Gasthuisberg, K.U.Leuven. • Inclusie-criteria : . ≥ 65 jaar

. opgenomen met heupfractuur op de afdeling spoedgevallen . toestemming geven tot deelname aan de studie . ... Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

10

• Exclusie-criteria :

. tijd tussen opname en operatie ≥ 72 uur

. meerdere trauma’s . ... • Data verzameld tussen 16/9/96 en 28/2/97.


11

2.4

Verzamelde gegevens

• Statistica-file (Kernel release 5.5A): delirium.sta • Gegevens over 60 patiënten • 78 variabelen • Gegevens over elke patiënt van voor, tijdens en na de operatie • Longitudinale en afgeleide metingen • Vragenlijst studie, ADL score, MMSE en CAM scores


12


13


14


15

2.4.1

Pre-operatieve evaluatie Variabele

Omschrijving

Waarden

nummer

patiënt nummer

1–60

leeftd

leeftijd

(jaar)

gesl

geslacht

opnduur

opname duur

1=man 2=vrouw (dagen)

burgst

burgerlijke stand

1=alleenstaand 2=gehuwd 3=weduw(e)(naar) 4=gescheiden 5=kloosterling(e)

opleid

opleiding

zijfrc

zijde fractuur

typfrc

type fractuur

cardio

cardiologische pathologie

vascul

vasculaire pathologie

1=universiteit/hogeschool 2=hoger secundair 3=lager secundair 4=lager onderwijs 1=links 2=rechts 1=intra-capsulair 2=extra-capsulair 0=niet 1=wel 0=niet 1=wel


16

Variabele

Omschrijving

Waarden

pulmon

pulmonaire pathologie

urinai

urinaire pathologie

abdom

abdominale pathologie

hyper

hypertensie

zicht

gezicht pathologie

gehoor

gehoor pathologie

malign

maligne ziekte

diabet

diabetes

reumat

reumatologische pathologie

vrop

vroegere operaties

neuro

neuro-psychiatrische pathologie

andere

andere pathologie

0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel


17

Variabele

Omschrijving

Waarden

woonsi

woonsituatie

gn1

inname medicatie

dig1

inname digitalis

diur1

inname diuretica

bblo1

inname β-blokker

benz1

inname benzodiazepines

anti1

inname anticholinergica

neur1

inname neuroleptica

depres1

inname antidepressiva

other1

inname andere medicatie

1=alleen 2=met partner/familie/klooster 3=RH/RVT 4=andere 0=wel 1=niet 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel


18

2.4.2

Operatieve behandeling Variabele

Omschrijving

Waarden

opnop

verloop opname-operatie

soorin

soort ingreep

percom

per-operatieve complicaties

opduur

operatie duur

bloed

bloedverlies

anes

anesthesie

1=als spoedgeval 2=<24 uren 3=<48 uren 4=<72 uren 1=interne fixatie 2=THP 3=BHP 4=DHS 1=wel 2=niet 1=<45 min 2=45-90 min 3=90-120 min 4=>120 min 1=<300 ml 2=300-1000 ml 3=>1000 ml 1=lokaal 2=spinaal 3=algemeen


19

2.4.3

Post-operatieve evaluatie Variabele

Omschrijving

Waarden

no

mechanische complicaties

luxa

luxatie van prothese

impla

implantatie problemen

anmec

andere mechanische problemen

nolok

lokale complicaties

opper

oppervlakkige wondproblemen

diep

diepe infectie

anlok

andere lokale complicaties

gen

algemene complicaties

doorli

doorligwonden

diephl

diepe phlebotrombose

pulemb

pulmonair embool

0=wel 1=niet 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=wel 1=niet 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=wel 1=niet 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel


20

Variabele

Omschrijving

Waarden

urin

urinaire complicaties

ander

andere respiratoire problemen

cardi

cardiologische complicaties

cere

cerebrale complicaties

autre

andere algemene complicaties

gn

inname medicatie

dig

inname digitalis

diur

inname diuretica

bblo

inname β-blokker

benz

inname benzodiazepines

anti

inname anticholinergica

neur

inname neuroleptica

0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=wel 1=niet 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel 0=niet 1=wel


21

Variabele

Omschrijving

Waarden

depres02

inname antidepressiva

other

inname andere medicatie

ontsl

ontslag naar

dood

overleden tijdens hospitalisatie

0=niet 1=wel 0=niet 1=wel 1=thuis 2=dochter/zoon 3=geriatrishce afdeling 4=revalidatie centrum 5=psychiatrisch ziekenhuis 6=RH/RVT 7=klooster 8=andere 1=ja 2=nee


22

2.4.4

Longitudinale en afgeleide metingen Variabele

Omschrijving

Waarden

sencam

CAM resultaat op dag 1

1=delirium; 2=geen delirium

sencam03


sencam05


senverw

Is CAM resultaat ooit 1 geweest ?

0=nee; 1=ja

adltot1

ADL score op dag 1

6-24; 6=niet afhankelijk;24=sterk afhankelijk

adltot5

ADL score op dag 5

adltot12

ADL score op dag 12

MMSE1

MMSE score op dag 1

MMSE3

MMSE score op dag 3

MMSE5

MMSE score op dag 5

MMSE8

MMSE score op dag 8

MMSE12

MMSE score op dag 12

0-30; 0=sterk cognitief gestoord; 30=niet cognitief gestoord

CAM : Confusion Assessment Method, gemeten op dag 1,3,5,8,12 ADL : Aktiviteiten van het Dagelijks Leven, gemeten op dag 1,5,12 MMSE : Mini Mental State Examination, gemeten op dag 1,3,5,8,12


23

Hoofdstuk 3 De Pearson correlatie co¨ effici¨ ent

. Voorbeeld . Pearson correlatie . Eigenschappen en interpretatie . Statistische inferentie . Berekeningen in Statistica en interpretatie


24

3.1

Voorbeeld

• In de literatuur wordt gesuggereerd dat een gedaalde cognitieve status een verhoogde afhankelijkheid teweeg brengt bij postoperatieve heup fractuur patiënten. • We onderzoeken daarom het verband tussen MMSE en ADL, 1 dag na de operatie. • Voor elke patiënt hebben we dus twee metingen: . De MMSE score : xi voor de ide patiënt . De ADL score : yi voor de ide patiënt • De gegevens zijn dus koppels (xi , yi )


25

• Een grafische voorstelling van het verband tussen MMSE en ADL kan bekomen worden via een scatterplot van de yi versus de xi. • Statistica menu:


26

• Statistica output:

• De figuur suggereert een negatieve relatie tussen MMSE en ADL Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

27

3.2

De Pearson correlatie co¨ effici¨ ent

Het verband tussen twee veranderlijken wordt vaak samengevat met behulp van de Pearson correlatie coefficiënt:

r =

r

P

− x)(yi − y) r P P 2 2 i (xi − x) i (yi − y) i (xi

waarbij x en y de steekproef gemiddelden van de x-metingen en van de y-metingen zijn: 1 n 1 y = n

x =


X

xi

X

yi

i

i

28

3.3 r=

Eigenschappen en interpretatie r

P

− x)(yi − y) r P P 2 2 (x − x) i i i (yi − y) i (xi

yi

(–,+)

(+,+) • •

y • •

• •

• •

•

•

(–,–)

(+,–) x


•

xi 29

De correlatie coefficiënt meet het LINEAIR verband tussen X en Y , en heeft de volgende eigenschappen: • −1 ≤ r ≤ 1 • r < 0 : negatief lineair verband tussen de xi en de yi • r > 0 : positief lineair verband tussen de xi en de yi • r = −1 : de punten xi en yi liggen perfect op een dalende rechte • r = 1 : de punten xi en yi liggen perfect op een stijgende rechte • r = 0 : er is geen LINEAIR verband tussen de xi en de yi Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

30


31

3.4

Statistische inferentie

• De correlatie coefficient wordt berekend op basis van de observaties (xi , yi), en is een schatter voor de theoretische correlatie ρ in de populatie • In de praktijk wenst men te toetsen of er al dan niet een lineair verband bestaat tussen de variabelen X en Y , m.a.w. of de correlatie ρ significant verschilt van nul. • Formeel wensen we de nulhypothese

H0 : ρ = 0

te testen versus de alternatieve hypothese HA : ρ 6= 0 • De bijhorende toetsingsprocedure veronderstelt dat de variabelen X en Y gezamenlijk normaal verdeeld zijn. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

32

3.5

Statistica + interpretatie

• Statistica menu:


33



34

• Bijhorende scatterplot matrix:


35

• Correlatie tussen MMSE en ADL op dag 1 is r = −0.70 en is significant verschillend van nul (p < 0.0001). • We kunnen dus besluiten dat er een sterk negatief lineair verband is tussen de MMSE en de ADL, 1 dag na de operatie: Hoe lager de cognitieve status van de patiënt, hoe hoger zijn afhankelijkheid.


36

Hoofdstuk 4 Enkelvoudige lineaire regressie

. Inleiding . De kleinste kwadraten methode . Berekeningen met Statistica en interpretatie . Statistische inferentie . Berekeningen met Statistica en interpretatie


37

4.1

Inleiding

• De correlatie coefficiënt r meet het lineair verband tussen twee metingen x en y. Hoe kunnen we dit lineair verband beschrijven ? • Een mogelijke manier zou zijn de rechte te zoeken die ‘het beste aansluit’ bij de geobserveerde waarnemingen:


38

• Een rechte wordt beschreven door een vergelijking van de vorm y = β0 + β1 x

• De parameter β0 is het intercept van de rechte. Het is de waarde voor y die we bekomen voor x = 0 • De parameter β1 is de richtingscoefficiënt (slope). • Indien β1 > 0 :

. Er is een positief verband tussen x en y

. Hoe groter β1, hoe sneller y stijgt als x stijgt • Indien β1 < 0 :

. Er is een negatief verband tussen x en y

. Hoe kleiner β1, hoe sneller y daalt als x stijgt Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

39

• Het komt er in de praktijk op neer de parameters β0 en β1 te schatten op basis van de verzamelde gegevens (xi, yi).


40

4.2

De kleinste kwadraten methode

• Voor het schatten van β0 en β1, moeten we dus eerst bepalen aan welk criterium ‘de beste’ rechte moet voldoen

yi •

.. ....... ....... ........ ....... . . . . . . . ....... ....... ........ ....... ........ . . . . . . ....... ....... ........ ....... ....... . . . . . . . ...... ........ ........ ........ ....... . . . . . . . . ....... ....... ....... ....... ....... . . . . . . ........ ....... ........ ........ ....... . . . . . . ....... ........ ....... ........ ....... . . . . . . ....... ....... ........ ....... ........ . . . . . . ........ ....... ........ ....... ....... . . . . . . . ........ ........

y • i

•

β0

•

•d yi •

y = β0 + β1 x

•

•

•

•

•

0 Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

xi 41

• Indien we β0 en β1 zouden kennen, dan kunnen we voor elke observatie in onze data set, op basis van de x waarde, een voorspelde waarde (predictie) berekenen voor y: yci = β0 + β1xi • De voorspelling zal goed zijn indien yci dicht ligt bij yi en zal slecht zijn indien yci sterk afwijkt van yi • Als de rechte onze gegevens (xi , yi) goed beschrijft, dan verwachten we dat, voor de meeste punten, yci dicht bij de juiste waarde yi zal liggen. • Een mogelijke maat om uit te drukken hoe goed de gekozen rechte is, is Q =

X

[yi − yci]2

=

X

[yi − (β0 + β1xi)]2


i

i

42

• Q is dus een maat voor hoe nauw onze gegevens aansluiten bij de rechte y = β0 + β1 x • Merk op dat andere rechten (andere β0 en β1) zullen leiden tot andere waarden voor Q • De rechte die het best onze gegevens beschrijft is dus die rechte waarvoor Q minimaal is • De kleinste kwadraten methode berekent die waarden voor β0 en β1 waarvoor Q minimaal is • Men kan aantonen dat deze waarden gegeven worden door: c

β1 =

X

i

(xi − x)(yi − y) X

i

(xi − x)2


,

βc0 = y − βc1x 43

• βc0 en βc1 worden de kleinste kwadraten schatters van β0 en β1 genoemd. • De bekomen rechte

y = βc0 + βc1x

wordt de regressie rechte genoemd • Eens we de schatters voor β0 en β1 kennen, kunnen we voor elke observatie in de data set een voorspelling doen van y op basis van x: yci = βc0 + βc1xi • Nu kunnen we ook voor elk data punt (xi , yi ) in onze data set de fout berekenen die we maken als we yi proberen te voorspellen door yci: ei = yi − yci = yi − (βc0 + βc1xi)


44

• De termen ei worden residu’s genoemd:

. ei > 0 : de geobserveerde yi ligt boven de regressie rechte

. ei = 0 : de geobserveerde yi ligt op de regressie rechte . ei < 0 : de geobserveerde yi ligt onder de regressie rechte • Verder kan men aantonen dat

X

i

ei = 0

m.a.w. de punten boven de regressie rechte zijn ‘in evenwicht’ met de punten onder de regressie rechte.


45

4.3


• Binnen Statistica zijn er meerdere modules die toelaten enkelvoudige lineaire regressie uit te voeren. We gebruiken hier de optie ‘Simple regression’ binnen de module ‘Visual General Linear Model’:


46

• Het specifiëren van het model, en bijhorend output scherm:


47

• De output voor de regressie coëfficiënten:

• De Y veranderlijke wordt respons, of ook afhankelijk variabele (dependent) genoemd • De X veranderlijke wordt covariaat, of ook onafhankelijk variabele (independent) genoemd • De parameterschatters zijn βc0 = 23.65 en βc1 = −0.30


48

• De bijhorende regressie rechte is ADL = 23.65 − 0.30 × M M SE • De regressie rechte voorspelt een ADL score van 23.65 als de MMSE gelijk is aan nul. • Verder is er een negatief lineair verband tussen MMSE en ADL: Hoe hoger MMSE hoe lager ADL, en omgekeerd • De regressie rechte voorspelt een daling van 0.30 in ADL, telkens MMSE toeneemt met één eenheid.


49

• Dit moet als volgt ge¨ınterpreteerd worden: . Neem twee groepen patiënten

. Alle patiënten in de eerste groep hebben identieke MMSE (bvb. 20) . Alle patiënten in de tweede groep hebben ook gelijke MMSE waarden, maar 1 eenheid hoger dan die in de eerste groep (dus 21). . Dan verwachten we dat het verschil in gemiddelde ADL score van de twee groepen gelijk is aan 0.30, met de laagste score voor de groep met de hoogste MMSE. • We mogen dus niet besluiten dat een verhoging van MMSE met 1 bij een bepaalde patiënt zal leiden tot een daling van 0.30 in ADL. We mogen dus geen ‘longitudinale’ besluiten trekken uit ons ‘cross-sectioneel’ experiment.


50

• Grafische voorstelling:


51

4.4

4.4.1

Statistische inferentie

Inleiding

• De regressie output bekomen in Statistica was:

• De vermelde p-waarden testen de hypothesen H0 : β0 = 0 versus HA : β0 6= 0


en

H0 : β1 = 0 versus HA : β1 6= 0

52

• Inderdaad, de kleinste kwadraten methode laat ons toe de rechte te berekenen die het best onze observaties (xi , yi) beschrijft. • Echter, voor een andere steekproef uit dezelfde populatie, zouden we een andere regressielijn y = βc0 + βc1x bekomen. • Illustratie: Vestac Java Applet → regression → regression plots


53


54

• Statistische inferentie (p-waarden, betrouwbaarheidsintervallen) probeert op basis van een steekproef, en dus op basis van de bekomen schatters βc0 en βc1, een uitspraak te doen omtrent de regressie rechte y = β0 + β1 x die het lineair verband beschrijft in de totale populatie. • Dit kan echter niet zonder bijkomende assumpties omtrent de verdeling waaruit onze gegevens getrokken werden. • De nodige assumpties worden beschreven door het zogenaamde regressie model


55

4.4.2

Het enkelvoudig lineair regressie model

• In reële situaties zullen de punten (xi , yi ) nooit een perfecte rechte beschrijven, maar eerder een puntenwolk. • Dit betekent dat onze observaties niet kunnen voldoen aan yi = β0 + β1xi

maar dat ze eerder voldoen aan yi = β0 + β1xi + εi waarbij εi uitdrukt hoever de observatie yi boven of onder de regressie rechte ligt. • De termen εi worden fouten (errors) genoemd, en het lineair regressie model veronderstelt dat ze verdeeld zijn volgens een normale verdeling met gemiddelde 0 en een bepaalde (ongekende) variantie σ 2. εi ∼ N (0, σ 2 ) Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

56


57

• Merk op dat de εi de ‘theoretische versie’ zijn van de residu’s ei • Het regressie model veronderstelt dus . . .

. . . . lineariteit: voor elke X, het gemiddelde van de bijhorende Y -waarden op de regressie lijn ligt . . . . normaliteit: voor elke X, de bijhorende Y -waarden symmetrisch liggen rond de regressie lijn . . . . constante variantie: de predictie fouten bij kleine X-waarden niet groter of kleiner zijn dan de fouten bij grote X-waarden


58


59


60


61

4.4.3

Significantietesten voor β0 en β1

• Indien de richtingscoëfficiënt β1 gelijk is aan nul, dan wordt het regressie model beschreven door yi = β0 + εi wat impliceert dat er geen lineair verband is tussen Y en X. • Indien we in de praktijk wensen te testen of er een lineair verband is tussen X en Y dan moeten we dus de nulhypothese testen: H0 : β 1 = 0

versus

HA : β1 6= 0

• De waarde die we in onze steekproef hebben geobserveerd is βc1 = −0.30


62

• Deze waarde zou door toeval kunnen bekomen worden, zelfs indien in de totale populatie β1 = 0 geldt. • Onderzoeksvraag:

Hoe groot is de kans dat we door toeval βc1 = −0.30 observeren, zelfs als β1 = 0 ?

• Illustratie: Vestac Java Applet → regression → histograms of slope and intercept


63


64


65

• Het is duidelijk dat, indien β1 = 0, het zeer onwaarschijnlijk wordt om toch βc1 = −0.30 te observeren. • Merk op dat het even onwaarschijnlijk zou zijn om βc1 = +0.30 te observeren • De kans dat we een schatter zouden vinden waarvoor |βc1| ≥ 0.30 is p < 0.0001. • Gezien deze kans zo klein is, meer specifiek p < α = 0.05 = 5% zullen we besluiten dat wat we geobserveerd hebben (βc1 = −0.30) voldoende indicatie is om te geloven dat β1 6= 0 • We verwerpen dus de nulhypothese en we besluiten dat β1 significant verschilt van 0, op het 5% significantie niveau


66

• Het regressiemodel laat ook toe om, naast hypotheses te toetsen, ook betrouwbaarheidsintervallen te construeren. Een 95% B.I. voor β1 in ons voorbeeld is [−0.378; −0.218]. • Gezien dit interval ver van 0 ligt is dit terug een indicatie voor sterke evidentie dat β1 6= 0 • Analoog kan ook een significantietest opgesteld worden voor het testen van H0 : β 0 = 0

versus

HA : β0 6= 0

• In de praktijk is men meestal primair ge¨ınteresseerd in het toetsen van β1 • Merk op dat alle testen en betrouwbaarheidsintervallen pas correct zijn indien aan de assumpties van het regressie model is voldaan.


67

4.4.4

De ANOVA tabel

• Hoeveel beter kunnen we Y voorspellen als we X kennen ?

yi

yi •

..... ....... ........ ....... ........ . . . . . . ....... ....... ....... ........ ....... . . . . . . . ....... ....... ........ ....... ........ . . . . . . ....... ....... ........ ....... ....... . . . . . . . ....... ....... ........ ....... ........ . . . . . . . ....... ....... ........ ....... ....... . . . . . . . .. ....... ....... ....... ....... ....... . . . . . . ...... ........ ........ ........ ....... . . . . . . . ........ ....... ....... ....... ....... . . . . . . ........ ....... ....... ........ ....... . . . . . . . ........ ........ ....... ........ ....... . . . . . . . ........ ........ ....... ........

ydi •

•

y

•

β0

•

•

y = β0 + β1 x

•

•

•

•

•

0 Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

xi 68

• Indien we geen x-waarden zouden hebben, dan is de best-mogelijke predictie voor elke yi-waarde het gemiddelde y in de steekproef • Een maat voor de fout die we dan maken is de kwadraten som X

i

[yi − y]2

• Merk op dat dit een maat is voor de variabiliteit in de yi • Als we de verzamelde xi-waarden wel gebruiken om de y-metingen te voorspellen, dan voorspellen we elke yi door yci = βc0 + βc1xi • Een maat voor de fout die we dan maken is de kwadraten som X

i


[yi − yci]2 =

X

i

e2i

69

• Omdat het gebruiken van de extra informatie in de xi tot preciezere predicties leidt, hebben we dat X X [yi − y]2 ≥ [yi − yci]2 i

• Men kan aantonen dat

X |

i

i

[yi − y]2 = {z

↓ SST O


}

X |

i

[yi − yci]2 + {z

↓ SSE

}

X |

i

[yci − y]2 {z

↓

}

SSR

70

• SSTO : Totale kwadraten som Deze term drukt de totale fout uit die we maken als we de yi voorspellen zonder rekening te houden met de observaties xi • SSE : Kwadraten som van de fouten Deze term drukt de totale fout uit die we maken als we de yi voorspellen met behulp van de observaties xi • SSR : Kwadraten som van de regressie Deze term drukt uit hoeveel kleiner de fout is die we maken als we de xi gebruiken om de yi te voorspellen, dan als we de xi niet zouden gebruiken.


71

• Een maat voor hoe goed onze data punten (xi, yi) aansluiten bij de regressie lijn is SSR R2 = SST O • R2 heeft de volgende eigenschappen: . 0 ≤ R2 ≤ 1

. R2 = 0 impliceert dat SSR = 0 en dus dat alle yci gelijk zijn aan y, m.a.w. de regressielijn is vlak. Dit is equivalent met βc1 = 0

. R2 = 1 impliceert dat SSE = 0. Dit impliceert dat yi = yci voor alle i, en dus dat alle punten (xi, yi) op de regressie rechte liggen. • Men zegt dat R2 uitdrukt ‘welke fractie van de variabiliteit in de yi verklaard kan worden door de xi’ • Men kan aantonen dat R2 gelijk is aan r2 , het kwadraat van de correlatie tussen de xi en yi waarden. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

72

4.4.5


• Statistica output voor ANOVA tabel, met SSR en SSE:

• ‘R-square’ : R2 = 0.4940, de regressie kan dus ongeveer 50% van de totale variabiliteit in de yi waarden verklaren: R2 =

SSR 351.23 = = 0.4940 SST O 351.23 + 359.76

• De Pearson correlatie, eerder gevonden was gelijk aan: r=− Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

√

R2

√

= − 0.4940 = −0.70 73

Hoofdstuk 5 Model diagnose

. Voorbeeld . Lineariteit . Constante variantie van de fouten . Normaliteit van de fouten


74

5.1

Voorbeeld

• We wensen na te gaan of de afhankelijkheid (ADL) van een patiënt één dag na de operatie kan gebruikt worden om de opnameduur van de patiënt te voorspellen:


75

• Er lijkt een lichte stijging te zijn van de opnameduur, als functie van de ADL score. Is dit verband significant ? • We fitten daarom het volgende regressie model: Opnameduur = β0 + β1ADL + εi • Statistica output:


76

• De parameter schatters zijn: . βc0 = 9.37

. βc1 = 0.29, p-waarde : 0.1173

• De geschatte regressie rechte is dus Opnameduur = 9.37 + 0.29ADL • Merk op dat er dus geen significant verband is tussen de opnameduur en de ADL score 1 dag na de operatie. • Verder volgt uit R2 = 0.0432 dat ADL slechts 4% van de totale variabiliteit in de opnameduur verklaart.


77

5.2

Model assumpties

• De bekomen statistische inferenties voor de regressie parameters zijn slechts geldig als de model assumpties voldaan zijn, m.a.w. als yi = β0 + β1xi + εi,


εi ∼ N (0, σ 2)

78

• Dit impliceert dat . . . • Het regressie model veronderstelt dus . . .

. . . . lineariteit: voor elke X, het gemiddelde van de bijhorende Y -waarden op de regressie lijn ligt . . . . normaliteit: voor elke X, de bijhorende Y -waarden symmetrisch liggen rond de regressie lijn . . . . constante variantie: de predictie fouten bij kleine X-waarden niet groter of kleiner zijn dan de fouten bij grote X-waarden

• Hoe kunnen we deze assumpties controleren ?


79

5.3

De veronderstelling van lineariteit


80

• Om het effect van niet-lineariteit te illustreren beschouwen we het volgende fictieve voorbeeld:


81

• Er is een duidelijk positief verband tussen de xi en de yi, maar de relatie tussen de xi en de yi lijkt niet helemaal lineair te zijn. • Wat als we hier toch regressie toepassen ? • Statistica output:


82

• R2 = 0.85 : X verklaart 85% van de geobserveerde variabiliteit in Y • De regressie rechte wordt gegeven door Y = 1.19 + 2.06X • De richtingscoëfficiënt β1 is significant verschillend van nul (p < 0.001) • De geobserveerde punten liggen allen dicht bij de geschatte regressie rechte (wat de hoge R2 verklaart), maar de rechte beschrijft de relatie tussen de xi en yi slecht: . Overschatting van de yi voor kleine en grote xi . Onderschatting van de yi in het midden


83

• De figuur suggereert dat niet-lineariteit ontdekt kan worden door de residu’s ei = yi − yci = yi − (βc0 + βc1xi)

te bestuderen, en te plotten als functie van x. • In Statistica gebeurt dit als volgt:


84

• Bijhorende Statistica output:


85

• Indien de veronderstelling van lineariteit voldaan zou zijn dan zou, voor elke waarde van X, de bijhorende waarden van Y symmetrisch rond de regressie lijn moeten liggen. De residu’s ei zouden dan dus symmetrisch rond nul moeten liggen, voor alle mogelijke waarden van X. • Dit is duidelijk niet voldaan in bovenstaand voorbeeld. • Merk op dat de residu’s eigenlijk suggereren dat de relatie tussen de yi en de xi eerder een kwadratische functie is. We komen hier later op terug in het onderdeel over polynomiale regressie. • Vaak kan de covariaat X getransformeerd worden zodat de yi als functie van de getransformeerde xi wel lineair verondersteld kunnen worden. • Frequent gebruikte transformaties zijn ln(X),


√

X, 1/X, exp(X), ln(X + 1),. . .

86

• Voor ons fictief voorbeeld, proberen we een logaritmische transformatie van de geobserveerde xi: xi −→ ln(xi ) • Statistica menu voor de aanmaak van de getransformeerde veranderlijke:


87

• Output van de regressie procedure:


88

• Bijhorende grafiek:


89

• Residu plot:


90

• R2 = 0.92 : ons model is dus verbeterd aangezien we nu nog meer van de variabiliteit in de y-waarden kunnen verklaren aan de hand van de x-waarden. • De geschatte regressie rechte is nu Y = 2.95 + 0.80 ln(X) • De transformatie bemoeilijkt dus de interpretatie van de regressie coëfficiënten. Zo is 0.80 de geschatte gemiddelde toename van Y als ln(X) toeneemt met 1 eenheid. • Anderzijds is de transformatie nodig om de veronderstelling van lineariteit meer realistisch te maken, waardoor onze statistische inferentie met betrekking tot β0 en β1 verbetert.


91

5.4

Voorbeeld : Opnameduur versus ADL

• We controleren nu of de assumptie van lineariteit voldaan is voor het regressie model dat we gebruikt hebben om de opnameduur te voorspellen a.d.v. de ADL score 1 dag na de operatie. • De residu plot vertoont geen aanwijzingen van enige systematiek in de residu’s:


92

5.5

De veronderstelling van constante variantie


93

• Ter illustratie bestuderen we het verband tussen de diastolische bloeddruk en leeftijd, op basis van gegevens van 54 gezonde volwassen vrouwen, die tussen 20 en 60 jaar oud zijn:


94

• We voeren een regressie uit van de bloeddruk op de leeftijd:

• De regressie verklaart meer dan 40% van de variabiliteit in de bloeddruk metingen (R2 = 0.4077); er is een significant (p < 0.0001) lineair verband tussen leeftijd en bloeddruk; de geschatte regressie lijn is: Bloeddruk = 56.16 + 0.58 × Leeftijd Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

95

• Aangezien de residu’s ei = yi − yci ge¨ınterpreteerd kunnen worden als schattingen voor de theoretische fouten εi, kunnen we de assumptie van constante variantie voor de εi nakijken via een scatterplot van de residu’s:

• De residu’s zijn ‘evenwichtig’ verspreid rond nul, wat er dus op wijst dat de lineariteit voldaan is Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

96

• Anderzijds suggereert de residu plot dat de variantie van de εi toeneemt met de leeftijd. • Het niet-voldaan zijn van deze assumptie zal leiden tot niet-optimale inferentie omtrent de parameters β0 en β1: . De geschatte regressie lijn is wel nog correct . De parameters β0 en β1 worden minder nauwkeurig geschat. Dit leidt tot grotere p-waarden en dus mogelijks tot het niet ontdekken van een aanwezig lineair verband tussen X en Y • Een optimale analyse wordt bekomen door een gewogen kleinste kwadraten analyse uit te voeren. • Anderzijds gaat niet-constante variantie vaak gepaard met niet-normaliteit, en impliceert het oplossen van de niet-normaliteit ook dat de niet-constante variantie opgelost is. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

97

5.6


• Om de controleren of de assumptie van constante residuele variantie ook voldaan is voor het regressie model dat we gebruikt hebben om de opnameduur te voorspellen aan de hand van de ADL score 1 dag na de operatie, bekijken we dus terug de scatterplot van de residu’s die we reeds gemaakt hebben om de lineariteit na te kijken:


98

• Op de buitenliggende waarde (outlier) in het midden na, zijn er geen systematische trends in de variabiliteit van de residu’s. • We mogen dus aannemen dat de gemaakte veronderstelling van constante residuele variantie voldaan is.


99

5.7

De veronderstelling van normaliteit


100

• Gezien de residu’s ei = yi − yci schatters zijn voor de theoretische fouten εi , ligt het dus voor de hand de assumptie van normaliteit na te gaan met behulp van de residu’s. • In de praktijk gebruikt men hiervoor de combinatie van 2 technieken: . Grafisch: een histogram van de residu’s . Een formele test voor normaliteit • Beide technieken worden ge¨ıllustreerd aan de hand van de bloeddruk gegevens bij 54 vrouwen.


101

5.7.1

Een histogram van de residu’s

• Een eenvoudige grafische manier om de verdeling van de residu’s te bekijken is een histogram, samen met de normale verdeling die het best aansluit bij het histogram:


102

• Uit het histogram volgt:

. Er is geen evidentie van asymmetrie in de verdeling van de residu’s

. De verdeling lijkt niet veel af te wijken van een normale verdeling • We besluiten dat er geen grafische evidentie is voor niet-normaliteit van de fouten εi


103

5.7.2

De normaliteitstest

• Statistica laat ook toe een formele test voor normaliteit uit te voeren • Men test dan de nulhypothese H0 : de gegevens zijn normaal verdeeld versus de alternatieve hypothese HA : de gegevens zijn niet normaal verdeeld • Verschillende testprocedures zijn mogelijk, allen resulterend in een p-waarde die ons dan toelaat de nulhypothese te aanvaarden of te verwerpen


104

• In Statistica, moeten in de module ‘Visual GLM’ de residu’s weggeschreven worden, om nadien de normaliteitstesten te kunnen uitvoeren in de module ‘Basic Statistics and Tables’:


105

• Statistica menu voor de normaliteitstesten:


106



107

• We krijgen dus terug een histogram met normale benadering, maar ook de resultaten van 3 toetsprocedures voor normaliteit: Shapiro-Wilk, Kolmogorov-Smirnov, en Lilliefor. De eerste twee zijn de meest gebruikte. • Op basis van elk van de 3 procedures wordt de nulhypothese van normaliteit aanvaard. We besluiten dus dat de residu’s ei en dus ook de fouten εi normaal verdeeld zijn.


108

5.7.3

Histogram ←→ normaliteitstest

• Het histogram is een exploratieve techniek om de verdeling van de residu’s te bestuderen • De normaliteitstest is een formele test die ons toelaat te beslissen of de veronderstelling van normaliteit aanvaardbaar is • In (zeer) grote steekproeven is het verwerpen van normaliteit op basis van een statistische toetsingsprocedure zeer waarschijnlijk: De allerkleinste afwijking van normaliteit zal dan ontdekt worden. • Men stelt vast dat kleine afwijkingen van normaliteit toch nog zullen leiden tot correcte resultaten, zolang de verdeling van de fouten nog symmetrisch is. • Als de niet-normaliteit dus niet te wijten is aan asymmetrie, dan zullen de bekomen resultaten toch nog betrouwbaar zijn. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

109

5.8


• We beschouwen terug de regressie van de opnameduur bij heup fractuur patiënten op hun ADL score 1 dag na de operatie


110

• De residu’s zijn dus duidelijke niet normaal verdeeld • Uit het histogram blijkt dat de niet-normaliteit te wijten is aan asymmetrie • In geval van niet-normaliteit te wijten aan asymmetrie kan men soms de y waarden transformeren zodat de residu’s in het nieuwe regressie model wel normaal verdeeld zijn √ • Frequent gebruikte transformaties zijn ln(Y ), Y , 1/Y , exp(Y ), ln(Y + 1), . . . • In ons voorbeeld zullen we de gegevens (de y-waarden) zó moeten transformeren dat de grote residu’s dichter bij het overgrote deel van de residu’s komen te liggen. • Een mogelijke transformatie is Opnameduur −→ ln(Opnameduur) Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

111

• Merk op dat alle geobserveerde waarden van de opnameduur strikt positief zijn, zodat bovenstaande transformatie mogelijk is. • Vooraleer de regressie ouput te interpreteren kijken we na of de verdeling van de nieuwe residu’s nu beter benaderd kan worden door een normale verdeling:


112

• We kunnen dus besluiten dat de fouten in het nieuwe regressie model normaal verdeeld zijn. • Nieuwe regressie output:


113

• Het regressie model is licht verbeterd aangezien de R2 gestegen is van 0.0432 naar 0.0670 • De regressie rechte is: ln(Opnameduur) = 2.23 + 0.02 × ADL • Nu vinden we wel een significant verband: p = 0.0497 tegenover p = 0.1173 voor de transformatie • Merk op dat het gevonden verband nu niet meer lineair is • Dit voorbeeld toont de nood aan de normaliteit van de fouten na te gaan, gezien eventuele niet-normaliteit de resultaten sterk kan verstoren


114

• Het transformeren van de y-waarden kan de lineariteit terug verstoren, en/of een niet-constante variantie voor de fouten εi veroorzaken . Daarom is het nuttig na transformatie van de y-waarden terug een scatterplot van de residu’s te maken:

• Lineariteit en constante variabiliteit blijven voldaan Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

115

5.9

Algemeen besluit

• Een regressie uitvoeren is gemakkelijk • Een regressie model evalueren is moeilijk


116

Hoofdstuk 6 Invloedrijke observaties

. Voorbeeld . Cook’s afstand . Toepassing . Wat met invloedrijke observaties ?


117

6.1

Voorbeeld

• We bekijken terug de regressie van ln(Opnameduur) op de ADL score op de eerste dag na de operatie:


118

• Patiënt #20 heeft een ADL score van 17, en is 36 dagen opgenomen, wat uitzonderlijk lang is in vergelijking met de andere patiënten. • Voor subject #20 is het residu ei = yi − yci dus zeer groot. • Gezien de parameters β0 en β1 geschat worden via de kleinste kwadraten methode, kunnen we ons de vraag stellen hoe sterk onze resultaten βc0 en βc1 door dit individu be¨ınvloed zijn. • Een subject heeft grote invloed op de resultaten als het weglaten van dit subject leidt tot sterk verschillende resultaten. • Invloedrijke observaties bemoeilijken de interpretatie van de resultaten omdat de conclusies sterk steefproef gebonden zijn: Een andere steekproef zou waarschijnlijk tot andere resultaten geleid hebben.


119

• Om de invloedrijkheid van een subject na te gaan kunnen we dus βc0 en βc1 vergelijken met en zonder het subject. • Om de methode te illustreren nemen we subject #20, en we gaan na wat het effect is als we deze patiënt weglaten, alsmede wat het effect geweest zou zijn indien dit subject niet een ‘gemiddelde’ ADL score gehad zou hebben, maar eerder een zeer grote (24) of zeer lage (10, 5, 0) ADL.


120

• Resultaat voor ADL= 17:


121



122



123



124



125

• Samenvatting van de regressieresultaten: Met subject #20 ADL Parameter 17

24

10

5

0

Zonder subject #20

Schatter (p-waarde) Schatter (p-waarde)

Intercept (β0 )

2.233 (<0.001)

2.191 (<0.001)

Richtingscoëfficiënt (β1)

0.022 (0.0497)

0.024 (0.0219)

Intercept (β0 )

2.088 (<0.001)

2.191 (<0.001)


0.030 (0.0056)

0.024 (0.0219)

Intercept (β0 )

2.420 (<0.001)

2.191 (<0.001)


0.012 (0.2801)

0.024 (0.0219)

Intercept (β0 )

2.541 (<0.001)

2.191 (<0.001)


0.005 (0.6246)

0.024 (0.0219)

Intercept (β0 )

2.636 (<0.001)

2.191 (<0.001)

-0.0003 (0.9764)

0.024 (0.0219)

Richtingscoëfficiënt (β1) Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

126

• In het algemeen geldt dat een subject invloedrijk zal zijn als de volgende 2 voorwaarden voldaan zijn: . Het subject is een buitenliggende waarde (outlier), d.w.z. dat de waarde yi uitzonderlijk groot of klein is volgens zijn xi waarde . Het subject ligt aan de buitenkant van de X-ruimte, in ons voorbeeld betekent dit een kleine of grote ADL score 1 dag na de operatie.


127

6.2

Cook’s afstand

• Het detecteren van invloedrijke observaties vereist dus de volgende stappen: . Voer de regressie uit voor alle observaties

. Stap 1 : laat eerste observatie weg en vergelijk de nieuwe resultaten met die op basis van de volledige data set . Stap 2 : laat tweede observatie weg en vergelijk de nieuwe resultaten met die op basis van de volledige data set . Stap 3 : laat derde observatie weg en vergelijk de nieuwe resultaten met die op basis van de volledige data set . ... . Stap n : laat laatste observatie weg en vergelijk de nieuwe resultaten met die op basis van de volledige data set


128

• In elke stap moeten we dus de resultaten zonder een bepaalde observatie vergelijken met de resultaten op basis van alle gegevens. • Dit kan gebeuren met Cook’s afstand die de ‘afstand’ meet tussen de resultaten met en zonder een observatie. • Cook’s afstand voor de ide observatie noteren we met Di • Invloedrijke observaties komen overeen met grote Di • Weinig-invloedrijke observaties komen overeen met kleine Di


129

6.3

Toepassing

• We passen dit nu toe voor de regressie van ln(Opnameduur) op de ADL score van de eerste dag na de operatie. • In Statistica gebeurt dit via de uitgebreide (‘Extended’) lijst van residu’s en voorspelde waarden.


130

• Statistica menu en deel van output:


131

• Merk op dat D20 relatief groot is • Vooral bij grote datasets kan een indexplot van Cook’s afstanden uiterst nuttig zijn, eventueel na expliciete aanmaak van een variabele met observatienummers:


132



133

• Naast subject #20 vinden we dat ook subject #45 een relatief grote Di heeft. • Het is dan ook nuttig onze analyse te herhalen zonder elk van deze observaties • De analyse herhalen zonder observatie #45 kan als volgt:


134

• De resultaten met alle observaties, zonder observatie #20, en zonder observatie #45, respectievelijk, zijn:


135

6.4

Wat met invloedrijke observaties ?

• Leidt het weglaten van invloedrijke observaties tot kwalitatief andere resultaten ? • Zijn de gegevens voor de invloedrijke observaties wel correct ? . Data-entry fouten

. Omwisselen van dossiers . ... • Voldoen de invloedrijke observaties aan de in- en exclusie criteria van de studie ? . Zijn het wel heup-fractuur patiënten ?

. Hebben ze niet een bijkomende complicatie/ziekte die hun invloedrijk gedrag kan verklaren ? . ... Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

136

• Indien er geen objectieve criteria zijn moeten de invloedrijke observaties in de analyse gehouden worden • Eventueel kan men het kleinste kwadraten criterium vervangen door een ander criterium dat minder gevoelig is voor individuele observaties. =⇒ Robuste regressie technieken


137

Hoofdstuk 7 De ongepaarde t-test

. Voorbeeld . De ongepaarde t-test . Berekeningen in Statistica . Variabiliteit binnen versus tussen groepen


138

7.1

Voorbeeld

• We bestuderen de relatie tussen de ADL score, 1 dag na de operatie, en de pre-operatieve neuropsychiatrische toestand van de patiënt, d.w.z. we willen de gemiddelde ADL score vergelijken tussen neuro en niet-neuro patiënten. • Gemiddelden en standaard deviaties kunnen in Statistica als volgt berekend en grafisch weergegeven worden: kunnen tekstwaarden toegevoegd worden aan, bvb. de . Via de toets veranderlijke Neuro:


139

. Beschrijvende statistiek binnen elke groep afzonderlijk:


140

. Grafische voorstelling per groep afzonderlijk:


141

• Bekomen resultaten:


142

• We merken dus dat, gemiddeld gezien, de neuro patiënten een hogere ADL score hebben en dus meer afhankelijk zijn. • Hoe kunnen we testen of dit verschil aan toeval kan toegeschreven worden, m.a.w. in hoeverre is dit verschil significant ? • Immers, zelfs al zou er geen verschil zijn tussen beide neurogroepen (in de populatie), dan zouden we toch door puur toeval verschillen kunnen observeren in onze steekproef • Illustratie: Vestac Java Applet → Anova → Anova plot


143


144


145

7.2

De ongepaarde t-test

• We hebben dus twee onafhankelijke groepen van patiënten, en dus ook twee sets van ADL metingen: . y11 , y12 , y13 , . . . , y1n1 de metingen in de eerste groep . y21 , y22 , y23 , . . . , y2n2 de metingen in de tweede groep • Beide groepen hebben niet noodzakelijk evenveel observaties: n1 en n2 • De ongepaarde t-test veronderstelt dat de metingen in beide groepen normaal verdeeld zijn met gelijke spreiding, maar eventueel verschillend gemiddelde: Y1j ∼ N (µ1, σ 2) Y2j ∼ N (µ2, σ 2) Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

146

• Grafisch: Niet neurotisch

Neurotisch

....................... ....................... .... ...... ...... .... .... ..... ..... .... ... ... ... .... ... .... .... .... . . . . . . ... ... .. .. . . ... . . . ... . ... . ... . . . ... . ... .. . . . ... ... . .. . . . . ... ... .. .. . . . ... ... . . . . ... . . ... . .. . ... . . .. .. .. ... . . . ... .. .. ... . . . .. ...... ... . . .. .. .. ... . . .. . ... .. . ... . . ... .. .. ... . . ... ... .. .. . . ... ... .. .. . . ... ... . .. . . . . ... ... .. ... . . ... ... . . . . . ... . . ... .. .. ... . . . . . ... ... .. .. . . . . . ... ... .. .. ... . . . . . . ... .... .. .. . . . . . . .... .... .. .. . . . .... . . . .... ... ... . .... . . . . . . ..... .. .... .. . . . . . . . . .... ..... .. .. . . . ..... . . . . . . . . ...... ....... ... ... . . . . . . . . . . . . . . . ......... . . . ......... .... .... . . . . . . . . . . ............ . . . . . . . . . . . . . . . ................ ...... ...... ..................... ........... ..................... .....................

µ1

µ2 ADL

• De nulhypothese die we willen testen is H0 : µ 1 = µ 2 versus de alternatieve hypothese HA : µ1 6= µ2 Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

147

• De toetsstatistiek die hiervoor gebruikt wordt is T =

y 2· − y 1· s sp n11 + n12

waarbij y 1· en y 2· de geobserveerde gemiddelden zijn in de eerste en tweede groep respectievelijk: 1 nX1 1 nX2 y 1· = y1i y 2· = y2i n1 i=1 n2 i=1 en waarbij s2p de ‘gepoolde’ steekproef variantie is, een schatting voor de gemeenschappelijke variantie σ 2: s2p

(n1 − 1)s21 + (n2 − 1)S22 = n1 + n2 − 2

en dit is dus een gewogen gemiddelde van de steekproef varianties in beide groepen afzonderlijk. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

148

• Merk op dat de toetsstatistiek T een maat is voor hoever de geobserveerde steekproeven uit elkaar liggen. • In ons voorbeeld is de T -waarde gelijk aan: T =

s

20 − 17.15

(40−1)11.51 + (20−1)9.37 40+20−2

s

1 40

+

1 20

= 3.16

• Onder de nulhypothese, dus als µ1 = µ2 , verwachten we dat T klein is. • We wensen dus te weten in hoeverre we T = 3.16 kunnen bekomen door puur toeval.


149

• We berekenen de kans dat T = 3.16, in het geval de twee populaties werkelijk gelijk zijn, m.a.w., als µ1 = µ2 • Illustratie: Vestac Java Applet → Tests → Two sample hypothesis test


150


151


152

• Het is duidelijk dat, indien er geen verschil is tussen de beide populaties, het zeer onwaarschijnlijk is om T = 3.16 of T = −3.16 te observeren. • De kans om door puur toeval |T | ≥ 3.16 te observeren is p = 0.002. • Gezien deze kans zo klein is, meer specifiek p < α = 0.05 = 5% zullen we besluiten dat wat we geobserveerd hebben (T = 3.16) voldoende indicatie is om te geloven dat µ1 6= µ2 • We verwerpen dus de nulhypothese en we besluiten dat µ1 en µ2 significant verschillend zijn, op het 5% significantie niveau • We verwerpen dus de nulhypothese dat de gemiddelde ADL gelijk is voor de neuro patiënten als voor de niet-neuro patiënten.


153

• Merk op dat de berekening van de p-waarde gebruik maakt van de gemaakte veronderstellingen: . Normaliteit binnen beide groepen . Gelijke variantie voor beide groepen • Het nakijken van deze assumpties gebeurt op dezelfde manier als bij 1-weg ANOVA, en wordt daarom hier niet verder besproken.


154

7.3

Berekeningen in Statistica

• De ongepaarde t-test kan als volgt uitgevoerd worden in Statistica:


155

• Resultaten:

• De ongepaarde t-test veronderstelt dat de variantie dezelfde is in beide groepen. Deze assumptie wordt automatisch getest. Indien de hypothese van gelijke varianties verworpen zou worden kan er een aangepaste, gecorrigeerde, t-test worden uitgevoerd. • De hypothese van gelijke varianties is aanvaard (p = 0.642)


156

7.4

Variabiliteit binnen versus tussen de groepen

• De ongepaarde t-test verwerpt H0 als |T | groot is, wat equivalent is met 2 (y − y ) T 2 = 2 2· 1 1·1 ! s p n1 + n2

groot. • De teller van T 2 meet hoever de groepsgemiddelden uiteen liggen, en is dus een maat voor de variabiliteit tussen de groepen. • De noemer van T 2 bevat s2p, wat een schatter is voor σ 2 , en dus eigenlijk een maat is voor de variabiliteit binnenin de groepen. • De ongepaarde t-test verwerpt dus de nulhypothese als de variabiliteit tussen de groepen groot is in vergelijking met de variabiliteit binnen de groepen Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

157

• Dit principe wordt in ANOVA toegepast om meer dan 2 groepen met elkaar te vergelijken. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

158

Hoofdstuk 8 1-weg ANOVA

. Voorbeeld . Paarsgewijze t-testen . 1-weg ANOVA . Berekeningen in Statistica . Model diagnose . Invloedrijke observaties


159

8.1

Voorbeeld

• Omdat we vermoeden dat de ADL score na de operatie niet alleen be¨ınvloed is door de operatie en factoren verbonden aan de operatie, maar bvb. ook door hoe afhankelijk de patiënt was voor de operatie, bestuderen we de relatie tussen de ADL score en de woonsituatie van de patiënt voor de operatie. • We onderscheiden de volgende klassen: . Alleen

. Met partner / familie / klooster . RH (Rust-Huis) / RVT (Rust- en Verzorgings-Tehuis) . Andere


160

• Beschrijvende statistiek en grafische exploratie:


161

• De vierde groep bevat slechts 1 subject, en zal daarom vanaf nu niet meer in de analyses opgenomen worden. • Uit de figuur blijkt dat de gemiddelde ADL score bij RH/RVT patiënten hoger lijkt te zijn dan bij de andere twee groepen. Is dit verschil significant ? • Zelfs als de drie groepen in de populatie gelijk zijn, dan zouden we toch door puur toeval verschillen kunnen observeren in onze steekproef. • Hoe groot is de kans dat we dan dergelijk grote verschillen zouden observeren ? • Illustratie: Vestac Java Applet → Anova → Anova plot


162


163


164

8.2

Paarsgewijze t-testen

• Naar analogie met de ongepaarde t-toets veronderstellen we nu dat we r verschillende sets van metingen hebben (in voorbeeld is r = 3): . y11 , y12 , y13 , . . . , y1n1 de metingen in de eerste groep . y21 , y22 , y23 , . . . , y2n2 de metingen in de tweede groep . ... . yr1 , yr2, yr3, . . . , yrnr de metingen in de rde groep • Verder veronderstellen we dat de metingen uit de volgende verdelingen getrokken zijn: Y1j ∼ N (µ1, σ 2),

Y2j ∼ N (µ2, σ 2),


...

Yrj ∼ N (µr , σ 2 )

165

• De nulhypothese die we willen testen is H0 : µ 1 = µ 2 = . . . = µ r versus de alternatieve hypothese HA : niet alle µi gelijk


166

• Indien de bovenstaande nulhypothese niet voldaan is, moeten er minstens twee gemiddelden µi verschillend zijn. We kunnen dus in principe paarsgewijze ongepaarde t-toetsen gebruiken. Voor r = 3 zou dit betekenen dat we de volgende hypothesen testen: H0 : µ 1 = µ 2 H0 : µ 1 = µ 3 H0 : µ 2 = µ 3 • Voor ons voorbeeld bekomen we de volgende p-waarden: Alleen Partner/familie/klooster RH/RVT Alleen

—

Partner/familie/klooster 0.8763 RH/RVT 0.0013


0.8763

0.0013

—

<0.0001

<0.0001

—

167

• We vinden dus alleen een significant verschil van de RH/RVT patiënten enerzijds t.o.v. de twee andere groepen anderzijds • Merk op dat we voor elke uitgevoerde test, een kans van 5% hebben op een type-I fout (H0 ten onrechte verwerpen). • Men kan aantonen dat voor ons voorbeeld geldt dat de totale kans op een type-I fout voldoet aan: P (H0 verwerpen | H0) = P (minstens 1 significantie | µ1 = µ2 = µ3) ≤ 3 × 5% = 15% zodat de kans op een type-I fout groter kan zijn dan de vereiste 5%.


168

• In het algemeen geldt dat, bij het uitvoeren van k testen, de totale kans op een type-I fout kan oplopen tot k × α, en dus zeer groot kan worden als het aantal testen groot is. • Daarom is het nodig een toetsingsprocedure te hebben die ons toelaat de nulhypothese H0 : µ 1 = µ 2 = . . . = µ r te testen zonder alle paarsgewijze t-toetsen te moeten uitvoeren. =⇒


ANOVA

169

8.3

1-weg ANOVA

• ANOVA (Analysis of variance) is een uitbreiding van de ongepaarde t-test naar het vergelijken van meer dan 2 groepen • Net als bij de t-test zal de toetsingsprocedure de variabiliteit tussen de groepen vergelijken met de variabiliteit binnen de groepen • Volgende vergelijking staat daarbij centraal: ni r X X

i=1 j=1 |

2

[yij − y ··] = {z

↓

SST O


}

ni r X X

[yij − yi·] +

i=1 j=1 |

2

{z

↓

SSbinnen

}

r X

i=1 |

ni[y i· − y ··]2 {z

↓

}

SStussen

170

Groep 1

Groep i

Groep r

........ ........... ................ ..... ......... ..... ....... ..... ... .... ... ... .... ... ... ... ... ... ... ... ... .. ... ... .. .. . . . . . .. ... ... .. .. .. ... .. .. .. .. .. . . . . .. ... .. . . .. . . . . . . .. .. .. . .. .. .. ... ... . . .. .. .. . . ... . . .. .. .. . .. . . .. ... .. . . .. . .. .. . .. . . . . . .. .. .. . . . .. ... . . .. .. .. .. .. .... . ... . .. . .. .. .. . . .. ... . .. .. .. .. .. ... . ... . .. .. .. .. .. ... ....... . .. .. . . .. .. . . . . .. .. .. ... .. ... . . . .. .. .. . .. ... .. . . . . .. . .. .. .. .. . . . . . .. .. .. . .. .. ... ... . .. . .. . . .. . . . . . .. .. .. . .. .. . . .. . . . . .. .. . .. .. .. . . . . . . .. .. . .. . .. . . . ... . . . .. .. . .. . . . ... . . . . .. .. . .. .. . .. . . . . ... .. . . .. .. . . . . . . . ... ... ... . . .. . . . . . . ... ... .. . .. .. . ... . . . . ... ... . . . . . . ... . . . . . . ... ... .. .. . ... . . . . . . ... ... .. ... .. ... . . . . . . . .... .... ... . . .. . . . ... . . . . . .... .... .. ... ... ....... . . . . . . . . . . . .... .... . .... .. .. . . . . . ..... . . . . . . . ..... ..... .. ... . ....... .... . . . . . . . . . . . . . . . . . . . . . . . . . ......... .......... .......... .... .... .... . . . . . . . . . . . . . . . . . . . . . . . . . . ............. . . . . . . . . . . . . . . . . . . . ................ ......... ........ ........

y1j

y 1·

y1j − y 1·

y i· y ··

y r·

y 1· − y ··

y1j − y ··

. y ·· : globaal gemiddelde (alle groepen samen) . y i· : gemiddelde in de ide groep . yij : jde meting in de ide groep Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

171

• SSTO : Totale kwadraten som Deze term drukt de totale variabiliteit in de gegevens uit • SSbinnen : Kwadraten som binnen de groepen Deze term drukt de variabiliteit binnen de groepen uit • SStussen : Kwadraten som tussen de groepen Deze term drukt de variabiliteit tussen de groepen uit • Bij ANOVA wordt de nulhypothese verworpen als

SStussen/(r − 1) F = SSbinnen/(N − r)

groot is. N is hier de totale steekproef grootte, N = Pi ni


172

• Merk op dat F een ratio is van variabiliteit tussen de groepen over variabiliteit binnen de groepen, wat volledig analoog is als bij de ongepaarde t-test. Vandaar de term ANOVA • In ons voorbeeld is F = 8.59 • Onder de nulhypothese verwachten we dat F klein is. • We wensen dus te weten in hoeverre we F = 8.59 kunnen bekomen door puur toeval. • We berekenen de kans dat F = 8.59, in het geval alle populaties werkelijk gelijk zijn, m.a.w., als µ1 = µ2 = µ3. • Illustratie: Vestac Java Applet → Anova → Histograms of MSR, MSE, F Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

173


174


175

• Het is duidelijk dat, indien er geen verschil is tussen de drie populaties, het zeer onwaarschijnlijk is om F = 8.59 te observeren. • De kans om door puur toeval F ≥ 8.59 te observeren is p = 0.0006. • Gezien deze kans zo klein is, meer specifiek p < α = 0.05 = 5% zullen we besluiten dat wat we geobserveerd hebben (F = 8.59) voldoende indicatie is om te geloven dat µ1, µ2, en µ3 niet gelijk zijn. • We verwerpen dus de nulhypothese en we besluiten dat de drie groepen significant verschillend zijn, op het 5% significantie niveau


176

• Merk op dat de berekening van de p-waarde gebruik maakt van de gemaakte veronderstellingen: . Normaliteit binnen alle groepen . Gelijke variantie voor alle groepen • Net zoals bij lineaire regressie zullen deze assumpties moeten nagekeken worden (zie later).


177

8.4



. Selecteren van de 1-weg ANOVA module:


178

. Specifiëren van het model, en het weglaten van de vierde groep (‘Select cases’):


179

• Statistica output scherm, en tabel met globale F -test:


180

• De ‘SS MODEL’ is de SStussen. In de F statistiek moet SStussen gedeeld worden door r − 1 = 3 − 1. Dit getal wordt het aantal vrijheidsgraden voor SStussen genoemd (df=degrees of freedom). • De ‘SS Residual’ is de SSbinnen. In de F statistiek moet SSbinnen gedeeld worden door N − r = 54 − 3. Dit getal wordt het aantal vrijheidsgraden voor SSbinnen genoemd. • De F statistiek is

SStussen/(r − 1) 168.60/2 F = = = 8.59 SSbinnen/(N − r) 500.23/51

• De bijhorende p-waarde is p = 0.0006 wat dus duidt op zeer significante verschillen tussen de drie groepen, wat betreft gemiddelde ADL op dag 1.


181

• Net als bij regressie kan men een statistiek berekenen die aangeeft welk gedeelte van de totale variabiliteit in de ADL scores kan verklaard worden door de verschillen in woonsituatie (= variabiliteit tussen de groepen): SStussen 168.60 R = = = 0.252 SST O 168.60 + 500.23 2


182

8.5

Model diagnose

• Bij ANOVA veronderstelt men impliciet dat de gegevens getrokken zijn uit de volgende populaties: Y1j ∼ N (µ1, σ 2),

Y2j ∼ N (µ2, σ 2),

...

Yrj ∼ N (µr , σ 2 )

• We veronderstellen dus . . .

. . . . constante variantie: binnen elke groep is de spreiding even groot . . . . normaliteit: binnen elke groep zijn de gegevens normaal verdeeld

• Het niet voldaan zijn van deze assumpties kan, zoals bij lineaire regressie leiden tot verkeerde statistische resultaten (p-waarden, betrouwbaarheids intervallen). • Hoe kunnen bovenstaande assumpties nagekeken worden ? Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

183


184

8.5.1

Assumptie van constante variantie


185

• Beschrijvende statistiek en grafische exploratie:


186

• Zijn de varianties te verschillend om aan de assumptie van gelijke variantie te twijfelen ? • M.a.w. in hoeverre kunnen de geobserveerde verschillen toegeschreven worden aan toeval ? • Men kan binnen Statistica formeel testen of de varianties gelijk zijn. De nulhypothese is dan H0 : σ12 = σ22 = . . . = σr2 versus de alternatieve hypothese HA : niet alle σi2 gelijk


187

• Dit gebeurt bvb. met de test van Levene:


188


• We zien dus dat de varianties in de drie groepen niet significant verschillend zijn (p = 0.0808). • Indien er veel groepen zijn, of indien sommige groepen (erg) veel observaties bevatten zullen kleine verschillen tussen de varianties significant bevonden worden. • Anderzijds stelt men vast dat varianties die niet té ongelijk zijn geen probleem stellen.


189

• Daarom gebruikt men, naast de formele test voor gelijke variantie, ook een vuistregel die zegt dat indien de varianties niet meer dan een factor 5 verschillen, dit de resultaten slechts marginaal aantast. • In ons voorbeeld wordt dit:

3.772 = 4.29 1.822

• In de praktijk gebruikt men de formele test in kombinatie met de vuistregel om te besluiten of aan de assumptie van gelijke variantie voldaan is.


190

8.5.2

Assumptie van normaliteit


191

• ANOVA veronderstelt dat de gegevens in elke groep normaal verdeeld zijn, met dezelfde variantie. Hierboven werd reeds besproken hoe we de gelijkheid van varianties kunnen nakijken. We veronderstellen nu dat de assumptie van gelijke varianties voldaan is. Hoe kunnen we dan de normaliteit testen ? • We herschrijven het ANOVA model als Y1j = µ1 + ε1j Y2j = µ2 + ε2j ... Yrj = µr + εrj waarbij de ‘fouten termen’ εij allen komen uit dezelfde normale verdeling met gemiddelde nul en variantie σ 2 . Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

192

• Net als bij regressie zullen we dus de veronderstelling van normaliteit voor de εij nagaan via hun schatters c eij = yij − µ i = yij − y i·

• Net als bij regressie worden de eij residu’s genoemd: ze representeren de fout die men maakt als men de geobserveerde waarde yij voor een individu in groep i zou voorspellen door het groepsgemiddelde y i·. • Eens de residu’s eij berekend zijn kunnen we de normaliteit terug nagaan met behulp van hun histogram, of met behulp van een formele normaliteitstest. • Dit gebeurt nu volledig analoog als bij lineaire regressie.


193


• We mogen hieruit dus besluiten dat de assumptie van normaliteit aanvaardbaar is. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

194

• Net als bij enkelvoudige regressie geldt:

. Afwijkingen van normaliteit leiden toch nog tot correcte resultaten zolang de verdeling van de fouten symmetrisch is.

. In geval van asymmetrie kan de respons soms getransformeerd worden, zodat de residu’s in het nieuwe model wel normaal verdeeld zijn. . Eventuele transformaties kunnen de constante variantie verstoren, zodat dit na een transformatie terug bekeken moet worden voor het vernieuwde model.


195

8.6

Invloedrijke observaties

• Niettegenstaande we bij ANOVA strikt genomen geen regressie parameters hebben kunnen individuele observaties wel grote invloed hebben op het schatten van de c , en dus op de uiteindelijke ANOVA resultaten. groepsgemiddelden µ i • Statistica laat ons toe, net zoals bij regressie, de invloed van elke observatie te c = y meten door de schatters µ i i· te vergelijken met de schatters die we zouden bekomen indien die observatie weggelaten zou worden. • Dit resulteert terug in de zogenaamde ‘Cooks distance’ die een afstand is tussen de schatters met en zonder een bepaalde observatie. • Net als bij regressie bekijken we een scatterplot van de Cooks afstanden versus het subject nummer.


196

• De berekeningen gebeuren analoog als bij enkelvoudige lineaire regressie. • Statistica output:

• Er zijn dus geen observaties die uitzonderlijk grote invloed vertonen. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

197

Hoofdstuk 9 Meervoudige lineaire regressie

. Voorbeeld . Regressie model . Berekeningen in Statistica . Interpretatie . Model diagnose . Invloedrijke observaties


198

9.1

Voorbeeld

• We hebben vroeger reeds het verband tussen de ADL score en de MMSE score bestudeerd, 1 dag na de operatie. • We besloten dat er een sterk-significante relatie bestaat tussen de cognitieve toestand van de patiënt en zijn afhankelijkheid. • Anderzijds verwachten we ook dat de ADL score leeftijdsgebonden is. • Tot slot is er wellicht ook een verband tussen de MMSE score en de leeftijd. • We bestuderen deze verbanden met 3 enkelvoudige regressies


199

• Regressie van ADL op MMSE:


200

• Regressie van ADL op leeftijd:


201

• Regressie van MMSE op leeftijd:


202

• We hebben dus de volgende resultaten:

. De afhankelijkheid is hoger naarmate de cognitieve status lager is

. De afhankelijkheid is hoger naarmate de leeftijd hoger is . De cognitieve status is lager naarmate de leeftijd hoger is • Het is dus mogelijk dat het verband dat we ontdekten tussen ADL en MMSE een puur leeftijdseffect voorstelt, m.a.w. het zou kunnen dat een betere cognitieve toestand overeenkomt met lagere afhankelijkheid omdat dit jongere patiënten zijn. • Het komt er dus op neer dat een enkelvoudige regressie niet volstaat om de complexe relatie tussen ADL enerzijds, en leeftijd en MMSE anderzijds, te beschrijven. =⇒ meervoudige (lineaire) regressie


203

9.2

Het meervoudig lineair regressie model

• We wensen na te gaan hoe de ADL score 1 dag na de operatie be¨ınvloed wordt door de MMSE score en door de leeftijd gezamenlijk. • Grafisch kunnen we dit verband voorstellen met een 3-D scatter plot:


204

• Output (na rotatie):


205

• Een mogelijke manier om ADL tegelijk te relateren aan MMSE en aan Leeftijd is het enkelvoudig regressie model ADLi = β0 + β1M M SEi + εi yi = β0 + β1xi + εi dat we gebruikten voor de regressie van ADL op MMSE, uit te breiden tot ADLi = β0 + β1M M SEi + β2Leeftijdi + εi yi = β0 + β1x1i + β2x2i + εi waarmee we expliciet aanduiden dat ADL niet alleen kan afhangen van MMSE, maar eventueel ook van de leeftijd.


206

• ADL wordt de afhankelijk veranderlijke (of respons) genoemd, terwijl MMSE en Leeftijd de onafhankelijk veranderlijken (of covariaten) genoemd worden. • De bovenstaande vergelijking beschrijft een vlak in de 3-D scatterplot, het zogenaamde regressievlak, als volgt te tekenenen in Statistica:


207

• Output (twee verschillende rotaties):


208

• Zoals bij enkelvoudige lineaire regressie moeten de parameters β0, β1 en β2 geschat worden op basis van de steekproef. • Dit kan terug gebeuren met de kleinste kwadraten methode die die schatters βc0, βc1 en βc2 zoekt waarvoor de voorspelde ADL scores c c c d ADL i = β0 + β1M M SEi + β2Leeftijdi

zo dicht mogelijk bij de oorspronkelijke metingen liggen, d.w.z. waarvoor X

i

d

ADLi − ADLi

2

minimaal is.


209

• Zoals bij enkelvoudige regressie wordt verondersteld dat de fouten εi normaal verdeeld zijn met gemiddelde nul en constante variantie σ 2 . • Als bovenstaande assumpties voldaan zijn kan men significantie testen bekomen voor de regressie parameters β0, β1 en β2. • Verder kan men, volledig analoog als bij enkelvoudige regressie, een ANOVA tabel opstellen op basis van de gelijkheid X |

i

[yi − y]2 = {z

↓ SST O


}

X |

i

[yi − yci]2 + {z

↓ SSE

}

X |

i

[yci − y]2 {z

↓

}

SSR

210

• SSTO: Totale kwadraten som Deze term drukt de totale fout uit die we maken als we de yi voorspellen zonder rekening te houden met de observaties x1i en x2i voor de covariaten X1 en X2. • SSE: Kwadraten som van de fouten Deze term drukt de totale fout uit die we maken als we de yi voorspellen met behulp van de observaties x1i en x2i. • SSR: Kwadraten som van de regressie Deze term drukt uit hoeveel kleiner de fout is die we maken als we de covariaten gebruiken om de yi te voorspellen, dan als we de covariaten niet zouden gebruiken. • Een maat voor de ‘kwaliteit’ van onze regressie is R2 =


SSR SST O

211

• Zoals bij enkelvoudige regressie heeft R2 de volgende eigenschappen: . 0 ≤ R2 ≤ 1

. R2 = 0 impliceert dat SSR = 0 en dus dat alle yci gelijk zijn aan y, m.a.w. het regressie vlak is horizontaal. Dit is equivalent met βc1 = βc2 = 0

. R2 = 1 impliceert dat SSE = 0. Dit impliceert dat yi = yci voor alle i, en dus dat alle observaties op het regressie vlak liggen. • Men zegt dat R2 uitdrukt ‘welke fractie van de variabiliteit in de respons (ADL) verklaard kan worden door de covariaten (MMSE en Leeftijd). • Bij enkelvoudige regressie hadden we dat R2 gelijk was aan r2, het kwadraat van de correlatie tussen de xi en yi waarden. R2 kan dus gezien worden als een veralgemening van de correlatie coëfficiënt naar een ‘correlatie’ tussen één veranderlijke enerzijds (de respons), en meerdere veranderlijken anderzijds (de covariaten). Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

212

• Indien R2 = 0, dan helpen de covariaten X1 en X2 ons niet bij het voorspellen van de respons, wat equivalent is met βc1 = βc2 = 0. In de praktijk is het daarom belangrijk na te gaan of de covariaten ons helpen bij het voorspellen van de respons. Dit kan door de nul hypothese H0 : β 1 = β 2 = 0 te testen versus de alternatieve hypothese HA : β1 6= 0 of

β2 6= 0

• In Statistica wordt, bij elke regressie analyse, bovenstaande hypothese automatisch getoetst. Dit gebeurt met een F test. • Alles wat we besproken hebben voor een regressie analyse met 2 covariaten kan direct uitgebreid worden tot een regressie met meerdere covariaten, waarin men een bepaalde respons wil voorspellen met behulp van een set van (meer dan twee) covariaten. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

213

9.3


• Statstica programma en output:


214

• Regressie parameters:

• ANOVA tabel:


215

• In de ANOVA tabel vinden we SSTO, SSR en SSE • De globale F-test in de ANOVA tabel test of de covariaten de voorspelling van ADL significant verbeteren, m.a.w. dit is de test om de hypothese H0 : β 1 = β 2 = 0 te testen versus de alternatieve hypothese HA : β1 6= 0 of

β2 6= 0

• Gezien de hoge significantie (p < 0.0001) besluiten we dat minstens β1 of β2 significant verschilt van nul. • De R2 is gelijk aan 0.4946. Merk op dat bij de regressie van ADL op MMSE we een R2 hadden van 0.4940. We zien dus dat de leeftijd weinig extra variabiliteit in ADL verklaard bovenop wat reeds verklaard werd door MMSE. Dit suggereert dat, eens we de MMSE score kennen, de leeftijd van de patiënt ons weinig extra informatie biedt voor het voorspellen van zijn ADL score, 1 dag na de operatie. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

216

• De kleinste kwadraten schatters zijn . βc0 = 22.55

. βc1 = −0.29 . βc2 = 0.01

• Merk op dat dit niet dezelfde waarden zijn als die die we zouden bekomen door 2 enkelvoudige regressies te berekenen: Covariaten MMSE en Leeftijd MMSE Leeftijd β0

22.55

23.65

5.93

β1

-0.29

-0.30

—

β2

0.01

—

0.15

Dit suggereert dus dat de parameters een andere betekenis krijgen dan de parameters in de twee enkelvoudige regressie modellen. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

217

• Merk ook op dat de leeftijd in bovenstaand regressie model niet meer significant is (p = 0.7963), wat sterk in contrast was met de significante univariate regressie van ADL op Leeftijd (p = 0.0053). Dit toont terug aan dat de resultaten uit een meervoudige regressie analyse anders ge¨ınterpreteerd moeten worden dan deze uit enkelvoudige regressie analyses.


218

9.4

Interpretatie

• Onze regressie van ADL op MMSE en leeftijd leverde de volgende regressie vergelijking op: ADL = 22.55 − 0.29 MMSE + 0.01 Leeftijd


219

• De schatter βc1 = −0.29 kan als volgt ge¨ınterpreteerd worden: Neem 2 subjecten van dezelfde leeftijd (bvb. 80 jaar), waarvan de eerste een MMSE heeft van 20 en de tweede een MMSE van 21. Hun verwachte ADL score is dan ADL1 = 22.55 − 0.29 × 20 + 0.01 × 80 ADL2 = 22.55 − 0.29 × 21 + 0.01 × 80 respectievelijk. • Het verschil is dan ADL2 − ADL1 = −0.29 × (21 − 20) = −0.29 • We hebben dus dat, als we alleen patiënten van 1 bepaalde leeftijd beschouwen, dat de ADL score gemiddeld met 0.29 daalt telkens de MMSE met 1 toeneemt. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

220

• Merk op dat we hieruit niet kunnen besluiten dat een verhoging van MMSE met 1 bij een bepaalde patiënt zal leiden tot een daling van 0.29 in ADL. We kunnen alleen zeggen dat voor patiënten met gelijke leeftijd, een verschil in MMSE van 1 overeenkomt met een gemiddeld verschil van 0.29 in ADL. We mogen dus geen ‘longitudinale’ besluiten trekken uit ons ‘cross-sectioneel’ experiment. • De schatter βc1 geeft dus aan hoe de gemiddelde ADL score varieert met MMSE, voor patiënten met eenzelfde leeftijd.


221

• In het regressie vlak komt dit overeen met lijnen voor constante leeftijd:


222

• Analoog kunnen we de schatter βc2 = 0.01 interpreteren als de gemiddelde stijging van ADL als de leeftijd met 1 jaar toeneemt, voor patiënten met gelijke MMSE score. In het regressie vlak komt dit overeen met lijnen voor constante MMSE:


223

• Merk op dat deze laatste lijnen bijna vlak zijn, wat suggereert dat, voor patiënten met gelijke MMSE, de gemiddelde ADL score bijna niet be¨ınvloed wordt door de leeftijd. Dit verklaart ook waarom Leeftijd niet meer significant is in het meervoudig regressie model (p=0.7963): Leeftijd levert slechts zeer weinig bijkomende informatie op voor het voorspellen van ADL, als de MMSE score reeds gekend is. • Dit vinden we ook nog eens terug in het feit dat het toevoegen van Leeftijd aan het regressie model van ADL op MMSE slechts tot een verhoging van de R2 van 0.4940 tot 0.4946 geleid heeft. • In de praktijk worden niet-significante termen in het regressie model meestal weggelaten omdat ze ons toch geen bijkomende informatie geven voor het voorspellen van de respons. In ons voorbeeld zou dit overeenkomen met het weglaten van de variabele Leeftijd, zodat ons finaal model alleen nog de MMSE score op dag 1 zou bevatten


224

• Merk op dat een p-waarde een indicatie geeft voor de nood aan één welbepaalde covariaat, bovenop de andere covariaten reeds in het model opgenomen. • Men mag niet-signficante covariaten dus niet gezamenlijk uit het model weglaten. • Het weglaten van niet-significante covariaten dient steeds stapsgewijs te gebeuren.


225

9.5

Model diagnose

• Het algemeen meervoudig lineair regressie model met p covariaten is dus van de vorm yi = β0 + β1x1i + . . . + βpxpi + εi waarbij men veronderstelt dat de fouten εi normaal verdeeld zijn met gemiddelde nul en variantie σ 2 . • We veronderstellen dus:

. Lineariteit: De gemiddelde Y waarde wordt goed beschreven door β0 + β1x1i + . . . + βpxpi en de fouten εi hebben gemiddelde nul. . De variantie van de fouten is constant . De fouten εi zijn normaal verdeeld


226

• Alle significantie testen zijn op bovenstaande assumpties gebaseerd, m.a.w. het niet voldaan zijn van (enkele van) deze assumpties kan leiden tot foutieve resultaten. Het is dus belangrijk de bovenstaande assumpties na te kijken. • In ons voorbeeld veronderstelden we dat de gemiddelde ADL score goed beschreven kan worden door β0 + β1 M M SE + β2 Leeftijd en dat de fouten εi normaal verdeeld zijn met gemiddelde nul en met constante variantie σ 2 . • Het nagaan van deze assumpties is complexer dan bij enkelvoudige regressie omdat, zoals reeds besproken, het verband tussen ADL en bvb. Leeftijd ook be¨ınvloed wordt door de tweede covariaat MMSE in het model.


227

• Bij enkelvoudige regressie werden de assumpties nagekeken met behulp van de residu’s die schatters zijn voor de εi: c c c d ei = ADLi − ADL i = ADLi − (β0 + β1M M SEi + β2Leeftijdi ) • Als de model assumpties correct zijn verwachten we geen systematische trends meer in de residu’s, moeten de residu’s constante variabiliteit vertonen, en moeten de residu’s normaal verdeeld zijn. • In de praktijk volstaat het meestal volgende technieken toe te passen: . Scatterplots van de ei versus alle covariaten in het model. . Scatterplot van de ei versus de voorspelde waarden yci . Normaliteitschecks voor de ei • Binnen Statistica kunnen deze technieken uitgevoerd worden op volledig analoge manier als bij enkelvoudige lineaire regressie. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

228

9.5.1

Residu’s versus covariaten

• Bij lineaire regressie werden de residu’s ei geplot versus de covariaat in ons model. • Nu maken we een scatterplot van de residu’s ei versus elk van de covariaten in het model. • Indien het model correct is verwachten we geen systematische trends meer. • Systematiek kan er, zoals bij enkelvoudige regressie, op wijzen dat een transformatie van een of meerdere covariaten nodig is.


229

• Output uit Statistica:

• We vinden geen systematische trends in de residu’s. Dit betekent dus dat we de gemiddelde ADL score niet systematisch over- of onderschatten voor bvb. oudere of jongere patiënten.


230

9.5.2

Residu’s versus voorspelde waarden

• De scatterplots van residu’s versus covariaten laten ons toe na te gaan of de respons niet systematisch onder- of overschat wordt voor bepaalde waarden van de covariaten. • Anderzijds is het ook belangrijk na te gaan of bvb. grote of kleine responsen niet systematisch over- of onderschat worden. • In ons voorbeeld komt het er op neer dat we wensen na te kijken of ons model bepaalde ADL waarden systematisch over- of onderschat. • Dit kan nagekeken worden door de residu’s te plotten versus de voorspelde waarden yci.


231



232

9.5.3

Normaliteit van de residu’s

• Zoals bij enkelvoudige regressie zullen we de veronderstelling van normaliteit voor de fouten εi nakijken via de residu’s ei. • Dit kan terug grafisch gebeuren (histogram), of via een formele test voor normaliteit:


233

• De normaliteitsassumptie lijkt dus aanvaardbaar. • Net als bij enkelvoudige regressie geldt:


. In geval van asymmetrie kan de respons soms getransformeerd worden, zodat de residu’s in het nieuwe model wel normaal verdeeld zijn. . Eventuele transformaties kunnen de lineariteit en constante variantie verstoren, zodat na een transformatie de vorige residu plots terug bekeken moeten worden voor het vernieuwde model.


234

9.6


• Volledig analoog als bij enkelvoudige regressie kunnen individuele observaties de regressie resultaten sterk be¨ınvloeden. • In principe kan men expliciet elke observatie eens uit de analyse weglaten, en nagaan hoe de resultaten (m.a.w. de schatters βc0, . . . , βcp) hierdoor veranderen. • Telkens moet men dus de resultaten zonder een bepaalde observatie vergelijken met de resultaten op basis van alle gegevens. • Zoals voordien kan dit terug gebeuren met de Cook’s afstand die de ‘afstand’ meet tussen de resultaten met en zonder een bepaalde observatie. • Cook’s afstand voor de ide observatie wordt terug genoteerd met Di, en invloedrijke observaties komen overeen met grote Di. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

235

• In Statistica gebeurt een invloedsanalyse op net dezelfde wijze als bij enkelvoudige regressie • Output uit Statistica:

• De figuur toont #43 als enige uitschieter. Daarom vergelijken we de regressie met dit subject eens met de regressie zonder dit subject. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

236

• Statistica resultaten voor de analyse met en zonder dit subject zijn respectievelijk:

• De uiteindelijke besluiten veranderen dus niet als we subject #43 niet in de analyse insluiten.


237

Hoofdstuk 10 Polynomiale regressie

. Voorbeeld . Berekeningen in Statistica . Interpretatie van de resultaten


238

10.1

Voorbeeld

• We hernemen het fictieve voorbeeld dat we eerder gebruikten om het effect van niet-lineariteit in enkelvoudige lineaire regressie te illustreren:


239

• De figuur vertoont duidelijke niet-lineariteit. • Voorheen hebben we dit opgelost door de covariaat X logaritmisch te transformeren, x −→ ln(x) • Anderzijds merken we op dat de relatie tussen de yi en de xi kawadratisch zou kunnen zijn. • Een mogelijk statistisch model zou dus kunnen zijn: yi = β0 + β1 xi + β2 x2i + εi waarbij, zoals gewoonlijk, de fouten termen εi normaal verdeeld worden verondersteld, met gemiddelde nul en variantie σ 2 . • Merk op dat bovenstaand model kan gezien worden als een meervoudig lineair regressie model met als covariaten x1i = xi en x2i = x2i : yi = β0 + β1 x1i + β2 x2i + εi Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

240

• Het model kan dus gefit worden door eerst een nieuwe veranderlijke te berekenen die de kwadraten van de xi bevat, en door daarna een meervoudige lineaire regressie uit te voeren. • In Statistica kan het aanmaken van deze nieuwe veranderlijke impliciet gebeuren, in de module ‘Visual GLM: Polynomial regression’:


241

• Output voor de regressiecoëfficiënten:

• Output voor de ANOVA tabel:


242

• De R2 waarde is nu hoger dan de R2 (0.9247) die we bekomen hebben voor het regressie model met logaritmisch getransformeerde covariaat. • De geschatte regressie curve is: yi = 0.72 + 4.50 xi − 2.32 x2i • De coëfficiënt voor de kwadratisch term β2 is zeer significant verschillend van nul (p < 0.0001) wat dus aantoont dat er een sterk kwadratisch effect is.


243

• De geschatte regressie curve kan in Statistica als volgt aan de scatterplot worden toegevoegd:


244



245

10.2

Interpretatie van de resultaten

• In ons fictief voorbeeld was de geschatte regressie curve yi = 0.72 + 4.50 xi − 2.32 x2i • Voordien hebben we gezien dat een regressie coëfficiënt aangeeft hoe de respons gemiddeld verandert als functie van de bijhorende covariaat, als de andere covariaten constant gehouden worden. • In bovenstaand voorbeeld betekent dit bvb. dat βc1 = 4.50 aangeeft dat de respons gemiddeld toeneemt met 4.50 als X toeneemt met 1, terwijl X 2 vast blijft. • Welnu, aangezien X niet kan variëren zonder dat X 2 mee varieert, is bovenstaande interpretatie zinloos Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

246

• In het algemeen moeten we dus besluiten dat de individuele regressie coëfficiënten bij polynomiale regressie niet te interpreteren zijn. Ze beschrijven alleen de veelterm die de gemiddelde evolutie van Y als functie van X beschrijft. • Anderzijds geeft de hoge significantie voor β2 (p < 0.0001) wel aan dat het toevoegen van de kwadratische component het regressie model sterk verbeterd heeft. M.a.w. er is een sterk kwadratisch effect, bovenop het lineaire effect. • De significantie van individuele parameters in polynomiale regressie kan dus wel ge¨ınterpreteerd worden, de regressie parameters zelf niet.


247

• Merk op dat het resultaat van een polynomiale regressie eerder een curve is i.p.v. een vlak:


248

10.3

Opmerkingen

• De vorige discussie is direct veralgemeenbaar naar polynomen (veeltermen) van een graad hoger dan twee: yi = β0 + β1xi + . . . + βpxpi + εi • Bij veeltermen van de derde graad spreekt men van cubische regressie: yi = β0 + β1xi + β2x2i + β3x3i + εi • Men kan ook combinaties hebben van gewone meervoudige regressie met polynomiale regressie: yi = β0 + β1x1i + β2x21i + β3x2i + εi Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

249

• Aangezien polynomiale regressie een speciale vorm is van meervoudige regressie gelden alle technieken voor model diagnose en invloedrijke observaties, die we bij meervoudige regressie besproken hebben, ook bij polynomiale regressie. • Zolang alle regressoren tot dezelfde graad in het model staan gebeurt de model specificatie in Statistica op dezelfde manier als eerder hier aangegeven. • Indien men echter verschillende graden wenst te gebruiken voor verschillende covariaten in het model, dan kan dit in Statistica het gemakkelijkst via de ‘Analysis Wizard’, die later besproken zal worden.


250

Hoofdstuk 11 Interactie

. Voorbeeld . Berekeningen in Statistica . Interpretatie van de resultaten . Wat met niet-significante hoofdeffecten ? . Opmerkingen


251

11.1

Voorbeeld

• We hernemen het voorbeeld waarbij we de ADL score wensen te voorspellen aan de hand van de leeftijd en de MMSE score van de patiënt, 1 dag na de operatie, met bijhorend meervoudig regressie model: ADL = 22.55 − 0.29 × MMSE + 0.01 × Leeftijd


252

• Deze regressie veronderstelde echter wel dat het effect van MMSE op ADL onafhankelijk is van de leeftijd van de patiënt: Voor elke leeftijdsklasse hebben we dat ADL gemiddeld met 0.29 daalt als de MMSE met 1 toeneemt. • Andersom werd ook verondersteld dat het effect van Leeftijd op ADL onafhankelijk is van de MMSE score van de patiënt: Voor elke MMSE klasse hebben we dat ADL gemiddeld met 0.01 stijgt als de leeftijd met 1 toeneemt. • Een regressie model zonder deze assumpties kan bekomen worden door een zogenaamde interactie term van Leeftijd met MMSE aan het model toe te voegen: ADLi = β0 + β1MMSEi + β2Leeftijdi +β3MMSEi × Leeftijdi + εi • We voegen dus gewoon een nieuwe covariaat aan het model toe, die het produkt is van de eerste twee covariaten. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

253

• Om aan te tonen dat we dan niet langer veronderstellen dat het effect van Leeftijd onafhankelijk is van MMSE en dat het effect van MMSE onafhankelijk is van Leeftijd herschrijven we bovenstaand model op de volgende 2 manieren: ADLi = β0 + β2Leeftijdi + (β1 + β3Leeftijdi) × MMSEi + εi ADLi = β0 + β1MMSEi + (β2 + β3MMSEi) × Leeftijdi + εi • Uit de eerste vergelijking volgt dat we een lineair verband veronderstellen tussen ADL en MMSE, maar het intercept, zowel als de richtingscoëfficiënt hangen af van Leeftijd: . Intercept : β0 + β2Leeftijdi . Richtingscoëfficiënt : β1 + β3Leeftijdi


254

• Uit de tweede vergelijking volgt dat we een lineair verband veronderstellen tussen ADL en Leeftijd, maar het intercept, zowel als de richtingscoëfficiënt hangen af van MMSE: . Intercept : β0 + β1MMSEi . Richtingsco¨fficiënt : β2 + β3MMSEi


255

11.2


• Het berekenen van de produktterm voor de interactie kan impliciet gebeuren in de Statistica module ‘Visual GLM: Factorial regression’. • Statistica menu:


256

• Statistica output voor regressiecoëfficiënten en ANOVA tabel:


257

• Zoals steeds test de globale F test de nul hypothese H0 : β 1 = β 2 = β 3 = 0

versus de alternatieve hypothese dat minstens een van bovenstaande regressie parameters niet gelijk is aan nul. • Het toevoegen van de interactie term heeft de R2 verhoogd van 0.4946 naar 0.5235 • Strikt genomen is de interactie term niet significant (α = 0.05), maar er is toch evidentie dat het effect van MMSE en Leeftijd op ADL niet volledig onafhankelijk is van elkaar. • De geschatte regressie vergelijking is

d ADL = 40.87 − 1.19 × MMSE − 0.21 × Leeftijd

+0.01 × MMSE × Leeftijd Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

258

• Om in Statistica een grafische voorstelling van het regressie oppervlak te bekomen moet de regressievergelijking manueel ingebracht worden:


259

• Statistica output (na rotatie):

• We bekomen dus een regressie oppervlak, eerder dan een regressie vlak. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

260

11.3


• De geschatte regressie vergelijking is

d ADL = 40.87 − 1.19 × MMSE − 0.21 × Leeftijd + 0.01 × MMSE × Leeftijd

• Net als bij polynomiale regressie kunnen we de individuele regressie coëfficiënten niet meer interpreteren. • We kunnen bvb. niet besluiten dat -1.19 beschrijft hoe sterk ADL verandert als MMSE verandert terwijl de andere covariaten vast gehouden worden. Immers, men kan MMSE niet laten variëren zonder dat het produkt MMSE×Leeftijd mee verandert. • Om toch meer inzicht te krijgen in het effect van het toevoegen van de interactie aan ons model bekijken we de voorspelde evolutie van ADL als functie van MMSE en als functie van de leeftijd afzonderlijk. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

261

11.3.1

ADL als functie van MMSE

• Om te zien hoe ADL evolueert als functie van MMSE herschrijven we de de geschatte regressie vergelijking als: d ADL = 40.87 − 0.21 × Leeftijd

+(−1.19 + 0.01 × Leeftijd) × MMSE • We kunnen dit nu uitrekenen voor verschillende leeftijdsgroepen: d . 65 jaar : ADL = 27.22 − 0.54 × MMSE

d . 75 jaar : ADL = 25.12 − 0.44 × MMSE

d . 85 jaar : ADL = 23.02 − 0.34 × MMSE

d . 95 jaar : ADL = 20.92 − 0.24 × MMSE


262

• Elk van deze vergelijkingen correspondeert met een rechte in het regressie oppervlak, voor een constante leeftijd:


263

• We zien dus dat ADL steeds minder afneemt als functie van MMSE, naarmate de leeftijd hoger wordt. • Voor hoge leeftijden zal de afhankelijkheid minder sterk dalen als functie van de cognitieve toestand van de patiënt.


264

11.3.2

ADL als functie van Leeftijd

• Om te zien hoe ADL evolueert als functie van de leeftijd herschrijven we de de geschatte regressie vergelijking als: d ADL = 40.87 − 1.19 × MMSE

+(−0.21 + 0.01 × MMSE) × Leeftijd • We kunnen dit nu uitrekenen voor verschillende leeftijdsgroepen: d . MMSE = 0 : ADL = 40.87 − 0.21 × Leeftijd

d . MMSE = 10 : ADL = 28.97 − 0.11 × Leeftijd

d . MMSE = 20 : ADL = 17.07 − 0.01 × Leeftijd

d . MMSE = 30 : ADL = 5.17 + 0.09 × Leeftijd


265

• Elk van deze vergelijkingen correspondeert met een rechte in het regressie oppervlak, voor een constante MMSE-waarde:


266

• We zien dus dat, voor patiënten met een zeer goede cognitieve toestand, er een tendens is dat ADL stijgt met de leeftijd. • Voor patiënten met een slechtere cognitieve toestand is er een tendens dat ADL daalt met de leeftijd. • Deze laatste bemerking is eerder contra-intu¨ıtief. Daarom wensen we na te gaan of bvb. voor patiënten met een MMSE score van 10 de richtingscoëfficiënt van -0.11 wel significant is. • Deze richtingscoëfficiënt is eigenlijk −0.21 + 0.01 × 10 waarbij -0.21 een schatter is voor β2 (coëfficiënt van Leeftijd), en waarbij 0.01 een schatter is voor β3 (coëfficiënt van de interactie)


267

• We wensen volgende hypothese te testen: H0 : β2 + 10β3 = 0,

versus

HA : β2 + 10β3 6= 0

• In Statistica:


268

• Dit levert de volgende Statistica output op:

• We krijgen een F-test voor de gespecifieerde nulhypothese waaruit blijkt dat er geen significant verband is tussen ADL en Leeftijd, voor patiënten met een MMSE score van 10 (p = 0.2034).


269

• Merk op dat, strikt gezien, de interactie term niet significant is (p = 0.0731), wat suggereert dat de rechten op het regressie oppervlak parallel zijn:

• Anderzijds suggereert de relatief kleine p-waarde toch de aanwezigheid van een (zwakke vorm van) interactie die nu, misschien door gebrek aan ‘vermogen (power),’ niet als significant bevonden werd. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

270

11.4

Wat met niet-significante hoofdeffecten ?

• In ons voorbeeld hadden we de volgende schatters voor de regressie parameters:

• De effecten van Leeftijd en MMSE worden ‘hoofdeffecten’ genoemd, om ze te onderscheiden van de interactie MMSE×Leeftijd. • Mogen we in dit geval de minst significante term, nl. het hoofdeffect van Leeftijd, uit het model weglaten ? Immers, dit is een term die ons geen bijkomende informatie geeft omtrent de respons ADL. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

271

• Zolang het model een interactie term bevat wordt toegelaten dat het effect van Leeftijd afhangt van MMSE, en omgekeerd. • Dit impliceert dat er geen uitspraken gemaakt kunnen worden over het globale effect van Leeftijd. • Daarom zullen niet-significante hoofdeffecten niet uit het model weggelaten worden zolang er nog interacties met deze effecten in het model opgenomen zijn.


272

11.5

Opmerkingen

• Interacties kunnen ook toegevoegd worden aan polynomiale regressie modellen: yi = β0 + β1x1i + β2x21i + β3x2i + β4x1i x2i + εi • Het fitten van modellen met meerdere covariaten, al dan niet polynomiaal, al dan niet met hun interacties, kan in Statistica het gemakkelijkst via de ‘Analysis Wizard’, die later besproken zal worden. • Aangezien regressie modellen met interacties terug een speciale vorm zijn van meervoudige regressie gelden nog steeds alle technieken voor model diagnose en invloedrijke observaties die we bij meervoudige regressie besproken hebben. • Ook de Statistica programma’s blijven even analoog. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

273

Hoofdstuk 12 Meervoudige ANOVA

. Voorbeeld . Berekeningen in Statistica . Interpretatie van de resultaten . Model diagnose . Invloedrijke observaties


274

12.1

Voorbeeld

• We hernemen terug de voorbeelden die we behandelden bij de ongepaarde t-test en bij de enkelvoudige ANOVA: . We vonden dat er een significant verschil is in gemiddelde ADL score, 1 dag na de operatie, tussen neuro-psychiatrische patiënten en de andere patiënten (p = 0.0025):


275

. We vonden ook dat de gemiddelde ADL score, 1 dag na de operatie, significant anders is voor de verschillende woonsituaties van de patiënt voor de operatie (p = 0.0006):

• We hebben hier dus twee factoren die met de ADL score gerelateerd zijn. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

276

• De gemiddelde ADL voor elke combinatie van woonsituatie met de neuro-status kan als volgt berekend worden:


277


• Zoals voorheen zullen we vanaf nu terug de vierde woonsituatie uit de analyses verwijderen omdat deze groep slechts 1 observatie bevat.


278

• Een grafische weergave met gemiddelden en standaard deviaties bekomen we in Statistica als volgt:


279


• Merk op dat de gemiddelden hier werden verbonden om het verschil in ‘verloop’ tussen beide neuro groepen te benadrukken. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

280

• Een grafiek van de gemiddelden op één figuur wordt in Statistica bekomen via ‘interaction plots’:


281



282

• Meervoudige ANOVA zal ons nu toelaten het gezamenlijk effect na te gaan van de woonsituatie en van de neuro-status op de ADL score, 1 dag na de operatie. • Merk op dat de grafiek suggereert dat het effect van de neuro-status op de gemiddelde ADL score afhankelijk is van de woonsituatie van de patiënt. Naar analogie met meervoudige lineaire regressie, moeten we dus rekening houden met een vorm van interactie tussen de beide factoren. • Het voorspellen van ADL aan de hand van de neuro-status en de woonsituatie is een voorbeeld van zogenaamde 2-weg ANOVA omdat we 2 factoren hebben om de respons te voorspellen. Zoals bij regressie kan de ganse discussie van 2-weg ANOVA direct veralgemeend worden naar ANOVA modellen met meer dan 2 factoren.


283

12.2


• Een ANOVA analyse voor de ADL score, met de neuro-status en de woonsituatie als factoren, en waarbij men mogelijke interactie toelaat, kan in Statistica gebeuren in de module ‘Visual GLM, factorial ANOVA’:


284

• De output is op analoge manier gestructureerd als bij enkelvoudige ANOVA:


285

• Zoals voorheen krijgen we terug een opsplitsing van de totale variabiliteit in de respons (SST O) in een component die de variabiliteit tussen de verschillende groepen reflecteert (SStussen) en een component die de variabiliteit in de groepen reflecteert (SSbinnen). • Zoals voorheen krijgen we een globale F-test die de variabiliteit tussen de groepen vergelijkt met de variabiliteit binnen de groepen: F =

197.89/5 470.94/48

en die dus uitdrukt in hoeverre de factoren in het model ons helpen bij de predictie van ADL (hier significant, p=0.0039). • De vrijheidsgraden nodig om de SSbinnen en de SStussen te standaardizeren zijn bij meervoudige ANOVA moeilijker af te leiden.


286

• Zoals voorheen krijgen we een R2 die aangeeft welk percentage van de totale variabiliteit in de ADL scores verklaard kan worden door ons ANOVA model. • Verder krijgen we via de optie ‘Univariate Results’ een F -test voor elk van de effecten in het model gespecifieerd:


287

12.3


• De relevante ANOVA tabel voor het testen van de verschillende effecten in ons model is:

• We krijgen hier een F -test voor elk effect dat we gespecifieerd hebben in ons model.


288

• Wat betreft interpretatie, zijn deze testen volledig analoog aan de testen bij meervoudige lineaire regressie, m.a.w. men test de significantie van een bepaald effect als de andere effecten constant gehouden worden. • Vooraleer een uitspraak te doen over ‘het’ neuro-effect of ‘het’ effect van de woonsituatie, moeten we eerst nagaan of het effect van een van deze factoren afhangt van de andere factor. • We moeten dus eerst nakijken of er een interactie is tussen deze factoren. • Uit de bovenstaande tabel blijkt dat er geen significante interactie is (p=0.4515) • We mogen dus besluiten dat het effect van de woonsituatie niet afhangt van de neuro-status, en omgekeerd, dat ook het neuro-effect niet afhangt van de woonsituatie.


289

• Grafisch betekent dit dus dat de niet-parallelliteit in de gemiddelden aan toeval kan toegeschreven worden:

• We mogen er dus van uitgaan dat de gemiddelde profielen wel parallel zijn. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

290

• Deze assumptie kan in de analyse ingebouwd worden door de interactieterm uit het model weg te laten. • In Statistica kan dit in de module ‘Visual GLM, main-effects ANOVA’:

Het verder specifiëren van het model gebeurt volledig analoog als voorheen.


291

• ANOVA tabellen:

• We kunnen ook nog de gemiddelde profielen laten schatten, onder de assumptie dat er geen interactie is tussen beide factoren in het model • In Statistica gebeurt dit via ‘interaction plots’ van de weggeschreven voorspelde waarden Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

292

• Output:


293

• Met bovenstaande output kunnen we nu het effect van elk van de factoren testen, na correctie voor de andere factor. M.a.w. we kunnen het effect van elk van de factoren testen, als de andere factor constant gehouden wordt: . Het model veronderstelde dat het effect van de woonsituatie hetzelfde is voor beide neuro-statussen. Welnu dit constant effect is hoog significant (p =0.0076). Dit betekent dus dat de lijnen in de vorige grafiek niet horizontaal zijn. . Het model veronderstelde dat het neuro-effect hetzelfde is voor de drie woonsituaties. Welnu dit constant effect is niet significant (p =0.2459). Dit betekent dus dat de we eigenlijk onze grafiek verder mogen vereenvoudigen door eenzelfde evolutie te veronderstellen voor de beide neuro-groepen (samenvallende lijnen in vorige grafiek). • We mogen dus ons model verder vereenvoudigen en de factor Neuro weglaten.


294

• We bekomen dan een enkelvoudig ANOVA model met als enige factor de Woonsituatie (eerder besproken). • Het verschil in neuro-effect tussen de verschillende woonsituaties, wat gesuggereerd was door onze oorspronkelijke figuur, is dus niet significant (geen interactie). Meer nog, het neuro-effect is niet alleen constant, het is zelfs niet significant verschillend van nul. • Hoe kunnen we intu¨ıtief inzien waarom de neuro-status oorspronkelijk wel significant was, maar niet meer na correctie voor de woonsituatie ? • Blijkbaar kunnen de verschillen in ADL tussen neuropsychiatrische en niet-neuropsychiatrische patiënten verklaard worden door verschillen in woonsituatie. • Dit suggereert dus dat er een sterk verband is tussen neuro-status en woonsituatie. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

295

• We kijken dit na met een tabel-analyse (chi-kwadraat test):


296

• Er is dus een sterk significant (p = 0.008) verband tussen de woonsituatie en de neuro-status van de patiënt: 53% van de neuro-psychiatrische patiënten verblijft in een RH/RVT. • Dit verklaart waarom, na correctie voor woonsituatie, de neuro-status niet meer significant is.


297

12.4

Model diagnose

• Bij 1-weg ANOVA werd er verondersteld dat de gegevens binnen elke groep normaal verdeeld waren, en met constante variantie. • Bij meervoudige ANOVA veronderstelt men dat, voor elke combinatie van de factoren in het model, de gegevens normaal verdeeld zijn met constante variantie. • Voor ons voorbeeld heeft de factor Woonsituatie 3 mogelijke waarden, en de factor Neuro heeft 2 mogelijke waarden. We hebben dus 6 mogelijke combinaties. Welnu ons 2-weg ANOVA model veronderstelde dat binnen elk van deze 6 combinaties, de gegevens normaal verdeeld zijn, en dat de variantie overal gelijk is.


298

• Het niet voldaan zijn van deze assumptie(s) kan leiden tot verkeerde resultaten van de statische testen. • Het is dus ook hier van belang de assumpties zo goed mogelijk na te kijken. • We illustreren dit voor ons origineel model (model met interactie), opdat het vereenvoudigen van het model (op basis van p-waarden) gerechtvaardigd zou zijn.


299

12.4.1

Assumptie van constante variantie

• Geschatte standaard deviatie voor elke combinatie van de factoren in het model:


300

• Zoals bij 1-weg ANOVA kan de test van Levene gebruikt worden om te testen of de 6 varianties gelijk zijn:


301

• De varianties in de zes groepen zijn dus niet significant verschillend (p = 0.3059). • Zoals bij 1-weg ANOVA geldt dat, in geval er veel groepen zijn, of indien sommige groepen (erg) veel observaties bevatten kleine verschillen in variantie als significant bevonden worden, terwijl kleine verschillen in variantie de resultaten niet drastisch aantasten. • Daarom wordt ook hier, naast de formele test voor gelijke variantie, de vuistregel toegepast waarin wordt nagekeken of de varianties niet meer dan een factor 5 van elkaar verschillen. • In ons voorbeeld wordt dit:

4.692 = 9.27 2 1.54

• Merk op dat de variabiliteit in de groep van neuro-psychiatrische alleen-wonenden veel groter is dan in de andere groepen. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

302

• Er blijkt dat deze groep slechts vier patiënten telt met de volgende ADL scores: Patiënt ADL (dag 1) #14

18

#25

23

#49

12

#56

15

• De grote variabiliteit is dus voornamelijk te wijten aan patiënt #25 die een veel hogere waarde heeft voor ADL dan de andere patiënten in dezelfde groep. M.a.w. de grote standaard deviatie in deze groep suggereert niet noodzakelijk dat de variabiliteit in deze groep groter zou zijn dan in andere groepen. • Anderzijds hebben we bij regressie analyse gezien dat dergelijke ‘outliers’ mogelijks invloedrijke punten zijn. We zullen dus in de invloedsanalyse die volgt extra aandacht moeten besteden aan subject #25.


303

12.4.2

Assumptie van normaliteit

• Meervoudige ANOVA veronderstelt dat de gegevens normaal verdeeld zijn voor elke combinatie van de factoren in het model, en dit met constante variantie. Hierboven werd reeds besproken hoe we de gelijkheid van varianties kunnen nakijken. We veronderstellen nu dat de assumptie van gelijke varianties voldaan is. Hoe kunnen we dan de normaliteit testen ? • Zoals reeds besproken hoort bij elke ANOVA analyse een statistisch model dat veronderstellingen maakt over hoe de gemiddelde respons waarden zich verhouden in de verschillende klassen van de factoren in het model. • In ons voorbeeld, kwam de 2-weg ANOVA voor ADL met factoren Woonsituatie en Neuro-status, zonder interactie, overeen met de assumptie van parallelle lijnen in de grafische representatie van de groepsgemiddelden.


304

• De lijnen op de figuur zijn de gemiddelde ADL waarden, voorspeld door het ANOVA model:

• Voor een welbepaald model kan men dus voor elk individu, een residu berekenen dat de voorspelde respons vergelijkt met de geobserveerde respons. • Deze residu’s kunnen we zoals voorheen ook terug gebruiken om de veronderstelling van normaliteit te testen. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

305

• Eens de residu’s berekend zijn kunnen we de normaliteit terug nagaan met behulp van hun histogram, of met behulp van een formele normaliteitstest. In Statistica gebeurt dit op volledig analoge manier als voor 1-weg ANOVA. • Statistica output (voor origineel model met interactie):


306

• De assumptie van normaliteit is dus aanvaardbaar. • Zoals voorheen geldt dat:


. In geval van asymmetrie kan de respons soms getransformeerd worden, zodat de residu’s in het nieuwe model wel normaal verdeeld zijn. . Eventuele transformaties kunnen de constante variantie verstoren, zodat dit na een transformatie terug bekeken moet worden voor het vernieuwde model.


307

12.5


• Elk ANOVA model resulteert dus in een voorspelde gemiddelde respons voor elke combinatie van de factoren in het model, en deze voorspellingen voldoen aan de assumpties die het model impliciet maakt. In ons voorbeeld leidde het weglaten van de interactie tussen de woonsituatie en de neuro-status tot parallelle voorspelde gemiddelden. • Net als bij 1-weg ANOVA en bij regressie is het belangrijk na te gaan of bepaalde subjecten in onze data set uitzonderlijk grote invloed hebben op deze voorspelde waarden. • Statistica laat terug toe een Cook’s distance te berekenen die meet hoe sterk de voorspelde waarden veranderen als een individu uit de analyse wordt gelaten. • Dit gebeurt op volledig analoge manier als bij 1-weg ANOVA. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

308

• Statistica output (voor model zonder interactie):


309

• Zoals verwacht heeft de outlier #25 een relatief grote Cook’s afstand, wat er op wijst dat dit individu relatief invloedrijk is voor het schatten van de gemiddelde respons. • Anderzijds zijn er nog twee individuen meer invloedrijk, nl. de subjecten #49 en #53 (= meest invloedrijk). • Om nu bvb. de invloed van subject #53 beter te bestuderen kunnen we de analyse op basis van alle data vergelijken met de analyse zonder dit subject.


310

• De respectievelijke outputs zijn:


311

• Geschatte gemiddelden op basis van analyse met #53:


312

• Geschatte gemiddelden op basis van analyse zonder #53:


313

• Aangezien ons ANOVA model geen interactie bevat, moet het geschatte effect van de neuro-status hetzelfde zijn voor alle woonsituaties, zowel voor de analyse met subject #53 als voor de analyse zonder dit subject. • We zien dat subject #53 als effect heeft dat het geschatte effect van de neuro-status vergroot. Het weglaten van patiënt #53 leidde dan ook tot een grotere p-waarde voor het neuro-effect. • Subject #53 is een neuro-psychiatrische patiënt in de tweede woonsituatie. Er zijn slechts 4 patiënten in deze situatie, met de volgende ADL scores: Patiënt ADL (dag 1)


#11

19

#24

18

#26

16

#53

24

314

• Onze patiënt is dus een outlier in zijn groep. Zijn extra grote ADL score zorgt er dus voor dat het geschatte neuro-effect vergroot. • Geobserveerde gemiddelden (geen ANOVA) bekomen met subject #53:


315

• Geobserveerde gemiddelden (geen ANOVA) bekomen zonder subject #53:


316

• We zien dus dat onze oorspronkelijke impressie van aanwezige interactie hoofdzakelijk te wijten was aan subject #53. • Dit verklaart ook waarom de interactie term helemaal niet significant was (p = 0.4515) • Deze p-waarde wordt 0.8717 indien subject #53 uit de analyse gelaten wordt.


317

Hoofdstuk 13 Analyse van covariantie

. Voorbeeld . Berekeningen in Statistica . Interpretatie van de resultaten . Model diagnose . Invloedrijke observaties


318

13.1

Voorbeeld

• Bij enkelvoudige regressie hebben we reeds aangetoond dat er een verband bestaat tussen de afhankelijkheid van de patiënt en zijn cognitieve toestand. Anderzijds verwachten we ook een relatie tussen het al dan niet voorkomen van complicaties en afhankelijkheid. • We wensen daarom het verband na te gaan tussen afhankelijkheid enerzijds, en cognitieve toestand en het voorkomen van complicaties anderzijds. • Overzicht van het aantal patiënten met en zonder algemene post-operatieve complicaties:


319

• Indien we de afhankelijkheid van de patiënt willen relateren aan het al dan niet voorkomen van post-operatieve complicaties, dan kunnen we niet de ADL score op 1 dag na de operatie als respons gebruiken. • Anderzijds werd de ADL score slechts opgemeten op 1 dag, 5 dagen en 12 dagen na de operatie. • We gebruiken nu als nieuwe respons de hoogste ADL score opgemeten voor elke patiënt • Deze maximale ADL score drukt dus de hoogste graad van afhankelijkheid uit, opgetekend voor elk subject in onze studie.


320

• Deze nieuwe variabele kan als volgt in Statistica aangemaakt worden: . Nieuwe veranderlijke aanmaken:

. Omdat de veranderlijke ADLTOT12 veel ontbrekende waarden aanneemt, intern gecodeerd als −9999, definiëren we de ‘Missing Data code’ als een andere waarde, zodat de waarde −9999 niet meer als ‘missing’ beschouwd wordt en kan gebruikt worden bij de definitie van ons maximum Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

321

. Voordien en nadien:


322

. We kunnen nu onze nieuwe veranderlijke aanmaken:


323

• We zullen deze nieuwe variabele relateren aan de cognitieve toestand van de patiënt, 1 dag na de operatie, alsmede aan het al dan niet voorkomen van algemene post-operatieve complicaties. • Een regressie van de maximale ADL score op de MMSE score 1 dag na de operatie levert een significant (p < 0.0001) verband op, waarbij de afhankelijkheid toeneemt als de MMSE daalt • Een ongepaarde t-test (verschillende varianties) toont aan dat de gemiddelde ADL significant hoger is (p < 0.0001) voor patiënten met complicaties dan voor patiënten zonder complicaties


324

• Grafisch:


325

• Deze resultaten zijn ook te zien op een figuur met verschillende symbolen voor de twee groepen:


326

• Merk op dat alle patiënten met complicaties een ADL score hebben boven de regressie lijn die we hadden bekomen zonder onderscheid te maken tussen de patiënten met en zonder complicaties. • Dit suggereert dat een afzonderlijke regressie nodig is voor beide groepen. • Grafisch kan dit als volgt weergegeven worden:


327



328

• De figuur suggereert dat het verband tussen de ADL score en de MMSE score minder sterk is voor de patiënten met een complicatie dan voor de patënten zonder complicatie. M.a.w. we verwachten een interactie van MMSE met het al dan niet voorkomen van complicaties. • Om dit statistisch te testen hebben we analyse van covariantie (ANOCOVA) nodig die toelaat de relatie te bestuderen tussen een continue respons enerzijds en een of meerdere covariaten (cfr. regressie), en een of meerdere factoren (cfr. ANOVA) anderzijds. • ANOCOVA kan dus gezien worden als een combinatie van regressie met ANOVA.


329

13.2


• In Statistica kan men in de module ‘Visual GLM: Homogeneity-of-slopes’ een statistisch model fitten dat een lineair verband veronderstelt voor de beide groepen afzonderlijk:


330

• De output is op analoge manier gestructureerd als bij regressie en ANOVA analyses:


331

• Zoals bij regressie krijgen we terug een opsplitsing van de totale variabiliteit in de respons (SSTO) in een component die verklaard kan worden door variabiliteit in de MMSE scores en verschillen te wijten aan het al dan niet voorkomen van complicaties (SSR), en een component die uitdrukt hoe groot de totale fout is als we de ADL voorspellen op basis van de effecten in ons model (MMSE en complicaties). • Ook hier krijgen we een globale F-test die nagaat of de effecten in ons model informatie bevatten voor het voorspellen van de ADL score. In ons voorbeeld hebben we dus een significant resultaat (p < 0.0001). • Zoals voorheen drukt de R2 uit welk gedeelte van de totale variabiliteit in de gegevens verklaard kan worden door de effecten in ons model: SSR 557.01 R2 = = = 0.6657, SST O 836.75 wat dus betekent dat het al dan niet voorkomen van complicaties, en de MMSE score 1 dag na de operatie, ADL voor meer dan 66% verklaart. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

332

13.3


• De relevante ANOVA tabel voor het testen van de verschillende effecten in ons model is:

• We krijgen een F-test voor elk effect dat we gespecifieerd hebben in ons model. • Omdat bovenstaand gefit model een interactie term bevat kunnen we geen uitspraak doen over ‘het’ effect van complicaties of over ‘het’ effect van de MMSE score op de maximale ADL score. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

333

• Uit de bovenstaande tabel blijkt dat er toch evidentie is voor enige interactie tussen beide effecten (strikt genomen niet significant, p = 0.0666 > 0.05). • Dit betekent dat er inderdaad evidentie is dat het effect van de MMSE score niet hetzelfde is voor patiënten met als zonder complicaties, m.a.w. dat beide regressielijnen op volgende figuur niet evenwijdig zijn:


334

• Niettegenstaande er toch een graad van evidentie is voor de aanwezigheid van interactie tussen MMSE en het al dan niet voorkomen van complicaties, en niettegenstaande deze interactie ook inhoudelijk zinvol is, en misschien wel te verwachten is, is de interactie term strikt genomen niet significant (p = 0.0666). • Het weglaten van de interactie resulteert in een model dat parallelle lijnen veronderstelt voor beide groepen: Het effect van MMSE is hetzelfde voor de patiënten met als zonder complicaties:


335

• Dit model kan in Statistica gefit worden via de module ‘Visual GLM: Analysis of covariance’:

• Het verder specifiëren van het model gebeurt volledig analoog als voorheen.


336

• ANOVA tabellen:

• Beide overblijvende effecten zijn dus hoog significant:

. Er is een significant verschil tussen patiënten met en zonder complicatie, na correctie voor MMSE1. M.a.w. voor patiënten met gelijke MMSE score 1 dag na de operatie, zal er nog een significant verschil zijn tussen beide groepen.

. Er is een significant effect van MMSE1, na correctie voor GEN. M.a.w. zowel voor patiënten met als zonder complicatie is ADL gerelateerd met de MMSE score 1 dag na de operatie. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

337

13.4

Model diagnose

• Zoals bij regressie en ANOVA, impliceert ANOCOVA ook een statistisch model om de gegevens te beschrijven. In ons eerste model (met interactie) veronderstelden we dat, zowel voor patiënten met als zonder complicaties, de relatie tussen de maximale ADL score en de MMSE score op dag 1, lineair is, maar dat het intercept zowel als de helling verschillend kunnen zijn voor de beide groepen. • Op basis van dit model kunnen we dus terug voor elk individu een voorspelde ADL score bepalen op basis van zijn complicatie-status en zijn MMSE score 1 dag na de operatie. • Ook nu weer werd impliciet verondersteld dat fouten die men maakt bij het voorspellen normaal verdeeld zijn met gemiddelde nul, en met constante variantie. • Het niet voldaan zijn hiervan kan terug leiden tot verkeerde resultaten. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

338

• Zoals steeds zal het nakijken van deze assumpties gebaseerd zijn op de berekende residu’s ei = yi − yci. Deze mogen geen systematische trends meer vertonen, moeten constante variantie hebben, en moeten normaal verdeeld zijn. • In de praktijk volstaat het meestal volgende technieken toe te passen: . Scatterplots van de ei versus alle covariaten in het model. . Scatterplot van de ei versus de voorspelde waarden yci

. Normaliteitschecks voor de ei


339

13.4.1

Residu’s versus covariaten

• Bij meervoudige lineaire regressie werden de residu’s ei geplot versus elke covariaat in ons model. • Nu maken we een scatterplot van de residu’s ei versus elk van de covariaten in het model, maar eventueel met verschillende symbolen voor patiënten van verschillende subgroepen die in het model in rekening gebracht werden (met/zonder complicaties). • Indien het model correct is verwachten we geen systematische trends meer, voor geen enkele van de subgroepen. • Systematische trends kunnen er, zoals bij enkelvoudige regressie, op wijzen dat een transformatie van een of meerdere covariaten nodig is.


340


• We vinden voor geen van beide groepen enige systematische trends in de residu’s. Dit betekent dus dat we de maximale ADL score niet systematisch over- of onderschatten voor bvb. patiënten met hogere of lagere cognitieve status. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

341

13.4.2

Residu’s versus voorspelde waarden

• De scatterplots van residu’s versus covariaten laten ons toe na te gaan of de respons niet systematisch onder- of overschat wordt voor bepaalde waarden van de covariaten. • Anderzijds is het ook belangrijk na te gaan of bvb. grote of kleine responsen niet systematisch over- of onderschat worden. • In ons voorbeeld komt het er op neer dat we wensen na te kijken of ons model bepaalde ADL waarden systematisch over- of onderschat. • Dit kan nagekeken worden door de residu’s te plotten versus de voorspelde waarden yci, terug met verschillende symbolen voor de verschillende sub-groepen in onze data set.


342


• We vinden dus geen systematische fouten voor bepaalde ADL waarden, noch voor de complicatie groep, noch voor de groep zonder complicaties. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

343

13.4.3

Normaliteit van de residu’s

• Het nakijken van de normaliteit van de residu’s kan terug grafisch gebeuren (histogram), of via een formele test voor normaliteit.


344

• De normaliteitsassumptie lijkt dus aanvaardbaar. • Zoals voorheen geldt dat:


. In geval van asymmetrie kan de respons soms getransformeerd worden, zodat de residu’s in het nieuwe model wel normaal verdeeld zijn. . Eventuele transformaties kunnen de lineariteit en constante variantie verstoren, zodat na een transformatie de vorige residu plots terug bekeken moeten worden voor het vernieuwde model.


345

13.5


• Elk ANOCOVA model resulteert dus in een voorspelde gemiddelde respons voor elke combinatie van de effecten in het model, en deze voorspellingen voldoen aan de assumpties die het model impliciet maakt. • In ons voorbeeld met interactie hadden we voor elke groep een verschillende regressie rechte. Het model zonder interactie leidde tot voorspelde regressie rechten die parallel zijn. • Ook nu kunnen we de invloed van elk subject op deze voorspelling nagaan, met behulp van de Cook’s distance, die meet hoe sterk de voorspelde waarden veranderen als een individu uit de analyse wordt gelaten. • In Statistica gebeurt een invloedsanalyse op net dezelfde wijze als eerder gezien bij regressie en ANOVA analyses Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

346


• We zien geen punten die sterk uitschieten boven de andere punten. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

347

Hoofdstuk 14 Het algemeen lineair model

. Introductie . Voorbeeld in Statistica . Het veralgemeend lineair model


348

14.1

Introductie

• In de vorige hoofdstukken werden heel wat statistische modellen besproken: . Lineaire regressie (enkelvoudig, meervoudig, interactie)

. Polynomiale regressie . ANOVA (enkelvoudig, meervoudig, interactie) . ANOCOVA • Dit zijn allemaal speciale gevallen van het zogenaamde ‘algemeen lineair model’ (general linear model, GLM). • Statistica bevat dan ook in de module ‘Visual GLM’ een onderdeel speciaal aangepast voor elk van deze analyses.


349

• In de praktijk zal men echter vaak een combinatie van bovenstaande modellen gebruiken om een set van covariaten en/of factoren te relateren aan een welbepaalde uitkomstveranderlijke • Ook zal men vaak stapsgewijs een ‘finaal’ model proberen te bekomen door: . Niet-significante termen weg te laten . Significante termen toe te voegen . Interacties al dan niet toe te voegen • Dit kan pas flexibel gebeuren als men gemakkelijk van het ene type analyse naar een ander type analyse kan overstappen. • Binnen Statistica kan dit binnen de module ‘Visual GLM’, via de optie ‘General MANOVA/MANCOVA’


350

14.2

Voorbeeld in Statistica

• Om het gebruik van de optie ‘General MANOVA/MANCOVA’ in de module ‘Visual GLM’ te illustreren herhalen we ons voorbeeld uit het hoofdstuk ANOCOVA waarin we de maximale ADL score relateren aan de MMSE score op de eerste dag, en het al dan niet voorkomen van complicaties. • Tevens wensen we rekening te houden met het feit dat de woonsituatie eerder ook als een belangrijke factor voor het verklaren van ADL werd bevonden (de laatste woonsituatie wordt terug weggelaten). • Tot slot wensen we te corrigeren voor het feit dat de patiënten niet allemaal even oud zijn, en we laten toe dat de relatie tussen Leeftijd en ADL kwadratisch zou zijn.


351

• We bekomen dan een model met de volgende effecten: . MMSE (dag 1): hoofdeffect van MMSE . Gen: hoofdeffect van complicatie-status . Woonsi: hoofdeffect van woonsituatie . MMSE*Gen: interactie van complicatie-status en MMSE . MMSE*Woonsi: interactie van woonsituatie en MMSE . Woonsi*Gen: interactie van woonsituatie en complicatie-status . Leeftijd en Leeftijd2: correctie voor leeftijd


352

• Binnen Statistica kan deze analyse als volgt gespecifieerd worden:

. Kies de optie ‘General MANOVA/MANCOVA’ in de module ‘Visual GLM’, en specifieer de afhankelijk veranderlijke, de covariaten, en de factoren in het model:


353

. Via ‘Between effects’ kunnen de verschillende effecten in het model gespecifieerd worden:


354

• De output is op volledig dezelfde manier georganizeerd als bij alle eerdere analyses: • Ook de modeldiagnose en het zoeken naar invloedrijke observaties gebeurt op analoge wijze • We bekomen de volgende ANOVA tabel met de testen voor de individuele effecten:


355

• Als informele check voor de model specificatie kunnen we nakijken of de vrijheidsgraden aan de volgende regels voldoen: . 1 df voor elke covariaat (Leeftijd, Leeftijd2, MMSE) . r − 1 df voor een factor met r niveau’s (Gen, Woonsi) . het produkt van de individuele df voor elke interactie (Gen*Woonsi, Gen*MMSE, Woonsi*MMSE) • Merk op dat we hier dus ook bevestigd zien dat de laatste woonsituatie is weggelaten (2 df komt overeen met 3 groepen). • Ons model bevat duidelijk te veel effecten en kan dus, stap voor stap gereduceerd worden. Dit kan in Statistica via de optie ‘Modify’ in het output scherm


356

• Zoals steeds worden hoofdeffecten maar ge¨ınterpreteerd als ze in geen enkele interactie meer voorkomen. • Opdat de gerapporteerde p-waarden correct zouden zijn moeten we echter wel eerst het model nakijken op het voldaan zijn van de onderliggende gemaakte assumpties • De assumpties zijn nagekeken en voldaan bevonden (hier niet weergegeven)


357

• Model reductie:

. Stap 1: het weglaten van Leeftijd2:


358

. Stap 2: het weglaten van Leeftijd:


359

. Stap 3: het weglaten van Gen*MMSE:


360

. Stap 4: het weglaten van Woonsi*MMSE:

• Niettegenstaande de interactie van de complicatie-status en de woonsituatie strikt genomen niet significant is (p = 0.0776 > 0.05) is er toch enige evidentie voor aanwezige interactie.


361

• Als we dit model als finaal model aannemen, dan bekomen we volgende conclusies: . Er is geen leeftijdscorrectie nodig

. De relatie tussen de maximale ADL en de MMSE op dag 1 is niet afhankelijk van de woonsituatie, noch van het al dan niet voorkomen van complicaties. . Het effect van het voorkomen van complicaties op de maximale ADL hangt af van de woonsituatie van de patiënt voor de opname. • Dit kan grafisch weergegeven worden door de voorspelde ADL waarden weg te schrijven in een data set (zoals bij residu’s), en ze nadien te tekenen via ‘2D categorized scatterplots’.


362



363

• Resultaat in Statistica bekomen:


364

• We zien dus dat patiënten met complicaties in het algemeen meer afhankelijk zijn dan personen zonder complicaties • Verder zien we ook dat het effect van een complicatie veel groter is bij alleenwonenden, dan bij de twee andere groepen. Dit is een van de aspecten van de interactie tussen woonsituatie en complicatie-status. • Indien men toch had besloten de interactieterm uit het model weg te laten dan zouden andere predicties bekomen zijn


365

• Grafisch:


366

• We zien dat nu inderdaad het effect van een complicatie even groot is in de drie woonsituaties. • Anderzijds is het verschil tussen de drie woonsituaties niet afhankelijk van het feit of er al dan niet complicaties zijn voorgekomen.


367

14.3

Het veralgemeend lineair model

• Alle modellen tot nu besproken hebben als gemeenschappelijk kenmerk dat de afhankelijk veranderlijke een continue veranderlijke is • Dit is ook gereflecteerd in het feit dat elke techniek gebaseerd is op onderliggende normaliteitsassumpties. • De modellen worden daarom lineaire modellen genoemd. • Indien men bvb. een dichotome veranderlijke wenst te relateren aan een aantal covariaten en/of factoren, dan kan men dit dus niet meer met behulp van lineaire modellen.


368

• Veralgemeend lineaire modellen veralgemenen de lineaire modellen naar gevallen waar de uitkomst veranderlijke niet langer continu, normaal verdeeld hoeft te zijn. • Het meest gebruikte model hierbij is logistische regressie, wat toelaat dichotome uitkomstveranderlijken te analyseren.


369

Hoofdstuk 15 Enkelvoudige logistische regressie

. Voorbeeld . Logistisch regressie model . Berekeningen met Statistica + interpretatie . Model diagnose . Invloedrijke observaties


370

15.1

Voorbeeld

• Een van de longitudinale metingen is de CAM score die meet in hoeverre de patiënt al dan niet verward is. • Deze score werd opgemeten op 1, 3, 5, 8, en 12 dagen na de operatie. Op basis van deze 5 metingen kan men dus bij benadering nagaan of de patiënt al dan niet verward geweest is na de operatie. • Deze variabele is binair (0=niet verward, 1=verward) en is een van de responsen waarin de onderzoekers bijzonder ge¨ınteresseerd zijn.


371

• Overzicht van het aantal verwarde en niet-verwarde patiënten:

• Ongeveer 23% van de patiënten zijn dus verward geweest na hun operatie. • Anderzijds zou het kunnen dat de kans op verwardheid afhangt van factoren zoals leeftijd, het al dan niet neuro-psychiatrisch zijn,. . . .

=⇒

Logistische regressie


372

15.2

Het logistisch regressie model

• Stel dat we willen nagaan of het al dan niet verward zijn gerelateerd is met de leeftijd van de patiënt. • We hebben dan voor elke patiënt een koppel (xi, yi) van metingen: . xi : de leeftijd van de ide patiënt

. yi : verwardheid : 0 : niet verward geweest 1 : wel verward geweest • Een eerste manier om de relatie tussen de xi en de yi te beschrijven is een lineair regressie model: Yi = β 0 + β 1 x i


373

• Grafisch:


374

• De figuur suggereert enkele problemen:

. De discrete aard van de respons leidt ertoe dat de geobserveerde data slecht beschreven worden door de regressie rechte, vandaar de lage R2. . De voorspelde waarden voor de respons kunnen elke reële waarde aannemen, wat volledig zinloos is gezien de veranderlijke Y alleen de waarden 0 en 1 kan aannemen.

• Het eerste probleem wordt opgelost door de leeftijd te relateren aan de kans op verwardheid, eerder dan aan de verwardheid zelf: P (Yi = 1) = β0 + β1xi • Dit zorgt ervoor dat elke waarde tussen 0 en 1 zinvol is.


375

• Grafisch:


376

• Om er nu ook nog voor te zorgen dat de voorspelde kansen niet groter kunnen zijn dan 1 of kleiner dan 0 vervangt men het lineair verband door het zogenaamde logistisch verband: exp(β0 + β1xi) P (Yi = 1) = 1 + exp(β0 + β1xi) • De relatie tussen de kans op verwardheid en leeftijd is dan S-vormig: . Benaderend lineair in het midden . Afgezwakt aan de uiteinden • Bovenstaand model is een logistisch regressie model.


377

• Grafisch:


378

• In de praktijk komt het er op neer om, op basis van de verzamelde gegevens, schatters βc0 en βc1 te vinden zodat de bijhorende logistische curve de gegevens het beste beschrijft. • De numerieke methode voor het berekenen van deze schatters zullen we hier niet verder behandelen. • Zoals bij enkelvoudige lineaire regressie bevat het logistisch regressie model twee parameters • Intercept β0: zorgt voor de horizontale verschuiving van de curve. Hoe groter het intercept, hoe groter de kans op een ‘succes’, wat betekent dat de regressie curve naar links verschuift als β0 vergroot.


379

• Grafisch:


380

• Richtingscoëfficiënt β1: beschrijft hoe sterk de kans op een ‘succes’ verandert als functie van de covariaat X. De logistische curve is stijgend als β1 > 0, en dalend als β1 < 0. Hoe groter |β1|, hoe sterker de stijging of daling. • Grafisch (β1 > 0):


381

• Grafisch (β1 < 0):


382

• Merk op dat we tot nu toe de kans P (Y = 1) gemodelleerd hebben als functie van een covariaat X. Een volledig equivalent model wordt bekomen door P (Y = 0) te modelleren: exp(β0 + β1xi) P (Yi = 0) = 1 − P (Yi = 1) = 1 − 1 + exp(β0 + β1xi) 1 1 = = 1 + exp(β0 + β1xi) exp(β0 + β1xi)[1 + exp(−β0 − β1xi)] exp(−β0 − β1xi) = 1 + exp(−β0 − β1xi) • Indien dus de kans op een ‘faling’ gemodelleerd wordt, bekomen we dezelfde resultaten als bij het modelleren van de kans op een ‘succes’, alleen worden tegengestelde coëfficiënten bekomen.


383

15.3


• Het specifiëren van het model kan in Statistica op volledig analoge manier gebeuren als het specifiëren van een algemeen lineair model, maar dan binnen de module ‘Visual Generalized Linear Model’ • Verder moet de binomiaal verdeling en de logistische link functie gespecifieerd worden:


384

• Model specificatie:

• Via de optie ‘Response codes’ kunnen we achterhalen welke kans (‘succes’, ‘faling’) gemodelleerd zal worden als functie van de leeftijd:


385

• De kans op de eerst-vermelde gebeurtenis wordt gemodelleerd, hier dus P (geen verwarring). Intern zal ‘geen verwarring’ dus als een 1 gecodeerd worden, en wordt dus als ‘succes’ gemodelleerd. • De output is op analoge manier gestructureerd als bij vorige analyses:


386

• Via ‘Summary of all effects’ bekomen we een test voor de significantie van elk van de effecten gespecifieerd in het model (hier enkel Leeftijd):

Deze tabel vervangt de ANOVA tabellen bij de lineaire modellen. • De parameterschatters worden bekomen via ‘Estimates’:


387

• We zien dat er een significant (p = 0.0137) verband bestaat tussen de leeftijd en het voorkomen van verwardheid. De logistische curve wordt beschreven door de vergelijking: exp(10.30 − 0.11 × leeftijd) P (niet verward) = 1 + exp(10.30 − 0.11 × leeftijd) of, equivalent exp(−10.30 + 0.11 × leeftijd) P (verward) = 1 + exp(−10.30 + 0.11 × leeftijd) • De kans op verwardheid neemt dus toe met de leeftijd (0.11 > 0).


388

• Bovenstaande vergelijking kan nu gebruikt worden om, op basis van de leeftijd, de kans op verwardheid te voorspellen: Leeftijd

P (verward)

65 jaar

exp(−10.30+0.11×65) 1+exp(−10.30+0.11×65)

= 0.05019

75 jaar

exp(−10.30+0.11×75) 1+exp(−10.30+0.11×75)

= 0.14095

85 jaar

exp(−10.30+0.11×85) 1+exp(−10.30+0.11×85)

= 0.33751

95 jaar

exp(−10.30+0.11×95) 1+exp(−10.30+0.11×95)

= 0.61268


389

• Via de optie ‘Resid.1’ kunnen we ook een tabel opvragen van de voorspelde kans voor elk individu:

• Merk op dit voorspellingen zijn voor de kans op geen verwardheid. • Via de optie ‘Resid.2’ kunnen de voorspelde waarden ook weggeschreven worden om ze nadien te tekenen. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

390

• Resultaat:

• Merk op dat de we hier slechts een gedeelte van de S-curve te zien krijgen: enkel voor die waarden van leeftijd waar we observaties hebben:


391

• Geëxtrapoleerde curve:


392

15.4

Model diagnose

• Elk statistisch model is gebaseerd op een aantal assumpties omtrent de verzamelde gegevens, zo ook het enkelvoudig logistisch regressie model. • In ons voorbeeld veronderstelden we dat de respons (verward of niet) een Bernoulli verdeling volgde, waarvan de kans op ‘succes’ beschreven kan worden door een logistische curve: P (verward) =

exp(β0 + β1leeftijd) 1 + exp(β0 + β1 × leeftijd)

• Zoals steeds geldt dat het niet voldaan zijn van de gemaakte assumpties kan leiden tot verkeerde resultaten.


393

15.4.1

De Pearson χ2 statistiek

• Bij elke logistische regressie hoort een tabel met zogenaamde ‘Goodness-of-fit’ statistieken. • In Statistica bekomen we die via de optie ‘Summary: Goodness-of-fit’ • Voor ons voorbeeld is het resultaat:

• We zullen enkel de Pearson χ2 statistiek interpreteren. Dit is een algemene maat voor hoe goed de geobserveerde data aansluiten bij de logistische curve. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

394

• Hoe kleiner χ2, hoe beter het model de gegevens beschrijft. • Als vuistregel kan men modellen waarvoor de χ2 kleiner is dan zijn aantal vrijheidsgraden (DF) als goed beschouwen. Dit komt dus neer op een waarde voor Value/DF die kleiner is dan 1.


395

15.4.2

Pearson residu’s

• Zoals bij regressie en ANOVA modellen kan men bij logistische regressie ook residu’s berekenen die aangeven hoe goed de respons van een bepaald individu door de regressie curve benaderd wordt. • In de context van logistische regressie worden er vaak verschillende soorten residu’s gedefinieerd en gebruikt. We zullen ons hier beperken tot de zogenaamde Pearson residu’s die we, naar analogie met regressie en ANOVA, noteren als ei. • Het residu ei is een maat voor hoever de geobserveerde respons (0 of 1) ligt van de voorspelde kans op een ‘succes’: d yi − P (Yi = 1) r ei = d d P (Yi = 1)(1 − P (Yi = 1))

De noemer is nodig om ervoor te zorgen dat alle ei vergelijkbare variantie hebben. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

396

• Voor ons voorbeeld zou dit erop neer komen dat we het al dan niet verward zijn vergelijken met de voorspelde kans op verwardheid. • In Statistica worden deze Pearson residu’s gerapporteerd als een van de ‘basic residuals’. Deze kunnen ook terug weggeschreven worden om nadien te tekenen.


397

• Een scatterplot van de Pearson residu’s t.o.v. de covariaat Leeftijd:

• Merk op dat deze figuur toch een vorm van systematiek vertoont. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

398

• In het algemeen verwachten we zelfs dat bij een sterk predictief model, we een grote systematiek zullen vinden in een scatterplot van de Pearson residu’s t.o.v. de covariaat in het model: . Alle niet-verwarde patiënten hebben een positief residu: d 1−P (Yi = 1) ≥ 0

. Een zeer groot positief residu komt overeen met een patiënt waarvoor we verwardheid verwachtten (relatief grote voorspelde kans op verwardheid), maar die toch niet verward geweest is.

. Alle verwarde patiënten hebben een negatief residu: d 0−P (Yi = 1) ≤ 0

. Een zeer klein negatief residu komt overeen met een patiënt waarvoor we geen verwardheid verwachtten (relatief grote voorspelde kans op geen verwardheid), maar die toch verward geweest is.

. In een sterk predictief model verwachten we dus voornamelijk positieve residu’s voor kleine covariaat waarden en negatieve residu’s voor grote covariaat waarden, of omgekeerd. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

399

• Daarom worden in de praktijk geen scatterplots gemaakt van de Pearson residu’s tegenover de covariaat (of voorspelde waarden). • Wel kan een indexplot van de Pearson residu’s helpen om de observaties te detecteren die het slechts aan het model voldoen:


400

• We zien dat de negatieve residu’s de grootste zijn in absolute waarde. • Verder zijn er een aantal uitschieters: c Patiënt Leeftijd P (Verwarring) Pearson residu

#16

83

0.28902

−1.56841

#18

73

0.11576

−2.76382

#33

83

0.28902

−1.56841

#34

83

0.28902

−1.56841

#38

72

0.10466

−2.92493

#51

83

0.28902

−1.56841

#52

77

0.17080

−2.20338

#53

84

0.31285

−1.48202

• Al deze patiënten hadden dus een lage voorspelde kans op verwardheid, en waren toch verward. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

401

• Een nauwkeurige analyse van deze subjecten heeft uitgewezen dat het allemaal neuro-psychiatrische patiënten zijn. • Dit kan grafisch weergegeven worden door de residu’s opnieuw te plotten, maar met een verschillend symbool voor de twee neuro-groepen:


402

• We zien dus dat alle verwarde neuro-psychiatrische patiënten een groot (positief) residu hebben, wat erop wijst dat ons model deze patiënten niet goed beschrijft: De kans op verwardheid bij een neuro-psychiatrische patiënt wordt systematisch onderschat. • Dit zal aanleiding zijn om verder een meervoudige logistische regressie uit te voeren die toelaat meerdere covariaten of factoren tegelijk in rekening te brengen bij het voorspellen van verwardheid.


403

15.5


• Net als bij regressie, ANOVA en ANOCOVA is het mogelijk de invloed na te gaan, van elk individu afzonderlijk, op de bekomen resultaten. • Men kan hier terug de Cook’s afstand gebruiken, en dit wordt op net dezelfde manier bekomen als bij de lineaire modellen eerder besproken. • Bij observaties met relatief grote invloed kan de analyse opnieuw uitgevoerd worden met en zonder deze observaties. • Ook dit gebeurt op volledig analoge wijze als bij de lineaire modellen.


404

Hoofdstuk 16 Meervoudige logistische regressie

. Voorbeeld . Berekeningen met Statistica + interpretatie . Model diagnose . Invloedrijke observaties


405

16.1

Voorbeeld

• Bij enkelvoudige logistische regressie hebben we evidentie gevonden om te geloven dat het logistisch regressie model, dat we gebruikten om de kans op verwardheid te relateren met leeftijd, de kans op verwardheid systematisch onderschat voor de neuro-psychiatrische patiënten. • Dit suggereert dat we eigenlijk een afzonderlijke logistische regressie zouden moeten uitvoeren voor de beide neuro-groepen afzonderlijk. • Net zoals bij lineaire regressie en ANOVA kan het enkelvoudig logistisch regressie model uitgebreid worden naar situaties waar de respons gerelateerd wordt aan meerdere covariaten (zoals bij meervoudige regressie), meerdere factoren (zoals bij meervoudige ANOVA) of meerdere covariaten en factoren (zoals bij ANOCOVA). • Ook nu is het mogelijk interacties in het model in te sluiten. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

406

16.2

Berekeningen met Statistica + interpretatie

• Zoals bij de lineaire modellen bestaat er voor logistische regressie in principe terug een module binnen Statistica voor elk specifiek type model:

• De optie ‘General custom designs’ laat de gebruiker toe een willekeurig model volledig zelf te specifiëren. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

407

• Dit gebeurt volledig analoog zoals eerder uitgelegd voor de module ‘Visual GLM’, optie ‘General MANOVA/MANCOVA’ voor lineaire modellen (zie hoofdstuk 14). • Een logistische regressie die de kans op verwardheid tegelijk relateert aan de leeftijd en aan de neuro-status, en die toelaat dat het effect van leeftijd op verwardheid eventueel anders is voor neuro patiënten dan voor niet-neuro patiënten (interactie) kan als volgt in Statistica uitgevoerd worden:


408

• De Output is weer volledig analoog gestructureerd als voorheen, en testen voor individuele effecten worden bekomen via de optie ‘Summary of all effects’:


409

• Een grafische weergave van de geschatte regressie curven kan terug bekomen worden door de voorspelde kansen weg te schrijven en nadien te tekenen met verschillende symbolen voor de beide groepen:


410

• De figuur suggereert dat, voor beide neuro-groepen, de kans op verwardheid stijgt als functie van de leeftijd. • Verder is, voor elke leeftijd, de kans op verwardheid groter voor neuro patiënten dan voor niet-neuro patiënten. • Het schijnbaar sterker verband tussen verwardheid en leeftijd voor de niet-neuro patiënten dan voor de neuro patiënten is niet significant (p = 0.1982). M.a.w., men mag aannemen dat het effect van leeftijd op verwardheid hetzelfde is voor beide neuro groepen. • Een logistisch regressie model dat dit expliciet veronderstelt kan geschat worden door de interactie term uit het model weg te laten.


411

• Resultaat:

• Beide termen zijn dus significant, na correctie voor de andere:

. Er is een significant effect van de leeftijd op verwardheid, na correctie voor de neuro status (p = 0.0110). M.a.w. zowel voor neuro als voor niet-neuro patiënten is er een significant verband tussen de leeftijd en de kans op verwardheid.

. Er is een significant effect van neuro-status, na correctie voor leeftijd (p = 0.0017). M.a.w. Voor patiënten met gelijke leeftijd is er toch nog een significant effect van de neuro status op het al dan niet verward zijn.


412

• Op basis van bovenstaand model bekomen we nu volgende figuur voor de voorspelde kansen op geen verwarring:


413

• Aangezien ons model nu geen interactie van neuro status met leeftijd meer bevat moet de ene S-curve een horizontale verschuiving zijn van de andere S-curve. • Dit is beter te zien als we beide curven extrapoleren naar leeftijden buiten het bereik van de geobserveerde leeftijden:


414

• Als algemeen besluit kunnen we stellen dat zowel de neuro status als de leeftijd het risico op verwardheid onafhankelijk van elkaar be¨ınvloeden: . De kans op verwardheid stijgt met de leeftijd . De kans op verwardheid is groter bij neuro-psychiatrische patiënten dan bij niet-neuro-psychiatrische patiënten.


415

16.3

Model diagnose

16.3.1

De Pearson χ2 statistiek

• Voor ons logistisch regressie model voor het voorspellen van verwardheid op basis van leeftijd en neuro status, zonder interactie tussen beide effecten, is de tabel met ‘goodness-of-fit’ statistieken:


416

• De ratio van de Pearson χ2 statistiek over zijn vrijheidsgraden is nu 0.7914, wat er dus op wijst dat ons model de data waarschijnlijk goed beschrijft. • In ons enkelvoudig model met leeftijd als enig effect was deze ratio gelijk aan 0.9611. Dit wijst er dus op dat het toevoegen van de neuro status ons model gevoelig verbeterd heeft. Dit bevestigt het vermoeden dat we hadden op basis van de residu plot bij het enkelvoudig model.


417

16.3.2

Pearson residu’s

• Index plot van de Pearson residu’s, met verschillende symbolen voor de twee neuro-groepen:

• We zien nu een evenwichtiger verspreiding van de residu’s, en ook de neuro-patiënten hebben geen systematisch afwijkende residu’s meer. Toegepaste Biostatistiek / Wetenschappelijk Onderzoek

418

16.4


• Net zoals voorheen kan voor elke observatie terug de Cook’s afstand berekend worden die het effect meet van het weglaten van die observatie. • Bij observaties met relatief grote invloed kan de analyse opnieuw uitgevoerd worden met en zonder deze observaties. • Dit gebeurt terug op volledig analoge wijze als bij eerder besproken analyses.


419

Toegepaste Biostatistiek Wetenschappelijk Onderzoek

Recommend Documents