Onderzoeksmethoden II: introductie multilevel analyse Vooraf: Verschillende niveaus in één analyse bereken. Multilevel: bijvoorbeeld alles met scholen. o L1: leerlingen in de scholen selecteren. o L2: scholen in groepen selecteren. o L3: verschillende groepen/regio’s in Europa kiezen. Dit kan op basis van bijvoorbeeld schoolkarakteristieken of het SES van de school. Straks SES berekenen in voorbeeld. Geclusterde data. o Resultaat: lineair model niet meer kunnen gebruiken → aanpassen → lineair mixed model. o Brede toepassing: multi – level analyse.
1. Data met afhankelijke observaties 1.1
Afhankelijk Wanneer zijn observaties niet onafhankelijk? Er zijn in het algemeen twee situaties waarin zich dit voordoet. Expliciete afhankelijkheid: De data wordt (met opzet) zo verzameld, zodat de observaties niet onafhankelijk zijn. Bijvoorbeeld: Eerst trekken we een steekproef van scholen: daarna trekken we in elke school een steekproef van leerlingen, van elke leerling verzamelen we scoren ivm begrijpen lezen. We meten de bloeddruk van een patiënt elke dag gedurende tien weken. In een experiment zijn er 4 condities: elk subject doorloopt 4 condities. Lezen met muziek. Lezen met harde muziek. Lezen terwijl er gepraat wordt. Lezen als het helemaal stil is. En dit bij 1 persoon testen dus de scores zullen afhankelijk zijn van elkaar. Bijvoorbeeld turven bij haperingen! Probleem Bijvoorbeeld 20x de lengte van een persoon meten → afhankelijk! Random kiezen. Op een rijtje zetten: random door elkaar: onafhankelijk. Je weet wel in welke ‘range’ het ongeveer zit. Allerlei vormen van afhankelijkheid. Bijvoorbeeld bloeddruk van een patiënt wordt gedurende 10 weken gemeten. Niet afhankelijk. Persoon met persoonseffect. Andere patiënt 10w eken volgen. Bijvoorbeeld dag 1= lage bloeddruk. ≠ 10-70 mensen uit het publiek hun bloeddruk meten = onafhankelijk van elkaar. Bijvoorbeeld bij scholen → leerlingen zitten in klassen met soms uitstekende leraar = niveaus kunnen verschillen tussen de leraren. Voortest. Interventie (actie/placebo).
Posttest. Nog testen blijft effect duren. Random scholen selecteren (katholieke net wel selecteren) ± 100 scholen. Random leerlingen kiezen, maar meestal klasgewijs ±25 leerlingen. Klas – of schooleffect zijn mogelijk evenals het leraareffect. Hiermee rekening houden tijdens de analyse. Multi – level analyse: afhankelijke data creëren. Impliciete afhankelijkheid Ongewenste omstandigheden vervuilen de data: Data omtrent alcoholgebruik (en misbruik) in een grote (random) steekproef wordt verzameld op basis van interviews; vijf verschillende interviews (elk met hun eigen stijl) worden ingezet om de interviews af te nemen. Passief. Suggestief. … 5 types van alcoholmisbruik. Te veel vervuiling van het intervieweffect. Data omtrent depressie wordt verzameld in een grote (random) steekproef over een periode van 10 dagen; de laatste twee dagen zijn grijs en regenachtig. Gemiddelde scores lager op de laatste twee dagen. Inwisselbaarheid Onafhankelijke observaties zijn inwisselbaar; niet – onafhankelijk observaties niet.
1.2
Verschillende types niet – onafhankelijkheid
Geclusterde data o Sommige observaties horen van nature bijeen: of nog: ze behoren tot dezelfde cluster of groep. o De clusters of groepen zijn random gekozen: alle observaties die tot cluster of groep behoren gaan automatisch deel uit maken van de steekproef. o Voorbeeld: een gezin, een gebit, een koppel… o Observaties die behoren tot dezelfde cluster of groep zijn niet onafhankelijk. Hiërarchische data o Steekproeftrekking vindt plaats op verschillende niveaus (levels); de niveaus zijn genest in elkaar. o Voorbeeld: scholen en leerlingen, klinische centra en patiënten, West-Europa en de bedrijven met hun werknemers… o Soms zijn de observaties niet perfect genest: een werknemer werkt voor meer dan 1 bedrijf, of een patiënt wordt behandeld in meerdere centra; men noemt dit partial nesting of partial crossing. o De observaties binnen eenzelfde niveau zijn niet onafhankelijk. Gematchte data o Men vertrekt van een bestaande set van onafhankelijke observaties; voor elke observatie gaat men op zoek naar een gelijkaardige observatie. Delicaat om groep die medicijnen krijgt te vergelijken met een controlegroep (tenzij je er 2000 hebt). o Voorbeeld: case – control studies: Men vertrekt van een random steekproef van patiënten. Voor elke patiënt zoekt men een andere patiënt met een gelijkaardig profiel (matching); op die manier bekomt men telkens paren. Van elk paar wordt er 1 patiënt toegewezen aan de controle – groep, terwijl de andere patiënt wordt toegewezen aan de behandelingsgroep. o Matching kan gebeuren op basis van 1 dimensie (bijvoorbeeld leeftijd), maar ook (en vaker) op basis van verschillende criteria (leeftijd, geslacht, beroep, etc.) o 1-1 matching versus 1-N matching.
o Observaties die werden bekomen via ‘matching’ zijn gelijkaardig en daarom zijn onafhankelijk. Longitudinale data o Data gemeten over de tijd → tijd speelt een rol. o Longitudinale data bekomt men wanneer men bij dezelfde observaties gegevens verzameld gedurende een bepaalde tijdsperiode. o De onderzoeksvragen spitsen zich doorgaans toe op het verloop in de tijd. o Voorbeeld: bij leerlingen neemt men een rekentest af, en dit 4 maal: bij het begin van het 5de leerjaar, en bij het begin en einde van het 6de leerjaar; we bekomen 4 metingen op 4 tijdsmomenten. o Longitudinale data kan ook worden beschouwd als hiërarchische data: de individuele metingen zijn het eerste niveau, de individuen zelf het tweede niveau (hoewel de tijdspunten hier vaak vastliggen, en doorgaans niet random gekozen worden). o Observaties van hetzelfde individu zijn niet onafhankelijk van elkaar. o Opmerking: de terminologie zoals hier gepresenteerd is niet universeel en de termen worden vaak door elkaar gebruikt.
1.3
Voor het standaard lineair model is niet – onafhankelijke data problematisch. Vanuit een technisch oogpunt: het standaard lineair model insisteert dat de errortermen (en dus de observaties) onafhankelijk zijn; zo niet, is het model niet valide. Vanuit een conceptueel oogpunt: o De accuraatheid van schattingen (en onze confidentie) wordt gecapteerd door standaardfouten van de regressiecoëfficiënten. o Het lineair model verondersteld dat er N onafhankelijk observaties zijn bij het berekenen van de standaardfout (meer correct: N-p – 1, eenmaal de vrijheidsgraden in rekening worden gebracht). o Indien de observaties afhankelijk (en dus gecorreleerd) zijn, zijn er in feite minderen dan N onafhankelijke observaties, en de geschatte standaardfouten zijn daardoor klein. o De standaardfouten bepalen de p – waarden, en dus besluiten die we trekken op basis van de data. o 3 assumpties Verwachte waarde is 0. Fouttermen dezelfde voor iedereen. Fouttermen voor iedereen gelijk zijn = probleem. Toetst steunt op onafhankelijkheid, toets compleet verkeerd als je dit negeert.
1.4
Het probleem met niet-onafhankelijke data
Hoe lossen we het probleem op?
Er zijn verschillende benaderingen: Gecorrigeerde of robuuste standaardfouten: o Indien onze enige zorg is: (meer) correcte standaardfouten verkrijgen voor een standaard lineair model, dan zijn er methodes om de standaardfouten te corrigeren voor het feit dat de observaties niet onafhankelijk zijn. o Deze correcties zijn gebaseerd op het werk Huber en White en worden vaak Huber – White gecorrigeerde standaardfouten genoemd. o Omwille van de ABA vorm van de formule die wordt gebruikt om ze te berekenen spreekt men ook van sandwich estimators. Standaardfouten meer robuust maken waardoor fout groter wordt en p – waarde stijgt. De fixed – effects benadering o Men kan in het model rekening houden met de ‘groepen’ of ‘clusters’ door expliciet een variabele in het model op te nemen die aangeeft uit welke groep of cluster een observatie komt; op die manier verdwijnt het probleem van de ‘afhankelijkheid’: we houden expliciet rekening met het feit dat de data komen uit
verschillende groepen/clusters, en de fouttermen (gecorrigeerd voor het groepseffect) zijn opnieuw onafhankelijk. o Voorbeeld: om te controleren voor het effect van de J scholen waaruit de leerlingen afkomstig zijn, kan men J − 1 hulpvariabelen toevoegen aan het model: voor elke school zal er een specifieke regressiecoëfficiënt berekend worden. o De factor ‘school’ wordt hier als ‘fixed’ beschouwd: de conclusies zijn enkel geldig voor deze J scholen, niet voor alle scholen. We voegen predictor (categorisch) toe = additionele toevoeging. Categorische variabele hercoderen = explosie van variabelen. School = fixed (ligt vast); dus wanneer we opnieuw doen met = scholen → resultaten alleen voor deze scholen. De mixed – effects benadering o Analoog met de fixed – effects benadering, maar de groep/cluster variabele wordt als random beschouwd: De niveaus van de random factor zijn slechts een steekproef uit de volledige populatie. De conclusies achteraf slaan op de volledige populatie. o De overige covarianten / factoren worden als fixed beschouwd. o We hebben zowel random als fixed effecten in eenzelfde model: we verkrijgen een mixed – effects model. o De data – analyse is een stuk meer gecompliceerd, en maakt gebruikt van een uitbreiding van het standaard lineair model: de ‘lineair mixed model’. Je moet niet hercoderen! Hoe variëren de scholen? Variatie van random effecten is hier schoolvariabele. Veralgemenen naar andere scholen is mogelijk.
1.5
1.6
De vele gezichten van de ‘mixed - effects’ modellen
Mixed – effects modellen zijn ontwikkeld in verschillende disciplines, elk met hun eigen benaming en nomenclatuur: o Random – effects models, random – effects ANOVA (statistiek, econometrie) o Variance component smoel (statistiek) o Hierarchical lineair models (onderwijskunde, sociologie) o Contextuals – effects models (sociologie) o Random coefficient models (econometrie) o Repeated – measures model, repeated measures ANOVA (experimentele psychologie) Hoewel ze grotendeels equivalent zijn, verschillen ze van elkaar in termen van: o Motivatie en notatie. o Assupties omtrent de random effecten. o Schattingsmethode.
Software voor ‘mixed - models’
MLwiN 2: origineel ontwikkeld door Goldstein onder de naam ‘MLn’. HLM 7: veel gebruikt in USA. Mplus SAS (Proc Mixed): zeer flexibel, zeer goede documentatie. SPSS (Mixed): redelijk beperkt, slecht gedocumenteerd. R
2. De ‘linear mixed model’ 19 2.1
Een eenwegs random - effects ANOVA model
Het model genoteerd in de klassiek ‘effect’ ANOVA notatie. o Het effect model kan als volgt worden geschreven voor een observatie j, in niveau i:
.
o o o
: een intercept. : het (random) effect van niveau/level i van de random factor A. : de (random) foutterm.
o De variaties en worden variance components genoemd. Voorbeeld: 6 subjecten, 3 scores per subject o Is er een effect van de (random) factor subject?
We beschouwen ‘subject’ als een fixed factor. o SPSS GLM univariate: subject als fixed factor.
We beshouwen ‘subject’ al seen random factor o SPSS GLM univariate; subject al seen random factor o Klassieke ANOVA benadering
We beschouwen ‘subject’ als een random factor o Hoe kunnen we berekenen op basis van deze output: Vooreerst, we weten dat = MSE1 = 2,5. Toepassing van de regels omtrent de verwachtingsoperator leert ons dat E(MSA) = o
1
Hieruit volgt:
–
Dit voorbeeld van de ANOVA benadering om
te berekenen.
de gemiddelde kwadratische fout (Eng. Mean squared error (M.S.E.)) van de voorspelling.
o In meer complexe modellen wordt dit schier onmogelijk. We beschouwen ‘subject’ als een random factor o Variance components model o SPSS GLM variance components o ‘Subject’ als een ‘random factor’. o ANOVA (of MINQUE) benadering om variantie componenten te berekenen
We beschouwen ‘subject’ als een random factor o Moderne benadering via (restricted) maximul likelihood. o SPSS mixed models univariateµ
Het model in moderne notatie o Het model in de Laird – ware notatie: o : de (fixed) intercept o = 1 : de fixed – effect (constante regressor) o : de random – effect coëfficiënt voor subject i (de afwijking van dit subject tov de intercept). o = 1 de random – effect (constante regressor) o : de (random) error term (de afwijking van de j – score van subject i tov het subject gemiddelde). De variatie componenten o De twee variantie componenten in dit model zijn: ( o We gaan er doorgaans van uit dat de random – effect coëfficiënten niet – gecorreleerd en normaal – verdeeld zijn:
2.2
De structuur van de ‘linear mixed model’
De ‘linear mixed model’ in Laird – Ward notatie: o o is de score op de respons variabele voor de j – de van observaties die behoren tot subject/cluster/groep i = 1,2, …, N. o zijn de scores op de p regressoren voor observatie i; ze worden als (fixed) constanten beschouwd. o In vele modellen worden een constante term toegevoegd; noemt men de intercept. o De regressiecoëfficiënten zijn de fixed – effect coëfficiënten, en zijn dezelfde voor elk€ subject / cluster /groep. o zijn de random – effect coëfficiënten voor subject / cluster/ groep i; de random – effect coëfficiënten worden beschouwd als random variabelen, en niet als parameters (net zoals de fouttermen .
o
zijn de random – effect regressoren; ze zijn vaak een subset van de fixed regressoren; doorgaans wordt een random intercept term toegevoegd en wordt een random intercept genoemd. o is de random foutterm voor de j – de observatie van subject / cluster i. Stochastische assumpties van de lineair mixed model (optioneel) o De gebruikelijke assumpties voor de random – effect coëfficiënten:
o
De gebruikelijke assumpties voor de fouttermen:
Het model in matrix notatie o Het Laird – model in matrix notatie: o Met voor de observaties van de i- de cluster: is de responsvector is de model matrix voor de fixed effects. is vector van fixed – effect coëfficiënten. is model matrix voor de random effects. is vector van random – effect coëfficiënten. is vector van fouttermen. o Of voor alle clusters . Stochastische assumpties in matrix notatie (optioneel) o De random – effect coëfficiënten: en zijn onafhankelijk voor o De fouttermen: en zijn onafhankelijk voor o D bevat q(q+1)/2 parameters; bevat elementen De variantie componenten o De elementen van D en de elementen van (voor elk i) noemen we collectief de variantie componenten (variance components) Voorbeeld
o
2.3
Volledig model:
Parameterschatting
Schatten van de fixed coëfficiënten . o Indien we veronderstellen dat D en (en dus V) gekend zijn, dan is de ‘weighted least ) squares’ schatter (gegeven een symmetrische gewicht matrix W) gelijk is aan: o Waarbij de gewicht matrix gelijk is aan: . o In de praktijk moeten we V eerst schatten, dan berekenen, opnieuw V schatten, herberekenen, enzovoort; men noemt deze methoden reweighted least – squares. o Een alternatief is om alle parameters simultaan te schatten via (restricted) maximum likelihood. Schatten van de variantie componenten (optioneel) Simultaan schatten van alle parameters in het model. o Dit is de moderne benadering. o Twee methodes die worden gebruikt in de moderne benadering zijn: Maximum likelihood (ML). Restricted maximum likelihood (REML).
2.4
Op subject niveau:
Toetsen van hypotheses in een ‘linear mixed model’
Toetsen omtrent de fixed effects. o In de praktijk hanteert men een t – statistiek voor toetsen van de vorm en een F – statistiek voor modelvergelijkingen. o Helaas is dit een simplificatie (omdat V onbekend is). o Daarom is het vaak nodig een correctie door te voeren; soms kan dit door het aantal vrijheidsgraden bij te stellen; enkele veel – gebruikte methodes zijn: De ‘containment’ methode (vaak de default in software). Satterhwaite’s approximation Kenward and Roger approximation. o Let wel: voor grote datasets met vele clusters maakt dit weinig uit. o Moderne benaderingen hanteren een Bayesiaanse methode.
Toetsen omtrent variantie componenten. o Een typische hypothese is dat de variantie van een random coëfficiënt gelijk is aan nul: . o Veel software pakketen rapporteren hiervoor een Wald z toets. Helaas is dit onzin: aan een belangrijke assumptie voor deze toetsen is hier niet voldaan: namelijk dat de parameter (onder de nulhypothese) niet op de grens mag liggen van de parameterruimte. o Een alternatief is de likelihood ratio test: Ook hier stelt zich het grensprobleem. Het lijkt niettemin toch behoorlijk te werken indien (dit is de default bij de meeste multilevel analyses, maar niet bij bijvoorbeeld longitudinale analyses). o Misschien beter vermijden?
3. Multilevel analyse 40 3.1
2 3
y
In het bijzonder in de onderwijskunde (denk ‘leerlingen in mAch scholen’) is het gebruik van ‘linear mixed models’ voor de analyse van hiërarchische data bijzonder populair. Wanneer onderzoekers in de sociale wetenschappen de term ‘multilevel analyse’ hanteren, dan bedoelen ze doorgaans de toepassing van de (moderne versie van) linear SES x mixed models op hiërarchische data. Typisch voor dit type data is het scherp onderscheid tussen de verschillende niveaus of levels; bijvoorbeeld het ‘leerling niveau’ en het ‘school niveau’ (met leerlingen genest binnen de school). De data bevat vaak variabelen op leerling – niveau en op school – niveau; één van de voordelen van een multilevel analyse is dat beide soorten variabelen simultaan in dezelfde analyse kunnen betrokken worden.
3.2
Overzicht
Voorbeeld: de ‘high school and beyond’ dataset
Data in verband met de high school and beyond survey uitgevoerd in 1982. 7185 studenten (level 1) uit 160 scholen (level 2, 70 katholieke en 90 publieke) namen deel. Een selectie de van variabalen in de dataset:2 o School: de school van de student (factor met 160 niveaus).3 Clustervariabelen, geeft aan in welke school een leerling zit o SES: sociaal – economische status van de student o mAch: (math achievement) scores op een wiskunde test o Meanses: gemiddelde SES per school o Sector: factor met twee niveaus 1 = public 2 = catholic schoolvariabele o Cses: SES van de student gecentreerd binnen elke school leerling-variabele variabelen die we gaan gebruiken op leerling-niveau op schoolniveau o Relatie tussen SES en uitkomstvariabelen zal sterk differentiëren Variatie tussen scholen; hiermee rekening houden. Politiek gevoelige dataset want berekend de controversiële SES. Bepaald de structuur van de analyse.
o o
Veel variatie tussen de scholen, kunnen we dit verklaren? In 1 school gemiddelde berekenen voor SES = meanSES Centreren van school per school (=0). Per school berekenen. Onderzoeksvragen o Het doel van deze studie was na te gaan op welke manier de wiskundescore van de studenten samenhangt met de sociaal – economische status; de belangrijkste variabelen op studentniveau zijn: mAch: de afhankelijke variabele SES: de belangrijkste predictor in deze studie o Deze relatie kan best variëren over scholen. o Indien er variatie is over scholen, kunnen we dan school – karakteristieken vinden die deze variatie verklaren? We zullen hier gebruik maken van twee variabelen: Sector Meanses Model 1: een random – effect oneway ANOVA o Dit wordt vaan het lege model genoemd daar het geen predictoren bevat, maar enkel de geneste structuur reflecteert. o Er zijn geen niveau -1 (student) of niveau -2 (school) predictoren. o Dit komt overeen met het volgende model: is algemeen gemiddelde voor alle scholen. is de afwijking of de variatie tussen de scholen. de foutterm of de variantie binnen de school. o We hebben één fixed effect: de intercept . o We hebben één random effect: die de afwijking van school j tegenover het populatiegemiddelde reflecteert, en daarnaast de (random) foutterm die de afwijking van individu i uit school j tegenover het schoolgemiddelde reflecteert. o Er zijn in dit model twee variantie componenten: : de variantie van de random intercept. : de variantie van studenten binnen dezelfde school. o Extra Alleen structuur zonder SPSS – variabele. Daarna complexer maken en dan terug meer simpel. i = leerlingen j = scholen ij= score voor 1 leerling uit 1 school. Binnen scholen kijken wat het effect is = b (met index j=school) = random effect. Fixed effect met = zelfde voor iedereen. Random effect met b = verschillende voor iedereen. Kijken hoe groot de verschillen zijn? De tussen de scholen variantie = . Binnen elke school zijn er nog verschillen. De variantie binnen eenzelfde school = foutterm = . SPSS output o Dataset maken in SPSS door volgende stappen: Analyse Mixed models Linear (continue afhankelijke variabele en niet binair. Wat is de clustervariabele (subject variabele). School → subjects. Bij + regio ook regio toevoegen.
Wat is de afhankelijke variabele + predictoren? mAch = afhankelijke variabele (dependent). Min… : niet gebruiken. Cses: continue variabele = covariate. Meanses: continue variabele = covariate. Sector: categorische variabele = factor. Fixed: fixed effect ingeven OF Random: random effect Model fitten zonder predictoren: fixed + include intercept. Random: school → clustervariabele → combinations + include intercept + covariance type: unstructured kiezen. Statistics: parameter estimates OK Covariance parameters Estimates of fixed effects. Estimates of covariance parameters. 12,636974 = (idee van gemiddelde score) Is deze coëfficiënt gelijk aan 0? Nee! Dus significant! 39,148322 = variantie van j 8,614025 = random effect (variantie ervan) Variantie binnen de school > variantie tussen de school zonder rekening te houden met andere variabelen. Heel klein = geen schooleffect. P - waarde berekenen = 8,614 = 39,148 Hoe kleiner het getal, hoe meer gelijkend de scholen zijn.
o
Er zijn telkens twee delen: Een fixed effects deel (estimates of fixed effects) Een ‘variance components’ deel (estimates of covariance parameters) Interpretatie o Bij de fixed effects staat enkel de intercept ( = 12.637); dit is de geschatte gemiddelde score op de wiskundetest over alle scholen heen. o Bij de variantie componenten vinden we: = 8,614 = 39,148 o De variantie tussen de scholen is (in dit model) aanzienlijk kleiner dan de variantie binnen de shcolen; er zijn dan ook nog geen predictoren in het model opgenomen. o De intra – class correlation coefficient (ICC) voor deze data is:
Dit is de proportie variantie te wijten aan het school – effect (in het algemeen noemt men dit het cluster – effect). Model 2: één level – 1 predictor o We behouden de fixed intercept en de random intercept. o We voegen één level – 1 predictor toe: SES. o Ten behoeve van de interpretatie van de fixed intercept zullen we eerst SES centreren binnen enkel school (per school trekken we het schoolgemiddelde af voor alle SES scores binnen die school)4. o Dit geeft het volgende model: o Door het centreren van SES zal opnieuw de geschatte ‘gemiddelde’ score op wiskunde reflecteren in de populatie. o Er zijn nog steeds twee variantie componenten: : de variantie van de random intercept : de foutvariantie van de binnen – school regressies SPSS output o Dataset maken in SPSS door volgende stappen: Idem model 1 Fixed effect Cses toevoegen bij model. De rest = Modellen (zie verder) o Output:
o
4
Verder: Estimate intercept: niet veel veranderd. SES variabele gecentreerd omdat intercept gelijk zou blijven! Estimates of covariance ~ model 1 2,19 (significant) Alle scores: SES en wiskunde hebben verband: slecht voor een school. Cses neemt met 1 eenheid toe dan wiskunde +2.19. Interpretatie o Op basis van het significante effect van de fixed variabele cses (sociaaleconomische status gecentreerd binnen de school) besluiten we dat er (aldus dit model) een positief verband bestaat tussen cses (de relatieve socio - economische status binnen de school) en de wiskunde score (mAch). o Voor elke stijging met e´en eenheid voor sociaal - economische status, stijgt de verwachte score op de wiskunde test met 2.1912, en dit (aldus dit model) in alle scholen. o De tabel met de random effecten toont dat de foutvariantie van het model lichtjes is gedaald (van 39.148 naar 37.010). o De tabel met de random effecten toont ook dat de extra fixed variabele de variantie tussen de scholen niet verklaart (de variantie stijgt zelfs lichtjes van 8.614 naar 8.672). Gecentreerd!
Model 3: random intercept + slope voor cses o We behouden de fixed en random effecten uit model 2. o We laten nu echter de slope van cses (de sterkte van het effect van cses op mAch) variëren van school tot school. Dit geeft het volgende model: o Dit model heeft vier variantie componenten: : de variantie van de random intercept : de variantie van de random slope (van cses) : de covariantie tussen de binnen – school intercepts en slopes. : de foutvariantie van de binnen – school regressies SPS output o Dataset maken in SPSS door volgende stappen: Daarnet regressielijn voor iedereen gelijk, maar dit is niet realistisch. Elke school heeft andere regressielijn. Bereken variantie hellingsgraad. Variantie gemiddelde scores = . Relatie wiskunde en SES. Alles wat overblijft aparte variantie. Aparte regressielijn. Random cses toevoegen. Tabelletjes o Output:
5
Estimates fixed effects: zijn ongeveer gelijk gebleven. Estimates of covariance parameters: meer informatie: 36,700200 variantie van de fouten5 8,680969 covariantie tussen intercept en slope6 0,693989 variantie van de regressiecoëfficiënt b17 UN= unstructured: laat toe om covariantie te schatten. Best wel belangrijke parameter. Interpretatie o De standaardfout op de schatting van het fixed effect van cses wordt iets groter, maar het effect blijft significant. o De variantie van de random slope voor cses is relatief klein (0.694), en lijkt dus minder van belang: het effect van cses lijkt niet heel sterk te variëren van school tot school. o Zowel de variantie van de random intercept per school (8.681) als de foutvariantie (37.700) blijven van dezelfde orde als in de eerste twee analyses.
Alles wat niet verklaard is. ~ correlatie; zo goed als nul. 7 Klein getal. 6
o Er is (in dit model) een licht positieve covariantie tussen de intercepts en de slopes van cses (0.047) (hoe hoger de intercept, hoe groter de slope). Model 4: 1 level – 2 predictor o We behouden alle fixed en random effecten uit model 3, maar voegen een eerste level-2 predictor toe: meanses, of de gemiddelde sociaal – economische status per school. o Dit geeft het volgende model:
o
In een multilevel context is het wel vaker zo dat de ‘gemiddelde score binnen een cluster’ van een predictor (hier meanses) meer van belang is dan de ‘individuele score’ op deze predictor (hier cses); men noemt dit het context effect. o De variantie componenten blijven gelijk aan deze van model 3. SPSS output o Dataset maken in SPSS door volgende stappen: Extra predictor toevoegen. Fixed predictor toevoegen. Meanses Fixed → cses en meanses → model. Oké. Uitkomsten. o Output:
o
Estimates meanses: Positief. Hoe hoger score meanses, hoe hoger score op wiskunde in het algemeen. Vrij groot getal. Toename +1 bij meanses dan toename 5,89 op wiskunde. Meanses: significant (0,000). o Estimates of covariance parameters: -0,264782 nu wel negatief. Interpretatie o Het fixed effect van meanses is significant: op scholen met een hogere gemiddelde sociaal - economische status wordt hoger gescoord op de wiskunde test; voor elk stijging met een eenheid op meanses stijgt de verwachte score op de wiskunde test met 5.896.
o
De variantie van de intercept tussen de scholen (2.693) is sterk gedaald tegenover het vorig model (8.680); aangezien ‘meanses’ de enige predictor is die er bij kwam in vergelijking met model 3 kunnen we stellen dat deze predictor een groot deel van de intercept variantie ‘opslorpt’ of ‘verklaart’. o Het is altijd het streefdoel van een onderzoeker om de ‘random’ cluster varianties (hier tussen scholen) zo veel mogelijk te ‘verklaren’ door de nodige level-2 predictoren in het model op te nemen. o De covariantie tussen de intercepts en slopes is (in dit model) nu negatief (hoe groter de intercept, hoe zwakker de slope). Model 5: interactie tussen level – 1 en level – 2 predictor o We behouden alle fixed en random effecten uit model 4. o We voegen de interactie tussen meanses en cses toe. o Dit geeft het volgende model: o o
De interactieterm reflecteert de hypothese dat de invloed van cses afhangt van meanses (en omgekeerd). Bemerk dat cses een level-1 predictor is, terwijl meanses een level-2 predictor is; doch in een multilevel analyse is dit geen probleem. o De variantie componenten zijn dezelfde als in model 4. SPSS output o Dataset maken in SPSS door volgende stappen: Fixed. Cses (met shift) en meanses → factorial →cses * meanses. Oké o Ouput: Cses * meanses (interactie) niet significant in dit model. Wordt significant want model nog niet compleet. Conditioneel afhankelijk van het model. Sector belangrijke variabele maar wordt hier nog niet bij gerekend.
Interpretatie o Bij de fixed effects kunnen we aflezen dat (in dit model!) de interactie tussen cses en meanses niet significant is (p = 0.372). o De waarden voor de overige fixed effecten zijn nauwelijks gewijzigd. o Ook de variantie componenten zijn nagenoeg ongewijzigd gebleven. Model 6: tweede level – 2 predictor. o We behouden alle fixed en random effecten uit model 5. o We voegen de level-2 predictor sector toe (1=Public, 2=Catholic). o We voegen meteen ook de interactie tussen cses en sector toe. o We bekomen het volgende model: .
o De variantie componenten zijn dezelfde als in model 5. SPSS output: o Dataset maken in SPSS door volgende stappen: Sector toevoegen en sector *cses (interactie) toevoegen. ! Geen index j = hetzelfde getal voor alle factoren. Structuren gelijk. Random = intercept = gemiddelde score per school. Slope = variantie van de school per school (alleen factoren). Meanses = schoolvariantie Fixed Cses *sector Cses Sector Meanses Cses * meanses = 3 hoofdeffecten en 2 interactie – effecten SPSS output o Hoofdeffecten geven hellingsgraad. o T = est/std. Error en is hier extreem groot (60,848). o Intercept = gemiddelde scholen die behoren tot sector (13,354509). o Cses = Regressiehelling . Als rest =0 (1,302366) stijging met 1,3 wanneer meanses=0 en sector=2= katholiek. o Cses * meanses 1,04 = significant. Effect meanses 5,33 als cses =0 wanneer +1 bij … dan hellingsgraad + 1,03. 5,33 + waarde cses x 1,03. Hellingsgraad voor katholiek = 1,03. Publiek 1,03 + 1,64! Verband sterker. Verschil tussen sectoren is sterk significant. Katholiek is referentieniveau. Meer dan verdubbeling (slecht nieuws voor publieke scholen). Wanneer SES meer invloed heeft dan slecht voor scholen. 5,33 + waarde cses x1,03
Interpretatie o Bij de fixed effecten zien we dat de nieuw toegevoegde interactie tussen cses en sector significant is (p < 0.05): Het effect van cses is positief zowel bij de ‘Public’ als de ‘Catholic’ scholen; echter, het effect van cses is veel sterker bij de ‘Public’ scholen (slope: 1.302366+1.642674 = 2.94504) dan bij de ‘Catholic’ scholen (slope: 1.302366). o De interactie tussen cses en meanses is in dit model wel signficant (in tegenstelling tot model 5): indien meanses = 0 is er een positief effect van cses (slope: 1.302366); echter voor elke stijging met een eenheid voor meanses, stijgt de slope voor cses met 1.039232. Dus indien meanses=2, is de (geschatte) slope voor cses 1.302366 + 2 ∗ 1.039232 = 3.38083. o Bij de variantie componenten merken we dat de variantie voor de random slope van cses (0.101) nog kleiner is geworden; de covariantie tussen de intercept en de slope is nu opnieuw positief. Model 7: zonder random slope voor cses o Nu we alle predictoren en interactietermen die we voorop hadden gesteld in het model hebben opgenomen, kunnen we proberen het model wat te vereenvoudigen. o Bij de fixed effecten is er weinig speelruimte, want alle effecten zijn significant. o Bij de variantie componenten lijkt het zinvol om de random slope van cses te laten vallen. o Hierdoor krijgen we opnieuw slechts 2 variantie componenten (de variantie van de intercept, en de foutvariantie). o Het verwijderen van de random slope heeft zo goed als geen enkele invloed op de rest van het model; de conclusies en interpretaties van model 6 blijven dan ook behouden. SPSS output o Dataset maken in SPSS door volgende stappen: Fixed model = gelijk.
o
Estimates of covariance parameters: Residual: 36,76609 Foutterm; nog veel onverklaarde variantie. Intercept: 2,375337 Kleiner want betere verklaring op schoolniveau. Modelbouwstrategie o Een typische strategie bij het opstellen van een model in een multilevel analyse met twee niveaus: We beginnen met een model met enkel een intercept en een random intercept voor de cluster (het ‘lege model’); we berekenen de ICC (cluster - effect). We voegen geleidelijk level-1 predictoren toe, samen met de random slopes die daar bij horen
o o
We voegen geleidelijk level-2 predictoren toe. We voegen interacties toe tussen de level-1 en level-2 predictoren in de hoop een deel van de random slope varianties te kunnen verklaren. Nadat alle fixed effects in het model zijn opgenomen, laten we de (duidelijk) niet - significante effecten weg (1 per 1) Eenmaal het ‘fixed - effects’ deel van het model definitief is, laten we de (relatief) kleine random intercepts/slopes weg, zolang het geen effect heeft op de rest van het model. Heel typisch voor multilevel. Zoeken naar wat er in random moet en wat in fixed moet! Leeg model. Fixed toevoegen. Random toevoegen.
