Onderzoeksmethoden II: structurele vergelijkingsmodellen deel 2 1. Latente variabelen modellen
Continue latente variabelen (op interval niveau). Categorische latente variabelen (nominaal / ordinaal). Exploratief versus Confirmatorisch. Latente variabelen bestaan uit 2 dingen: o Geobserveerde manifeste variabelen. o Niet – geobserveerde (latente variabelen): we construeren die want we hebben ze nodig.
2. Confirmatorische Factor Analyse (CFA)
Attitudes vragenlijst (kun je niet rechtstreeks meten).
2.1.Doelstelling
De primaire doelstelling van Confirmatorische Factor Analyse (CFA) is om na te gaan of een a priori vastgelegde factorstructuur in overeenstemming is met de data o De factorstructuur bepaalt het aantal latente variabelen (factoren), de relatie tussen de indicatoren en de factoren, de covarianties tussen de factoren, etc. . . o Deze factorstructuur is gebaseerd op eerder onderzoek (EFA?) en/of theoretische argumenten Typische toepassingen van Confirmatorische Factor Analyse zijn: o Psychometrische evaluatie van test instrumenten die theoretische constructen pogen te meten (zijn het 2 of 3 factoren, hoe best scores berekenen, betrouwbaarheid, cf. IRT). o Construct Validatie (convergente en discriminante validiteit, uitzuiveren van ‘common method effecten’). o Evaluatie van meetinvariante over groepen en/of over tijd. Tot slot is CFA altijd de eerste stap om later een structureel vergelijkingsmodel te fitten; zolang het ‘meetmodel’ niet adequaat is, heeft het geen zin om de structurele relaties tussen de ‘factoren’ te bestuderen. o Dubbele pijlen bv. Correlatie tussen 2 fouttermen. Vanaf dit → geen standaard FA model bv. Corr, dubbele pijl tussen e5 en e6 dan iets gemeenschappelijk tussen de 2. o Voor elke latente variabelen maar 1 pijl naar item, strikt onderscheiden, geen overlap. o Factoren = latente variabele die continue zijn. o Latente variabele: wat de observaties presenteren.
2.2.Het standaard CFA model
Als iemand depressief is zou die hoge score moeten hebben op de latente variabele. Hier 3 items per latente variabele. Bvb. depressie OZ Unidimensioneel model. Hier latente variabele gecorreleerd, maar men weet niet waarom. Veel ruis dus plus: o o In CFA gaan we ervan uit dat alle variabelen gecorreleerd zijn met elkaar, men zegt dat ze gecorreleerd zijn, maar niet waarom, men analyseert dit niet.
Eigenschappen standaard CFA model: o Een standaard CFA model heeft de volgende drie eigenschappen: Elke indicator y is een continue variabele die beïnvloed wordt door twee mogelijke oorzaken: De latente variabele (factor) waarvan de indicator een deelaspect hoort te meten. Alle overige oorzaken die een invloed kunnen hebben op y: de niet - geobserveerde error - term De error- termen zijn niet gecorreleerd met elkaar, en niet gecorreleerd met de factoren Alle correlaties tussen de factoren zijn niet -geanalyseerd. Waar pijlen vertrekken = reflectieve variabele. Waar pijlen toekomen = formatief variabele. Elementen van het standaard CFA model: indicatoren en factoren
o o
De indicatoren beschouwen we als endogene variabelen: de factoren als exogene variabelen. De indicatoren zijn bedoeld (deelaspecten van) de factoren te ‘meten’ Vaak zijn het items van een vragenlijst. Of scores op een subtesten (bvb. in een intelligentie – test). o De factoren corresponderen met hypothetische constructen die niet (direct) observeerbaar zijn. Vaak gaan we de factoren benoemen naar het hypothetisch construct (bvb. ‘sociale steun’ of ‘borderline personality’). Let wel: dit betekent niet noodzakelijk dat de factor dit construct meet (=naming fallacy) Een hypothetisch construct correspondeert niet noodzakelijk met de realiteit (=reification). o Zie bvb. het boek: “Gould (1981). The Mismeasure of Man.” Voor voorbeelden van ‘reification’ op basis van EFA studies van intelligentie o De schattingen van de ‘directe effecten’ van de factoren op de indicatoren noemt men factorladingen we kunnen die factorladingen interpreteren als regressiecoëfficiënten. o We kunnen die factorladingen interpreteren als regressiecoëfficiënten: . o De regressiecoëfficiënten kunnen we standaardiseren (door zowel de indicatoren als de factoren te standaardiseren). Elementen van het standaard CFA model: error – termen
o o
o o
We beschouwen de error termen als exogene variabelen (net zoals de disturbance termen in padanalyse). Het effect van de error term op de indicator representeert het gecombineerd effect van. Alle (weggelaten of onbekende) variabelen die een invloed hebben op de indicator (bvb. methode effecten). Meetfout. De variantie van de error term noemt men de ‘unieke’ variantie van de indicator (eigen aan de indicator, versus gemeenschappelijk met de overige indicatoren). Het direct effect van de error term op de indicator wordt gefixeerd op 1: op die manier leggen we de schaal vast van de error term.
2.3.Unidimensioneel versus multidimensioneel meetmodel
Anderson and Gerbing (1988) maken een onderscheid tussen een unidimensioneel versus een multidimensioneel meetmodel. o Unidimensioneel: Het standaard CFA model. Elke indicator is gerelateerd aan slechts 1 factor. De error termen zijn niet gecorreleerd. o multidimensioneel: Het CFA model bevat mogelijks kruisladingen. Een indicator is gerelateerd aan meer dan 1 factor. Het CFA model bevat mogelijks error - correlaties: een correlatie (covariantie) tussen twee error – termen. Voorbeeld: multidimensioneel meetmodel
Argumenten pro/contra uni / multidimensionele meetmodellen o Error- correlaties reflecteren de assumptie dat indicatoren iets meten dat ze gemeenschappelijk hebben maar niet in het model is opgenomen Een model zonder error- correlaties reflecteert de assumptie dat alle indicator correlaties (covarianties) kunnen worden verklaard op basis van de factoren die in het model werden opgenomen. Dit correspondeert met de ‘local independence’ hypothese: de indicatoren zijn (statistisch) onafhankelijk indien men controleert voor de (juiste set van) factoren. Error- correlaties kunnen nuttig zijn: bvb. bij herhaalde metingen kunnen ze ‘autocorrelatie’ patronen representeren. Error- correlaties kunnen ook ‘methode-effecten’ aangeven (bvb. correlaties tussen alle items die negatief geformuleerd werden) o Sommige indicatoren kunnen ‘van nature’ meerdere domeinen (factoren) meten: zijn ze ‘factorially complex’ (Catell, 1978) (bvb. ‘Big Five’).
2.4.Hiërarchische CFA modellen
is een exogene second order factor. en zijn endogene First order fatoren. Voorbeeld: hiërarchische factorstructuur voor ‘cognitive ability’
2.5.Reflectieve versus formatieve indicatoren
Reflectieve indicatoren worden beïnvloed door een factor. Formatieve indicatoren hebben een effect op de factor (en niet omgekeerd). Bijvoorbeeld: de factor ‘socio-economische status’ (SES) wordt beïnvloed door geobserveerde variabelen zoals inkomen, opleiding, beroep, etc … (Bollen & Lennox, 1991). Modellen waar dit voorkomt zijn geen CFA modellen (meer), maar structurele vergelijkingsmodellen.
2.6.Identificatie Unidimensioneel CFA model
Er zijn minstens 3 voorwaarden opdat een CFA model geïdentificeerd zou zijn: o Het aantal vrije parameters is kleiner (of gelijk aan) het aantal datapunten. o Elke latente variabele heeft een vaste schaal: De error – termen: schaal wordt bepaald door de indicatoren (wegens direct effect gefixeerd op 1). Voor de factoren zijn er twee mogelijkheden: UVI of ULI. o Een minimum aantal indicatoren per factor: Voor een CFA met (slechts) 1 factor: minstens drie indicatoren. Voor een CFA met meerderen factoren: minstens twee indicatoren per factor. Parameters en datapunten o Net zoals bij padanalyse is het aantal datapunten gelijk aan het aantal (niet – redundante) elementen van de variantie – covariantie matrix: o
De vrije parameters van een CFA model: De regressiecoëfficiënten voor alle directe effecten van de factoren op de indicatoren (i.e. de factorladingen). De variaties van de error – termen. Optioneel: de correlaties / covarianties tussen de error – termen. Bij ULI: de varianties van de factoren. Bij niet – hiërarchische CFA: de covarianties tussen de factoren. Bij hiërarchische CFA: de directe effecten van de ‘second order’ factoren .
o Vrijheidsgraden (degrees of freedom, df): aantal datapunten min het aantal vrije parameters. Schaal factoren: UVI of ULI o Er zijn twee courante manieren om de schaal vast te leggen van de factoren: Unit Loading Identification (ULI): de niet-gestandaardiseerde regressiecoëfficiënt (factorlading) van een bepaalde indicator van deze factor wordt op 1 gefixeerd; men noemt deze indicator de referentie indicator. Unit Variance Identification (UVI): de variantie van de factor wordt op 1 gefixeerd. UVI versus ULI o Voor een standaard CFA model zou het geen verschil mogen maken. o Nadeel ULI: welke indicator moeten we kiezen: typisch de eerste, maar in feite best deze indicator met de hoogste betrouwbaarheid. o Voordeel UVI: alle factorladingen zijn vrije parameters. o Nadeel UVI: enkel voor exogene factoren (bvb. in hiërarchische CFA zijn er tevens endogene factoren). o Nadeel UVI: niet geschikt voor ‘multi - group’ CFA. Identificatie van multi – dimensionele CFA modellen o Het is niet evident om a priori te bepalen of multidimensionele CFA modellen geïdentificeerd zijn of niet o De aanwezigheid van error- correlaties en kruisladingen leidt vaak tot identificatieproblemen o Pragmatische aanpak: indien een SEM programma het CFA model kan fitten zonder problemen is het model (wellicht) geïdentificeerd. Men kan het model fitten op bestaande data. Indien de data nog dient te worden verzameld: men kan het CFA model tten op gesimuleerde data. Wat indien niet – geïdentificeerd? o Indien theoretisch verantwoord: vrije parameters fixeren. o Toevoegen indicatoren.
2.7.Stappen om een CFA analyse uit te voeren
De specificatie van het model (of de verschillende modellen) o Bepaal a priori de factorstructuur die je wenst te toetsen aan de data o Het is vaak nuttig om alternatieve modellen voorop te stellen (bvb. een 1-factor structuur versus een 2factoren structuur) Ga na of alle modellen identificeerbaar zijn Verzamel de data, en prepareer de data voor analyse: o Gebruik bij voorkeur de volledige dataset, of de variantie -covariantie matrix van de variabelen o Indien naast de correlatie -matrix ook de standaardafwijkingen werden gerapporteerd: transformeer naar variantie -covariantie matrix. Schat het model met behulp van SEM software. o Evalueer de fit van het model; indien ondermaats, herspecificeer het model (zie verder). o Kijk na of alle parameterschattingen aan de verwachtingen voldoen (bvb. zijn alle factorladingen ‘significant’? zijn alle varianties positief?) Indien model oké, ga na of het meetmodel ook geldt in andere groepen (zie verder: ‘multiple group’ CFA) Rapporteer de resultaten.
2.8.Schatten van de parameters in het CFA model
Enkel via SEM software! Standaard procedure voor continue indicatoren: Maximum Likelihood (ML) schatting vertrekkende van de variantie/covariantie matrix (niet de correlatie matrix). Assumptie: alle indicatoren zijn van intervalniveau en bovendien multivariaat normaal verdeeld: o Indien indicatoren weliswaar continue, maar scheef - verdeeld is een correctie nodig (bvb. de SatorraBentler correctie).
o
Voor ‘likert scales’ wordt soms gesuggereerd om somscores te berekenen op basis van een (klein) aantal likert items die samen horen; vervolgens hanteert men deze somscores als (continue) indicatoren; men noemt dit item parceling, doch de techniek is controversieel (zie Bandalos & Finney, 2001, voor een overzicht). Voor de analyse van correlatie-matrices bestaan er speciale methodes (constrained optimization, Browne, 1982): dit is een ML methode waarbij nietlineaire ‘constraints’ worden opgelegd aan bepaalde parameters. o Enkel automatisch beschikbaar in de programma’s SEPATH en RAMONA). o Manueel mogelijk in alle overige programma’s Indien indicatoren categorisch (binair/ordinaal): speciale technieken zijn nodig, doch geen enkel probleem met recente software zoals Mplus (en binnenkort ook lavaan).
2.9.Model evaluatie
De essentie van CFA: past (‘fit’) het model goed met de data of niet? Drie aspecten dienen we te evalueren: o Algemene ‘goodness-of-fit’ (of ‘lack-of-fit’) maten: De statistiek is idealiter niet significant (zeldzaam met grote N). Vuistregels: CFI en TLI > 0.95, RMSEA < 0.05, SRMR < 0.06. Deze vuistregels zijn vaak het onderwerp van discussie in de SEM literatuur. o Specifieke oorzaken van misfit; daarvoor bestuderen we: De (gestandaardiseerde) residuals (= de verschillen tussen de geobserveerde en geïmpliceerde elementen van de variantie/covariantie matrix). De modification indices. o Interpreteerbaarheid, grootte en significantie van de parameterwaarden. ‘Ongeldige’ parameterschattingen (bvb. negatieve error- varianties, negatieve factor- varianties, correlaties groter dan 1.0) zijn een signaal dat er problemen zijn (te kleine sample, slecht gespecificeerd model, . . . ). Zijn de factorladingen in de ‘juiste’ richting (positief of negatief)? Zijn alle ‘vrije parameters’ (factorladingen, factor- correlaties, error - varianties) significant? (zo niet, kunnen we ze weglaten?) Zijn de standaardfouten van de ‘vrije parameters’ niet excessief hoog? Is de covariantie/correlatie tussen de factoren in de juiste richting (positief of negatief)?
2.10. Voorbeeld: 8 subschalen omtrent persoonlijkheid
Data o N=250 personen die psychotherapie volgen (outpatients) werden gescoord op 8 subschalen uit een persoonlijkheidstest (Bron: Brown (2006), figuur 4.1) anxiety (N1) hostility (N2) depression (N3) self-consciousness (N4) warmth (E1) gregariousness (E2) assertiveness (E3) positive emotions (E4) o Men postuleert twee gecorreleerde factoren: neurotisme en extraversie.
Gegeven: correlatie matrix + standaardafwijkingen (optioneel)
o Diagonaal De geobserveerde covariantie matrix
De lavaan model syntax + model fit
o Indicatoren die bepalen hoe we neurot bepalen Output lavaan
Past model met data? Hier: ja! Slechter: dan groter dan 19!
Standaardfout. Standaard normale verdeling -2 → +12 >2 dus significant Allemaal significant Ook -5,476 is significant -0,435: volgens dit model hoge score op latente variabele dan lage score op extraversie!
Model – geïmpliceerde covariantie matrix
o Model past goed bij de data. o Goed model: zo goed mogelijk gelijkend op het geobserveerde data = slide 31. Residuals: verschil geobserveerde en geïmpliceerde covarianties
Gestandaardiseerde residuals
Genegeerd en op nul gezet! o o o
Gestandaardiseerd om te interpreteren. X – scores. -2 → +2 Groter dan dit dan niet goed gecapteerd. Modification indices
Modification indices NA: gemodificeerd op 0 of 1 weet niet wat te doen! 0 = pijlen staan er al
o
Mocht model opnieuw fitten en deze toevoegen dan zakt die 54,416 met 1,328. Nooit slechter model door toe te voegen. Zoeken naar het grootste getal: grootste winst bij toevoeging. Pijl die op 0 gezet is geweest, is de belangrijkste ontbrekende.
2.11. Vergelijken van 2 modellen
geneste CFA modellen: via de ‘chi-square difference test’: o De statistiek ( ) volgt een chi-kwadraat verdeling met als aantal vrijheidsgraden: . o Voorbeeld geneste modellen: een CFA model met 2 factoren die niet gecorreleerd zijn (model 1), is genest in een CFA model waarbij de factoren wel mogen correleren (model 2). o Bvb. neurotisme/extraversie: model 1 , model 2 , difference test: . o Let op: CFA modellen met een verschillend aantal factoren kunnen nooit genest zijn! Indien de modellen niet genest zijn: o Vergelijken van de overige Goodness-of-fit maten. o Eventueel kijken naar de AIC of BIC score: hoe kleiner, hoe beter.
Alternatief model: geen correlatie tussen de factoren
1 verschil
N ←→ E Moet op 0 gezet worden. Achteraf mogen deze latente variabelen niets met elkaar te maken hebben. Orthogonaal: loodrecht onder elkaar: zonder relatie. Output lavaan o
54,416 x4 bij vorige keer DF: zuiniger model: 1 variabele / paramter minderen want vastgelegd op 0 Super significant
>.95 Nog redelijk
>0.05 Niet zo goed Model is niet zo slecht, maar ook niet perfect >0.05
Gefixeerd op 0
Fouttermen gaan de lucht in
Model vergelijkingstoets: oblique versus orthogonaal
54,416 – 13,285 = 41 verschil met 1 DF verschil 2e model is significant slechter dan 1e model o
Modellen vergelijken: oké. Maar genest of niet genest belangrijk. Modellen moeten genest zijn. Sommige parameter op 0 of = aan elkaar. Restrictiever model dan eerst. o Vaak meerderen modellen en hypothesen. o Zeer verleidelijk om modellen te vergelijken. Model wordt gefit: meestal waarden dicht bij elkaar. Ofwel genest ofwel niet. A B C A-B: genest A-C: niet genest wel iets gemeenschappelijk B: waarden op bepaalde waarde gezet dus kleinere gelijkenis Maar 1 factor: geen toets voor. Kijk naar bepaalde waarden die verschillen. AIC en BIC. Hoe kleiner, hoe beter, maar geen p – waarde alleen ordening volgens één van de twee waarden. Modification indices groter dan 10.00 Alleen waarden groter dan 10 geschatte waarde: zakken met ongeveer 37,828 een heden. o
o o
Epc: expected parameter change Mocht je die parameter toevoegen, wat zou dan ongeveer de waarde zijn? Maar groot of niet? -0,434: correlatie: de moeite (gestandaardiseerd) die moet ik vrij laten. -0,003: te dicht bij 0: niet praktisch significant.
2.12. Herspecificatie van CFA modellen
Indien de fit het CFA model niet adequaat is zijn er verschillende manieren om het model te wijzigen:
o Het wijzigen van het aantal factoren. o Het toevoegen van factor- indicator effecten (kruisladingen). o Het toevoegen van error- correlaties. o Het verwijderen van ‘problematische’ indicatoren. Idealiter gebeuren deze wijzigingen op basis van theoretisch goed gefundeerde argumenten Het is echter ook mogelijk om ‘exploratief’ wijzigingen uit te proberen door te kijken naar de modification indices. Het heeft geen zin om pijlen toe te voegen (of restricties te wijzigen) die theoretisch niet kunnen onderbouwd worden. Modification indices o De modification indices geven aan welke pijlen we eventueel moeten toevoegen aan het model (of welke restricties we moeten laten vallen) teneinde de fit van het model te verbeteren. o Deze modification indices weerspiegelen (bij benadering) de verbetering in fit (in termen van ) indien de pijl zou worden toegevoegd (of de restrictie wegvalt). o Vuistregel: modification indices groter of gelijk aan 3.84 (=kritische drempel voor met 1 vrijheidsgraad op ) verdienen aandacht. o Deze modification- indices zijn echter sterk afhankelijk van de huidige steekproef; kijk ook naar de expected parameter change (EPC) waarden om te beoordelen indien de gewijzigde parameterwaarde de moeite loont. o Eventuele wijzigingen op deze manier bekomen dienen we idealiter te ‘confirmeren’ in een onafhankelijke steekproef.
2.13. En verder
1
‘Multiple group’ CFA o Voor elke groep een aparte variantie/covariantie matrix o Nagaan van meetinvariante: ‘meet’ het CFA model hetzelfde (en op dezelfde manier) in verschillende populaties? o Vergelijken van de gemiddelde scores op de latente factoren in verschillende populaties (cf. t -test of ANOVA maar dan op latente gemiddelden) CFA met covariaten (bvb. een variabele ‘geslacht’)1 o 1 variantie/covariantie matrix. o MIMIC: multiple indicators and multiple causes. o is er een direct effect op de factor? Dit zou wijzen op heterogeniteit: verschillen tussen mannen en vrouwen wat betreft de latente factor gemiddelden. o Is er een direct effect op een indicator (intercept)? Dit zou wijzen op indicator bias (= item bias, differential item functioning). CFA analyse van Multitrait -Multimethod (MTMM) data o Elk van de verschillende ‘traits’ (latente factoren) werd ‘gemeten’ aan de hand van verschillende methodes (bvb. self- report scale, observer rating, clinical interview) o Nagaan van divergente en discriminante validiteit en methode-effecten Het schatten van factorscores binnen een CFA model2 CFA met binaire/ordinale variabelen3 ... CFA is vaak de voorbode van een SEM analyse!4 o Fit model in één groep en andere groep (bijvoorbeeld mannen versus vrouwen of klinische versus niet – klinische.
Meetinstrument beïnvloed door verschillende factoren. Men controleert voor externe covarianties en regressies. Op het einde van de rit willen we scores zien. Factorscores voor latente variabelen en daarmee verder werken. 3 IRT 4 Meetinstrument daarna relaties toevoegen = idee structure base model. 2
o
2 variabelen vergelijken = multiple group CFA MAAR we moeten ervoor zorgen dat de latente variabelen een relatie hebben en dat ze gelijke indicatoren hebben. Gelijk intercept of factorlading. Gelijk meten mannen en vrouwen. Bvb. culturen tegenover elkaar: landen / meetinvariantie!
