DATA-ANALYSE I OEFENINGEN ACADEMIEJAAR 2000–2001 Feedback Praktische Proef
1
Vooraf • Het is onbegonnen werk om voor elke versie van de praktische proef een volledig uitgeschreven rapport te presenteren. Hieronder worden de verschillende onderzoeksvragen (die analoog waren in alle versies) kort besproken, en worden de meest voorkomende fouten aangehaald. Daarna wordt 1 versie (die representief is voor alle andere versies) opgelost en gerapporteerd. • Het eindexamen is wel degelijk analoog aan de praktische proef: je krijgt een dataset met een reeks onderzoeksvragen, en je schrijft de oplossingen neer in een rapport. Er zullen g´e´en bijkomende ‘inzichts-vragen’ zijn.
2
Onderzoeksvraag 1
2.1
PCA vs FA
Een veel gemaakte fout is het gebruik van PCA ipv FA en omgekeerd. De twee technieken zijn nochtans fundamenteel verschillend: zie cursus slides 295 en 331+332: • PCA betracht de totale info die in p variabelen vervat zit (dus inclusief de meetfouten) te reduceren tot r < p componenten. PCA wordt vaak toegepast ten behoeve van dimensiereductie: het reduceren van een reeks (sterk) gecorreleerde variabelen tot 1 of meerdere nietgecorreleerde componenten, die als het ware de ‘essentie’ bevatten van de originele p variabelen. De bekomen componenten zijn echter nog steeds ‘observeerbare’ variabelen. In de praktijk zijn dit vaak fysische variabelen, die met een relatief kleine meetfout gemeten kunnen worden (bvb.: bloeddruk, polsslag, lengte, gewicht, temperatuur, etc. . . . ). • FA daarentegen wil enkel de gedeelde of gemeenschappelijke info (of variantie) verklaren in termen van r onderliggende, niet-observeerbare, latente factoren. Deze latente factoren zijn veelal hypothetische constructen, gepostuleerd door een theorie, en kunnen niet rechtstreeks geobserveerd worden. Dit soort constructen zijn schering en inslag in de psychologie: persoonlijkheidstrekken, attitudes, motivatie, jobsatisfactie, merk-vertrouwdheid, . . . . Vaak wordt beroep gedaan op een nogal ruwe methode om deze constructen te ‘meten’, namelijk vragenlijsten. Elk item van de vragenlijst is opgesteld om een (bepaald facet van een) latente factor te bevragen. Het spreekt vanzelf dat deze items slechts een benaderende ‘meting’ vormen van de factor, en sterk onderhevig zijn aan meetfouten, ruis, invloeden van onbekende factoren die uniek zijn voor dit item, etc... Het is niet de bedoeling dat deze ‘item-specifieke info’ in rekening wordt genomen om onze factoren te extraheren. De techniek van FA bestaat er nu net in, om voor elke ruwe meting (item) te bepalen welk stuk beschouwd kan worden als uniek voor de meting (=fout), en welk stuk gemeenschappelijk is met andere metingen die dezelfde factor bevragen (=communaliteit). Enkel deze laatste worden gebruikt om de factoren te extraheren. Noot: welke techniek men ook heeft gebruikt, het is gebruikelijk om altijd het percentage verklaarde variantie te vermelden voor het aantal componenten/factoren dat men heeft weerhouden. Concreet voor de praktische proef: die groepen die de variabele [itemglobine-gehalte in het bloed] hadden, dienden PCA uit te voeren. Alle andere groepen (de variabelen [motivatie], [zelfzekerheid], [agressiviteit]) dienden een FA uit te voeren.
2.2
De richting van het effect
De bespreking van de ‘richting van het effect’ is vaak slordig en incorrect. Cruciaal hierbij is het onderscheid tussen numerieke en nominale variabelen. Voor numerieke variabelen kijkt men naar het teken van de bijhorende regressie-co¨effici¨ent , en op basis hiervan rapporteert men bijvoorbeeld: “motivatie heeft een positief effect: hoe hoger de motivatie, hoe hoger de score”. Het probleem stelt zich echter bij de nominale variabelen. Daarvoor kijkt men best rechtstreeks naar de celgemiddelden (zie de ‘descriptive statistics’, of een plot). Daar nominale variabelen doorgaans geen ‘orde’ vertonen, is het niet opportuun te spreken van ‘positieve’ of ‘negatieve’ effecten. Incorrect is dus: “methode heeft een positief effect”. Men rapporteert wel bijvoorbeeld: “er is een (significant) verschil tussen de vier methodes. Daarbij valt op dat methode 1 en 3 slechtere resultaten opleveren dan methode 2 en 4 . . . ”. Tot slot, indien de richting van een significant effect vrij onverwacht is (bvb. “hoe hoger de mate van agressiviteit, hoe beter de score voor zelfbeheersing”) dan kan het geen kwaad om dat expliciet te vermelden. Een rapport dient om de eventuele lezer te informeren over de aard van de resultaten, en is dus meer dan louter een lijst van F-statistieken.
3
Onderzoeksvraag 2
Deze onderzoeksvraag betrof een modelvergelijking. Het ‘linear regression’ programma laat ons toe de twee modellen te specifi¨eren en via de optie ‘R squared Change’ de benodigde modelvergelijkingstoets op te vragen. De weinigen die deze vraag niet correct hebben opgelost hebben ofwel: 1. de modelvergelijkingstoets niet gerapporteerd (de optie ‘R squared Change’ vergeten?), 2. de nominale variabele ([plaats] of [methode]) niet gehercodeerd met behulp van dummy-variabelen; dit laatste is uiteraard heiligschennis.
4
Onderzoeksvraag 3
Onderzoeksvraag 3 (het vergelijken van drie celgemiddelden) is bij sommigen op een of andere manier de mist ingegaan. Er zijn verscheidene oorzaken mogelijk. • Het was de bedoeling te toetsen of de drie celgemiddelden terzelfdertijd verschillend waren van elkaar. Dit betekent dus ´e´en enkele (zij het een meervoudige) toets. Er zijn wel twee contrasten nodig, en dus twee rijen in de L-matrix. Een volledig uitgewerkt voorbeeld vind je in de ‘smarties’-bundel (meer bepaald onderzoeksvraag 3) die je tijdens de oefeningen (ivm contrasten) hebt gekregen. • De volgorde waarin je de factoren ingeeft in SPSS (hetzij via de vensters, hetzij rechtstreeks in de syntax) is belangrijk. Als je eerst [methode] en dan pas [plaats] ingeeft, dan moet je de contrasten uitwerken waarbij [methode] de alpha’s zijn, en [plaats] de beta’s, enzovoort. Als je echter eerst [plaats] invoert, en dan pas [methode], dan corresponderen de alpha’s nu met [plaats], en de beta’s met [methode], en zijn de indexen van de interactie-termen omgekeerd. • Let goed op de correctheid van de indexen voor de interactietermen, wanneer je die overschrijft naar de L-matrix. • Vergeet bij het ingeven van de variabelen in SPSS de (eventuele) covariaten niet! In ieder geval, wanneer er iets misloopt, en je krijgt geen resultaat, dan heb je zelf iets mispeuterd (verkeerd contrast, verkeerd ingegeven, punt-komma vergeten, etc . . . ). Het ligt niet aan de ‘versie van SPSS’ of aan het feit dat je aan de tweede computer zat op de derde rij.
5
Voorbeeld: versie Z
5.1
Data
[locatie databestand in de PC-klas:
g:\da\da1\proef\proef5.sav]
Het databestand bevat de gegevens van 70 rijkswachters die gedurende een periode van 4 weken een intensieve cursus “probleembeheersing” hebben gevolgd. Op het einde van de cursus moesten alle rijkswachters een proef afleggen, waarbij hun vaardigheid om ‘problemen te beheersen’ op de korrel werd genomen. Op basis van deze proef kregen ze elk een score [score]: hoe hoger deze score, hoe beter de prestatie van de rijkswachter. De bedoeling van het onderzoek is om na te gaan welke variabelen hebben bijgedragen tot deze score. De variabelen relevant voor het huidig onderzoek zijn: • [methode]: de methode die werd gebruikt tijdens de cursus (methode=1, methode=2, methode=3, en methode=4). • [plaats]: de locatie waar de curus plaats vond (plaats=1, plaats=2, en plaats=3). • [leeftijd]: de leeftijd van de rijkswachter in jaren. • [steun]: een score die de mate van (ervaren) steun uit de omgeving (collega’s) weerspiegelt (score op dertig: hoe hoger, hoe meer steun). • [agresiviteit]: de mate van agressiviteit van de rijkswachter. Agressiviteit werd gemeten aan de hand van een korte vragenlijst met vier items ([item1], [item2], [item3], en [item4]). Elk item bevatte een uitspraak die peilde naar de mate van agressiviteit, bvb, “Als iemand mij uitdaagt, dan ga ik onmiddellijk op de vuist.”. Elk item werd door de rijkswachter gescoord op een schaal van 1 (=helemaal niet akkoord) tot 8 (helemaal akkoord). Hoe hoger de score, hoe hoger de mate van agressiviteit zoals bevraagd door dit item. Alle variabelen werden op interval-niveau gemeten, behalve [methode] en [plaats] die nominale variabelen zijn met respectievelijk 4 en 3 niveaus.
5.2
ONDERZOEKSVRAGEN
1. Welke van de 5 bovenstaande variabelen spelen een rol? In welke richting wijzen hun (eventuele) effecten? 2. Is er een verschil tussen de volgende twee modellen (die van elkaar verschillen door de variabelen die ze bevatten): • Model 1: [leeftijd], [steun] en [methode] • Model 2: [leeftijd] 3. Indien met alle 5 bovenstaande variabelen rekening wordt gehouden, is er een verschil (wat betreft score) tussen de onderstaande celgemiddelden (gezamelijk beschouwd)? (a) methode=1, (ongeacht de plaats) (b) methode=2, (ongeacht de plaats) (c) methode=2, plaats=3
5.3
OPLOSSING
5.3.1
Onderzoeksvraag 1
Eerst en vooral moeten we de informatie die vervat zit in de vier items reduceren tot ´e´en enkele variabele die we [agressiviteit] zullen noemen. Aangezien ‘agressiviteit’ een niet-observeerbare, latente variabele is dienen we FA te gebruiken. In SPSS gaat men als volgt te werk: Analyze -> Data Reduction -> Factor Variables: item1, item2, item3, item4 [Extraction ...] Method: Principal axis factoring Extract: Number of factors: 1 [Continue] [Scores √ ...] 2 Save as variables [Continue] [Ok] Noot: rotatie is hier niet nodig, omdat er slechts 1 factor wordt ge¨extraheerd. De nieuwe variabele gegenereerd door SPPS geven we een passende naam: [agressiviteit]. Om het effect na te gaan van de verschillende variabelen op [score] gaan we in SPSS als volgt te werk: Analyze -> General Linear Model -> Univariate Dependent Variable: score Fixed Factor(s): methode, plaats Covariate(s): leeftijd, steun, agressiviteit [Options ... ] √ Display: 2 √ Parameter estimates Display: 2 Descriptive Statistics [Continue] [Plots ... ] Horizontal Axis: methode [Add] [Continue] [Ok] De output verschaft ons alle informatie die we nodig hebben. Zie rapport voor de interpretatie. 5.3.2
Onderzoeksvraag 2
Deze onderzoeksvraag betreft een modelvergelijking. Vooreerst dienen we de nominale variabele [methode] te hercoderen met behulp van dummy-variabelen. Gezien [methode] vier niveaus heeft, zullen we drie dummy-variabelen cre¨eren die we [dm1], [dm2] en [dm3] zullen noemen. Om de modelvergelijkingstoets te verkrijgen gaat men in SPSS als volgt te werk: Analyze -> Regression -> Linear Dependent: score Independent(s): leeftijd [Next] Independent(s): steun, dm1, dm2, dm3 [Statistics...] √ 2 R squared change [Continue] [Ok]
De ‘modelvergelijkingstoets’ bevindt zich in de tabel Model Summary onder de header Change Statistics. Zie rapport voor de F-statistiek. 5.3.3
Onderzoeksvraag 3
De onderzoeksvraag betreft een hypothese ivm drie verwachte celgemiddelden: µ.1 = µ.2 = µ32 De eerste index verwijst hier naar [plaats], de tweede index verwijst naar [methode]. Deze keuze is arbitrair, maar straks zal men eerst [plaats] en dan pas [methode] invoeren in de syntax (zie verder). De eerste stap bestaat er in de hypothese te herschrijven in termen van contrasten. Er zijn verschillende mogelijkheden, maar in ieder geval zijn er twee contrasten (terzelfdertijd) nodig, bijvoorbeeld: (1) µ.1 − µ.2 = 0 (2) µ.2 − µ32 = 0 Beide contrasten moeten herschreven worden in termen van de modelparameters. Voor het eerste contrast bekomt men: µ.1 − µ.2 =0 − µ − α1 +α32 +α3 − β2 − γ12 +γ322 +γ32 =0 µ + α1 +α32 +α3 + β1 + γ11 +γ321 +γ31 Na uitwerking bekomt men:
1 1 1 1 1 1 β1 − β2 + γ11 − γ12 + γ21 − γ22 + γ31 − γ32 = 0. 3 3 3 3 3 3 Voor het tweede contrast bekomt men: µ.2 − µ32 =0 µ + α1 +α32 +α3 + β2 + γ12 +γ322 +γ32 − µ − α3 − β2 − γ32 = 0
Na uitwerking bekomt men: 1 1 2 1 1 2 α1 + α2 − α3 + γ12 + γ22 − γ32 = 0. 3 3 3 3 3 3 De co¨effici¨enten van de bovenstaande twee contrasten moeten we in onze L matrix opgeven. De L matrix heeft dus twee rijen (die in de SPSS syntax van elkaar gescheiden worden door een ‘puntkomma’). (Besef dat de L matrix heel wat meer kolommen bevat dan enkel deze die corresponderen met de nominale variabelen [plaats] en [methode]. Doch, omdat onze hypothese enkel betrekking heeft op de nominale variabelen moeten we enkel deze co¨effici¨enten opgeven in ons syntax-venster. Alle andere co¨effici¨enten (die corresponderen met de overige variabelen) zijn nul, en hoeven we dus niet expliciet te vermelden). De syntax om deze hypothese te toetsen ziet er als volgt uit: UNIANOVA score BY plaats methode WITH steun leeftijd agressiv /lmatrix "Onderzoeksvraag 3" methode 1 -1 0 0 plaats*methode 1/3 -1/3 0 0 1/3 -1/3 0 0 1/3 -1/3 0 0; plaats 1/3 1/3 -2/3 plaats*methode 0 1/3 0 0 0 1/3 0 0 0 -2/3 0 0 /METHOD=SSTYPE(3) /INTERCEPT=INCLUDE /CRITERIA=ALPHA(0.5) /DESIGN=steun leeftijd agressiviteit plaats methode plaats*methode . Let op de volgorde van de factoren op de tweede lijn van de syntax: eerst [plaats], en dan pas [methode]. Conclusie en interpretatie: zie rapport.
5.4
RAPPORT
Een factor-analyse werd uitgevoerd op de 4 items van de vragenlijst. Slechts ´e´en enkele factor werd weerhouden. De variantie verklaard door deze factor bedroeg 74.97%. Op basis van de factor-scores werd een nieuwe variabele [agressiviteit] gecre¨eerd die werd gebruikt in de verdere analyse. Een covariantie-analyse (ANCOVA) werd uitgevoerd met als afhankelijke variabele de score die de rijkswachters behaalden op de proef “probleem- beheersing” [score], en met als onafhankelijke variabelen de twee factoren [methode] en [plaats], en de drie covariaten [leeftijd], [steun] en [agressiviteit]. Wat de factoren betreft was enkel het hoofdeffect van [methode] significant, F (3, 55) = 3.02, p = 0.037. Er is wel degelijk een verschil tussen de vier methodes. Daarbij valt op dat methode 1 de laagste gemiddelde score opleverde, gevolgd door methode 3 en methode 2. De gemiddelde score voor methode 4 lag het hoogst. (Opmerking: in de praktijk verwijst men hier naar een tabel). Het hoofdeffect van plaats, evenals het interactie-effect was niet significant, F (2, 55) = 0.06, p = 0.945, en F (6, 55) < 1 respectievelijk. Wat de covariaten betreft was enkel het effect van [agressiviteit] significant, F (1, 55) = 44.10, p = 0.000. In tegenstelling tot de verwachtingen blijkt dat rijkswachters met een hoge mate van agressiviteit (zoals gemeten door onze vragenlijst) een hogere score behaalden op de zelfbeheersings-proef. Het is niet duidelijk hoe we dit effect kunnen verklaren. Het effect van de overige covariaten [leeftijd] en [steun] was niet significant, F (1, 55) < 1 in beide gevallen. Via lineare regressie werden 2 modellen met elkaar vergeleken. Het eerste model bevatte de variabelen [leeftijd], [steun] en [methode]. Een tweede model bevatte enkel de variabele [leeftijd]. Uit de modelvergelijkingstoets blijkt dat de fit van het eerste model significant beter was dan de fit van het tweede model, F (4, 64) = 13.28, p = 0.000. Wat de nominale variabele [plaats] en [methode] betreft blijkt voorts dat er g´e´en significant verschil is tussen de gemiddelde scores voor (1) methode 1, ongeacht de plaats, (2) methode 2, ongeacht de plaats, en (3) methode 2, plaats 3, F (2, 55) = 1.10, p = 0.339.
